JP2019196945A - Failure detection system and program, and vehicle attitude estimation system and program - Google Patents
Failure detection system and program, and vehicle attitude estimation system and program Download PDFInfo
- Publication number
- JP2019196945A JP2019196945A JP2018090124A JP2018090124A JP2019196945A JP 2019196945 A JP2019196945 A JP 2019196945A JP 2018090124 A JP2018090124 A JP 2018090124A JP 2018090124 A JP2018090124 A JP 2018090124A JP 2019196945 A JP2019196945 A JP 2019196945A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- vehicle
- difference
- failure
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 230000036544 posture Effects 0.000 claims description 134
- 238000005259 measurement Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 17
- 238000003702 image correction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
Abstract
Description
本発明は、測定手段の故障を検知する故障検知システム及びプログラム、並びに測定手段を用いて車両の姿勢を推定する車両姿勢推定システム及びプログラムに関する。 The present invention relates to a failure detection system and program for detecting a failure of a measuring means, and a vehicle posture estimation system and program for estimating the posture of a vehicle using the measuring means.
車両において、自動運転、運転アシスト、車両制御を行うために、車両の姿勢(例えば、ロール角、ピッチ角、ヨー角)を推定する必要がある。このために、車両には車両の姿勢に応じた物理量を測定してその測定値を出力するセンサが設けられる。例えば、車両の姿勢を測定するにジャイロセンサが用いられ、ジャイロセンサの測定値に基づいて車両の姿勢が推定される。 In order to perform automatic driving, driving assistance, and vehicle control in a vehicle, it is necessary to estimate the posture of the vehicle (eg, roll angle, pitch angle, yaw angle). For this purpose, the vehicle is provided with a sensor that measures a physical quantity according to the attitude of the vehicle and outputs the measured value. For example, a gyro sensor is used to measure the attitude of the vehicle, and the attitude of the vehicle is estimated based on the measurement value of the gyro sensor.
このようなセンサに故障が生じた場合には車両の正確な姿勢を推定することができなくなるため、センサに故障が生じた場合にはそれを検知する必要がある。特許文献1には、車両の姿勢推定のために車両に4つのジャイロセンサを取り付けて、それらで取得された角速度をそれぞれ比較することで、ジャイロセンサの故障を検知する方法が開示されている。具体的には、特許文献1の方法では、正四角錐(ピラミッド形)の支持台の4つの斜面にそれぞれジャイロセンサを設置することで、いずれかのジャイロセンサの故障を検知して、正しい角速度又は角度を測定する。
When a failure occurs in such a sensor, it is impossible to estimate an accurate posture of the vehicle. Therefore, when a failure occurs in the sensor, it is necessary to detect it.
しかしながら、特許文献1に記載の方法によれば、3つのジャイロセンサだけでは、一部のジャイロセンサに故障が生じた場合にその方向の角速度を測定することができない(特許文献1の0029段落参照)。
However, according to the method described in
そこで、本発明は、車両の姿勢を推定するための測定手段が3つである場合にも、それらのうちの故障している測定手段を特定できる故障検知システム及びプログラム、並びに3つの測定手段のうちのいずれかが故障していても車両の姿勢を推定できる車両姿勢推定システム及びプログラムを提供することを目的とする。 Therefore, the present invention provides a fault detection system and program capable of identifying a faulty measurement unit, even when there are three measurement units for estimating the attitude of the vehicle, and three measurement units. It is an object of the present invention to provide a vehicle attitude estimation system and program capable of estimating the attitude of a vehicle even if any of them is out of order.
上記目的を達成するために、本発明の第1の態様は、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段(10、20)と、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を故障測定手段として特定する故障特定手段(50)とを備えた故障検知システムである。 In order to achieve the above object, the first aspect of the present invention is measured by three or more measuring means (10, 20) for measuring the same kind of posture of the vehicle, respectively, and the three or more measuring means. Difference calculation means (30) for calculating the difference between the postures, and based on the difference, a difference is calculated with respect to the postures measured by the plurality of other measurement means among the three or more measurement means. It is a fault detection system provided with the fault specification means (50) which specifies the said measurement means which measured the attitude | position which it has as a fault measurement means.
本発明の第2の態様は、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段(10、20)と、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分算出手段で算出された差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)とを備えた車両姿勢推定システムである。 In the second aspect of the present invention, three or more measuring means (10, 20) for measuring the same kind of attitude of the vehicle, respectively, and the difference between the attitudes respectively measured by the three or more measuring means are calculated. Difference calculating means (30) and attitude estimating means (60) for estimating the attitude of the vehicle based on the attitude measured by each of the three or more measuring means and the difference calculated by the difference calculating means. A vehicle attitude estimation system provided.
本発明の第3の態様は、演算処理装置において実行されることで、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段でそれぞれ測定された姿勢から故障した前記測定手段を検知する故障検知プログラムであって、前記演算処理装置を、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を特定する故障特定手段(50)として機能させる故障検知プログラムである。 According to a third aspect of the present invention, there is provided a failure for detecting the measurement means that has failed from the postures respectively measured by three or more measurement means that measure the same kind of posture of the vehicle by being executed in the arithmetic processing unit. A detection program, wherein the arithmetic processing unit is configured to calculate a difference between the postures respectively measured by the three or more measuring units, and based on the difference, the three or more It is a failure detection program that functions as a failure identification unit (50) that identifies the measurement unit that has measured a posture having a difference with respect to the posture measured by the plurality of other measurement units.
本発明の第4の態様は、演算処理装置において実行されることで、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段でそれぞれ測定された姿勢から車両の姿勢を推定する車両姿勢推定プログラムであって、前記演算処理装置を、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)として機能させる車両姿勢推定プログラムである。 According to a fourth aspect of the present invention, a vehicle attitude estimation is executed in the arithmetic processing unit to estimate the attitude of the vehicle from the attitudes respectively measured by three or more measuring units that measure the same kind of attitude of the vehicle. It is a program, and the arithmetic processing unit is measured by a difference calculating means (30) for calculating a difference in the posture measured by the three or more measuring means, and by the three or more measuring means, respectively. A vehicle posture estimation program that functions as posture estimation means (60) for estimating the posture of the vehicle based on the posture and the difference.
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, embodiment described below shows an example in the case of implementing this invention, Comprising: This invention is not limited to the specific structure demonstrated below. In carrying out the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
図1は、本発明の実施の形態の車両姿勢推定システムの構成を示すブロック図である。車両姿勢推定システム100は、車両において構成され、IMU(Inertial Measurement Unit:慣性計測ユニット)11、ジャイロセンサ12、及びカメラ13(以下、総称して「センサ10」という。)を備えている。これらのセンサ10は、いずれも車両の姿勢を表す物理量を計測して、当該物理量を表す情報を出力するものである。
FIG. 1 is a block diagram showing a configuration of a vehicle attitude estimation system according to an embodiment of the present invention. The vehicle
IMU11は、角速度と加速度を検出するためのセンサ群を1つにまとめたセンサである。具体的には、IMU11は、3つのジャイロセンサと3つの加速度センサを含み、測定値として車両の3軸周り(即ち、ロール、ピッチ、ヨー)の角速度及び3軸方向(即ち、前後方向、上下方向、左右方向)の加速度を出力する。IMU11は、さらにジャイロセンサや加速度センサのバイアス誤差を補正するために、地磁気センサや傾斜センサ、GPSを備えていてもよい。 The IMU 11 is a sensor in which sensor groups for detecting angular velocity and acceleration are combined into one. Specifically, the IMU 11 includes three gyro sensors and three acceleration sensors, and the measured values are angular velocities around the three axes of the vehicle (that is, roll, pitch, yaw) and three axis directions (that is, the front-rear direction, the upper and lower directions). Direction, left and right). The IMU 11 may further include a geomagnetic sensor, an inclination sensor, and a GPS in order to correct a bias error of the gyro sensor or the acceleration sensor.
ジャイロセンサ12は、IMU11とは別体として設けられた単体のセンサである。ジャイロセンサ12の軸は車両の前後方向を向いており、ジャイロセンサ12は測定値としてロール角の角速度を出力する。
The
カメラ13は、光軸が車両の前後方向を向き、かつ、垂直軸が車両の上下方向と一致するように、車両に固定される。カメラ13は、車両前方の画像を撮影する。カメラ13は、測定値として、撮影によって得られた画像(以下、「撮影画像」という。)を出力する。
The
車両姿勢推定システム100は、さらに、姿勢算出部20と、差分算出部30と、保持部40と、故障検知部50と、姿勢推定部60と、画像補正部70とを備えている。姿勢算出部20、差分算出部30、故障検知部50、姿勢推定部60、及び画像補正部70は、プロセッサ等の演算処理装置が所定のプログラムを実行することで実現されて、以下に説明する動作を実行する。また、保持部40は、演算処理装置からアクセス可能なメモリ等の記憶装置を含んで構成される。
The vehicle
なお、姿勢算出部20、差分算出部30、故障検知部50、姿勢推定部60、及び画像補正部70は、1つのプロセッサで実現されてもよいし、複数のプロセッサで実現されてもよい。また、保持部40も、複数の記憶装置からなっていてもよい。
Note that the
また、車両姿勢推定システム100において、センサ10と、姿勢算出部20と、差分算出部30と、保持部40と、故障検知部50とで故障検知システム101が構成される。後述するように、故障検知部50は、故障検知システム101の出力として故障センサ10´を特定する情報及びその故障センサ10´の軸ずれ角εの情報を出力し、姿勢推定部60はそれらの情報を用いて車両の姿勢を推定し、画像補正部70はそれらの情報を用いて画像を補正するが、故障検知システム101の出力の用途はこれらに限られない。
Further, in the vehicle
姿勢算出部20は、各センサ10から出力される情報に基づいて、車両の姿勢を算出する。具体的には、姿勢算出部20は、IMU11から車両のピッチ角、ロール角、ヨー角の角速度、及び前後方向、左右方向、上下方向の加速度を取得して、これらに基づいて、車両のピッチ角、ロール角、ヨー角を算出する。姿勢推定部20は、例えばロール角については、IMU11から取得したロール角の角速度を積分することで、現在の車両のロール角を算出する。
The
また、姿勢算出部20は、ジャイロセンサ12から出力されるロール角の角速度に基づいて、車両のロール角を算出する。具体的には、姿勢算出部20は、ジャイロセンサ12から車両のロール角の角速度を取得して、これを積分することで現在の車両のロール角を算出する。さらに、姿勢算出部20は、カメラ13から出力される画像に基づいて、車両のロール角を算出する。
Further, the
図2は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平の場合)を示す図である。カメラ13は、上述のように、その上下方向(即ち、垂直軸132の方向)が車両Cの上下方向に一致するように、車両Cに取り付けられる。また、カメラ13の光軸は車両Cの前後方向を向いている。
FIG. 2 is a diagram illustrating a relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is horizontal). As described above, the
図2に示すように、カメラ13の視野131は長方形であり、その上辺及び下辺はいずれも現実空間の水平方向と平行であり、その左辺及び右辺は現実空間の鉛直方向(即ち、重力方向)R1と平行である。したがって、車両Cが傾きのない水平な路面Rを走行している場合には、撮影画像において、左右方向は現実空間の水平方向と一致しており、上下方向は現実空間の鉛直方向と一致している。
As shown in FIG. 2, the field of
図3は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平から傾いている場合)を示す図である。図3に示すように、路面Rが水平から角度θだけ傾いていると、カメラ13の視野131及び垂直軸132は、鉛直軸R1に対して角度θだけ傾くことになる。しかしながら、構造物Sは、路面Rが傾いていたとしても、鉛直軸R1に沿って建てられている。姿勢算出部30は、このことを利用して撮影画像から車両の姿勢(即ち、ロール角)を算出する。
FIG. 3 is a diagram showing the relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is inclined from the horizontal). As shown in FIG. 3, when the road surface R is inclined from the horizontal by an angle θ, the field of
図4は、本発明の実施の形態の路面が傾いている場合の撮影画像の例を示す図である。図4に示すように、路面Rが角度θだけ傾いている場合には、撮影画像において、鉛直方向に延びる部分を有する構造部Sにおける当該部分は角度θだけ傾いて映ることになる。このように鉛直方向に延びる部分を有する建造物Sとしては、例えばビル、ポール等がある。 FIG. 4 is a diagram illustrating an example of a captured image when the road surface according to the embodiment of the present invention is inclined. As shown in FIG. 4, when the road surface R is inclined by the angle θ, the portion in the structure portion S having a portion extending in the vertical direction appears to be inclined by the angle θ in the captured image. Examples of the building S having a portion extending in the vertical direction include a building and a pole.
姿勢算出部20は、撮影画像から車両のロール角を求めるために画像処理部としての機能を有する。画像処理部は、まず、撮影画像に対して画像処理を行うことで、画像のエッジを示すエッジ画像を生成する。画像処理部は、さらに、エッジ画像から所定の長さ以上の直線状のエッジを抽出し、その方向を求める。
The
直線状のエッジの抽出方法としては、例えば、Hough変換(例えば、Ballard, D.H. 1981. Generalizing the Hough transform to detect arbitrary patterns. Pattern Recognition, 13(2):111-122.を参照)、LSD(Line Segment Detector)アルゴリズム(例えば、von Gioi, R.G., Jakubowicz, J., Morel, J.M., Randall, G.: LSD: a Line Segment Detector. Image Processing On Line (2012)を参照)を用いることができる。また、検出能力の向上のために、エッジ検出と組み合わせる方法を用いてもよい(例えば、Canny, J., A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8(6):679-698, 1986.を参照)。さらに、直線状のエッジの抽出の前処理として、建物の画像領域を検出することで、精度をさらに向上させることができる。この場合に、建物の検出には、ニューラルネットワークなどを用いた機械学習による方法を用いることができる。 As a method for extracting a straight edge, for example, Hough transform (see, for example, Ballard, DH 1981. Generalizing the Hough transform to detect arbitrary patterns. Pattern Recognition, 13 (2): 111-122.), LSD (Line Segment Detector) algorithm (see, for example, von Gioi, RG, Jakubowicz, J., Morel, JM, Randall, G .: LSD: a Line Segment Detector. Image Processing On Line (2012)) can be used. Moreover, in order to improve detection capability, a method combined with edge detection may be used (for example, Canny, J., A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8 (6): 679. -698, 1986.). Furthermore, the accuracy can be further improved by detecting the image region of the building as preprocessing for extracting the linear edge. In this case, a method based on machine learning using a neural network or the like can be used for building detection.
姿勢算出部20は、抽出したエッジの方向(即ち、現実空間の鉛直方向)が撮影画像の上下方向に対してなす角度を車両のロール角として算出する。
The
図5は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平から傾いており、かつ、カメラがずれている場合)を示す図である。図5のケースでは、路面Rが角度θで傾いており、カメラ13の垂直軸132が、本来の向きから車両Cの前後方向の軸周り(即ち、カメラ13の光軸周り)に角度εだけずれている。
FIG. 5 is a diagram showing a relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is inclined from the horizontal and the camera is displaced). In the case of FIG. 5, the road surface R is inclined at an angle θ, and the
図6は、本発明の実施の形態の図5の場合の撮影画像の例を示す図である。図4に示すように、本来であれば、路面Rが角度θで傾いているので、構造物Sは、撮影画像内において角度θで傾いているはずであるが、図6の場合にはさらにカメラ13が角度εで傾いているので、撮影画像内における構造物Sの傾きはθ+εとなる。
FIG. 6 is a diagram illustrating an example of a captured image in the case of FIG. 5 according to the embodiment of the present invention. As shown in FIG. 4, since the road surface R is originally inclined at the angle θ, the structure S should be inclined at the angle θ in the captured image. However, in the case of FIG. Since the
以上のように、姿勢算出部20は、IMU11の測定値に基づいて車両の姿勢(即ち、ロール角)を算出し、ジャイロセンサ12の測定値に基づいて車両の姿勢(即ち、ロール角)を算出し、カメラ13の測定値(即ち、撮影画像)に基づいて車両の姿勢(即ち、ロール角)を算出する。
As described above, the
このように、IMU11と、当該IMU11からの情報に基づいて車両の姿勢を算出する姿勢算出部20とによって、車両の姿勢を測定する1つの測定手段が構成され、ジャイロセンサ12と、当該ジャイロセンサ12からの情報に基づいて車両の姿勢を算出する姿勢算出部20とによって、車両の姿勢を測定する他の測定手段が構成され、カメラ13と、当該カメラ13から入力される情報に基づいて車両の姿勢を算出する姿勢算出部20とによって、車両の姿勢を測定するさらに他の測定手段が構成される。
As described above, the IMU 11 and the
これらの3つの測定手段は、いずれも車両の同種の姿勢として同じ軸周りの車両の角度を測定するものである。具体的には、本実施の形態の場合には、3つの測定手段は、それぞれ、車両の同種の姿勢として、車両Cの前後方向に延びる軸周りの回転角、即ち、ロール角を測定する。 All of these three measuring means measure the angle of the vehicle around the same axis as the same kind of posture of the vehicle. Specifically, in the case of the present embodiment, each of the three measuring units measures the rotation angle around the axis extending in the front-rear direction of the vehicle C, that is, the roll angle, as the same kind of posture of the vehicle.
なお、本実施の形態では、1つの姿勢算出部20が3つのセンサ10のすべてについて、センサ10の測定値に基づく姿勢の算出を行ったが、これに代えて、センサ10ごとに、センサ10の測定値に基づいて車両の姿勢を算出する手段を設けてもよい。あるいは、それぞれのセンサ10が上記の姿勢算出部20の機能を備え、車両の姿勢を出力してもよい。この場合にはセンサ10で測定手段が構成される。
In the present embodiment, one
以上のように、センサ10と姿勢算出部20からなる測定手段は、車両の同種の姿勢として、IMU11からの情報に基づく姿勢(即ち、ロール角)、ジャイロセンサ12からの情報に基づく姿勢(即ち、ロール角)、及びカメラ13からの情報に基づく姿勢(即ち、ロール角)をそれぞれ測定する。以下では、姿勢算出部20においてセンサ10の測定値から算出される姿勢を「観測姿勢」という。センサ10の軸がずれている場合には、観測姿勢は当該軸ずれ角を含んで算出される。
As described above, the measuring means including the
IMU11の測定値から算出される観測姿勢をθ1、ジャイロセンサ12の測定値から算出される観測姿勢をθ2、カメラ13の撮影画像から算出される観測姿勢をθ3とすると、これらは、真値θに加えて、センサ10の観測ノイズΔθ及び軸ずれ角εを含んでいる可能性があり、一般的には以下の式(1)〜(3)で表現される。
θ1=θ+Δθ1+ε1 …(1)
θ2=θ+Δθ2+ε2 …(2)
θ3=θ+Δθ3+ε3 …(3)
Assuming that the observation posture calculated from the measurement value of the IMU 11 is θ1, the observation posture calculated from the measurement value of the
θ1 = θ + Δθ1 + ε1 (1)
θ2 = θ + Δθ2 + ε2 (2)
θ3 = θ + Δθ3 + ε3 (3)
姿勢算出部20は、算出した観測姿勢θ1〜θ3を差分算出部30及び保持部40に出力する。
The
差分算出部30は、姿勢算出部20で得られた3つの観測姿勢のそれぞれの差分を算出する。具体的には、差分算出部30は、IMU11からの情報に基づく観測姿勢θ1とジャイロセンサ12からの情報に基づく観測姿勢θ2との差分(θ1−θ2)を算出し、ジャイロセンサ12からの情報に基づく観測姿勢θ2とカメラ13からの情報に基づく観測姿勢θ3との差分(θ2−θ3)を算出し、カメラ13からの情報に基づく観測姿勢θ3とIMU11からの情報に基づく観測姿勢θ1との差分(θ3−θ1)を算出する。
The
差分算出部30は、算出した3つの差分をその時刻情報とともに保持部40に出力する。保持部40は、3つの差分とその時刻情報とを関連付けて記憶する。
The
故障検知部50は、保持部40に記憶された差分を読み出して、故障が生じているセンサ10を故障センサ10´として特定する。具体的には、故障検知部50は、他の2つのセンサ10から算出された姿勢と異なる姿勢が算出された1つのセンサ10を故障センサ10´として特定する。
The
故障検知部50は、一時刻に得られた観測姿勢(即ち、瞬時値)の差分のみではなく、一定の時間幅で得られた複数の観測姿勢の差分の平均値(即ち、時間平均)をとることにより、3つの観測姿勢のそれぞれの差分を算出する。すなわち、差分算出部30は、所定の時間内の差分を統計的に処理することで、観測ノイズの影響を小さくして軸ずれの影響による差分を求める。故障検知部50は、最新の差分を含み、最新の差分から過去に所定の時間だけ遡った時点までの複数の差分の平均を時間平均として算出する。
The
いずれのセンサ10にも軸ずれが生じておらず、軸調が完全な場合には、式(1)〜(3)の軸ずれ角ε1、ε2、ε3はいずれも0になる。また、式(1)〜(3)の観測ノイズΔθ1、Δθ2、Δθ3は、時間に独立であるので、これらの時間平均は0とみなすことができる。
If any
いま、軸ずれがない(即ち、ε1=0、ε2=0、ε3=0)場合には、差分(θ1−θ2)(=θ+Δθ1+ε1−(θ+Δθ2+ε2))は、時間平均をとると、Δθ1−Δθ2の成分は0になるので、θ−θ=0となる。差分(θ2−θ3)及び差分(θ3−θ1)についても同様に、軸ずれがない場合には、時間平均をとると0になる。 Now, when there is no axis deviation (that is, when ε1 = 0, ε2 = 0, ε3 = 0), the difference (θ1-θ2) (= θ + Δθ1 + ε1- (θ + Δθ2 + ε2)) is Δθ1-Δθ2 when taking a time average. Since this component becomes 0, θ−θ = 0. Similarly, for the difference (θ2−θ3) and the difference (θ3−θ1), when there is no axis shift, the time average is 0.
図7は、本発明の実施の形態の観測姿勢の差分(軸ずれがない場合)を説明する図である。図7(a)は、IMU11とジャイロセンサ12との間の観測姿勢の差分(θ1−θ2)を示しており、図7(b)は、ジャイロセンサ12とカメラ13との間の観測姿勢の差分(θ2−θ3)を示しており、図7(c)は、カメラ13とIMU11との間の観測姿勢の差分(θ3−θ1)を示している。図7の例では、いずれのセンサ10にも軸ずれが生じていない(即ち、ε1=0、ε2=0、ε3=0)場合を示している。
FIG. 7 is a diagram for explaining the difference in observation posture (when there is no axis deviation) according to the embodiment of the present invention. 7A shows the difference (θ1−θ2) in the observation posture between the IMU 11 and the
図7に示すように、一時刻の差分(即ち、瞬時値)を見ると、各センサ10にランダムに生じる観測ノイズのため必ずしも差分は0にはなっていないが、時間平均をとると、軸ずれがない場合には、ランダムに生じる観測ノイズが互いに相殺されて、差分は平均値としては0になる。
As shown in FIG. 7, when the difference at one time (that is, the instantaneous value) is viewed, the difference is not necessarily 0 due to observation noise that occurs randomly in each
一方、軸ずれが生じている場合には、各差分の時間平均をとると、観測ノイズが互いに相殺されて軸ずれの影響εが残ることになる。例えば、IMU11に軸ずれε1が生じているとすると、差分(θ1−θ2)の時間平均はε1となり、差分(θ2−θ3)の時間平均は0となり、差分(θ3−θ1)の時間平均は−ε1となる。このように、差分(θ1−θ2)の時間平均はε1であり、かつ、差分(θ3−θ1)の時間平均は−ε1であることから、θ1にε1のずれが生じていることが分かる。 On the other hand, when an axis deviation has occurred, taking the time average of each difference, the observation noises cancel each other, and the influence ε of the axis deviation remains. For example, if an axis deviation ε1 occurs in the IMU 11, the time average of the difference (θ1-θ2) is ε1, the time average of the difference (θ2-θ3) is 0, and the time average of the difference (θ3-θ1) is -Ε1. Thus, since the time average of the difference (θ1−θ2) is ε1 and the time average of the difference (θ3−θ1) is −ε1, it can be seen that a shift of ε1 occurs in θ1.
図8は、本発明の実施の形態の観測姿勢の差分(軸ずれがある場合)を説明する図である。図7に例と同様に、図8(a)は、IMU11とジャイロセンサ12との間の観測姿勢の差分(θ1−θ2)を示しており、図8(b)は、ジャイロセンサ12とカメラ13との間の観測姿勢の差分(θ2−θ3)を示しており、図8(c)は、カメラ13とIMU11との間の姿勢の観測差分(θ3−θ1)を示している。図8の例では、ジャイロセンサ12に軸ずれが生じている場合を示している。
FIG. 8 is a diagram illustrating the difference in observation posture (when there is an axis deviation) according to the embodiment of this invention. Similar to the example in FIG. 7, FIG. 8A shows the difference (θ1−θ2) in the observation posture between the IMU 11 and the
ジャイロセンサ12に軸ずれが生じると、図8(a)に示すIMU11とジャイロセンサ12との間の観測姿勢の差分は0にはならず、図8(b)に示すジャイロセンサ12とカメラ13との間の観測姿勢の差分も0にはならない。このことから、ジャイロセンサ12に軸ずれが生じていることが分かる。
When an axis deviation occurs in the
故障検知部50は、特定した故障センサ10´及びその軸ずれ角εの情報を姿勢推定部60及び画像補正部70に出力する。姿勢推定部60は、姿勢算出部20で算出された観測姿勢(即ち、ロール角)θ1、θ2、θ3と、故障センサ10´及びその軸ずれ角εの情報とに基づいて、車両の姿勢の真値θを推定する。このとき、姿勢推定部60は、保持部40に保持されている一定時間幅の複数の観測姿勢θ1、θ2、θ3を読み出して、それぞれの時間平均をとって、各センサ10の観測姿勢θ1、θ2、θ3とする。
The
姿勢推定部60は、いずれのセンサ10にも軸ずれがない場合には、観測姿勢θ1、θ2、θ3のいずれか、あるいはそれらの平均を真値θであると推定する。姿勢推定部60は、いずれかのセンサ10に軸ずれεがある場合には、軸ずれεを打ち消すようにその故障センサ10´の観測姿勢を補正して、補正された後の観測姿勢を用いて真値θを推定する。あるいは、姿勢推定部60は、いずれかのセンサ10に軸ずれがある場合には、当該故障センサ10´の観測姿勢を無視して、軸ずれが生じていないセンサ10の観測姿勢のみを用いて姿勢の真値θを推定してもよい。
The
画像補正部70は、故障検知部50から、カメラ13が故障センサ10´として特定された旨の情報を受けた場合には、撮影画像をカメラ13の軸ずれ角ε3に基づいて補正する。この軸ずれ角ε3は、故障検知部50において姿勢の差分(θ2−θ3)(=−ε3)及び/又は姿勢の差分(θ3−θ1)(=ε3)から求められたものである。
When receiving information from the
図9は、本発明の実施の形態の車両姿勢推定のフロー図である。まず、各センサ10がセンシングを行って測定値を取得する(ステップS91)。姿勢算出部20は、各センサ10の測定値に基づいて車両の観測姿勢を算出して保持部40に保存する(ステップS92)。差分算出部30は、同一時刻の各観測姿勢どうしの差分を算出して保持部40に保存する(ステップS93)。
FIG. 9 is a flowchart of vehicle posture estimation according to the embodiment of the present invention. First, each
故障検知部50は、各差分に基づいて故障センサ10´を検知し、その軸ずれ角εを求める(ステップS94)。故障検知部50は、故障センサ10´がない場合には(ステップS95にてNO)、保持部40に保持された各観測姿勢の時間平均を取って姿勢の真値を推定する(ステップS96)。故障検知部50は、故障センサ10´がある場合には(ステップS95にてYES)、故障センサ10´の観測姿勢を補正した上で(ステップS97)、姿勢の真値を推定する(ステップS96)。
The
以上説明したように、本発明の実施の形態の故障検知システムによれば、車両の同種の姿勢を測定する少なくとも3つの測定手段を備えていればセンサの故障を検知することができ、本実施の形態の車両姿勢推定システムによれば、車両の同種の姿勢を測定する少なくとも3つの測定手段を備えていれば、いずれかのセンサが故障していた場合にも車両の姿勢を正しく推定できる。 As described above, according to the failure detection system of the embodiment of the present invention, a sensor failure can be detected if at least three measuring means for measuring the same kind of posture of the vehicle are provided. According to the vehicle posture estimation system of this form, if at least three measuring means for measuring the same kind of posture of the vehicle are provided, the posture of the vehicle can be correctly estimated even if any of the sensors has failed.
なお、上記の実施の形態では、姿勢算出部20は、IMU11、ジャイロセンサ12、カメラ13の測定値に基づいて、車両の同種の姿勢として車両のロール角を算出したが、カメラ13の光軸が車両の左右方向を向いている場合には、撮影画像に基づいて車両のピッチ角を測定することができる。この場合には、さらに2つ以上ピッチ角を算出できるセンサ10を備えることで、車両の同種の姿勢として車両のピッチ角を測定できる3つ以上の測定手段を構成することができる。
In the above embodiment, the
また、3つ以上の測定手段にて測定される同種の姿勢において、一部の測定手段について固定(即ち、既知)のバイアスないしオフセットが存在していてもよい。この場合には、姿勢算出部20及び/又は差分算出部30において、バイアスないしオフセットを考慮することで、軸ずれがない場合には差分の時間平均を0にすることができ、本発明を適用可能である。
Further, in the same kind of posture measured by three or more measuring means, a fixed (that is, known) bias or offset may exist for some measuring means. In this case, the
また、上記の実施の形態では、センサ10の一つをカメラ13にしたが、本発明はこれに限られず、3つ以上のジャイロセンサで3つ以上の測定手段を構成してもよく、2つ以上のカメラで3つ以上の測定手段を構成してもよい。
In the above-described embodiment, one of the
また、上記の実施の形態では、各時刻の差分を求めて得られた複数の差分の時間平均をとったが、これに代えて、差分算出部30は、各センサ10について姿勢の時間平均をとった後にそれらの差分を求めてもよい。また、差分ないし姿勢の時間平均をとる代わりに、差分ないし姿勢の累積値を用いて統計的に処理してもよい。
In the above embodiment, the time average of a plurality of differences obtained by calculating the difference at each time is taken. Instead, the
11 IMU、12 ジャイロセンサ、13 カメラ、20 姿勢算出部、
30 差分算出部、40 保持部、50 故障検知部、60 姿勢推定部、
70 画像補正部、131 視野、132 垂直軸
11 IMU, 12 gyro sensor, 13 camera, 20 attitude calculation unit,
30 difference calculation unit, 40 holding unit, 50 failure detection unit, 60 posture estimation unit,
70 Image correction unit, 131 field of view, 132 vertical axis
Claims (13)
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、
前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を故障測定手段として特定する故障特定手段(50)と、
を備えた、故障検知システム。 Three or more measuring means (10, 20) for measuring the same kind of posture of the vehicle,
Difference calculating means (30) for calculating a difference between the postures respectively measured by the three or more measuring means;
A failure that identifies, as a failure measurement unit, the measurement unit that measures the posture having a difference with respect to the posture measured by the plurality of other measurement units among the three or more measurement units based on the difference. Identifying means (50);
A failure detection system.
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、
前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分算出手段で算出された差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)と、
を備えた車両姿勢推定システム。 Three or more measuring means (10, 20) for measuring the same kind of posture of the vehicle,
Difference calculating means (30) for calculating a difference between the postures respectively measured by the three or more measuring means;
Attitude estimation means (60) for estimating the attitude of the vehicle based on the attitude measured by the three or more measurement means and the difference calculated by the difference calculation means;
A vehicle posture estimation system.
前記姿勢推定手段は、前記故障測定手段が測定した姿勢を補正する、
請求項9に記載の車両姿勢推定システム。 A failure that identifies, as a failure measurement unit, the measurement unit that measures the posture having a difference with respect to the posture measured by the plurality of other measurement units among the three or more measurement units based on the difference. Further comprising a specifying means (50),
The posture estimating means corrects the posture measured by the failure measuring means;
The vehicle posture estimation system according to claim 9.
前記姿勢推定手段は、前記故障測定手段が測定した姿勢を無視して前記車両の姿勢を推定する、
請求項9に記載の車両姿勢推定システム。 A failure that identifies, as a failure measurement unit, the measurement unit that measures the posture having a difference with respect to the posture measured by the plurality of other measurement units among the three or more measurement units based on the difference. Further comprising a specifying means (50),
The attitude estimation means estimates the attitude of the vehicle ignoring the attitude measured by the failure measurement means;
The vehicle posture estimation system according to claim 9.
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び
前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を特定する故障特定手段(50)、
として機能させる、故障検知プログラム。 A failure detection program for detecting the measurement means that has failed from the postures respectively measured by three or more measurement means that measure the same kind of posture of the vehicle by being executed in the arithmetic processing device, Equipment
Difference calculating means (30) for calculating the difference between the postures respectively measured by the three or more measuring means, and a plurality of other measurements of the three or more measuring means based on the difference A fault identification unit (50) for identifying the measurement unit that has measured a posture having a difference from the posture measured by the unit;
Failure detection program that functions as
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び
前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)、
として機能させる、車両姿勢推定プログラム。 A vehicle attitude estimation program for estimating the attitude of a vehicle from the attitudes respectively measured by three or more measuring means for measuring the same kind of attitude of the vehicle by being executed in the arithmetic processing apparatus, wherein the arithmetic processing apparatus The
A difference calculating means (30) for calculating a difference between the postures measured by the three or more measuring means; and a posture of the vehicle based on the posture and the difference respectively measured by the three or more measuring means. Posture estimation means (60) for estimating the posture;
As a vehicle posture estimation program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090124A JP6835032B2 (en) | 2018-05-08 | 2018-05-08 | Failure detection system and program, and vehicle attitude estimation system and program |
PCT/JP2019/015110 WO2019216075A1 (en) | 2018-05-08 | 2019-04-05 | Breakdown detecting system and program, and vehicle orientation estimating system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090124A JP6835032B2 (en) | 2018-05-08 | 2018-05-08 | Failure detection system and program, and vehicle attitude estimation system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019196945A true JP2019196945A (en) | 2019-11-14 |
JP6835032B2 JP6835032B2 (en) | 2021-02-24 |
Family
ID=68467979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090124A Active JP6835032B2 (en) | 2018-05-08 | 2018-05-08 | Failure detection system and program, and vehicle attitude estimation system and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6835032B2 (en) |
WO (1) | WO2019216075A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002053024A (en) * | 2000-08-09 | 2002-02-19 | Unisia Jecs Corp | Vehicle behavior detecting device |
JP2014015914A (en) * | 2012-07-11 | 2014-01-30 | Toyota Motor Corp | Abnormality determination device of pm sensor |
JP2014054871A (en) * | 2012-09-11 | 2014-03-27 | Toyota Motor Corp | Sensor device |
JP2015058915A (en) * | 2013-09-20 | 2015-03-30 | 本田技研工業株式会社 | Vehicular roll angle estimation device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5962689B2 (en) * | 2014-02-14 | 2016-08-03 | トヨタ自動車株式会社 | Autonomous mobile body and failure determination method thereof |
-
2018
- 2018-05-08 JP JP2018090124A patent/JP6835032B2/en active Active
-
2019
- 2019-04-05 WO PCT/JP2019/015110 patent/WO2019216075A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002053024A (en) * | 2000-08-09 | 2002-02-19 | Unisia Jecs Corp | Vehicle behavior detecting device |
JP2014015914A (en) * | 2012-07-11 | 2014-01-30 | Toyota Motor Corp | Abnormality determination device of pm sensor |
JP2014054871A (en) * | 2012-09-11 | 2014-03-27 | Toyota Motor Corp | Sensor device |
JP2015058915A (en) * | 2013-09-20 | 2015-03-30 | 本田技研工業株式会社 | Vehicular roll angle estimation device |
Also Published As
Publication number | Publication date |
---|---|
WO2019216075A1 (en) | 2019-11-14 |
JP6835032B2 (en) | 2021-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11009436B2 (en) | Rigidity measurement apparatus and rigidity measurement method | |
US8978439B1 (en) | System and apparatus for the alignment of multi-aperture systems | |
JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
JP6601352B2 (en) | Vehicle posture estimation device | |
US20160117824A1 (en) | Posture estimation method and robot | |
EP1936465B1 (en) | Travel angle detection system for mobile object | |
JP2009074859A (en) | Motion measuring device and position measuring device | |
JP4802967B2 (en) | Vehicle wheel center position measuring device by image processing | |
CN107613867B (en) | Action display system and recording medium | |
WO2011158886A1 (en) | Information processing apparatus and processing method thereof | |
JP2013002884A (en) | Distance measuring device | |
KR102087378B1 (en) | Optical detection of bending motions of a flexible display | |
JP6835032B2 (en) | Failure detection system and program, and vehicle attitude estimation system and program | |
JP2019007739A (en) | Self position estimation method and self position estimation device | |
JP5425500B2 (en) | Calibration apparatus and calibration method | |
JP4026641B2 (en) | Object detection apparatus and object detection method | |
JP7152285B2 (en) | Electronics, correction methods and programs | |
JP7139597B2 (en) | SELF-LOCATION ERROR ESTIMATION DEVICE AND SELF-LOCATION ERROR ESTIMATION METHOD | |
JP2018125706A (en) | Imaging apparatus | |
KR101183645B1 (en) | System for measuring attitude of aircraft using camera and method therefor | |
CN108413970B (en) | Positioning method, cloud system, electronic equipment and computer program product | |
Ogata et al. | A robust position and posture measurement system using visual markers and an inertia measurement unit | |
EP3002553B1 (en) | High rate rotation sensing | |
JP2020046243A (en) | Altitude measuring device, flying vehicle, altitude measuring method, and program | |
JP6440406B2 (en) | Stride measurement system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6835032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |