JP2019196945A - Failure detection system and program, and vehicle attitude estimation system and program - Google Patents

Failure detection system and program, and vehicle attitude estimation system and program Download PDF

Info

Publication number
JP2019196945A
JP2019196945A JP2018090124A JP2018090124A JP2019196945A JP 2019196945 A JP2019196945 A JP 2019196945A JP 2018090124 A JP2018090124 A JP 2018090124A JP 2018090124 A JP2018090124 A JP 2018090124A JP 2019196945 A JP2019196945 A JP 2019196945A
Authority
JP
Japan
Prior art keywords
posture
vehicle
difference
failure
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018090124A
Other languages
Japanese (ja)
Other versions
JP6835032B2 (en
Inventor
宏祐 北浦
Hirosuke Kitaura
宏祐 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018090124A priority Critical patent/JP6835032B2/en
Priority to PCT/JP2019/015110 priority patent/WO2019216075A1/en
Publication of JP2019196945A publication Critical patent/JP2019196945A/en
Application granted granted Critical
Publication of JP6835032B2 publication Critical patent/JP6835032B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects

Abstract

To determine failed measuring means, of three pieces of measuring means, even when there are the three pieces of measuring means for estimating the attitude of a vehicle.SOLUTION: The failure detection system includes: three or more sensors 10 for measuring the same type of attitudes of a vehicle C; an attitude calculation unit 20 for calculating the attitude of the vehicle C on the basis of the measured values of the sensors 10; a difference calculation unit 30 for calculating the difference between the attitudes measured respectively by the three or more sensors 10; and a failure detection unit 50. On the basis of the difference, the failure detection unit determines, as a failed sensor 10', a sensor 10 that has calculated the attitude having a difference from the attitude calculated on the basis of the measured values by the other plurality of sensors 10, of the three or more sensors 10.SELECTED DRAWING: Figure 1

Description

本発明は、測定手段の故障を検知する故障検知システム及びプログラム、並びに測定手段を用いて車両の姿勢を推定する車両姿勢推定システム及びプログラムに関する。   The present invention relates to a failure detection system and program for detecting a failure of a measuring means, and a vehicle posture estimation system and program for estimating the posture of a vehicle using the measuring means.

車両において、自動運転、運転アシスト、車両制御を行うために、車両の姿勢(例えば、ロール角、ピッチ角、ヨー角)を推定する必要がある。このために、車両には車両の姿勢に応じた物理量を測定してその測定値を出力するセンサが設けられる。例えば、車両の姿勢を測定するにジャイロセンサが用いられ、ジャイロセンサの測定値に基づいて車両の姿勢が推定される。   In order to perform automatic driving, driving assistance, and vehicle control in a vehicle, it is necessary to estimate the posture of the vehicle (eg, roll angle, pitch angle, yaw angle). For this purpose, the vehicle is provided with a sensor that measures a physical quantity according to the attitude of the vehicle and outputs the measured value. For example, a gyro sensor is used to measure the attitude of the vehicle, and the attitude of the vehicle is estimated based on the measurement value of the gyro sensor.

このようなセンサに故障が生じた場合には車両の正確な姿勢を推定することができなくなるため、センサに故障が生じた場合にはそれを検知する必要がある。特許文献1には、車両の姿勢推定のために車両に4つのジャイロセンサを取り付けて、それらで取得された角速度をそれぞれ比較することで、ジャイロセンサの故障を検知する方法が開示されている。具体的には、特許文献1の方法では、正四角錐(ピラミッド形)の支持台の4つの斜面にそれぞれジャイロセンサを設置することで、いずれかのジャイロセンサの故障を検知して、正しい角速度又は角度を測定する。   When a failure occurs in such a sensor, it is impossible to estimate an accurate posture of the vehicle. Therefore, when a failure occurs in the sensor, it is necessary to detect it. Patent Document 1 discloses a method of detecting a failure of a gyro sensor by attaching four gyro sensors to the vehicle for estimating the attitude of the vehicle and comparing the angular velocities acquired by them. Specifically, in the method of Patent Document 1, by installing a gyro sensor on each of four slopes of a support base of a regular quadrangular pyramid (pyramid shape), a failure of any one of the gyro sensors is detected, and a correct angular velocity or Measure the angle.

特開2005−221284号公報JP 2005-221284 A

しかしながら、特許文献1に記載の方法によれば、3つのジャイロセンサだけでは、一部のジャイロセンサに故障が生じた場合にその方向の角速度を測定することができない(特許文献1の0029段落参照)。   However, according to the method described in Patent Document 1, it is not possible to measure the angular velocity in the direction when some of the gyro sensors fail with only three gyro sensors (see paragraph 0029 of Patent Document 1). ).

そこで、本発明は、車両の姿勢を推定するための測定手段が3つである場合にも、それらのうちの故障している測定手段を特定できる故障検知システム及びプログラム、並びに3つの測定手段のうちのいずれかが故障していても車両の姿勢を推定できる車両姿勢推定システム及びプログラムを提供することを目的とする。   Therefore, the present invention provides a fault detection system and program capable of identifying a faulty measurement unit, even when there are three measurement units for estimating the attitude of the vehicle, and three measurement units. It is an object of the present invention to provide a vehicle attitude estimation system and program capable of estimating the attitude of a vehicle even if any of them is out of order.

上記目的を達成するために、本発明の第1の態様は、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段(10、20)と、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を故障測定手段として特定する故障特定手段(50)とを備えた故障検知システムである。   In order to achieve the above object, the first aspect of the present invention is measured by three or more measuring means (10, 20) for measuring the same kind of posture of the vehicle, respectively, and the three or more measuring means. Difference calculation means (30) for calculating the difference between the postures, and based on the difference, a difference is calculated with respect to the postures measured by the plurality of other measurement means among the three or more measurement means. It is a fault detection system provided with the fault specification means (50) which specifies the said measurement means which measured the attitude | position which it has as a fault measurement means.

本発明の第2の態様は、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段(10、20)と、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分算出手段で算出された差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)とを備えた車両姿勢推定システムである。   In the second aspect of the present invention, three or more measuring means (10, 20) for measuring the same kind of attitude of the vehicle, respectively, and the difference between the attitudes respectively measured by the three or more measuring means are calculated. Difference calculating means (30) and attitude estimating means (60) for estimating the attitude of the vehicle based on the attitude measured by each of the three or more measuring means and the difference calculated by the difference calculating means. A vehicle attitude estimation system provided.

本発明の第3の態様は、演算処理装置において実行されることで、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段でそれぞれ測定された姿勢から故障した前記測定手段を検知する故障検知プログラムであって、前記演算処理装置を、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を特定する故障特定手段(50)として機能させる故障検知プログラムである。   According to a third aspect of the present invention, there is provided a failure for detecting the measurement means that has failed from the postures respectively measured by three or more measurement means that measure the same kind of posture of the vehicle by being executed in the arithmetic processing unit. A detection program, wherein the arithmetic processing unit is configured to calculate a difference between the postures respectively measured by the three or more measuring units, and based on the difference, the three or more It is a failure detection program that functions as a failure identification unit (50) that identifies the measurement unit that has measured a posture having a difference with respect to the posture measured by the plurality of other measurement units.

本発明の第4の態様は、演算処理装置において実行されることで、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段でそれぞれ測定された姿勢から車両の姿勢を推定する車両姿勢推定プログラムであって、前記演算処理装置を、前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)として機能させる車両姿勢推定プログラムである。   According to a fourth aspect of the present invention, a vehicle attitude estimation is executed in the arithmetic processing unit to estimate the attitude of the vehicle from the attitudes respectively measured by three or more measuring units that measure the same kind of attitude of the vehicle. It is a program, and the arithmetic processing unit is measured by a difference calculating means (30) for calculating a difference in the posture measured by the three or more measuring means, and by the three or more measuring means, respectively. A vehicle posture estimation program that functions as posture estimation means (60) for estimating the posture of the vehicle based on the posture and the difference.

図1は、本発明の実施の形態の車両姿勢推定システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a vehicle attitude estimation system according to an embodiment of the present invention. 図2は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平の場合)を示す図である。FIG. 2 is a diagram illustrating a relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is horizontal). 図3は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平から傾いている場合)を示す図である。FIG. 3 is a diagram showing the relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is inclined from the horizontal). 図4は、本発明の実施の形態の路面が傾いている場合の撮影画像の例を示す図である。FIG. 4 is a diagram illustrating an example of a captured image when the road surface according to the embodiment of the present invention is inclined. 図5は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平から傾いており、かつ、カメラがずれている場合)を示す図である。FIG. 5 is a diagram showing a relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is inclined from the horizontal and the camera is displaced). 図6は、本発明の実施の形態の図5の場合の撮影画像の例を示す図である。FIG. 6 is a diagram illustrating an example of a captured image in the case of FIG. 5 according to the embodiment of the present invention. 図7は、本発明の実施の形態の観測姿勢の差分(軸ずれがない場合)を説明する図である。FIG. 7 is a diagram for explaining the difference in observation posture (when there is no axis deviation) according to the embodiment of the present invention. 図8は、本発明の実施の形態の観測姿勢の差分(軸ずれがある場合)を説明する図である。FIG. 8 is a diagram illustrating the difference in observation posture (when there is an axis deviation) according to the embodiment of this invention. 図9は、本発明の実施の形態の車両姿勢推定のフロー図である。FIG. 9 is a flowchart of vehicle posture estimation according to the embodiment of the present invention.

以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, embodiment described below shows an example in the case of implementing this invention, Comprising: This invention is not limited to the specific structure demonstrated below. In carrying out the present invention, a specific configuration according to the embodiment may be adopted as appropriate.

図1は、本発明の実施の形態の車両姿勢推定システムの構成を示すブロック図である。車両姿勢推定システム100は、車両において構成され、IMU(Inertial Measurement Unit:慣性計測ユニット)11、ジャイロセンサ12、及びカメラ13(以下、総称して「センサ10」という。)を備えている。これらのセンサ10は、いずれも車両の姿勢を表す物理量を計測して、当該物理量を表す情報を出力するものである。   FIG. 1 is a block diagram showing a configuration of a vehicle attitude estimation system according to an embodiment of the present invention. The vehicle attitude estimation system 100 is configured in a vehicle and includes an IMU (Inertial Measurement Unit) 11, a gyro sensor 12, and a camera 13 (hereinafter collectively referred to as "sensor 10"). Each of these sensors 10 measures a physical quantity representing the attitude of the vehicle and outputs information representing the physical quantity.

IMU11は、角速度と加速度を検出するためのセンサ群を1つにまとめたセンサである。具体的には、IMU11は、3つのジャイロセンサと3つの加速度センサを含み、測定値として車両の3軸周り(即ち、ロール、ピッチ、ヨー)の角速度及び3軸方向(即ち、前後方向、上下方向、左右方向)の加速度を出力する。IMU11は、さらにジャイロセンサや加速度センサのバイアス誤差を補正するために、地磁気センサや傾斜センサ、GPSを備えていてもよい。   The IMU 11 is a sensor in which sensor groups for detecting angular velocity and acceleration are combined into one. Specifically, the IMU 11 includes three gyro sensors and three acceleration sensors, and the measured values are angular velocities around the three axes of the vehicle (that is, roll, pitch, yaw) and three axis directions (that is, the front-rear direction, the upper and lower directions). Direction, left and right). The IMU 11 may further include a geomagnetic sensor, an inclination sensor, and a GPS in order to correct a bias error of the gyro sensor or the acceleration sensor.

ジャイロセンサ12は、IMU11とは別体として設けられた単体のセンサである。ジャイロセンサ12の軸は車両の前後方向を向いており、ジャイロセンサ12は測定値としてロール角の角速度を出力する。   The gyro sensor 12 is a single sensor provided separately from the IMU 11. The axis of the gyro sensor 12 faces the front-rear direction of the vehicle, and the gyro sensor 12 outputs the angular velocity of the roll angle as a measurement value.

カメラ13は、光軸が車両の前後方向を向き、かつ、垂直軸が車両の上下方向と一致するように、車両に固定される。カメラ13は、車両前方の画像を撮影する。カメラ13は、測定値として、撮影によって得られた画像(以下、「撮影画像」という。)を出力する。   The camera 13 is fixed to the vehicle such that the optical axis faces the vehicle front-rear direction and the vertical axis coincides with the vehicle vertical direction. The camera 13 captures an image in front of the vehicle. The camera 13 outputs an image obtained by photographing (hereinafter referred to as “captured image”) as a measurement value.

車両姿勢推定システム100は、さらに、姿勢算出部20と、差分算出部30と、保持部40と、故障検知部50と、姿勢推定部60と、画像補正部70とを備えている。姿勢算出部20、差分算出部30、故障検知部50、姿勢推定部60、及び画像補正部70は、プロセッサ等の演算処理装置が所定のプログラムを実行することで実現されて、以下に説明する動作を実行する。また、保持部40は、演算処理装置からアクセス可能なメモリ等の記憶装置を含んで構成される。   The vehicle posture estimation system 100 further includes a posture calculation unit 20, a difference calculation unit 30, a holding unit 40, a failure detection unit 50, a posture estimation unit 60, and an image correction unit 70. The posture calculation unit 20, the difference calculation unit 30, the failure detection unit 50, the posture estimation unit 60, and the image correction unit 70 are realized by an arithmetic processing device such as a processor executing a predetermined program, which will be described below. Perform the action. The holding unit 40 includes a storage device such as a memory accessible from the arithmetic processing device.

なお、姿勢算出部20、差分算出部30、故障検知部50、姿勢推定部60、及び画像補正部70は、1つのプロセッサで実現されてもよいし、複数のプロセッサで実現されてもよい。また、保持部40も、複数の記憶装置からなっていてもよい。   Note that the posture calculation unit 20, the difference calculation unit 30, the failure detection unit 50, the posture estimation unit 60, and the image correction unit 70 may be realized by one processor or a plurality of processors. The holding unit 40 may also be composed of a plurality of storage devices.

また、車両姿勢推定システム100において、センサ10と、姿勢算出部20と、差分算出部30と、保持部40と、故障検知部50とで故障検知システム101が構成される。後述するように、故障検知部50は、故障検知システム101の出力として故障センサ10´を特定する情報及びその故障センサ10´の軸ずれ角εの情報を出力し、姿勢推定部60はそれらの情報を用いて車両の姿勢を推定し、画像補正部70はそれらの情報を用いて画像を補正するが、故障検知システム101の出力の用途はこれらに限られない。   Further, in the vehicle posture estimation system 100, the failure detection system 101 is configured by the sensor 10, the posture calculation unit 20, the difference calculation unit 30, the holding unit 40, and the failure detection unit 50. As will be described later, the failure detection unit 50 outputs information for specifying the failure sensor 10 ′ and information on the axis deviation angle ε of the failure sensor 10 ′ as an output of the failure detection system 101, and the posture estimation unit 60 The posture of the vehicle is estimated using the information, and the image correction unit 70 corrects the image using the information, but the use of the output of the failure detection system 101 is not limited to these.

姿勢算出部20は、各センサ10から出力される情報に基づいて、車両の姿勢を算出する。具体的には、姿勢算出部20は、IMU11から車両のピッチ角、ロール角、ヨー角の角速度、及び前後方向、左右方向、上下方向の加速度を取得して、これらに基づいて、車両のピッチ角、ロール角、ヨー角を算出する。姿勢推定部20は、例えばロール角については、IMU11から取得したロール角の角速度を積分することで、現在の車両のロール角を算出する。   The attitude calculation unit 20 calculates the attitude of the vehicle based on information output from each sensor 10. Specifically, the attitude calculation unit 20 acquires the vehicle pitch angle, roll angle, yaw angular velocity, and longitudinal, lateral, and vertical accelerations from the IMU 11, and based on these, the vehicle pitch angle The angle, roll angle, and yaw angle are calculated. For example, for the roll angle, the posture estimation unit 20 calculates the current roll angle of the vehicle by integrating the angular velocity of the roll angle acquired from the IMU 11.

また、姿勢算出部20は、ジャイロセンサ12から出力されるロール角の角速度に基づいて、車両のロール角を算出する。具体的には、姿勢算出部20は、ジャイロセンサ12から車両のロール角の角速度を取得して、これを積分することで現在の車両のロール角を算出する。さらに、姿勢算出部20は、カメラ13から出力される画像に基づいて、車両のロール角を算出する。   Further, the posture calculation unit 20 calculates the roll angle of the vehicle based on the angular velocity of the roll angle output from the gyro sensor 12. Specifically, the posture calculation unit 20 calculates the current roll angle of the vehicle by acquiring the angular velocity of the roll angle of the vehicle from the gyro sensor 12 and integrating the angular velocity. Further, the posture calculation unit 20 calculates the roll angle of the vehicle based on the image output from the camera 13.

図2は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平の場合)を示す図である。カメラ13は、上述のように、その上下方向(即ち、垂直軸132の方向)が車両Cの上下方向に一致するように、車両Cに取り付けられる。また、カメラ13の光軸は車両Cの前後方向を向いている。   FIG. 2 is a diagram illustrating a relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is horizontal). As described above, the camera 13 is attached to the vehicle C such that the vertical direction (that is, the direction of the vertical axis 132) coincides with the vertical direction of the vehicle C. Further, the optical axis of the camera 13 faces the front-rear direction of the vehicle C.

図2に示すように、カメラ13の視野131は長方形であり、その上辺及び下辺はいずれも現実空間の水平方向と平行であり、その左辺及び右辺は現実空間の鉛直方向(即ち、重力方向)R1と平行である。したがって、車両Cが傾きのない水平な路面Rを走行している場合には、撮影画像において、左右方向は現実空間の水平方向と一致しており、上下方向は現実空間の鉛直方向と一致している。   As shown in FIG. 2, the field of view 131 of the camera 13 is a rectangle, the upper side and the lower side are both parallel to the horizontal direction of the real space, and the left side and the right side are the vertical direction of the real space (that is, the direction of gravity). Parallel to R1. Therefore, when the vehicle C is traveling on a horizontal road surface R with no inclination, in the captured image, the left-right direction matches the horizontal direction of the real space, and the vertical direction matches the vertical direction of the real space. ing.

図3は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平から傾いている場合)を示す図である。図3に示すように、路面Rが水平から角度θだけ傾いていると、カメラ13の視野131及び垂直軸132は、鉛直軸R1に対して角度θだけ傾くことになる。しかしながら、構造物Sは、路面Rが傾いていたとしても、鉛直軸R1に沿って建てられている。姿勢算出部30は、このことを利用して撮影画像から車両の姿勢(即ち、ロール角)を算出する。   FIG. 3 is a diagram showing the relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is inclined from the horizontal). As shown in FIG. 3, when the road surface R is inclined from the horizontal by an angle θ, the field of view 131 and the vertical axis 132 of the camera 13 are inclined by the angle θ with respect to the vertical axis R1. However, the structure S is built along the vertical axis R1 even if the road surface R is inclined. The attitude calculation unit 30 uses this to calculate the attitude of the vehicle (that is, the roll angle) from the captured image.

図4は、本発明の実施の形態の路面が傾いている場合の撮影画像の例を示す図である。図4に示すように、路面Rが角度θだけ傾いている場合には、撮影画像において、鉛直方向に延びる部分を有する構造部Sにおける当該部分は角度θだけ傾いて映ることになる。このように鉛直方向に延びる部分を有する建造物Sとしては、例えばビル、ポール等がある。   FIG. 4 is a diagram illustrating an example of a captured image when the road surface according to the embodiment of the present invention is inclined. As shown in FIG. 4, when the road surface R is inclined by the angle θ, the portion in the structure portion S having a portion extending in the vertical direction appears to be inclined by the angle θ in the captured image. Examples of the building S having a portion extending in the vertical direction include a building and a pole.

姿勢算出部20は、撮影画像から車両のロール角を求めるために画像処理部としての機能を有する。画像処理部は、まず、撮影画像に対して画像処理を行うことで、画像のエッジを示すエッジ画像を生成する。画像処理部は、さらに、エッジ画像から所定の長さ以上の直線状のエッジを抽出し、その方向を求める。   The posture calculation unit 20 has a function as an image processing unit in order to obtain the roll angle of the vehicle from the captured image. The image processing unit first generates an edge image indicating an edge of the image by performing image processing on the captured image. The image processing unit further extracts a straight edge having a predetermined length or more from the edge image and obtains the direction thereof.

直線状のエッジの抽出方法としては、例えば、Hough変換(例えば、Ballard, D.H. 1981. Generalizing the Hough transform to detect arbitrary patterns. Pattern Recognition, 13(2):111-122.を参照)、LSD(Line Segment Detector)アルゴリズム(例えば、von Gioi, R.G., Jakubowicz, J., Morel, J.M., Randall, G.: LSD: a Line Segment Detector. Image Processing On Line (2012)を参照)を用いることができる。また、検出能力の向上のために、エッジ検出と組み合わせる方法を用いてもよい(例えば、Canny, J., A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8(6):679-698, 1986.を参照)。さらに、直線状のエッジの抽出の前処理として、建物の画像領域を検出することで、精度をさらに向上させることができる。この場合に、建物の検出には、ニューラルネットワークなどを用いた機械学習による方法を用いることができる。   As a method for extracting a straight edge, for example, Hough transform (see, for example, Ballard, DH 1981. Generalizing the Hough transform to detect arbitrary patterns. Pattern Recognition, 13 (2): 111-122.), LSD (Line Segment Detector) algorithm (see, for example, von Gioi, RG, Jakubowicz, J., Morel, JM, Randall, G .: LSD: a Line Segment Detector. Image Processing On Line (2012)) can be used. Moreover, in order to improve detection capability, a method combined with edge detection may be used (for example, Canny, J., A Computational Approach To Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence, 8 (6): 679. -698, 1986.). Furthermore, the accuracy can be further improved by detecting the image region of the building as preprocessing for extracting the linear edge. In this case, a method based on machine learning using a neural network or the like can be used for building detection.

姿勢算出部20は、抽出したエッジの方向(即ち、現実空間の鉛直方向)が撮影画像の上下方向に対してなす角度を車両のロール角として算出する。   The posture calculation unit 20 calculates the angle formed by the extracted edge direction (that is, the vertical direction in the real space) with respect to the vertical direction of the captured image as the roll angle of the vehicle.

図5は、本発明の実施の形態の車両とカメラの視野及び垂直軸との関係(路面が水平から傾いており、かつ、カメラがずれている場合)を示す図である。図5のケースでは、路面Rが角度θで傾いており、カメラ13の垂直軸132が、本来の向きから車両Cの前後方向の軸周り(即ち、カメラ13の光軸周り)に角度εだけずれている。   FIG. 5 is a diagram showing a relationship between the vehicle according to the embodiment of the present invention, the field of view of the camera, and the vertical axis (when the road surface is inclined from the horizontal and the camera is displaced). In the case of FIG. 5, the road surface R is inclined at an angle θ, and the vertical axis 132 of the camera 13 is an angle ε about the axis in the front-rear direction of the vehicle C from the original direction (that is, around the optical axis of the camera 13). It's off.

図6は、本発明の実施の形態の図5の場合の撮影画像の例を示す図である。図4に示すように、本来であれば、路面Rが角度θで傾いているので、構造物Sは、撮影画像内において角度θで傾いているはずであるが、図6の場合にはさらにカメラ13が角度εで傾いているので、撮影画像内における構造物Sの傾きはθ+εとなる。   FIG. 6 is a diagram illustrating an example of a captured image in the case of FIG. 5 according to the embodiment of the present invention. As shown in FIG. 4, since the road surface R is originally inclined at the angle θ, the structure S should be inclined at the angle θ in the captured image. However, in the case of FIG. Since the camera 13 is inclined at an angle ε, the inclination of the structure S in the captured image is θ + ε.

以上のように、姿勢算出部20は、IMU11の測定値に基づいて車両の姿勢(即ち、ロール角)を算出し、ジャイロセンサ12の測定値に基づいて車両の姿勢(即ち、ロール角)を算出し、カメラ13の測定値(即ち、撮影画像)に基づいて車両の姿勢(即ち、ロール角)を算出する。   As described above, the attitude calculation unit 20 calculates the attitude (that is, the roll angle) of the vehicle based on the measurement value of the IMU 11, and calculates the attitude of the vehicle (that is, the roll angle) based on the measurement value of the gyro sensor 12. The vehicle attitude (that is, the roll angle) is calculated based on the measured value (that is, the captured image) of the camera 13.

このように、IMU11と、当該IMU11からの情報に基づいて車両の姿勢を算出する姿勢算出部20とによって、車両の姿勢を測定する1つの測定手段が構成され、ジャイロセンサ12と、当該ジャイロセンサ12からの情報に基づいて車両の姿勢を算出する姿勢算出部20とによって、車両の姿勢を測定する他の測定手段が構成され、カメラ13と、当該カメラ13から入力される情報に基づいて車両の姿勢を算出する姿勢算出部20とによって、車両の姿勢を測定するさらに他の測定手段が構成される。   As described above, the IMU 11 and the attitude calculation unit 20 that calculates the attitude of the vehicle based on the information from the IMU 11 constitute one measuring unit that measures the attitude of the vehicle. The gyro sensor 12 and the gyro sensor The posture calculation unit 20 that calculates the posture of the vehicle based on the information from 12 constitutes another measuring means for measuring the posture of the vehicle. The camera 13 and the vehicle based on the information input from the camera 13 are configured. Still further measuring means for measuring the attitude of the vehicle is configured by the attitude calculation unit 20 that calculates the attitude of the vehicle.

これらの3つの測定手段は、いずれも車両の同種の姿勢として同じ軸周りの車両の角度を測定するものである。具体的には、本実施の形態の場合には、3つの測定手段は、それぞれ、車両の同種の姿勢として、車両Cの前後方向に延びる軸周りの回転角、即ち、ロール角を測定する。   All of these three measuring means measure the angle of the vehicle around the same axis as the same kind of posture of the vehicle. Specifically, in the case of the present embodiment, each of the three measuring units measures the rotation angle around the axis extending in the front-rear direction of the vehicle C, that is, the roll angle, as the same kind of posture of the vehicle.

なお、本実施の形態では、1つの姿勢算出部20が3つのセンサ10のすべてについて、センサ10の測定値に基づく姿勢の算出を行ったが、これに代えて、センサ10ごとに、センサ10の測定値に基づいて車両の姿勢を算出する手段を設けてもよい。あるいは、それぞれのセンサ10が上記の姿勢算出部20の機能を備え、車両の姿勢を出力してもよい。この場合にはセンサ10で測定手段が構成される。   In the present embodiment, one posture calculation unit 20 calculates the posture based on the measurement value of the sensor 10 for all the three sensors 10, but instead of this, for each sensor 10, the sensor 10 Means for calculating the attitude of the vehicle based on the measured values may be provided. Or each sensor 10 may be provided with the function of said attitude | position calculation part 20, and may output the attitude | position of a vehicle. In this case, the sensor 10 constitutes a measuring means.

以上のように、センサ10と姿勢算出部20からなる測定手段は、車両の同種の姿勢として、IMU11からの情報に基づく姿勢(即ち、ロール角)、ジャイロセンサ12からの情報に基づく姿勢(即ち、ロール角)、及びカメラ13からの情報に基づく姿勢(即ち、ロール角)をそれぞれ測定する。以下では、姿勢算出部20においてセンサ10の測定値から算出される姿勢を「観測姿勢」という。センサ10の軸がずれている場合には、観測姿勢は当該軸ずれ角を含んで算出される。   As described above, the measuring means including the sensor 10 and the attitude calculation unit 20 has the attitude based on information from the IMU 11 (that is, the roll angle) and the attitude based on information from the gyro sensor 12 (that is, as the same kind of attitude of the vehicle). , Roll angle) and a posture based on information from the camera 13 (that is, roll angle) are measured. Hereinafter, the posture calculated by the posture calculation unit 20 from the measurement value of the sensor 10 is referred to as “observation posture”. When the axis of the sensor 10 is deviated, the observation posture is calculated including the axis deviation angle.

IMU11の測定値から算出される観測姿勢をθ1、ジャイロセンサ12の測定値から算出される観測姿勢をθ2、カメラ13の撮影画像から算出される観測姿勢をθ3とすると、これらは、真値θに加えて、センサ10の観測ノイズΔθ及び軸ずれ角εを含んでいる可能性があり、一般的には以下の式(1)〜(3)で表現される。
θ1=θ+Δθ1+ε1 …(1)
θ2=θ+Δθ2+ε2 …(2)
θ3=θ+Δθ3+ε3 …(3)
Assuming that the observation posture calculated from the measurement value of the IMU 11 is θ1, the observation posture calculated from the measurement value of the gyro sensor 12 is θ2, and the observation posture calculated from the captured image of the camera 13 is θ3, these are true values θ In addition to the above, there is a possibility that the observation noise Δθ and the axis deviation angle ε of the sensor 10 may be included, which are generally expressed by the following equations (1) to (3).
θ1 = θ + Δθ1 + ε1 (1)
θ2 = θ + Δθ2 + ε2 (2)
θ3 = θ + Δθ3 + ε3 (3)

姿勢算出部20は、算出した観測姿勢θ1〜θ3を差分算出部30及び保持部40に出力する。   The posture calculation unit 20 outputs the calculated observation postures θ1 to θ3 to the difference calculation unit 30 and the holding unit 40.

差分算出部30は、姿勢算出部20で得られた3つの観測姿勢のそれぞれの差分を算出する。具体的には、差分算出部30は、IMU11からの情報に基づく観測姿勢θ1とジャイロセンサ12からの情報に基づく観測姿勢θ2との差分(θ1−θ2)を算出し、ジャイロセンサ12からの情報に基づく観測姿勢θ2とカメラ13からの情報に基づく観測姿勢θ3との差分(θ2−θ3)を算出し、カメラ13からの情報に基づく観測姿勢θ3とIMU11からの情報に基づく観測姿勢θ1との差分(θ3−θ1)を算出する。   The difference calculation unit 30 calculates the difference between the three observation postures obtained by the posture calculation unit 20. Specifically, the difference calculation unit 30 calculates the difference (θ1−θ2) between the observation posture θ1 based on the information from the IMU 11 and the observation posture θ2 based on the information from the gyro sensor 12, and information from the gyro sensor 12 The difference (θ2-θ3) between the observation posture θ2 based on the information from the camera 13 and the observation posture θ3 based on information from the camera 13 is calculated, and the observation posture θ3 based on the information from the camera 13 and the observation posture θ1 based on the information from the IMU 11 are calculated. The difference (θ3-θ1) is calculated.

差分算出部30は、算出した3つの差分をその時刻情報とともに保持部40に出力する。保持部40は、3つの差分とその時刻情報とを関連付けて記憶する。   The difference calculation unit 30 outputs the calculated three differences to the holding unit 40 together with the time information. The holding unit 40 stores the three differences and the time information in association with each other.

故障検知部50は、保持部40に記憶された差分を読み出して、故障が生じているセンサ10を故障センサ10´として特定する。具体的には、故障検知部50は、他の2つのセンサ10から算出された姿勢と異なる姿勢が算出された1つのセンサ10を故障センサ10´として特定する。   The failure detection unit 50 reads the difference stored in the holding unit 40 and identifies the sensor 10 in which the failure has occurred as the failure sensor 10 ′. Specifically, the failure detection unit 50 identifies one sensor 10 having a calculated posture different from the posture calculated from the other two sensors 10 as the failure sensor 10 ′.

故障検知部50は、一時刻に得られた観測姿勢(即ち、瞬時値)の差分のみではなく、一定の時間幅で得られた複数の観測姿勢の差分の平均値(即ち、時間平均)をとることにより、3つの観測姿勢のそれぞれの差分を算出する。すなわち、差分算出部30は、所定の時間内の差分を統計的に処理することで、観測ノイズの影響を小さくして軸ずれの影響による差分を求める。故障検知部50は、最新の差分を含み、最新の差分から過去に所定の時間だけ遡った時点までの複数の差分の平均を時間平均として算出する。   The failure detection unit 50 calculates not only the difference between observation postures (that is, instantaneous values) obtained at one time but also an average value (that is, time average) of differences between a plurality of observation postures obtained over a certain time width. Thus, the difference between each of the three observation postures is calculated. That is, the difference calculation unit 30 statistically processes the difference within a predetermined time, thereby reducing the influence of the observation noise and obtaining the difference due to the influence of the axis deviation. The failure detection unit 50 includes the latest difference, and calculates the average of a plurality of differences from the latest difference up to a point in the past by a predetermined time as a time average.

いずれのセンサ10にも軸ずれが生じておらず、軸調が完全な場合には、式(1)〜(3)の軸ずれ角ε1、ε2、ε3はいずれも0になる。また、式(1)〜(3)の観測ノイズΔθ1、Δθ2、Δθ3は、時間に独立であるので、これらの時間平均は0とみなすことができる。   If any sensor 10 has no axis deviation and the axial tone is perfect, the axis deviation angles ε1, ε2, and ε3 in equations (1) to (3) are all zero. In addition, since the observation noises Δθ1, Δθ2, and Δθ3 in the expressions (1) to (3) are independent of time, these time averages can be regarded as zero.

いま、軸ずれがない(即ち、ε1=0、ε2=0、ε3=0)場合には、差分(θ1−θ2)(=θ+Δθ1+ε1−(θ+Δθ2+ε2))は、時間平均をとると、Δθ1−Δθ2の成分は0になるので、θ−θ=0となる。差分(θ2−θ3)及び差分(θ3−θ1)についても同様に、軸ずれがない場合には、時間平均をとると0になる。   Now, when there is no axis deviation (that is, when ε1 = 0, ε2 = 0, ε3 = 0), the difference (θ1-θ2) (= θ + Δθ1 + ε1- (θ + Δθ2 + ε2)) is Δθ1-Δθ2 when taking a time average. Since this component becomes 0, θ−θ = 0. Similarly, for the difference (θ2−θ3) and the difference (θ3−θ1), when there is no axis shift, the time average is 0.

図7は、本発明の実施の形態の観測姿勢の差分(軸ずれがない場合)を説明する図である。図7(a)は、IMU11とジャイロセンサ12との間の観測姿勢の差分(θ1−θ2)を示しており、図7(b)は、ジャイロセンサ12とカメラ13との間の観測姿勢の差分(θ2−θ3)を示しており、図7(c)は、カメラ13とIMU11との間の観測姿勢の差分(θ3−θ1)を示している。図7の例では、いずれのセンサ10にも軸ずれが生じていない(即ち、ε1=0、ε2=0、ε3=0)場合を示している。   FIG. 7 is a diagram for explaining the difference in observation posture (when there is no axis deviation) according to the embodiment of the present invention. 7A shows the difference (θ1−θ2) in the observation posture between the IMU 11 and the gyro sensor 12, and FIG. 7B shows the observation posture between the gyro sensor 12 and the camera 13. The difference (θ2−θ3) is shown, and FIG. 7C shows the difference in the observation posture (θ3−θ1) between the camera 13 and the IMU 11. In the example of FIG. 7, a case is shown in which none of the sensors 10 is misaligned (that is, ε1 = 0, ε2 = 0, ε3 = 0).

図7に示すように、一時刻の差分(即ち、瞬時値)を見ると、各センサ10にランダムに生じる観測ノイズのため必ずしも差分は0にはなっていないが、時間平均をとると、軸ずれがない場合には、ランダムに生じる観測ノイズが互いに相殺されて、差分は平均値としては0になる。   As shown in FIG. 7, when the difference at one time (that is, the instantaneous value) is viewed, the difference is not necessarily 0 due to observation noise that occurs randomly in each sensor 10, but when taking the time average, the axis When there is no deviation, the observation noises generated at random are canceled out, and the difference becomes 0 as an average value.

一方、軸ずれが生じている場合には、各差分の時間平均をとると、観測ノイズが互いに相殺されて軸ずれの影響εが残ることになる。例えば、IMU11に軸ずれε1が生じているとすると、差分(θ1−θ2)の時間平均はε1となり、差分(θ2−θ3)の時間平均は0となり、差分(θ3−θ1)の時間平均は−ε1となる。このように、差分(θ1−θ2)の時間平均はε1であり、かつ、差分(θ3−θ1)の時間平均は−ε1であることから、θ1にε1のずれが生じていることが分かる。   On the other hand, when an axis deviation has occurred, taking the time average of each difference, the observation noises cancel each other, and the influence ε of the axis deviation remains. For example, if an axis deviation ε1 occurs in the IMU 11, the time average of the difference (θ1-θ2) is ε1, the time average of the difference (θ2-θ3) is 0, and the time average of the difference (θ3-θ1) is -Ε1. Thus, since the time average of the difference (θ1−θ2) is ε1 and the time average of the difference (θ3−θ1) is −ε1, it can be seen that a shift of ε1 occurs in θ1.

図8は、本発明の実施の形態の観測姿勢の差分(軸ずれがある場合)を説明する図である。図7に例と同様に、図8(a)は、IMU11とジャイロセンサ12との間の観測姿勢の差分(θ1−θ2)を示しており、図8(b)は、ジャイロセンサ12とカメラ13との間の観測姿勢の差分(θ2−θ3)を示しており、図8(c)は、カメラ13とIMU11との間の姿勢の観測差分(θ3−θ1)を示している。図8の例では、ジャイロセンサ12に軸ずれが生じている場合を示している。   FIG. 8 is a diagram illustrating the difference in observation posture (when there is an axis deviation) according to the embodiment of this invention. Similar to the example in FIG. 7, FIG. 8A shows the difference (θ1−θ2) in the observation posture between the IMU 11 and the gyro sensor 12, and FIG. 8B shows the gyro sensor 12 and the camera. FIG. 8C shows the observation difference (θ3-θ1) between the camera 13 and the IMU 11. In the example of FIG. 8, a case where an axis deviation occurs in the gyro sensor 12 is shown.

ジャイロセンサ12に軸ずれが生じると、図8(a)に示すIMU11とジャイロセンサ12との間の観測姿勢の差分は0にはならず、図8(b)に示すジャイロセンサ12とカメラ13との間の観測姿勢の差分も0にはならない。このことから、ジャイロセンサ12に軸ずれが生じていることが分かる。   When an axis deviation occurs in the gyro sensor 12, the difference in observation posture between the IMU 11 and the gyro sensor 12 shown in FIG. 8A does not become zero, and the gyro sensor 12 and the camera 13 shown in FIG. The difference in the observation posture between and does not become zero. From this, it can be seen that an axis deviation occurs in the gyro sensor 12.

故障検知部50は、特定した故障センサ10´及びその軸ずれ角εの情報を姿勢推定部60及び画像補正部70に出力する。姿勢推定部60は、姿勢算出部20で算出された観測姿勢(即ち、ロール角)θ1、θ2、θ3と、故障センサ10´及びその軸ずれ角εの情報とに基づいて、車両の姿勢の真値θを推定する。このとき、姿勢推定部60は、保持部40に保持されている一定時間幅の複数の観測姿勢θ1、θ2、θ3を読み出して、それぞれの時間平均をとって、各センサ10の観測姿勢θ1、θ2、θ3とする。   The failure detection unit 50 outputs information on the specified failure sensor 10 ′ and its axis deviation angle ε to the posture estimation unit 60 and the image correction unit 70. The posture estimation unit 60 determines the vehicle posture based on the observation postures (that is, roll angles) θ1, θ2, and θ3 calculated by the posture calculation unit 20 and information on the failure sensor 10 ′ and its axis deviation angle ε. The true value θ is estimated. At this time, the posture estimation unit 60 reads out a plurality of observation postures θ1, θ2, and θ3 having a predetermined time width held in the holding unit 40, takes the respective time averages, and observes the observation postures θ1, Let θ2 and θ3.

姿勢推定部60は、いずれのセンサ10にも軸ずれがない場合には、観測姿勢θ1、θ2、θ3のいずれか、あるいはそれらの平均を真値θであると推定する。姿勢推定部60は、いずれかのセンサ10に軸ずれεがある場合には、軸ずれεを打ち消すようにその故障センサ10´の観測姿勢を補正して、補正された後の観測姿勢を用いて真値θを推定する。あるいは、姿勢推定部60は、いずれかのセンサ10に軸ずれがある場合には、当該故障センサ10´の観測姿勢を無視して、軸ずれが生じていないセンサ10の観測姿勢のみを用いて姿勢の真値θを推定してもよい。   The posture estimation unit 60 estimates that one of the observation postures θ1, θ2, and θ3, or an average thereof is a true value θ when any sensor 10 has no axis deviation. If any sensor 10 has an axis deviation ε, the attitude estimation unit 60 corrects the observation attitude of the failure sensor 10 ′ so as to cancel the axis deviation ε, and uses the corrected observation attitude. To estimate the true value θ. Alternatively, when any sensor 10 has an axis deviation, the attitude estimation unit 60 ignores the observation attitude of the failure sensor 10 ′ and uses only the observation attitude of the sensor 10 in which no axis deviation occurs. The true value θ of the posture may be estimated.

画像補正部70は、故障検知部50から、カメラ13が故障センサ10´として特定された旨の情報を受けた場合には、撮影画像をカメラ13の軸ずれ角ε3に基づいて補正する。この軸ずれ角ε3は、故障検知部50において姿勢の差分(θ2−θ3)(=−ε3)及び/又は姿勢の差分(θ3−θ1)(=ε3)から求められたものである。   When receiving information from the failure detection unit 50 indicating that the camera 13 has been identified as the failure sensor 10 ′, the image correction unit 70 corrects the captured image based on the axis deviation angle ε 3 of the camera 13. The axis deviation angle ε3 is obtained from the attitude difference (θ2−θ3) (= −ε3) and / or the attitude difference (θ3−θ1) (= ε3) in the failure detection unit 50.

図9は、本発明の実施の形態の車両姿勢推定のフロー図である。まず、各センサ10がセンシングを行って測定値を取得する(ステップS91)。姿勢算出部20は、各センサ10の測定値に基づいて車両の観測姿勢を算出して保持部40に保存する(ステップS92)。差分算出部30は、同一時刻の各観測姿勢どうしの差分を算出して保持部40に保存する(ステップS93)。   FIG. 9 is a flowchart of vehicle posture estimation according to the embodiment of the present invention. First, each sensor 10 performs sensing and acquires a measured value (step S91). The attitude calculation unit 20 calculates the observation attitude of the vehicle based on the measured values of the sensors 10 and stores the calculated observation attitude in the holding unit 40 (step S92). The difference calculation unit 30 calculates the difference between the observation postures at the same time and stores it in the holding unit 40 (step S93).

故障検知部50は、各差分に基づいて故障センサ10´を検知し、その軸ずれ角εを求める(ステップS94)。故障検知部50は、故障センサ10´がない場合には(ステップS95にてNO)、保持部40に保持された各観測姿勢の時間平均を取って姿勢の真値を推定する(ステップS96)。故障検知部50は、故障センサ10´がある場合には(ステップS95にてYES)、故障センサ10´の観測姿勢を補正した上で(ステップS97)、姿勢の真値を推定する(ステップS96)。   The failure detection unit 50 detects the failure sensor 10 ′ based on each difference, and obtains the axis deviation angle ε (step S94). If there is no failure sensor 10 '(NO in step S95), failure detection unit 50 estimates the true value of the posture by taking the time average of each observation posture held in holding unit 40 (step S96). . If there is a failure sensor 10 ′ (YES in step S95), the failure detection unit 50 corrects the observation posture of the failure sensor 10 ′ (step S97) and estimates the true value of the posture (step S96). ).

以上説明したように、本発明の実施の形態の故障検知システムによれば、車両の同種の姿勢を測定する少なくとも3つの測定手段を備えていればセンサの故障を検知することができ、本実施の形態の車両姿勢推定システムによれば、車両の同種の姿勢を測定する少なくとも3つの測定手段を備えていれば、いずれかのセンサが故障していた場合にも車両の姿勢を正しく推定できる。   As described above, according to the failure detection system of the embodiment of the present invention, a sensor failure can be detected if at least three measuring means for measuring the same kind of posture of the vehicle are provided. According to the vehicle posture estimation system of this form, if at least three measuring means for measuring the same kind of posture of the vehicle are provided, the posture of the vehicle can be correctly estimated even if any of the sensors has failed.

なお、上記の実施の形態では、姿勢算出部20は、IMU11、ジャイロセンサ12、カメラ13の測定値に基づいて、車両の同種の姿勢として車両のロール角を算出したが、カメラ13の光軸が車両の左右方向を向いている場合には、撮影画像に基づいて車両のピッチ角を測定することができる。この場合には、さらに2つ以上ピッチ角を算出できるセンサ10を備えることで、車両の同種の姿勢として車両のピッチ角を測定できる3つ以上の測定手段を構成することができる。   In the above embodiment, the attitude calculation unit 20 calculates the roll angle of the vehicle as the same kind of attitude of the vehicle based on the measured values of the IMU 11, the gyro sensor 12, and the camera 13. When the vehicle is facing the left-right direction of the vehicle, the pitch angle of the vehicle can be measured based on the captured image. In this case, by providing two or more sensors 10 that can calculate the pitch angle, it is possible to configure three or more measuring means that can measure the pitch angle of the vehicle as the same kind of posture of the vehicle.

また、3つ以上の測定手段にて測定される同種の姿勢において、一部の測定手段について固定(即ち、既知)のバイアスないしオフセットが存在していてもよい。この場合には、姿勢算出部20及び/又は差分算出部30において、バイアスないしオフセットを考慮することで、軸ずれがない場合には差分の時間平均を0にすることができ、本発明を適用可能である。   Further, in the same kind of posture measured by three or more measuring means, a fixed (that is, known) bias or offset may exist for some measuring means. In this case, the posture calculation unit 20 and / or the difference calculation unit 30 can consider a bias or an offset so that the time average of the difference can be zero when there is no axis deviation, and the present invention is applied. Is possible.

また、上記の実施の形態では、センサ10の一つをカメラ13にしたが、本発明はこれに限られず、3つ以上のジャイロセンサで3つ以上の測定手段を構成してもよく、2つ以上のカメラで3つ以上の測定手段を構成してもよい。   In the above-described embodiment, one of the sensors 10 is the camera 13, but the present invention is not limited to this, and three or more gyro sensors may constitute three or more measuring means. Three or more measuring means may be configured by two or more cameras.

また、上記の実施の形態では、各時刻の差分を求めて得られた複数の差分の時間平均をとったが、これに代えて、差分算出部30は、各センサ10について姿勢の時間平均をとった後にそれらの差分を求めてもよい。また、差分ないし姿勢の時間平均をとる代わりに、差分ないし姿勢の累積値を用いて統計的に処理してもよい。   In the above embodiment, the time average of a plurality of differences obtained by calculating the difference at each time is taken. Instead, the difference calculation unit 30 calculates the time average of the posture for each sensor 10. You may calculate those differences after taking. Further, instead of taking the time average of differences or postures, statistical processing may be performed using accumulated values of differences or postures.

11 IMU、12 ジャイロセンサ、13 カメラ、20 姿勢算出部、
30 差分算出部、40 保持部、50 故障検知部、60 姿勢推定部、
70 画像補正部、131 視野、132 垂直軸
11 IMU, 12 gyro sensor, 13 camera, 20 attitude calculation unit,
30 difference calculation unit, 40 holding unit, 50 failure detection unit, 60 posture estimation unit,
70 Image correction unit, 131 field of view, 132 vertical axis

Claims (13)

車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段(10、20)と、
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、
前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を故障測定手段として特定する故障特定手段(50)と、
を備えた、故障検知システム。
Three or more measuring means (10, 20) for measuring the same kind of posture of the vehicle,
Difference calculating means (30) for calculating a difference between the postures respectively measured by the three or more measuring means;
A failure that identifies, as a failure measurement unit, the measurement unit that measures the posture having a difference with respect to the posture measured by the plurality of other measurement units among the three or more measurement units based on the difference. Identifying means (50);
A failure detection system.
前記故障特定手段は、累積された前記差分に基づいて前記故障測定手段を特定する、請求項1に記載の故障検知システム。   The failure detection system according to claim 1, wherein the failure identification unit identifies the failure measurement unit based on the accumulated difference. 前記故障測定手段が測定する前記姿勢を、前記差分に従って補正する補正手段をさらに備えた、請求項1又は2に記載の故障検知システム。   The failure detection system according to claim 1, further comprising a correction unit that corrects the posture measured by the failure measurement unit according to the difference. 前記3つ以上の測定手段の少なくとも一つは、前記車両に固定されたカメラと、前記カメラの撮影によって得られた画像に基づいて前記姿勢を測定する画像処理手段とを備えた、請求項1〜3のいずれかに記載の故障検知システム。   2. The at least one of the three or more measuring units includes a camera fixed to the vehicle and an image processing unit that measures the posture based on an image obtained by photographing with the camera. The failure detection system in any one of -3. 前記画像処理手段は、前記画像に含まれる鉛直方向に沿う構造物を検出して、当該構造物の前記画像内における向きに基づいて、前記姿勢として車両のロール角を算出する、請求項4に記載の故障検知システム。   The image processing means detects a structure along the vertical direction included in the image, and calculates a roll angle of the vehicle as the posture based on the orientation of the structure in the image. The described failure detection system. 前記カメラが前記故障測定手段として特定されたときに、当該カメラの撮影によって得られた画像を、前記差分に基づいて補正する画像補正手段(70)をさらに備えた、請求項4又は5に記載の故障検知システム。   The image correction unit (70) according to claim 4 or 5, further comprising an image correction unit (70) for correcting an image obtained by photographing of the camera based on the difference when the camera is specified as the failure measurement unit. Failure detection system. 前記3つ以上の測定手段は、前記車両の同種の姿勢として、同軸周りの角速度を測定する、請求項1〜5のいずれかに記載の故障検知システム。   The failure detection system according to claim 1, wherein the three or more measuring units measure an angular velocity around a coaxial axis as the same kind of posture of the vehicle. 前記3つ以上の測定手段は、前記車両の同種の姿勢として、前記車両のピッチ角、ヨー角、ロール角のいずれかを測定する、請求項1〜5のいずれかに記載の故障検知システム。   The failure detection system according to claim 1, wherein the three or more measuring units measure any one of a pitch angle, a yaw angle, and a roll angle of the vehicle as the same kind of posture of the vehicle. 車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段(10、20)と、
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)と、
前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分算出手段で算出された差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)と、
を備えた車両姿勢推定システム。
Three or more measuring means (10, 20) for measuring the same kind of posture of the vehicle,
Difference calculating means (30) for calculating a difference between the postures respectively measured by the three or more measuring means;
Attitude estimation means (60) for estimating the attitude of the vehicle based on the attitude measured by the three or more measurement means and the difference calculated by the difference calculation means;
A vehicle posture estimation system.
前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を故障測定手段として特定する故障特定手段(50)をさらに備え、
前記姿勢推定手段は、前記故障測定手段が測定した姿勢を補正する、
請求項9に記載の車両姿勢推定システム。
A failure that identifies, as a failure measurement unit, the measurement unit that measures the posture having a difference with respect to the posture measured by the plurality of other measurement units among the three or more measurement units based on the difference. Further comprising a specifying means (50),
The posture estimating means corrects the posture measured by the failure measuring means;
The vehicle posture estimation system according to claim 9.
前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を故障測定手段として特定する故障特定手段(50)をさらに備え、
前記姿勢推定手段は、前記故障測定手段が測定した姿勢を無視して前記車両の姿勢を推定する、
請求項9に記載の車両姿勢推定システム。
A failure that identifies, as a failure measurement unit, the measurement unit that measures the posture having a difference with respect to the posture measured by the plurality of other measurement units among the three or more measurement units based on the difference. Further comprising a specifying means (50),
The attitude estimation means estimates the attitude of the vehicle ignoring the attitude measured by the failure measurement means;
The vehicle posture estimation system according to claim 9.
演算処理装置において実行されることで、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段でそれぞれ測定された姿勢から故障した前記測定手段を検知する故障検知プログラムであって、前記演算処理装置を、
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び
前記差分に基づいて、前記3つ以上の測定手段のうちの、他の複数の前記測定手段で測定された姿勢に対して差分を有する姿勢を測定した前記測定手段を特定する故障特定手段(50)、
として機能させる、故障検知プログラム。
A failure detection program for detecting the measurement means that has failed from the postures respectively measured by three or more measurement means that measure the same kind of posture of the vehicle by being executed in the arithmetic processing device, Equipment
Difference calculating means (30) for calculating the difference between the postures respectively measured by the three or more measuring means, and a plurality of other measurements of the three or more measuring means based on the difference A fault identification unit (50) for identifying the measurement unit that has measured a posture having a difference from the posture measured by the unit;
Failure detection program that functions as
演算処理装置において実行されることで、車両の同種の姿勢をそれぞれ測定する3つ以上の測定手段でそれぞれ測定された姿勢から車両の姿勢を推定する車両姿勢推定プログラムであって、前記演算処理装置を、
前記3つ以上の測定手段でそれぞれ測定された前記姿勢の差分を算出する差分算出手段(30)、及び
前記3つ以上の測定手段でそれぞれ測定された姿勢及び前記差分に基づいて、前記車両の姿勢を推定する姿勢推定手段(60)、
として機能させる、車両姿勢推定プログラム。
A vehicle attitude estimation program for estimating the attitude of a vehicle from the attitudes respectively measured by three or more measuring means for measuring the same kind of attitude of the vehicle by being executed in the arithmetic processing apparatus, wherein the arithmetic processing apparatus The
A difference calculating means (30) for calculating a difference between the postures measured by the three or more measuring means; and a posture of the vehicle based on the posture and the difference respectively measured by the three or more measuring means. Posture estimation means (60) for estimating the posture;
As a vehicle posture estimation program.
JP2018090124A 2018-05-08 2018-05-08 Failure detection system and program, and vehicle attitude estimation system and program Active JP6835032B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018090124A JP6835032B2 (en) 2018-05-08 2018-05-08 Failure detection system and program, and vehicle attitude estimation system and program
PCT/JP2019/015110 WO2019216075A1 (en) 2018-05-08 2019-04-05 Breakdown detecting system and program, and vehicle orientation estimating system and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018090124A JP6835032B2 (en) 2018-05-08 2018-05-08 Failure detection system and program, and vehicle attitude estimation system and program

Publications (2)

Publication Number Publication Date
JP2019196945A true JP2019196945A (en) 2019-11-14
JP6835032B2 JP6835032B2 (en) 2021-02-24

Family

ID=68467979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018090124A Active JP6835032B2 (en) 2018-05-08 2018-05-08 Failure detection system and program, and vehicle attitude estimation system and program

Country Status (2)

Country Link
JP (1) JP6835032B2 (en)
WO (1) WO2019216075A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002053024A (en) * 2000-08-09 2002-02-19 Unisia Jecs Corp Vehicle behavior detecting device
JP2014015914A (en) * 2012-07-11 2014-01-30 Toyota Motor Corp Abnormality determination device of pm sensor
JP2014054871A (en) * 2012-09-11 2014-03-27 Toyota Motor Corp Sensor device
JP2015058915A (en) * 2013-09-20 2015-03-30 本田技研工業株式会社 Vehicular roll angle estimation device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962689B2 (en) * 2014-02-14 2016-08-03 トヨタ自動車株式会社 Autonomous mobile body and failure determination method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002053024A (en) * 2000-08-09 2002-02-19 Unisia Jecs Corp Vehicle behavior detecting device
JP2014015914A (en) * 2012-07-11 2014-01-30 Toyota Motor Corp Abnormality determination device of pm sensor
JP2014054871A (en) * 2012-09-11 2014-03-27 Toyota Motor Corp Sensor device
JP2015058915A (en) * 2013-09-20 2015-03-30 本田技研工業株式会社 Vehicular roll angle estimation device

Also Published As

Publication number Publication date
WO2019216075A1 (en) 2019-11-14
JP6835032B2 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
US11009436B2 (en) Rigidity measurement apparatus and rigidity measurement method
US8978439B1 (en) System and apparatus for the alignment of multi-aperture systems
JP5804185B2 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
JP6601352B2 (en) Vehicle posture estimation device
US20160117824A1 (en) Posture estimation method and robot
EP1936465B1 (en) Travel angle detection system for mobile object
JP2009074859A (en) Motion measuring device and position measuring device
JP4802967B2 (en) Vehicle wheel center position measuring device by image processing
CN107613867B (en) Action display system and recording medium
WO2011158886A1 (en) Information processing apparatus and processing method thereof
JP2013002884A (en) Distance measuring device
KR102087378B1 (en) Optical detection of bending motions of a flexible display
JP6835032B2 (en) Failure detection system and program, and vehicle attitude estimation system and program
JP2019007739A (en) Self position estimation method and self position estimation device
JP5425500B2 (en) Calibration apparatus and calibration method
JP4026641B2 (en) Object detection apparatus and object detection method
JP7152285B2 (en) Electronics, correction methods and programs
JP7139597B2 (en) SELF-LOCATION ERROR ESTIMATION DEVICE AND SELF-LOCATION ERROR ESTIMATION METHOD
JP2018125706A (en) Imaging apparatus
KR101183645B1 (en) System for measuring attitude of aircraft using camera and method therefor
CN108413970B (en) Positioning method, cloud system, electronic equipment and computer program product
Ogata et al. A robust position and posture measurement system using visual markers and an inertia measurement unit
EP3002553B1 (en) High rate rotation sensing
JP2020046243A (en) Altitude measuring device, flying vehicle, altitude measuring method, and program
JP6440406B2 (en) Stride measurement system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R151 Written notification of patent or utility model registration

Ref document number: 6835032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250