JP2013185871A - Mobile object position attitude estimation device and method - Google Patents
Mobile object position attitude estimation device and method Download PDFInfo
- Publication number
- JP2013185871A JP2013185871A JP2012049382A JP2012049382A JP2013185871A JP 2013185871 A JP2013185871 A JP 2013185871A JP 2012049382 A JP2012049382 A JP 2012049382A JP 2012049382 A JP2012049382 A JP 2012049382A JP 2013185871 A JP2013185871 A JP 2013185871A
- Authority
- JP
- Japan
- Prior art keywords
- image
- estimation
- moving object
- likelihood
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、移動物体の位置を推定する移動物体位置姿勢推定装置及び方法に関する。 The present invention relates to a moving object position / posture estimation apparatus and method for estimating the position of a moving object.
三次元地図とカメラの撮像画像を比較することによって移動物体の位置を算出する技術として、例えば下記の特許文献1に記載された技術が知られている。この特許文献1には、車両に備えられた車載カメラにより得られる現実の映像から抽出したエッジ画像と、周囲環境のエッジの位置や形状を三次元で記録した三次元地図を車載カメラの位置姿勢に投影したときの仮想映像とが一致するように車載カメラの位置と姿勢角を調整する。これによって、車載カメラの三次元空間での位置と姿勢角を推定している。
As a technique for calculating the position of a moving object by comparing a three-dimensional map with a captured image of a camera, for example, a technique described in
しかしながら、特許文献1において、現実の映像と仮想映像が一致していても、この一致した場所が車載カメラから遠い場合、車載カメラの位置の誤差が大きい可能性がある。逆に、一致した位置が車載カメラから近い場合、車載カメラの姿勢角の誤差が大きい可能性がある。
However, in
そこで、本発明は、上述した実情に鑑みて提案されたものであり、精度良く移動物体の位置及び姿勢角を推定することができる移動物体位置姿勢推定装置及び方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and an object thereof is to provide a moving object position / posture estimation apparatus and method that can accurately estimate the position and posture angle of a moving object. .
本発明は、前方撮像画像の姿勢角推定用画像尤度を高め、側方撮像画像の位置推定用画像尤度を高めて、位置推定用画像尤度が所定値以上の撮像画像と仮想画像との一致度に基づいて位置を推定すると共に、姿勢角推定用画像尤度が所定値以上の撮像画像と仮想画像との一致度に基づいて、実際の移動物体の姿勢角を推定する。 The present invention increases the image likelihood for posture angle estimation of the front captured image, increases the image likelihood for position estimation of the side captured image, and captures the captured image and the virtual image whose position estimation image likelihood is a predetermined value or more. The position is estimated based on the degree of coincidence, and the attitude angle of the actual moving object is estimated based on the degree of coincidence between the captured image whose attitude angle estimation image likelihood is equal to or greater than a predetermined value and the virtual image.
本発明によれば、自車両の姿勢角を前方撮像画像を用いて推定でき、自車両の位置を側方撮像画像を用いて推定できるので、精度良く移動物体の位置及び姿勢角を推定することができる。 According to the present invention, the posture angle of the host vehicle can be estimated using the front captured image, and the position of the host vehicle can be estimated using the side captured image. Therefore, the position and posture angle of the moving object can be estimated with high accuracy. Can do.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明の実施形態として示す移動物体位置姿勢推定装置は、例えば図1に示すように構成される。この移動物体位置姿勢推定装置は、ECU1、カメラ群2、3次元地図データベース3、及び、車両センサ群4を含む。車両センサ群4は、GPS受信機41、アクセルセンサ42、ステアリングセンサ43、ブレーキセンサ44、車速センサ45、加速度センサ46、車輪速センサ47、及び、ヨーレートセンサ等のその他センサ48を含む。なお、ECU1は、実際にはROM、RAM、演算回路等にて構成されている。ECU1がROMに格納された移動物体位置姿勢推定用のプログラムに従って処理をすることによって、後述する機能(仮想画像取得手段、画像尤度設定手段、移動物体位置姿勢推定手段)を実現する。
A moving object position and orientation estimation apparatus shown as an embodiment of the present invention is configured as shown in FIG. This moving object position / posture estimation apparatus includes an
カメラ群2は、複数の撮像手段(カメラ)を含む。カメラ群2の各カメラは例えばCCD等の固体撮像素子を用いたものである。カメラ群2は、少なくとも車両の前方カメラ(前方撮像手段)と、左側又は左側の何れか一方を撮像する側方カメラ(側方撮像手段)とを含む。
The
ここで、図2に示すように、自車両Vの前方向とは自車両Vの主たる進行方向である。自車両Vの後方向とは前方向とは逆の方向である。自車両Vの右方向とは前方向を見た場合の右手方向である。自車両Vの左方向とは前方向を見た場合の左手方向である。また、カメラ群2に含まれるカメラは、図3に示すように、所定の撮像画角θであり、カメラの撮像方向を中心とした撮像範囲21となっている。
Here, as shown in FIG. 2, the forward direction of the host vehicle V is the main traveling direction of the host vehicle V. The rear direction of the host vehicle V is the direction opposite to the front direction. The right direction of the host vehicle V is the right-hand direction when viewing the front direction. The left direction of the host vehicle V is the left hand direction when the front direction is viewed. Further, as shown in FIG. 3, the cameras included in the
カメラ群2の車載例を図3に示す。図4(a)、(b)は本実施形態における最小構成を示す。図4(a)のカメラ群2は自車両Vの前方が撮像範囲21fとされた前方カメラ2fと自車両Vの左方向が撮像範囲21lとされた左側方カメラ2lとを含む。図4(b)のカメラ群2は自車両Vの前方が撮像範囲21fとされた前方カメラ2fと自車両Vの右方向が撮像範囲21rとされた右側方カメラ2rとを含む。
An in-vehicle example of the
また、カメラ群2は、図5乃至図7の何れかの構成であってもよい。図5(a)、(b)に示したカメラ群2は、図4(a)、(b)の構成に加えて、自車両Vの後方向が撮像範囲21bとされた後方カメラ2bを含む。図6に示したカメラ群2は、前方カメラ2fと、自車両Vの右方向及び左方向の双方を撮像可能なように左側方カメラ2l及び右側方カメラ2rの双方を含む。図7(a)、(b)に示したカメラ群2は、自車両Vの全方向を撮像範囲とするものである。図7(a)に示したカメラ群2は、自車両Vの前方向、右方向、左方向、後方向のすべてが撮像可能なように前方カメラ2f、左側方カメラ2l、右側方カメラ2r、及び、後方カメラ2bを含む。図7(b)に示すカメラ群2は、自車両Vの全方向を切れ目なく撮像範囲21aとされた全方位カメラ2aのみを含む。なお、図4乃至図7に示したカメラ群2ではなく、自車両Vの前方や側方等を撮像できるような画角がカバーできていれば、例えば自車両Vに対して斜めにカメラを設置してもよい。
The
カメラ群2に含まれるカメラは、所定時間毎に撮像して撮像画像を取得し、ECU1に供給する。
Cameras included in the
3次元地図データベース3は、例えば路面表示を含む周囲環境のエッジ等の三次元位置情報が記憶されている。本実施形態において、3次元地図データベース3には、白線、停止線、横断歩道、路面マーク等の路面表示の他に、縁石、建物等の構造物のエッジ情報も含まれる。白線などの各地図情報は、エッジの集合体で定義される。エッジが長い直線の場合には、例えば1m毎に区切られるため、極端に長いエッジは存在しない。直線の場合には、各エッジは、直線の両端点を示す3次元位置情報を持っている。曲線の場合には、各エッジは、曲線の両端点と中央点を示す3次元位置情報を持っている。 The 3D map database 3 stores, for example, 3D position information such as edges of the surrounding environment including road surface display. In the present embodiment, the 3D map database 3 includes edge information of structures such as curbs and buildings, in addition to road surface displays such as white lines, stop lines, pedestrian crossings, and road surface marks. Each map information such as a white line is defined by an aggregate of edges. In the case where the edge is a long straight line, for example, since it is divided every 1 m, there is no extremely long edge. In the case of a straight line, each edge has three-dimensional position information indicating both end points of the straight line. In the case of a curve, each edge has three-dimensional position information indicating both end points and a center point of the curve.
車両センサ群(走行状態検出手段)4は、ECU1に接続される。車両センサ群4は、各センサ41〜48により検出した各種のセンサ値をECU1に供給する。ECU1は、車両センサ群4の出力値を用いることで、自車両Vの概位置の算出、単位時間に自車両Vが進んだ移動量を示すオドメトリを算出する。特に、車両センサ群4は、自車両Vに搭載されたカメラ群2により取得する撮像画像が遮蔽される遮蔽状態を検出する(遮蔽状態検出手段)。
The vehicle sensor group (running state detection means) 4 is connected to the
また、ECU1は、カメラ群2により撮像された撮像画像と3次元地図データベース3に記憶された3次元位置情報とを用いて自車両Vの位置及び姿勢角の推定を行う電子制御ユニットである。特に、ECU1は、車両センサ群4により検出された撮像画像の遮蔽状態に基づいて、自車両Vの位置及び姿勢角の推定を行う。なお、ECU1は、他の制御に用いるECUと兼用しても良い。
特に、この移動物体位置姿勢推定装置は、カメラ群2により撮像した撮像画像と、三次元地図データを仮想位置及び仮想姿勢角から撮像した画像に変換した仮想画像とを比較して、自車両Vの位置及び姿勢角を推定する。ここで、図8(a)に示すような撮像画像が得られ、図8(b)のようなエッジ画像が得られたとする。一方、3次元位置情報をカメラ群2の位置及び姿勢角に投影した仮想画像が図8(c)のようになったとする。図8(b)の撮像画像と図8(c)の仮想画像とを比較すると、遠方位置(A)及び近傍位置(B)の双方で一致しているため、仮想画像を生成した仮想位置及び仮想姿勢角が、自車両Vの位置及び姿勢角に相当すると推定できる。しかし、仮想位置が右方向に位置ずれした場合には、仮想画像は、図8(d)に示すようになる。この場合、図8(a)の撮像画像と図8(d)の撮像画像とを比較すると、遠方位置(A)は一致しているが、近傍位置(B)は大きくずれてしまう。逆に、図8(c)の仮想画像の仮想姿勢角をずらし(図示せず)、図8(a)の撮像画像と比較すると、近傍位置(B)は一致するが、遠方位置(A)は大きくずれる。
The
In particular, the moving object position / orientation estimation apparatus compares a captured image captured by the
このような現象に着目して、移動物体位置姿勢推定装置は、撮像画像内の近傍位置画素と仮想画像内の近傍位置画素とが一致した場合には仮想画像の仮想位置が尤もらしいと判断する。逆に、移動物体位置姿勢推定装置は、撮像画像内の遠方位置画素と仮想画像内の遠方位置画素とが一致した場合には仮想画像の仮想姿勢角が尤もらしいと判断する。 Focusing on such a phenomenon, the moving object position / posture estimation apparatus determines that the virtual position of the virtual image is likely when the neighboring position pixel in the captured image matches the neighboring position pixel in the virtual image. . Conversely, the moving object position / posture estimation apparatus determines that the virtual posture angle of the virtual image is likely when the far position pixel in the captured image matches the far position pixel in the virtual image.
以下、この移動物体位置姿勢推定装置の動作について、図9の位置姿勢推定アルゴリズムを参照して説明する。なお、本実施形態は、自車両Vの6自由度の位置(前後方向,横方向,上下方向)及び姿勢角(ロール,ピッチ,ヨー)を推定するものとする。また、この図9の位置姿勢推定アルゴリズムは、ECU1によって、例えば100msec程度の間隔で連続的に行われる。
Hereinafter, the operation of this moving object position / orientation estimation apparatus will be described with reference to the position / orientation estimation algorithm of FIG. In the present embodiment, it is assumed that the position (front-rear direction, horizontal direction, vertical direction) and posture angle (roll, pitch, yaw) of the host vehicle V are estimated. Further, the position / orientation estimation algorithm of FIG. 9 is continuously performed by the
ステップS1において、ECU1は、車両センサ群4から得られるセンサ値の情報から車速V(単位:m/s)とヨーレートγ(単位:rad/s)を検出する。ECU1は、旋回半径ρ(単位:m)を、ρ=V/γなる演算によって取得する。更に、1ループ前の位置姿勢推定アルゴリズムにおけるステップS1を実行した時から自車両Vの移動量をオドメトリとして算出する。なお、位置姿勢推定アルゴリズムを開始して最初のループの場合は、オドメトリをゼロとして算出する。また、ヨーレートγが十分に小さい場合には、旋回半径ρは例えば1000[m]に設定して、車速を略ゼロで除算することを回避する。
In step S1, the
このオドメトリ算出方法としては、例えば、車両運動を平面上に限定した上で、各車輪の車輪速とヨーレートセンサから、単位時間での移動量と回転量を算出すれば良い。また、ECU1は、車輪速を車速やGPS受信機41の測位値の差分で代用してもよく、ヨーレートセンサを操舵角で代用してもよい。なお、オドメトリの算出方法は、様々な算出手法が考えられるが、オドメトリが算出できればどの手法を用いても良い。
As the odometry calculation method, for example, the movement amount and the rotation amount per unit time may be calculated from the wheel speed of each wheel and the yaw rate sensor after limiting the vehicle motion to a plane. Further, the
次のステップS2において、ECU1は、ステップS1にて検出した車速Vに基づいて、自車両Vの前後方向の撮像画像の取得範囲を設定する。本実施形態では、撮像範囲の取得範囲を自車両Vの前後方向を撮像する前方カメラ2f又は後方カメラ2b(前後方向カメラ)の水平画角αf(単位:deg)とする。この前後方向カメラの画角は、図10に示すように、車速Vに応じて設定される。車速Vが高いほど前後方向カメラの画角は狭くなる。なお、本実施形態は、自車両Vに車載されて前後方向を撮像する前方カメラ2f又は後方カメラ2bは、水平画角の最大値が90[deg]以上のものであることが望ましい。
In the next step S2, the
なお、自車両Vの前後左右方向の撮像画像のうち、前後方向の撮像画像については車速Vが高くなるほど撮像範囲が狭くなる画像とする。これは、前後方向の撮像画像は、自車両Vの速度が低くなるほど横方向の運動の影響を受けやすくなるため、より広い範囲で撮像して3次元地図データと一致するように調整する必要があるためである。 Of the captured images in the front-rear and left-right directions of the host vehicle V, the captured image in the front-rear direction is an image in which the imaging range becomes narrower as the vehicle speed V increases. This is because captured images in the front-rear direction are more susceptible to lateral movement as the speed of the host vehicle V decreases, so it is necessary to adjust the image to be captured in a wider range and match the three-dimensional map data. Because there is.
次のステップS3において、ECU1は、カメラ群2によって撮像された撮像画像のうち、ステップS2にて設定した前後方向の撮像画像の取得範囲に亘って、前方向の画像である前方撮像画像を抽出する。また、ECU1は、撮像画像のうち、ステップS2にて設定した前後方向の撮像画像の取得範囲に亘って、後方撮像画像を抽出する。これにより、ECU1は、前後撮像画像群を抽出する。ECU1は、後述するように位置推定用画像又は姿勢角推定用画像として使用する画像の撮像方向に応じて、前後一方の撮像画像を抽出してもよく、双方の撮像画像を抽出してもよい。後述する処理において後方撮像画像を使用しない場合には、後方撮像画像を抽出する必要はない。なお、抽出する画像は、図3のように、自車両Vの前方方向から左右にそれぞれ水平画角αf/2の角度θの範囲内で撮像された部分である。
In the next step S3, the
ステップS4において、ECU1は、ステップS1で算出した旋回半径ρに基づいて左方向及び右方向の画像の取得範囲を設定する。本実施形態において、左方向及び右方向の画像取得範囲を自車両Vの左右横方向を撮像する左側方カメラ2l又は右側方カメラ2rの水平画角αs(単位:deg)とする。この左方向及び右方向カメラの画角は、図11に示すように、旋回半径ρを参照して設定される。旋回半径ρが大きいほど左方向及び右方向カメラの画角は狭くなる。なお、左側方カメラ2l及び右側方カメラ2rは、例えば水平画角の最大値が90[deg]以上のものであることが望ましい。
In step S4, the
次のステップS5において、ECU1は、カメラ群2によって撮像された撮像画像のうち、ステップS4にて設定した左方向及び右方向の撮像画像の取得範囲に亘って、左方向又は右方向の何れかの画像(側方撮像画像)を抽出する。ECU1は、後述するように位置推定用画像又は姿勢角推定用画像として選択する画像の撮像方向に応じて、左右一方の側方撮像画像を抽出してもよく、双方の側方撮像画像を抽出してもよい。これにより、ECU1は、側方撮像画像群を抽出する。なお、抽出する画像は、図3のように、自車両Vの左右横方向から左右にそれぞれ水平画像αs/2の角度θの範囲内で撮像された部分である。
In the next step S5, the
ステップS6において、ECU1は、車両センサ群4により検出された撮像画像の遮蔽状態に基づいて、ステップS3及びステップS5にて取得された撮像画像のそれぞれについて、位置推定用画像尤度及び姿勢角推定用画像尤度を設定する(画像尤度設定手段)。位置推定用画像尤度は、自車両Vの位置を推定するための画像として適している度合いを表す。姿勢角推定用画像尤度は、自車両Vの姿勢角を推定するための画像として適している度合いを表す。この位置推定用画像尤度及び姿勢角推定用画像尤度は、後述するように位置推定用尤度と姿勢角推定用尤度を求める際に参照される。
In step S6, the
ECU1は、初期設定において、前後撮像画像群のうち前方撮像画像についての姿勢角推定用画像尤度を高めている。また、ECU1は、初期設定において、側方撮像画像群についての位置推定用画像尤度を高めている。ここで、初期設定とは、前方撮像画像の遮蔽状態があまりない状態を想定している。また、初期設定において、側方撮像画像は、自車両Vの前方よりも側方の方が壁等の構造物で遮蔽されていることを想定している。
In the initial setting, the
自車両Vの前方は横方向に比べて見通しが良いために、前方撮像画像は自車両Vから遠くを撮像していることが多い。一方、側方撮像画像は自車両Vから近くを撮像していることが多い。したがって、移動物体位置姿勢推定装置は、上述した図8を参照して説明したように、自車両Vから遠くを撮像している前方撮像画像を姿勢角推定用画像として使用するために姿勢角推定用画像尤度を高める。一方、移動物体位置姿勢推定装置は、自車両Vから近くを撮像している側方撮像画像を位置推定用画像として使用するために位置推定用画像尤度を高める。 Since the front of the host vehicle V has better visibility than in the lateral direction, the forward captured image is often taken far from the host vehicle V. On the other hand, the side-captured image is often taken near the host vehicle V. Therefore, as described with reference to FIG. 8 described above, the moving object position / posture estimation apparatus uses posture angle estimation in order to use a front captured image capturing a distance from the host vehicle V as a posture angle estimation image. Increase image likelihood. On the other hand, the moving object position / posture estimation apparatus increases the position estimation image likelihood in order to use the side captured image capturing the vicinity from the host vehicle V as the position estimation image.
また、ステップS6において、ECU1は、自車両Vが走行する走行車線が規制されている場合には、当該規制された車線に応じて姿勢角推定用画像尤度を設定してもよい。ECU1は、車両センサ群4からの出力信号に基づいて、自車両Vが進行方向の左側を走行している場合には左側側方画像が遮蔽された状態であることを検出する。また、ECU1は、自車両Vが進行方向の右側を走行している場合には右側側方画像が遮蔽された状態であることを検出する。
In step S6, when the travel lane in which the host vehicle V travels is restricted, the
例えば、左側通行に規制されている場合には自車両Vの左側が遠くまで見通せない、遮蔽された状態にあると判断する。ECU1は、遮蔽された側方を撮像した側方撮像画像の姿勢角推定用画像尤度を低く設定する。これにより、ECU1は、左方向の画像を姿勢角を推定するために選択しにくくする。一方、ECU1は、遮蔽された側方を撮像した側方撮像画像の位置推定用画像尤度を高く設定する。これにより、ECU1は、左方向の画像を位置を推定するために選択しやすくする。また、ECU1は、遮蔽されていない前方を撮像した前方撮像画像の位置推定用画像尤度を低く設定する。これにより、ECU1は、前方の画像を位置を推定するために選択しにくくする。一方、ECU1は、遮蔽されていない前方を撮像した前方撮像画像の姿勢角推定用画像尤度を高く設定する。これにより、ECU1は、前方の画像を姿勢角を推定するために選択しやすくする。このように姿勢角推定用画像尤度及び位置推定用画像尤度を設定する場合、カメラ群2は、最低限でも図4(a)に示した前方カメラ2fと左側方カメラ2lを含む構成であればよい。
For example, when left-hand traffic is restricted, it is determined that the left side of the host vehicle V cannot be seen far and is in a shielded state. The
例えば、ECU1は、側方撮像画像の位置推定用画像尤度を「1」に設定する。また、ECU1は、前方撮像画像の姿勢角推定用画像尤度を「1」に設定する。すなわち、尤度が最も高い場合には値を「1」に設定し、尤度が低いほど値を高くする。例えば図7(a)のように4方向を撮像するカメラ群2の場合、側方撮像画像以外の位置推定用画像尤度を「2」に設定し、前方撮像画像以外の姿勢角推定用画像尤度を「2」に設定する。
For example, the
逆に、右側通行に規制されている場合には自車両Vの右側が遠くまで見通せない、遮蔽された状態にあると判断する。これにより、ECU1は、右方向の画像を姿勢角を推定するために選択しにくくする。一方、ECU1は、右方向の画像を位置を推定するために選択しやすくする。このように姿勢角推定用画像尤度及び位置推定用画像尤度を設定する場合、カメラ群2は、最低限でも図4(b)に示した前方カメラ2fと右側方カメラ2rを含む構成であればよい。
On the other hand, when the right traffic is restricted, it is determined that the right side of the host vehicle V cannot be seen far and is in a shielded state. Thereby, ECU1 makes it difficult to select the image of the right direction in order to estimate the posture angle. On the other hand, the
ECU1は、ステップS3及びステップS5にて抽出した撮像画像それぞれについて、その全画素の輝度平均を求める。ECU1は、輝度平均値が閾値THmax(単位:なし)以上、又は、閾値THmin(単位:なし)以下であれば、当該撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を下げる。ECU1は、例えば、姿勢角推定用画像尤度及び位置推定用画像尤度を「4」に設定する。すなわち、撮像画像の輝度平均が極端に大きい場合は、カメラ群2によって太陽光を直接撮像しているといった明るすぎる撮像画像となってしまう。逆に、撮像画像の輝度平均が極端に小さい場合には、カメラ群2によって暗がりを撮像している所謂遮蔽された状態にある撮像画像となる。このような撮像画像は、後述するステップS7で行うエッジ抽出などの画像の特徴点を抽出し難い画像であり、投影画像と一致するよう調整することが難しい。このため、自車両Vの位置や姿勢角の推定が不安定化する恐れがあるので、姿勢角推定用画像尤度及び位置推定用画像尤度を低下させる。例えば、各撮像画像をECU1に記録するときの輝度数値は、0〜255(0:最も暗い,255:最も明るい)の範囲内であり、閾値THmaxには240、閾値THminには15が設定される。
ECU1 calculates | requires the brightness | luminance average of all the pixels about each of the captured image extracted in step S3 and step S5. If the luminance average value is equal to or greater than the threshold value THmax (unit: none) or equal to or less than the threshold value THmin (unit: none), the
更に、ステップS6において、ECU1は、自車両Vから上方に勾配がある方向よりも遠い範囲の撮像画像が遮蔽された状態であることを検出してもよい。このとき、ECU1は、3次元地図データベース3を参照して自車両Vの周囲の勾配を求める(勾配検出手段)。
Further, in step S <b> 6, the
具体的には、ECU1は、3次元地図データベース3と前回の位置姿勢推定アルゴリズムにおいて推定した自車両Vの位置及び姿勢角から、自車両Vの周囲において道路又は地平面の勾配が上方に凸となっている方向を抽出する。ECU1は、抽出した方向において、当該凸となっている場所以遠は遮蔽されていると判断する。なお、勾配が上方に凸となっていると判断する条件は、自車両Vから離れる方向に単位長さ(1m)辺りの勾配変化量が2[deg]以上の場合とする。また、上方に凸となっている場所が、カメラ群2の各カメラから30[m]以内の距離であれば遠方が見渡せないとして、姿勢角推定用画像尤度を低下させる。例えば、ECU1は、姿勢角推定用画像尤度を「5」に設定する。更に、上方に凸となっている場所が、各カメラから5[m]以内の距離であれば近場が撮像できないので、更に姿勢角推定用画像尤度を低下させる。例えば、ECU1は、姿勢角推定用画像尤度「7」、位置推定用画像尤度を「5」に設定する。なお、ECU1は、自車両Vの近傍の勾配が撮像できる場合には、当該撮像画像の位置推定用画像尤度を高めてもよい。
Specifically, the
更に、ステップS6において、ECU1は、自車両Vに対する構造物の位置及び形状によって撮像画像の遮蔽状態を検出してもよい。このとき、ECU1は、3次元地図データベース3を参照して自車両Vの周囲に存在する構造物の位置及び形状を求める(構造物検出手段)。
Furthermore, in step S6, the
具体的には、ECU1は、自車両Vの周囲にある建物や塀などの構造物の位置及び形状を抽出する。ECU1は、当該構造物が存在する方向の撮像画像が、当該構造物以遠で遮蔽されているか否かを判断して、姿勢角推定用画像尤度及び位置推定用画像尤度を設定する。例えば、ECU1は、構造物の位置及び形状と、前回の位置姿勢推定アルゴリズムにおいて推定した自車両Vの位置及び姿勢角から、ステップS3及びステップS5で抽出した各撮像画像の画素のうち、どの程度の割合で構造物が映りこんでいるかを推定する。例えば、撮像画像のうち50%以上構造物が映りこんでいると推定された撮像画像は、遠くが見渡せないので、姿勢角推定用画像尤度を低下させる。例えば、姿勢角推定用画像尤度を「3」に設定する。更に、最も近い構造物までの距離が20[m]以内の距離であれば、更に姿勢角推定用画像尤度を低下させる。例えば、姿勢角推定用画像尤度を「5」に設定する。更に、最も近い構造物までの距離が2[m]以内の距離であれば、更に姿勢角推定用画像尤度を低下させる。例えば、姿勢角推定用画像尤度を「7」に設定し、位置推定用画像尤度を「5」に設定する。なお、ECU1は、自車両Vの近傍の構造物が撮像できる場合には、当該撮像画像の位置推定用画像尤度を高めてもよい。
Specifically, the
更に、ステップS6において、ECU1は、降雨又は降雪がない場合と比べて前方撮像画像が遮蔽されていることを検出してもよい。このとき、ECU1は、降雨又は降雪があることを検出する(降雨降雪検出手段)。
Further, in step S6, the
具体的には、ECU1は、車両センサ群4から、降雨や降雪があることをワイパーの動作状態、又はインターネット等の天気予報を取得する。ECU1は、当該車両センサ群4からの情報に基づいて各撮像画像の遮蔽状態を判断して、姿勢角推定用画像尤度及び位置推定用画像尤度を設定する。
Specifically, the
例えば、降雨や降雪が時間当たり1[mm]を超えた場合には、自車両Vの進行方向から30[deg]以内を撮像している部分を含む撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低くする。例えば、姿勢角推定用画像尤度及び位置推定用画像尤度を「4」に設定する。一方、それ以外の撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を高め、例えば、「2」に設定する。更に、降雨や降雪が時間当たり3[mm]を超えた場合には、自車両Vの進行方向から30[deg]以内を撮像している部分を含む撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低くし、例えば「6」に設定する。一方、それ以外の撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を「4」に低下させる。更に、自車両Vの車速Vが10[m/s]以上となった場合には、自車両Vの進行方向から30[deg]以内を撮像している部分を含む撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を更に低くして「8」に設定する。 For example, when the rainfall or snowfall exceeds 1 [mm] per hour, the posture likelihood estimation image likelihood for a captured image including a portion capturing within 30 [deg] from the traveling direction of the host vehicle V And the image likelihood for position estimation is lowered. For example, the posture angle estimation image likelihood and the position estimation image likelihood are set to “4”. On the other hand, the posture angle estimation image likelihood and the position estimation image likelihood for other captured images are increased and set to “2”, for example. Further, when the rainfall or snowfall exceeds 3 [mm] per hour, the posture likelihood estimation image likelihood for the captured image including the portion capturing within 30 [deg] from the traveling direction of the host vehicle V And the image likelihood for position estimation is lowered and set to, for example, “6”. On the other hand, the posture angle estimation image likelihood and the position estimation image likelihood for other captured images are reduced to “4”. Further, when the vehicle speed V of the host vehicle V is 10 [m / s] or more, the posture angle estimation for the captured image including a portion capturing within 30 [deg] from the traveling direction of the host vehicle V is performed. The image likelihood and the position estimation image likelihood are further lowered and set to “8”.
更に、ステップS6において、ECU1は、太陽光によって遮蔽される撮像画像を検出してもよい。このとき、ECU1は、現在時刻を検出して太陽の方位角を算出する(太陽位置算出手段)。ECU1は、前回の位置姿勢推定アルゴリズムにより推定された自車両Vの姿勢角と太陽の方位角とから、太陽光によって遮蔽される撮像画像を検出する。具体的には、ECU1は、ステップS3及びステップS5にて抽出した各撮像画像を撮像した方向内に太陽が存在するか判定する。ECU1は、太陽が存在する方向の撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低下させ、例えば「6」に設定する。なお、ECU1は、現在時刻だけでなく月日も検出できる時計を用いて太陽の高度を検出し、前回の位置姿勢推定アルゴリズムにて推定した自車両Vの位置及び姿勢角を参照して、各撮像画像を撮像した方向内に太陽が存在するか判定するとなお良い。
Further, in step S6, the
なお、ECU1は、例えばインターネット等の天気情報を参照し、天候が雨や曇りの場合には、当該太陽光に応じた姿勢角推定用画像尤度及び位置推定用画像尤度の設定をキャンセルすることが望ましい。また、ECU1は、上述したように自車両Vの周辺の構造物を検出して、当該構造物によって太陽光が直接カメラ群2に届かない、すなわち遮蔽されていることを検出してもよい。この場合には、太陽光に応じた姿勢角推定用画像尤度及び位置推定用画像尤度の設定をキャンセルするとなお良い。
The
更に、ステップS6において、ECU1は、日照量が少ない場合には、自車両Vに搭載された照明機器によって照射されていない方向の撮像画像が、照明機器により照射されている方向の撮像画像に比べて遮蔽されていると検出してもよい。このとき、ECU1は、現在時刻を検出して現在の日照量を推定する(日照量推定手段)。
Further, in step S6, when the amount of sunshine is small, the
具体的には、ECU1は、8時〜16時までは日照量が十分であり、姿勢角推定用画像尤度及び位置推定用画像尤度を再設定せず、高い値に維持する。一方、7時〜8時及び16時〜17時は、それぞれ夜明けと夕方なので日照量が不足する。したがって、ECU1は、各撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低下させる。このとき、ECU1は、自車両Vのヘッドライトによる照射が可能な前方撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度の低下度合いを抑制して、例えば「3」に設定する。一方、ヘッドライトによる照射が不可能な側方撮像画像及び後方撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度は大きく低下させ、例えば「6」に設定する。更に、17時〜7時の夜間においては、ヘッドライトによる照射が可能な前方撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低下させて、例えば「4」に設定する。一方、ヘッドライトによる照射が不可能な側方撮像画像及び後方撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を大きく低下させて、例えば「9」に設定する。
Specifically, the
なお、3次元地図データベース3に現在走行している道路に設置された街灯等の照明機器による明るさ情報をあらかじめ記録しておき、ECU1は、当該3次元地図データベース3を参照して自車両V周囲の明るさに応じて姿勢角推定用画像尤度及び位置推定用画像尤度を設定するとなお良い。
In addition, brightness information by lighting devices such as street lamps installed on the currently running road is recorded in advance in the three-dimensional map database 3, and the
更に、ステップS6において、ECU1は、自車両V周辺の障害物に基づいて、当該障害物によって前方又は側方の撮像方向が遮られているかを判定してもよい。このために、ECU1は、自車両Vの周辺に存在する障害物を検出する(障害物検出手段)。例えば、カメラ群2を用いたモーションステレオ又は自車両Vに別途レーザレンジファインダ等を搭載することによって、自車両Vの周囲にある他車両や歩行者等の障害物の位置及び形状を抽出する。ECU1は、当該障害物が存在する方向の撮像画像が、当該障害物以遠で遮蔽されているか否かを判断して、姿勢角推定用画像尤度及び位置推定用画像尤度を設定する。
Furthermore, in step S6, the
具体的には、自車両V周辺の障害物の位置及び形状と、前回の位置姿勢推定アルゴリズムにおいて推定した自車両Vの位置及び姿勢角から、ステップS3及びステップS5で抽出した各撮像画像の画素のうち、どの程度の割合で障害物が映りこんでいるかを推定する。例えば、撮像画像のうち50%以上障害物が映りこんでいると推定された撮像画像は、遠くが見渡せないので、姿勢角推定用画像尤度を低下させる。例えば、姿勢角推定用画像尤度を「3」に設定する。更に、最も近い障害物までの距離が20[m]以内の距離であれば、更に姿勢角推定用画像尤度を低下させる。例えば、姿勢角推定用画像尤度を「5」に設定する。更に、最も近い障害物までの距離が2[m]以内の距離であれば、更に姿勢角推定用画像尤度を低下させる。例えば、姿勢角推定用画像尤度を「7」に設定し、位置推定用画像尤度を「5」に設定する。 Specifically, the pixel of each captured image extracted in step S3 and step S5 from the position and shape of the obstacle around the host vehicle V and the position and posture angle of the host vehicle V estimated by the previous position and orientation estimation algorithm. It is estimated how much of the obstacles are reflected. For example, a captured image that is estimated to include 50% or more obstacles in the captured image cannot be viewed far away, and thus the posture angle estimation image likelihood is reduced. For example, the posture angle estimation image likelihood is set to “3”. Furthermore, if the distance to the nearest obstacle is a distance within 20 [m], the image likelihood for posture angle estimation is further reduced. For example, the posture angle estimation image likelihood is set to “5”. Furthermore, if the distance to the nearest obstacle is within 2 [m], the posture likelihood estimation image likelihood is further reduced. For example, the posture angle estimation image likelihood is set to “7”, and the position estimation image likelihood is set to “5”.
次のステップS7において、ECU1は、ステップS6にて位置推定用画像尤度及び姿勢角推定用画像尤度が設定された撮像画像のうち、所定値を超える(又は所定値以上)位置推定用画像尤度又は姿勢角推定用画像尤度の撮像画像からエッジ画像を作成する。この所定値は、適切な撮像画像を使用して位置及び姿勢角を推定するための任意に設定した値であってもよい。これにより、ECU1は、姿勢角推定用エッジ画像Ea及び位置推定用エッジ画像Epを作成できる。
In the next step S7, the
例えば初期設定においては、前方撮像画像についての姿勢角推定用画像尤度を高めており、側方撮像画像群についての位置推定用画像尤度を高めているので、前方撮像画像から姿勢推定用エッジ画像Eaを作成し、側方撮像画像から位置推定用エッジ画像Epを作成する。他の例を挙げると、自車両Vが左側通行の道路を走行している場合には、左側方撮像画像の位置推定用画像尤度が高く設定され、前方撮像画像の姿勢角推定用画像尤度が高く設定されている。この場合、ECU1は、左側方撮像画像から位置推定用エッジ画像Epを作成し、前方撮像画像から姿勢推定用エッジ画像Eaを作成する。
For example, in the initial setting, the posture angle estimation image likelihood for the front captured image is increased, and the position estimation image likelihood for the side captured image group is increased. An image Ea is created, and a position estimation edge image Ep is created from the side captured image. As another example, when the host vehicle V is traveling on a left-handed road, the position estimation image likelihood of the left side captured image is set high, and the posture angle estimation image likelihood of the front captured image is set. The degree is set high. In this case, the
なお、このステップS7においては、上述した勾配、構造物、降雨又は降雪、又は、太陽光の有無や、日射量、障害物の有無に応じて設定された姿勢角推定用画像尤度及び位置推定用画像尤度に応じて、位置及び姿勢角の推定に適切な方向を撮像した撮像画像からエッジ画像を作成することが望ましい。 In step S7, the posture angle estimation image likelihood and the position estimation set according to the above-described gradient, structure, rain or snow, or the presence or absence of sunlight, the amount of solar radiation, and the presence or absence of an obstacle. It is desirable to create an edge image from a captured image obtained by capturing an appropriate direction for estimating the position and posture angle according to the image likelihood.
本実施形態におけるエッジとは、画素の輝度が鋭敏に変化している箇所を指す。エッジ検出方法としては、例えばCanny法を用いることができる。これに限らず、エッジ検出手法は、他にも微分エッジ検出など様々な手法を使用してもよい。また、ECU1は、カメラ群2の撮像画像から、エッジの輝度変化の方向やエッジ近辺のカラーなど抽出することが望ましい。これにより、後述するステップS5及びステップS6において、3次元地図データベース3にも記録しておいた、これらエッジ以外の情報も用いて位置推定用尤度、姿勢角推定用尤度を設定して、自車両の位置及び姿勢角を推定してもよい。
An edge in the present embodiment refers to a location where the luminance of a pixel changes sharply. For example, the Canny method can be used as the edge detection method. The edge detection method is not limited to this, and various other methods such as differential edge detection may be used. Further, it is desirable that the
ステップS1の次のステップS8において、ECU1は、1ループ前のステップS6にて推定された車両位置から、今回のステップS1で算出したオドメトリ分だけ移動させる。ECU1は、移動させた車両位置の近傍で、複数の仮想(予測)位置及び仮想(予測)姿勢角の候補を算出する。ただし、位置姿勢推定アルゴリズムを開始して初めてのループの場合には、ECU1は前回の車両位置情報を持っていない。このため、ECU1は、車両センサ群4に含まれるGPS受信機41からのデータを初期位置情報とする。又は、ECU1は、前回に停車時に最後に算出した車両位置及び姿勢角を記憶しておき、初期位置及び姿勢角情報にしてもよい。
In step S8 following step S1, the
ECU1は、車両センサ群4の測定誤差や通信遅れによって生じるオドメトリの誤差や、オドメトリで考慮できない車両の動特性を考慮に入れ、車両の位置や姿勢角の真値が取り得る可能性がある複数の仮想位置及び仮想姿勢角の候補を複数個生成する。この仮想位置及び仮想姿勢角の候補は、位置及び姿勢角の6自由度のパラメータに対してそれぞれ誤差の上下限を設定し、この誤差の上下限の範囲内で乱数表等を用いてランダムに設定する。
The
なお、本実施形態では、仮想位置及び仮想姿勢角の候補を500個作成する。また、位置及び姿勢角の6自由度のパラメータに対する誤差の上下限は、前後方向,横方向,上下方向、ロール,ピッチ,ヨーの順に±0.05[m],±0.05[m],±0.05[m],±0.5[deg] ,±0.5[deg],±0.5[deg]とする。この仮想位置及び仮想姿勢角の候補を作成する数や、位置及び姿勢角の6自由度のパラメータに対する誤差の上下限は、自車両Vの運転状態や路面の状況を検出又は推定して、適宜変更することが望ましい。例えば、急旋回やスリップなどが発生している場合には、平面方向(前後方向,横方向,ヨー)の誤差が大きくなる可能性が高いので、この3つのパラメータの誤差の上下限を大きくし、且つ仮想位置及び仮想姿勢角の候補の作成数を増やすことが望ましい。 In the present embodiment, 500 candidates for the virtual position and the virtual posture angle are created. The upper and lower limits of the error for the 6-degree-of-freedom parameters of position and posture angle are ± 0.05 [m], ± 0.05 [m], ± 0.05 [ m], ± 0.5 [deg], ± 0.5 [deg], ± 0.5 [deg]. The number of virtual position and virtual attitude angle candidates to be created and the upper and lower limits of the error with respect to the 6-degree-of-freedom parameters of position and attitude angle are determined by detecting or estimating the driving state of the host vehicle V and the road surface condition. It is desirable to change. For example, when a sudden turn or slip occurs, the error in the plane direction (front / rear direction, lateral direction, yaw) is likely to increase, so the upper and lower limits of the error of these three parameters are increased. In addition, it is desirable to increase the number of virtual position and virtual attitude angle candidates created.
次のステップS9において、ECU1は、ステップS8で作成した全ての仮想位置及び仮想姿勢角の候補のそれぞれについて仮想(投影)画像を作成する。このとき、ECU1は、例えば3次元地図データベース3に記憶されたエッジ等の三次元位置情報を、仮想位置及び仮想姿勢角から撮像した撮像画像となるよう投影変換して、仮想画像を作成する。この仮想画像は、各仮想位置及び仮想姿勢角の候補が実際の自車両Vの位置及び姿勢角と合致しているかを評価する評価用画像である。投影変換では、カメラ群2の位置を示す外部パラメータと、カメラ2の内部パラメータが必要となる。外部パラメータは、車両位置(例えば中心位置)からカメラ群2までの相対位置を予め計測しておくことで、仮想位置及び仮想姿勢角の候補から算出すればよい。また内部パラメータは、予めキャリブレーションをしておけばよい。
In the next step S9, the
ECU1は、各仮想位置及び仮想姿勢角の候補について、自車両Vに搭載されたカメラ群2から撮像した撮像画像となるような仮想画像を作成する。例えば図4(a)に示すようにカメラ群2が前方カメラ2f及び左側方カメラ2lを含む場合、各仮想位置及び仮想姿勢角の候補について仮想前方画像及び仮想左側方画像を作成する。また、図7(a)に示すようにカメラ群2が前方カメラ2f、左側方カメラ2l、右側方カメラ2r及び後方カメラ2bを含む場合、各仮想位置及び仮想姿勢角の候補について仮想前方画像、仮想右側方画像、仮想左側方画像及び仮想後方画像を作成する。これにより、ECU1は、姿勢推定用エッジ画像Eaの撮像方向と同じ方向に投影した姿勢推定用仮想画像Aaを作成し、位置推定用エッジ画像Epの撮像方向と同じ方向に投影した位置推定用仮想画像Apを作成する。なお、この仮想画像は、ステップS2及びステップS4で設定されたαf、αsの画角の範囲のみ算出すればよい。
The
なお、ステップS1においてカメラ2により撮像した撮像画像からエッジの輝度変化の方向や、エッジ近辺のカラーなどについても撮像画像から抽出できる場合には、それらについても三次元位置情報を3次元地図データベース3に記録しておき、仮想画像を作成するとなお良い。
In addition, when it is possible to extract from the captured image the direction of the luminance change of the edge, the color near the edge, and the like from the captured image captured by the
ステップS7及びステップS9の処理の後に、ステップS10を行う。ステップS10において、ECU1は、ステップS8にて設定した全ての仮想位置及び仮想姿勢角の候補それぞれについて、ステップS7にて作成したエッジ画像Ea,Epと、エッジ画像の撮像方向と同じステップS9にて作成した仮想画像Aa,Apとをそれぞれ比較する。ECU1は、姿勢角推定用エッジ画像Eaと姿勢推定用仮想画像Aaとの一致度に応じた値の姿勢角推定用尤度(単位:なし)を設定する。また、ECU1は、位置推定用エッジ画像Epと位置推定用仮想画像Apとの一致度に応じた値の位置推定用尤度(単位:なし)を設定する。これにより、ECU1は、各仮想位置及び仮想姿勢角の候補点について、姿勢角推定用尤度及び位置推定用尤度を設定できる。
Step S10 is performed after the process of step S7 and step S9. In step S10, the
具体的には、仮想画像内の画素位置に、姿勢角推定用エッジ画像Ea及び位置推定用エッジ画像Epの画素がある場合には、姿勢角推定用尤度及び位置推定用尤度を加算する。逆に、仮想画像内の画素位置に、姿勢角推定用エッジ画像Ea及び位置推定用エッジ画像Epの画素が無い場合には、姿勢角推定用尤度及び位置推定用尤度を加算しない。これにより、各仮想位置及び仮想姿勢角の候補点の撮像方向ごとに、姿勢角推定用尤度及び位置推定用尤度を設定できる。 Specifically, when there are pixels of the posture angle estimation edge image Ea and the position estimation edge image Ep at the pixel position in the virtual image, the posture angle estimation likelihood and the position estimation likelihood are added. . Conversely, when there is no pixel of the posture angle estimation edge image Ea and the position estimation edge image Ep at the pixel position in the virtual image, the posture angle estimation likelihood and the position estimation likelihood are not added. Thereby, the posture angle estimation likelihood and the position estimation likelihood can be set for each imaging direction of each virtual position and virtual posture angle candidate point.
また、姿勢推定用エッジ画像Eaと姿勢推定用仮想画像Aaとを比較して、同じ位置に一致した画素がある場合には、姿勢推定用尤度に1.0を加算し、位置推定用尤度に0.2を加算してもよい。一方、位置推定用エッジ画像Epと位置推定用仮想画像Apとを比較して、同じ位置に一致した画素がある場合には、姿勢推定用尤度に0.2を加算し、位置推定用尤度に1.0を加算してもよい。 In addition, when the posture estimation edge image Ea and the posture estimation virtual image Aa are compared, and there is a pixel matching the same position, 1.0 is added to the posture estimation likelihood and the position estimation likelihood is increased. You may add 0.2 to the degree. On the other hand, when the position estimation edge image Ep and the position estimation virtual image Ap are compared and there is a pixel that matches the same position, 0.2 is added to the posture estimation likelihood, and the position estimation likelihood is increased. You may add 1.0 to the degree.
次のステップS11において、ECU1は、ステップS10にて位置推定用尤度及び姿勢角推定用尤度が求められた複数の仮想位置及び仮想姿勢角の候補を用いて、最終的な自車両Vの位置及び姿勢角を算出する。ECU1は、仮想画像の姿勢角推定用尤度に基づいて当該仮想画像の仮想姿勢角に対する実際の自車両Vの姿勢角を推定する(移動物体位置姿勢推定手段)。ECU1は、仮想画像の位置推定用尤度に基づいて当該仮想画像の仮想位置に対する実際の自車両Vの位置を推定する(移動物体位置姿勢推定手段)。
In the next step S11, the
このとき、ECU1は、例えば、位置推定用尤度が最も高い仮想位置及び仮想姿勢角の候補を用いて、当該仮想位置及び仮想姿勢角を、自車両Vの実際の位置及び姿勢角として算出してもよい。又は、ECU1は、姿勢角推定用尤度が最も高い仮想位置及び仮想姿勢角の候補を用いて、当該仮想位置及び仮想姿勢角を、自車両Vの実際の位置及び姿勢角として算出してもよい。又は、ECU1は、位置推定用尤度と姿勢角推定用尤度との和が最も高い仮想位置及び仮想姿勢角の候補を用いて、当該仮想位置及び仮想姿勢角を、自車両Vの実際の位置及び姿勢角として算出してもよい。又は、ECU1は、複数の仮想位置及び仮想姿勢角の候補に対して、各仮想画像の位置推定用尤度に応じた重み付き平均を取って自車両Vの実際の位置及び姿勢角を算出してもよい。又は、ECU1は、複数の仮想位置及び仮想姿勢角の候補に対して、各仮想画像の姿勢角推定用尤度に応じた重み付き平均を取って自車両Vの実際の位置及び姿勢角を算出してもよい。又は、ECU1は、各仮想画像の位置推定用尤度と姿勢角推定用尤度の和に応じた重み付き平均を取って自車両Vの実際の位置及び姿勢角を算出してもよい。
At this time, the
ECU1は、以上のようなステップS1乃至ステップS11を繰り返して行うことによって、逐次、自車両Vの位置と姿勢角を算出できる。
The
以上詳細に説明したように、本実施形態として示した移動物体位置姿勢推定装置によれば、撮像方向が遮蔽されている遮蔽状態に応じて、姿勢角推定用画像尤度及び位置推定用画像尤度を設定する。これにより、移動物体位置姿勢推定装置は、遮蔽状態に基づいて最適な撮像画像と当該撮像方向と同じ方向に仮想的に投影した仮想画像とを比較して、実際の自車両Vの位置及び姿勢角を推定できる。したがって、移動物体位置姿勢推定装置は、精度良く自車両Vの位置及び姿勢角を推定することができる。 As described above in detail, according to the moving object position / posture estimation apparatus shown as the present embodiment, the posture angle estimation image likelihood and the position estimation image likelihood according to the shielding state in which the imaging direction is shielded. Set the degree. Accordingly, the moving object position / posture estimation apparatus compares the optimum captured image based on the shielding state with the virtual image virtually projected in the same direction as the imaging direction, and compares the actual position and posture of the host vehicle V with each other. The angle can be estimated. Therefore, the moving object position / posture estimation apparatus can accurately estimate the position and posture angle of the host vehicle V.
特に、移動物体位置姿勢推定装置は、前方撮像画像の姿勢角推定用画像尤度を高めるので、側方に比べて遮蔽されずに遠くまで撮像した前方撮像画像を用いて自車両Vの姿勢を推定できる。また、移動物体位置姿勢推定装置は、側方撮像画像の位置推定用画像尤度を高めるので、前方に比べて遮蔽されて近くを撮像した側方撮像画像を用いて自車両Vの位置を推定できる。 In particular, since the moving object position / posture estimation apparatus increases the posture likelihood estimation image likelihood of the front captured image, the posture of the host vehicle V is determined using the front captured image captured far away without being shielded compared to the side. Can be estimated. In addition, the moving object position / posture estimation apparatus increases the image likelihood for position estimation of the side captured image, so the position of the host vehicle V is estimated using the side captured image that is shielded and imaged near the front. it can.
2つの映像が一致した場所が自車両Vから遠い場合には位置の誤差が大きい場合があり、逆に、2つの映像が一致した位置が自車両Vから近い場合には姿勢角の誤差が大きい場合があるが、この移動物体位置姿勢推定装置によれば、精度良く移動物体の位置及び姿勢角を推定することができる。 When the place where the two images match is far from the host vehicle V, the position error may be large. Conversely, when the position where the two images match is close to the host vehicle V, the posture angle error is large. In some cases, the moving object position / posture estimation apparatus can accurately estimate the position and the posture angle of the moving object.
また、この移動物体位置姿勢推定装置によれば、自車両Vの位置及び姿勢角を求めるために不要な撮像画像については仮想画像と一致する処理を省くことができるため、演算負荷の低減が実現できる。 Further, according to this moving object position / posture estimation apparatus, it is possible to omit processing that matches a virtual image for a captured image that is unnecessary for obtaining the position and posture angle of the host vehicle V, thereby realizing a reduction in calculation load. it can.
また、この移動物体位置姿勢推定装置によれば、自車両Vが進行方向の左側を走行している場合には左側側方画像が遮蔽された状態であり、自車両Vが進行方向の右側を走行している場合には右側側方画像が遮蔽された状態であることを検出できる。これにより、この移動物体位置姿勢推定装置によれば、遮蔽された左側方又は右側方の撮像画像を姿勢角を推定するのに適切な撮像画像とは選択しないようにすることができる。また、移動物体位置姿勢推定装置は、自車両Vの前方に比べて側方は近くを撮像できることを利用して位置推定用画像尤度を高めることもできる。これにより、移動物体位置姿勢推定装置は、適切な姿勢角推定用画像尤度及び位置推定用画像尤度を設定して、位置及び姿勢角の推定精度を向上させることができる。
更に、この移動物体位置姿勢推定装置によれば、自車両Vから上方に勾配がある方向よりも遠い範囲の撮像画像が遮蔽された状態であることを検出できる。これにより、例えば坂道の頂上手前では前方が遮蔽され、頂上を越えたら後方が遮蔽された状態にあることが判断できる。これにより、ECU1は、遮蔽された方向の撮像画像を使用して自車両Vの位置及び姿勢角を推定しないよう姿勢角推定用画像尤度及び位置推定用画像尤度を低下できる。又は、ECU1は、遮蔽された状態によっては構造物が撮像できる状況であり、この場合には、自車両Vの位置を推定しやすくするので位置推定用画像尤度を高めることができる。これにより、移動物体位置姿勢推定装置は、適切な姿勢角推定用画像尤度及び位置推定用画像尤度を設定して、位置及び姿勢角の推定精度を向上させることができる。
Further, according to this moving object position and orientation estimation device, when the host vehicle V is traveling on the left side in the traveling direction, the left side image is shielded, and the host vehicle V is positioned on the right side in the traveling direction. When traveling, it can be detected that the right side image is shielded. Thus, according to the moving object position / posture estimation apparatus, it is possible to prevent the shielded left-side or right-side captured image from being selected as an appropriate captured image for estimating the posture angle. Further, the moving object position / posture estimation apparatus can also increase the image likelihood for position estimation by utilizing the fact that the side can image nearer than the front of the host vehicle V. As a result, the moving object position / posture estimation apparatus can set appropriate posture angle estimation image likelihood and position estimation image likelihood to improve the accuracy of position and posture angle estimation.
Furthermore, according to this moving object position / posture estimation apparatus, it is possible to detect that a captured image in a range farther than a direction having a gradient upward from the host vehicle V is shielded. Thereby, for example, it can be determined that the front is shielded before the top of the hill and the rear is shielded when the top is exceeded. Thereby, the
更に、この移動物体位置姿勢推定装置によれば、自車両Vに対する構造物の位置及び形状によって撮像画像の遮蔽状態を検出できる。この移動物体位置姿勢推定装置によれば、例えばトンネルや建物などの構造物情報を参照して遮蔽状態を判断するので、構造物が遠くあり遮蔽されていない場合には、当該方向の撮像画像の姿勢角推定用画像尤度を高めて、当該撮像画像を姿勢角の推定に使用しやすくすることができる。また、構造物が近くにあって遮蔽されている場合には、当該方向の撮像画像を位置及び姿勢角の推定に使用しないよう位置推定用画像尤度及び姿勢角推定用画像尤度を低下させることができる。更に、自車両Vの近くの構造物と投影画像が一致させることができる場合には、当該方向の撮像画像により位置の推定ができるよう位置推定用画像尤度を高めることができる。 Furthermore, according to this moving object position / posture estimation apparatus, the shielding state of the captured image can be detected based on the position and shape of the structure relative to the host vehicle V. According to this moving object position / orientation estimation apparatus, for example, the shielding state is determined with reference to structure information such as a tunnel or a building. Therefore, when the structure is far away and is not shielded, the captured image of the direction is displayed. By increasing the posture angle estimation image likelihood, the captured image can be easily used for posture angle estimation. Further, when the structure is close and shielded, the position estimation image likelihood and the posture angle estimation image likelihood are reduced so that the captured image in the direction is not used for the position and posture angle estimation. be able to. Further, when the structure near the host vehicle V and the projected image can be matched, the position estimation image likelihood can be increased so that the position can be estimated from the captured image in the direction.
更に、この移動物体位置姿勢推定装置によれば、降雨又は降雪がある場合には、降雨又は降雪がない場合と比べて前方撮像画像が遮蔽されていることを検出できる。この移動物体位置姿勢推定装置によれば、降雨や降雪によって遮蔽されている場合には、当該降雨や降雪による視界悪化が著しい移動方向を撮像した撮像画像の姿勢角推定用画像尤度及び位置推定用画像尤度を低下させる。これにより、移動物体位置姿勢推定装置は、適切な姿勢角推定用画像尤度及び位置推定用画像尤度を設定して、位置と姿勢角の推定精度を向上させることができる。 Furthermore, according to this moving object position / posture estimation apparatus, it is possible to detect that the front captured image is shielded when there is rain or snow compared to when there is no rain or snow. According to this moving object position / posture estimation apparatus, when it is blocked by rain or snow, the image likelihood and position estimation for posture angle estimation of a captured image obtained by capturing a moving direction in which the visibility is greatly deteriorated due to the rain or snow The image likelihood is reduced. Thereby, the moving object position / posture estimation apparatus can set the appropriate posture angle estimation image likelihood and the position estimation image likelihood, and improve the estimation accuracy of the position and posture angle.
更に、この移動物体位置姿勢推定装置によれば、自車両Vの姿勢角と、太陽の方位角とから、太陽光によって遮蔽される撮像画像を検出できる。この移動物体位置姿勢推定装置によれば、カメラ群2のうちの特定のカメラが太陽を含む範囲を撮像している場合には太陽光の影響によって撮像し難いので、当該方向の撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低くする。これにより、移動物体位置姿勢推定装置は、適切な姿勢角推定用画像尤度及び位置推定用画像尤度を設定して、位置と姿勢角の推定精度を向上させることができる。
更に、この移動物体位置姿勢推定装置によれば、日照量が少ない場合には照明機器によって照射されていない方向の撮像画像が、照明機器により照射されている方向の撮像画像に比べて遮蔽されていると検出できる。この移動物体位置姿勢推定装置によれば、日照量が高い場合には姿勢角推定用画像尤度及び位置推定用画像尤度を高めることができる。また、日照量が少ない場合には撮像画像が遮蔽されており、姿勢角推定用画像尤度及び位置推定用画像尤度を低下させることができる。また、日照量が少ないがヘッドライト等で照射される前方撮像画像が遮蔽されていないとして適切な姿勢角推定用画像尤度を設定することができる。これにより移動物体位置姿勢推定装置によれば、適切な姿勢角推定用画像尤度及び位置推定用画像尤度を設定して、位置と姿勢角の推定精度を向上させることができる。
Furthermore, according to the moving object position / posture estimation apparatus, a captured image shielded by sunlight can be detected from the posture angle of the host vehicle V and the azimuth angle of the sun. According to this moving object position / posture estimation apparatus, when a specific camera in the
Further, according to this moving object position / posture estimation apparatus, when the amount of sunlight is small, a captured image in a direction not illuminated by the illumination device is shielded compared to a captured image in the direction illuminated by the illumination device. Can be detected. According to this moving object position / posture estimation apparatus, when the amount of sunlight is high, the posture angle estimation image likelihood and the position estimation image likelihood can be increased. Further, when the amount of sunshine is small, the captured image is shielded, and the posture angle estimation image likelihood and the position estimation image likelihood can be reduced. Further, it is possible to set an appropriate posture angle estimation image likelihood assuming that the front captured image irradiated with a headlight or the like is not blocked although the amount of sunlight is small. Thereby, according to the moving object position / posture estimation apparatus, it is possible to set appropriate posture angle estimation image likelihood and position estimation image likelihood to improve the estimation accuracy of the position and posture angle.
更に、この移動物体位置姿勢推定装置によれば、自車両Vの周囲の障害物を検出して、当該障害物が存在する方向の撮像画像が当該障害物以遠が遮蔽されていると判定できる。例えば、カメラ群2の視界は、大きな障害物であっても自車両Vから遠くにあれば遮蔽されないが、小さな障害物であっても自車両Vの間近にあれば遮蔽されてしまう。したがって、この移動物体位置姿勢推定装置は、障害物が遠くにあって撮像画像が遮蔽されていない場合には当該撮像画像についての姿勢角推定用画像尤度を高めることができる。また、移動物体位置姿勢推定装置は、障害物が近くにあって撮像画像が遮蔽されている場合には当該撮像画像についての姿勢角推定用画像尤度及び位置推定用画像尤度を低下させることができる。これにより移動物体位置姿勢推定装置によれば、適切な姿勢角推定用画像尤度及び位置推定用画像尤度を設定して、位置と姿勢角の推定精度を向上させることができる。
Furthermore, according to this moving object position / posture estimation apparatus, it is possible to detect an obstacle around the host vehicle V and determine that the captured image in the direction in which the obstacle exists is shielded from the obstacle. For example, the field of view of the
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
上述した実施形態では車両を例にしたが、少なくとも1台以上のカメラを搭載した移動体であれば、航空機や船舶などにも適用可能である。 In the above-described embodiment, a vehicle is taken as an example. However, any vehicle that has at least one camera mounted thereon can be applied to an aircraft, a ship, and the like.
また、上述した実施形態では車両の6自由度の位置(前後方向,横方向,上下方向)及び姿勢角(ロール,ピッチ,ヨー)を求めているが、これに限らない。例えば、サスペンション等を有さない、工場などで用いられる無人搬送車などのように3自由度での位置(前後方向,横方向)及び姿勢角(ヨー)を推定する場合にも、本実施形態が適用可能である。具体的には、このような車両であれば、上下方向の位置と、ロールおよびピッチといった姿勢角は固定であるので、予めこれらのパラメータを計測しておいたり、3次元地図データベース3を参照して求めるようにすればよい。 In the above-described embodiment, the position (front-rear direction, lateral direction, vertical direction) and posture angle (roll, pitch, yaw) of the six degrees of freedom of the vehicle are obtained, but the present invention is not limited to this. For example, this embodiment is also used when estimating a position (front-rear direction, lateral direction) and posture angle (yaw) with three degrees of freedom, such as an automatic guided vehicle used in a factory without a suspension or the like. Is applicable. Specifically, in such a vehicle, the vertical position and the posture angle such as roll and pitch are fixed. Therefore, these parameters are measured in advance or the 3D map database 3 is referred to. And ask for it.
1 ECU
2 カメラ群
2a 全方位カメラ
2b 後方カメラ
2f 前方カメラ
2l 左側方カメラ
2r 右側方カメラ
3 次元地図データベース
4 車両センサ群
21 撮像範囲
41 GPS受信機
42 アクセルセンサ
43 ステアリングセンサ
44 ブレーキセンサ
45 車速センサ
46 加速度センサ
47 車輪速センサ
48 その他センサ
1 ECU
2
Claims (9)
移動物体の前方を撮像して前方撮像画像を取得する前方撮像手段と、
移動物体の右側又は左側を撮像して側方撮像画像を取得する側方撮像手段と、
三次元地図データを前記前方撮像手段により仮想的に撮像した画像に変換して仮想前方画像を取得すると共に、三次元地図データを前記側方撮像手段により仮想的に撮像した画像に変換して仮想側方画像を取得する仮想画像取得手段と、
撮像方向が遮蔽されている状態を表す遮蔽状態を検出する遮蔽状態検出手段と、
前記遮蔽状態検出手段により検出された遮蔽状態に基づいて、前記前方撮像手段により取得された前方撮像画像及び前記側方撮像手段により取得された側方撮像画像のそれぞれについて、移動物体の位置を推定するための画像として適している度合いを表す位置推定用画像尤度と、移動物体の姿勢角を推定するための画像として適している度合いを表す姿勢角推定用画像尤度とを設定するものであり、前記前方撮像画像の姿勢角推定用画像尤度を高め、前記側方撮像画像の位置推定用画像尤度を高める画像尤度設定手段と、
前記前方撮像画像及び前記側方撮像画像のうち前記画像尤度設定手段により設定された位置推定用画像尤度が所定値以上の撮像画像と当該撮像画像と同じ方向に投影された仮想画像との一致度に基づいて、実際の移動物体の位置を推定すると共に、前記前方撮像画像及び前記側方撮像画像のうち前記画像尤度設定手段により設定された姿勢角推定用画像尤度が所定値以上の撮像画像と当該撮像画像と同じ方向に投影された仮想画像との一致度に基づいて、実際の移動物体の姿勢角を推定する移動物体位置姿勢推定手段と
を有することを特徴とする移動物体位置姿勢推定装置。 A moving object position and orientation estimation apparatus for estimating a position and an attitude angle of a moving object,
Forward imaging means for capturing the front of the moving object and obtaining a forward captured image;
A side imaging means for capturing a right side or a left side of a moving object to obtain a side captured image;
The three-dimensional map data is converted into an image virtually captured by the front imaging means to acquire a virtual front image, and the three-dimensional map data is converted into an image virtually captured by the side imaging means to be virtual Virtual image acquisition means for acquiring side images;
Shielding state detecting means for detecting a shielding state representing a state where the imaging direction is shielded;
Based on the shielding state detected by the shielding state detection unit, the position of the moving object is estimated for each of the front captured image acquired by the front imaging unit and the side captured image acquired by the side imaging unit. The position estimation image likelihood representing the degree suitable as an image to be used and the posture angle estimation image likelihood representing the degree suitable as an image for estimating the posture angle of the moving object are set. Yes, image likelihood setting means for increasing the posture angle estimation image likelihood of the front captured image and increasing the position estimation image likelihood of the side captured image;
Of the forward captured image and the lateral captured image, a captured image whose position estimation image likelihood set by the image likelihood setting means is a predetermined value or more and a virtual image projected in the same direction as the captured image Based on the degree of coincidence, the position of the actual moving object is estimated, and the posture angle estimation image likelihood set by the image likelihood setting means of the front captured image and the side captured image is greater than or equal to a predetermined value A moving object position and orientation estimation means for estimating the orientation angle of the actual moving object based on the degree of coincidence between the captured image and the virtual image projected in the same direction as the captured image. Position and orientation estimation device.
撮像方向が遮蔽されている状態を表す遮蔽状態を検出するステップと、
前記遮蔽状態に基づいて移動物体の姿勢角を推定するための画像として適している度合いを表す姿勢角推定用画像尤度及び移動物体の位置を推定するための画像として適している度合いを表す位置推定用画像尤度を設定し、移動物体の前方を撮像した前方撮像画像について前記姿勢角推定用画像尤度を高め、移動物体の側方を撮像した側方撮像画像について前記位置推定用画像尤度を高めるステップと、
前記前方撮像画像及び前記側方撮像画像のうち前記位置推定用画像尤度が所定値以上の撮像画像と当該撮像画像と同じ方向に投影された仮想画像との一致度に基づいて、実際の移動物体の位置を推定すると共に、前記前方撮像画像及び前記側方撮像画像のうち前記姿勢角推定用画像尤度が所定値以上の撮像画像と当該撮像画像と同じ方向に投影された仮想画像との一致度に基づいて、実際の移動物体の姿勢角を推定するステップと
を有することを特徴とする移動物体位置姿勢推定方法。 A moving object position / posture estimation method for estimating a position and a posture angle of a moving object,
Detecting a shielding state representing a state where the imaging direction is shielded;
Image likelihood for posture angle estimation representing a degree suitable for an image for estimating the posture angle of a moving object based on the shielding state, and a position representing a degree suitable for an image for estimating the position of the moving object The estimation image likelihood is set, the posture angle estimation image likelihood is increased for the front captured image obtained by imaging the front of the moving object, and the position estimation image likelihood is determined for the side captured image obtained by imaging the side of the moving object. Step up the degree,
Based on the degree of coincidence between the captured image having the position estimation image likelihood of a predetermined value or more and the virtual image projected in the same direction as the captured image, of the front captured image and the lateral captured image, actual movement is performed. While estimating the position of an object, between the front captured image and the side captured image, a captured image whose posture angle estimation image likelihood is a predetermined value or more and a virtual image projected in the same direction as the captured image And a step of estimating an actual posture angle of the moving object based on the degree of coincidence.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012049382A JP5910180B2 (en) | 2012-03-06 | 2012-03-06 | Moving object position and orientation estimation apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012049382A JP5910180B2 (en) | 2012-03-06 | 2012-03-06 | Moving object position and orientation estimation apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013185871A true JP2013185871A (en) | 2013-09-19 |
JP5910180B2 JP5910180B2 (en) | 2016-04-27 |
Family
ID=49387432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012049382A Active JP5910180B2 (en) | 2012-03-06 | 2012-03-06 | Moving object position and orientation estimation apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5910180B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9151626B1 (en) | 2014-04-11 | 2015-10-06 | Nissan North America, Inc. | Vehicle position estimation system |
JP2017116363A (en) * | 2015-12-24 | 2017-06-29 | アイシン・エィ・ダブリュ株式会社 | Vehicle position estimation system, method, and program |
JP2018081471A (en) * | 2016-11-16 | 2018-05-24 | 三菱電機株式会社 | Road marking recognition device, road marking recognition method, driving support device with road marking recognition device, and driving support method with road marking recognition method |
JP2019500602A (en) * | 2015-12-15 | 2019-01-10 | 本田技研工業株式会社 | System and method for image-based vehicle location |
US10249056B2 (en) | 2014-04-11 | 2019-04-02 | Nissan North America, Inc. | Vehicle position estimation system |
JP2021082181A (en) * | 2019-11-22 | 2021-05-27 | パナソニックIpマネジメント株式会社 | Position estimation device, vehicle, position estimation method and position estimation program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030169903A1 (en) * | 2002-03-11 | 2003-09-11 | Mitsubishi Denki Kabushiki Kaisha | Image pickup information recognition system |
WO2006035755A1 (en) * | 2004-09-28 | 2006-04-06 | National University Corporation Kumamoto University | Method for displaying movable-body navigation information and device for displaying movable-body navigation information |
JP2006177818A (en) * | 2004-12-22 | 2006-07-06 | Denso Corp | Navigation apparatus |
JP2006260011A (en) * | 2005-03-16 | 2006-09-28 | Denso Corp | Display device for vehicle |
JP2007040844A (en) * | 2005-08-03 | 2007-02-15 | Mitsubishi Electric Corp | On-vehicle navigation device |
JP2009199572A (en) * | 2008-01-25 | 2009-09-03 | Kazuo Iwane | Three-dimensional machine map, three-dimensional machine map generating device, navigation device, and automatic driving device |
WO2010004689A1 (en) * | 2008-07-07 | 2010-01-14 | 三菱電機株式会社 | Vehicle traveling environment detection device |
JP2010175423A (en) * | 2009-01-30 | 2010-08-12 | Mitsubishi Electric Corp | Measuring device, method for correcting position and posture value of laser in measuring device, and laser position/posture value correcting program |
JP2012043308A (en) * | 2010-08-20 | 2012-03-01 | Canon Inc | Position and attitude determination method, position and attitude determination device, object model generation method, object model generation device and program |
-
2012
- 2012-03-06 JP JP2012049382A patent/JP5910180B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030169903A1 (en) * | 2002-03-11 | 2003-09-11 | Mitsubishi Denki Kabushiki Kaisha | Image pickup information recognition system |
JP2003263104A (en) * | 2002-03-11 | 2003-09-19 | Mitsubishi Electric Corp | Imaging information recognition system |
WO2006035755A1 (en) * | 2004-09-28 | 2006-04-06 | National University Corporation Kumamoto University | Method for displaying movable-body navigation information and device for displaying movable-body navigation information |
JP2006177818A (en) * | 2004-12-22 | 2006-07-06 | Denso Corp | Navigation apparatus |
JP2006260011A (en) * | 2005-03-16 | 2006-09-28 | Denso Corp | Display device for vehicle |
JP2007040844A (en) * | 2005-08-03 | 2007-02-15 | Mitsubishi Electric Corp | On-vehicle navigation device |
JP2009199572A (en) * | 2008-01-25 | 2009-09-03 | Kazuo Iwane | Three-dimensional machine map, three-dimensional machine map generating device, navigation device, and automatic driving device |
WO2010004689A1 (en) * | 2008-07-07 | 2010-01-14 | 三菱電機株式会社 | Vehicle traveling environment detection device |
JP2010175423A (en) * | 2009-01-30 | 2010-08-12 | Mitsubishi Electric Corp | Measuring device, method for correcting position and posture value of laser in measuring device, and laser position/posture value correcting program |
JP2012043308A (en) * | 2010-08-20 | 2012-03-01 | Canon Inc | Position and attitude determination method, position and attitude determination device, object model generation method, object model generation device and program |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9151626B1 (en) | 2014-04-11 | 2015-10-06 | Nissan North America, Inc. | Vehicle position estimation system |
US10249056B2 (en) | 2014-04-11 | 2019-04-02 | Nissan North America, Inc. | Vehicle position estimation system |
JP2019500602A (en) * | 2015-12-15 | 2019-01-10 | 本田技研工業株式会社 | System and method for image-based vehicle location |
JP2017116363A (en) * | 2015-12-24 | 2017-06-29 | アイシン・エィ・ダブリュ株式会社 | Vehicle position estimation system, method, and program |
JP2018081471A (en) * | 2016-11-16 | 2018-05-24 | 三菱電機株式会社 | Road marking recognition device, road marking recognition method, driving support device with road marking recognition device, and driving support method with road marking recognition method |
US10414396B2 (en) | 2016-11-16 | 2019-09-17 | Mitsubishi Electric Corporation | Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method |
US10821975B2 (en) | 2016-11-16 | 2020-11-03 | Mitsubishi Electric Corporation | Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method |
JP2021082181A (en) * | 2019-11-22 | 2021-05-27 | パナソニックIpマネジメント株式会社 | Position estimation device, vehicle, position estimation method and position estimation program |
Also Published As
Publication number | Publication date |
---|---|
JP5910180B2 (en) | 2016-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9740942B2 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
CN108572663B (en) | Target tracking | |
US10696227B2 (en) | Determining a road surface characteristic | |
KR102493878B1 (en) | controlling host vehicle based on detected spacing between stationary vehicles | |
US10311618B2 (en) | Virtual viewpoint position control device and virtual viewpoint position control method | |
US10269331B2 (en) | Display control device for vehicle | |
US10564434B2 (en) | Display control device for vehicle | |
RU2669652C1 (en) | Device for defining own position and method of defining own position | |
US10145692B2 (en) | Vehicle position determination apparatus and vehicle position determination method | |
US8818026B2 (en) | Object recognition device and object recognition method | |
US20190156129A1 (en) | Traveling Road Boundary Estimation Apparatus and Traveling Assistance System Using Same | |
JP6567659B2 (en) | Lane detection device and lane detection method | |
JP5910180B2 (en) | Moving object position and orientation estimation apparatus and method | |
US10964217B2 (en) | Travel control method and travel control apparatus | |
US20130027511A1 (en) | Onboard Environment Recognition System | |
US20150332101A1 (en) | Lane boundary line recognition apparatus and program for recognizing lane boundary line on roadway | |
JP7190261B2 (en) | position estimator | |
JP2007300181A (en) | Periphery monitoring apparatus and periphery monitoring method and program thereof | |
CN106203272B (en) | The method and apparatus for determining the movement of movable objects | |
JP2011028659A (en) | Road shape recognition device | |
JP6299517B2 (en) | Signal recognition device and signal recognition method | |
JP6834401B2 (en) | Self-position estimation method and self-position estimation device | |
JP2017117105A (en) | Visibility determination device | |
JP6620175B2 (en) | Distance calculation device and vehicle control device | |
JP2013186718A (en) | Mobile object position attitude estimation device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160314 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5910180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |