JP2009027700A - 移動体搭載用前方撮像制御装置 - Google Patents
移動体搭載用前方撮像制御装置 Download PDFInfo
- Publication number
- JP2009027700A JP2009027700A JP2008158469A JP2008158469A JP2009027700A JP 2009027700 A JP2009027700 A JP 2009027700A JP 2008158469 A JP2008158469 A JP 2008158469A JP 2008158469 A JP2008158469 A JP 2008158469A JP 2009027700 A JP2009027700 A JP 2009027700A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- pixel
- value
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 102
- 238000005259 measurement Methods 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 26
- 230000009466 transformation Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000007792 addition Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【解決手段】本発明の移動体搭載用前方撮像装置は、設定された路面の領域を撮像する撮像手段が撮像した画像を入力し、撮像手段の姿勢角を検出する装置であり、画像の各画素を、仮想的な路面表面の2次元平面上に、撮像手段の光学モデルに従う座標変換で投影する投影変換部と、2次元平面に投影された投影画像において、直進方向を縦軸として、投影画像を遠景及び近影に分割し、遠景及び近景それぞれの特徴量を横軸に対して射影してそれらの間の類似度を算出する射影類似度算出部と、遠景及び近景の射影の類似度が最大となる俯角、パン角の値を、撮像手段の撮像方向を示す姿勢角の測定値として選択する姿勢角算出部とを有する。
【選択図】図1
Description
この車載用前方撮像装置は、車両に搭載された状態にて路面を含む車外環境を観測するため、取り付け誤差や荷重状態によって、車両及び路面表面に対するカメラ(撮像部)の姿勢が設計時の標準姿勢から変化する。
したがって、このようなカメラで得られる画像を用い、撮像装置の設置時からの姿勢のずれを補償するため、車線(路面に描かれた白線等)認識や消失点認識を行い、姿勢推定を行うことにより、撮像装置の撮像した画像を用いて車線認識や障害物検出を行う機器が想定した性能を満たすように、撮像装置の姿勢のずれに対する補正を行う必要がある。
また、従来の技術としては、測定パラメーター分布のヒストグラムから最も頻度の高い値(最頻値)を選択し、その最頻値を推定値として、撮像装置の光軸を画像処理により修正する(例えば、特許文献2参照)。
特許文献2に示す技術にあっては、各測定パラメーター分布において、同一の測定値であっても、ヒストグラムの量子化方法によって最頻値が変化するため、画像の補正に誤差が発生する欠点がある。また、特許文献2に示す技術にあっては、量子化単位を細かくして誤差を小さくしようとすると、推定値として妥当な最頻値を得るには多数の測定値を必要とする欠点がある。
本発明は、このような事情に鑑みてなされたもので、路面の白線に依存せずに、特徴点の無い路面でも安定した頻度にて姿勢の測定が行え、少ない測定値にて高い精度の姿勢角ずれの推定が行なえる撮像装置姿勢パラメーター補正機能を備えた車載用前方撮像制御装置の提供を目的とする。
また、本発明の移動体搭載用前方撮像装置によれば、画像内の路面における模様の各部分について移動速度の判定が行える特徴的な模様を有する特徴点が存在しない場合でも、撮像部の姿勢角を推定することができる。
この図において、移動体搭載用前方撮像制御装置1は、画像入力部11,投影変換部12,記憶部13,射影類似度算出部14, 姿勢角算出部15,姿勢角推定部16,走行検知部17及び旋回補正部18から構成されている。
画像入力部11は、撮像部100、例えばCCD(Charge Coulpled Device)カメラなどにより、予め設定した周期にて撮像した撮像画像を時系列的に取り込み、記憶部13の画像記憶領域にタイムスタンプに対応させて、最新の画像を1フレーム記憶させる。後述の時系列フィルター適用の場合は最新のフィルター出力を記憶しておき、撮像画像が入力されるに従い、この最新のフィルター出力を更新する。
射影類似度算出部14は、上記2次元平面において、直進方向を縦軸として、この縦軸方向に投影画像を複数に分割、例えば遠景部及び近影部に2分割し、この遠景部及び近景部それぞれに分布する特徴量を横軸に対して独立に射影し、横軸に射影された遠景部及び近景部のヒストグラムを比較することにより、遠景部及び近景部間の類似度を算出する。
姿勢角推定部16は、姿勢角算出部15による姿勢角測定値の測定値の集合から、誤差を含む測定値の正規分布と、一様に分布する誤測定値との混合分布形を推定し、正しい姿勢角の推定値を求める。
旋回補正部18は、入力される旋回角速度に対応して、パン角の算出値に対する補正量を出力する。
<投影変換>
以下、投影変換部12が行う投影変換の処理について説明する。この投影変換の処理の説明において、移動体近傍における路面を平面と考え、以降これを路面平面(上記2次元平面)と定義する。
上記撮像部100の撮像面座標系として、光軸中心を原点に持つように、図1に示す(x,y)座標系をとる。この(x,y)座標系において、横軸となるx軸は光軸に対し垂直かつ路面平面に対し並行にとる。
そして、撮像部100は、(x,y)座標系における撮像面Gに結像した像を、撮像した撮像画像として画像入力部11へ与える。
撮像画像が入力される毎に、画像入力部11は、記憶部13の画像記憶領域に格納する。
次に、投影変換部12は、順次、上記画像記憶領域から撮像画像を入力し、各撮像画像の画素を仮想的な路面表面における2次元平面に投影し投影画像を生成する。
これにより、入力される撮像画像から撮像部100の光路を逆にたどることで、仮想的な路面の2次元平面に投影した投影画像を考えることができる。
また、変換する画像における一画素の大きさは、撮像面における撮像画像において縦Δyメートル、横Δxメートルに対応するものとする。
一方、投影画像での一画素の大きさは、路面表面における2次元平面において縦Δdメートル、横Δwメートルに対応するように生成されるとする。
撮像部100の撮像した撮像画像の一例を図3に、また、撮像画像全体を投影変換した投影画像の一例を図4に示す。
(1)式における焦点Qの(w,d)座標系からの距離z、撮像部100の焦点距離f、光軸Lの俯角φの各々については、撮像面の位置(x, y)毎に変化しないため、定数と考えてよい。
また、以下、(x,y)座標系における撮像面上において、yの座標が一定となる直線をスキャンラインと定義する。
すなわち、図5に示すように、撮像部100の撮像面上におけるyが一定のスキャンラインが、路面平面の(w,d)座標系において、dが一定となる直線に写像されることを示している。
以下においては、路面平面上に写像されたスキャンラインを投影面スキャンラインと定義する。
w=C×x
と簡略化できる。
つまり、(x,y)座標系 から(w,d)座標系への座標変換において、一座標点あたりの演算量を乗算一回程度に簡略化することができる。
定数Cw=C×Δx
とし、xに対応するwを、w(x)と表記した場合、
漸化式w(x+1)=w(x)+Cw
となる。
すなわち、(1)式による正変換における一座標点あたりに必要な演算を、加算1回程度に簡略化することができる。
このような線形座標変換において、変換元の座標系における二点間の距離は変換先の座標系において定数倍となる。
このとき、定数の加算で表される変換前の座標系についての漸化式は、変換後の座標系においても定数の加算による漸化式として表される。
このとき、路面表面に投影される投影画像においては、撮像画像の画素との対応関係により、画素値がコピーされた画素の他に、画素値の設定されない画素や、1つの画素に2つの画素値が重複してコピーされる画素が生じたりする。
一方、1つの画素に複数の画素値が重複してコピーされた際には、画素値を順次重ね書きして、単に最後にコピーされた画素値を採用するのが最も簡単な方法である。または、計算資源に余裕がある場合には、重複コピーが行われる毎に、コピーされる画素値を順次加算し、その画素に画素値がコピーされた回数を記録しておき、全てのコピーが終了した後に平均値を算出し、その平均値をその画素の画素値としてもよい。
ゆえに、変換先の投影画像で画素で画素座標を一つずつ選び、逆変換を用いて変換元の入力画像で対応する画素座標を同定して投影画像を生成する場合、投影画像の各画素への値のコピーが必ず1回ずつ行われる利点がある。ただし、入力画像全体が同時にメモリ上に格納されている必要があり、入力画像全体の取得を待たずに投影画像生成を始めることはできない。また、単純に1対1の画素値コピーをするやり方では入力画像の細かい模様が投影画像に反映されない場合もあり、望ましくない結果を生む可能性がある。
このとき、路面表面の2次元平面上において、車両直進方向をλ軸にとると、d軸はλ軸に対して左回りに角度θ回転していることになる。
したがって、(1)式に対して、二次元回転行列を適用し、以下に示す(3)式の正変換式を得る。
そのようにすると、パン角θを考慮する場合も、入力画像でのスキャンライン毎に、xについての以下の(4)式に示す漸化式を用いることにより、一座標点あたり加算2回で投影変換が計算できる。
この直線上の点(ω, λ)においては、(5)式よりdtに対応するy座標が一定となるため、対応する(w,d)座標点群はw軸に平行な投影面スキャンラインとなる。このとき、dtを予め計算しておき、(4)式を計算する際に定数とすることにより、座標点ごとの除算を避けて正変換と同程度の計算量にて、(4)式の計算を行うことができる。
一方、撮像画像は、上記Gと同様に、各要素が1画素を表す配列である入力画像M[h][v]として、記憶部13における画像記憶領域に保持される。ここで、vが縦軸方向の画素位置を示し、hが横軸方向の画素位置を示している。
また、Gを位置(r、c)から、画素値に写像する関数と考える際、G(r、c)と表記する。この際、投影画像の各画素値が記憶部13の記憶領域(以下、メモリと記載する)に格納されているか否かは考慮しない。
以降の説明においては、説明を簡略化するため、一次元実数で輝度を表した画素値を想定するが、カラー画像の場合の処理も同様である。また、この画素値としては、内積が定義される量であれば、以降に述べる方法と同様の計算方式が適用できる。
例えば、レーン境界線の検知においては、路面表面上にて5cm程度の画素解像度が適当であるが、遠景にて1画素幅が路面表面の5cmを表しているとき、近景にては10画素幅以上の解像度にて路面表面上の5cmの範囲における画像を表しているのが普通となる。
投影画像においては、遠景部と近景部とで、路面表面における画像の解像度(cm/pixel)は同程度となるため、近景部で必要以上の画素解像度を用いずに済み、投影変換以降の処理において必要なメモリサイズと計算量とをより小さくできる利点もある。
このため、入力画像の画素M[h][v]を一つずつ選択し、選択した画素を画素位置(h,v)と対応する投影画像の一画素G[r][c]に画素値をコピーしていく処理においては、投影画像に画素値を持たない画素が生じる。ここでは、画素配列中の列番号をh、行番号をvとする。
画素値を持たない画素の発生を防止する法の一つは、逆変換により座標変換し、上述した処理とは反対に、投影画像の画素G[r][c]を一つずつ順次選択し、この選択した投影画像の画素に対応する入力画像の画素M(h,v)の画素値をコピーすることである。以下、上述した座標値の逆変換により、投影画像の各画素に対する、撮像画像における対応する画素の画素値のコピーを想定する。
ただし、投影画像の画素に対して、撮像画像の対応する画素位置が撮像部100の撮像可能な領域外(視界外の領域)である場合、この投影画像の画素の画素値を算出することができない。以降、このような画素値を算出することができない画素を無効画素と呼ぶ。
ステップS501において、投影変換部12は、メモリ上のGに属する全画素を画素値−1で初期化する。画素値−1は無効画素を示す。
また、パン角θに従い、図7に示すように、λ座標の増分Δλ=Δω×tanθとし、w座標の増分Δw=Δω/cosθとする。ただし、ωの増分Δωは投影画像の画素幅δωに等しくとる。上記Δω、Δλ、Δwは、図7に示すように、投影面スキャンライン上を動く点における一度に動く距離と方向とを表すベクトルのω座標成分、λ座標成分、w座標成分である。
すなわち、図7に示すように、漸化式λt+1=λt+δλにより(ステップS512)、投影面スキャンラインを一画素分ずつ上にあげ、繰り返しステップS504からS511の処理を行なうことで投影画像の画素を隙間なく処理できる。
また、変数wを投影面スキャンラインの始点座標ωmin/cosθに初期化する。
すなわち、(h,v)=({x/δx}+oh ,−{y/δy}+ov)として、画素の位置が算出される。ここで、δxは入力画像の画素の横幅であり、δyは縦幅であり、oh及びovは入力画像の(h,v)座標系における(x,y)座標系の原点が位置する画素位置である。
図8のフローチャートにおいて、一画素毎に実行される演算は最内部のループ(ステップS509〜ステップS511)内の3回の加算と、画素値のコピー程度とで、撮像画像からの投影画像の生成が可能であることが分かる。これは、専用ハードウェアを用いずとも、汎用プロセッサーやDSP(デジタル・シグナル・プロセッサー)においても毎秒数百回程度実行可能な処理量である。
以下、射影類似度算出部14が行う撮像部100の姿勢測定における近景部と遠景部との間の類似度の算出方式について説明する。
本実施形態においては、すでに述べたように、撮像画像から、仮想路面平面上への投影画像に基づき、俯角やパン角などの撮像部100の姿勢角を推定する。投影画像を特定方向に沿って、この特定方向に並ぶ各画素の画素値の平均値を算出し、この平均値の並びを射影ヒストグラムとすることにより、小さな処理量にて画像の全体的な特徴及び変動を類似度に反映する方法を採用している。ここで、各画素の画素値の平均値を算出する代わりに、画像の他の特徴値を用いても良い。
射影類似度算出部15は、ある行rから、行r+kまでの範囲について平均値を特徴量とした縦射影を、一次元配列Pとして生成する。このPの各要素P[c]は、
P[c] = (G[r][c] + G[r+1][c] + G[r+2][c]
+ G[r+3][c] + … + G[r+k][c])/(k+1)
の式により、列c内で行rから行r+kまで画素値の平均を計算することにより求める。ここで、G[ ][ ]は、対応する画素の画素値を示している。
また、図4に示すように、図の左側と右側とにおける斜線で示す台形部分のように、入力画像から投影画像へ変換する際に、変換元の入力画像において対応する画素が無く、撮像画像において画素値がコピーされたない部分については平均値の計算に加えない。
本実施形態においては、投影画像を遠景部及び近景部の2つに二分し、それぞれについて縦射影を求めた例を示している。
例えば、列cの輝度値の平均をP[c]とすると、列cの輝度値の平均の勾配S[c]は以下の式を用いて算出する。
S[c]=(P[c+1]−P[c−1])/2
この図12において、各々算出された遠景部の左側の縦射影がL1であり、遠景部の右側の縦射影がR1であり、遠景部の左側の縦射影勾配がLd1であり、遠景部の右側の縦射影勾配がRd1であり、近景部の左側の縦射影がL2であり、近景部の右側の縦射影がR2であり、近景部の左側の縦射影勾配がLd2であり、近景部の右側の縦射影勾配がRd2である。
以降においては、二つの縦射影について、例えば遠景部の右側と近景部の右側の類似度と言ったときは、それぞれの縦射影の勾配を比較して数値化した値を考えるとする。この類似度は、後述するように、縦射影の勾配が完全に一致したとき最大となる量を想定、すなわち、類似度が高いほど、高い類似性を有しているとする。
このような状況に対応する必要がある場合、輝度勾配ヒストグラムや色勾配ヒストグラムを各列cについて作成する。
輝度勾配ヒストグラムは、隣接する各画素単位での輝度値の勾配を算出し、以下に示す正勾配の合計数及び負勾配の合計数から構成し、類似性の比較を行う。色勾配ヒストグラムにおいても同様であり、各画素の色の変化の差をヒストグラムとして算出し、類似度の比較を行う。
射影対象となる投影画像での画素のうち、撮像画像の視界外と対応する画素はすでに述べたように、画素値を持たない無効画素である。このような無効画素は、前述のように負の画素値(−1)を格納しておくなどの方法により、他の画素値を有する画素と区別できるようにしておく。そして、射影の計算時には、画素値として「−1」を検出した際、この画素を無効画素を除外し、残りの画素の画素値についてヒストグラム生成及び類似度の計算を行なう。
以下、姿勢角算出部15が行う撮像部100の姿勢推定における姿勢角の測定の処理について説明する。
移動体、例えば自車両が十分な速度にて、一定時間の間直進しているとき、走行車線の方向と進行方向とがほぼ一致していると想定できる。そして、路面上の濃淡はレーンマーカーを含めて車線方向に垂直な方向への変化が大きく、車線方向(すなわち走行方向)への変化は小さい傾向があり、このとき撮像部100にて撮像した路面表面における2次元平面の撮像画像は縦方向の模様が顕著になる。
そこで、走行検知部17がヨーレートセンサー(慣性センサー)などから、移動体が安定した直進走行をしているか否かの検出を行い、直進走行をしている状態を検出したならば、姿勢角算出部15は投影画像上部(遠景部)と下部(近景部)との縦射影の類似度を最大にする姿勢角(俯角・パン角)を測定値とするようにする。
そして、後に上記測定を十分に繰り返した後、姿勢角推定部16は、姿勢角の測定値の分布から、撮像部100の姿勢角(俯角・パン角)の真値の推定を行なう。
ステップS401において、走行検知部17により自車両の安定直進が検出されたとき、姿勢角、すなわち俯角及びパン角の測定値を以下のステップにより測定する。
次に、ステップS403において、姿勢角候補、すなわち俯角・パン角のペア候補(φ,θ)を選択する。ここでは、撮像部100の規定取り付け俯角φ0[rad]と、規定取り付け誤差ε[rad]、俯角測定に求められる解像度をΔφ[rad]とした場合、俯角候補φを例えば測定範囲[φ0 −3×ε,φ0+3×ε]をΔφ刻みにて変化させ、順に選択して用いる。パン角θについても、同様に測定範囲を設定しておき、この測定範囲にてΔθ刻みにて変化させ、上記俯角・パン角のペア候補とする。
そして、ステップS405において、後に詳述するように、射影類似度算出部14に対して、投影画像を用いて、近景の射影と遠景の射影との間の類似度を計算し、姿勢角仮定に用いた姿勢角候補に対する評価値とする。
次に、ステップS408において、記憶部13の所定の記憶領域に記憶されている、時系列的に測定した姿勢角測定値の集合を更新する。
そして、ステップS410において、姿勢角推定部16が、後述するように、姿勢角測定値の分布の同定を行う。
この同定後、ステップS411において、姿勢角推定部16が同定した誤差分布から姿勢角の推定値を算出する。
ステップS601において、ステップS501にあるように、投影変換部12が、メモリ上の投影画像Gの各画素G[r][c]の画素値を無効画素の画素値である−1に書き換えることにより初期化する。
同様に、ステップS603において、遠景部の右半分側の縦射影R1を算出する。
また、ステップS604において、近景部の左半分側の縦射影L2を算出し、ステップS605において、近景部の右半分の縦射影R2を算出する。
次に、ステップS606において、遠景部の左半分側の縦射影L1の縦射影勾配Ld1、遠景部の右半分側の縦射影R1の縦射影勾配Rd1、近景部の左半分側の縦射影L2の縦射影勾配Ld2、近景部の右半分側の縦射影R2の縦射影勾配Rd2を算出する。
Lc=(Ld1×Ld2)/(|Ld1|×|Ld2|)
の式、すなわちLd1、Ld2の内積をLd1、Ld2のノルムで割ったベクトル間コサインを、縦射影左半分の類似度として計算する。
この計算は、相関係数よりも計算が簡単であり、画素値勾配のように平均値が0に近い数値を要素に持つベクトル同士の場合、相関係数に対する近似となる。
Rc=(Rd1×Rd2)/(|Rd1|×|Rd2|)
の式を縦射影右半分の類似度とする。
そして、ステップS608において、ステップS607にて算出した射影左半分の類似度Lc及び縦射影右半分の類似度Rcを加算し、Lc+Rcを評価値とする。
また、上記計算において、LcまたはRcの算出にて、分母が0になるときは、評価値を「−1」として算出する。
ここで強い射影パターンとは射影を構成する数値の絶対値が大きい傾向をもつことを表す。左右別に計算することで左右のレーン境界による縦射影のパターンの強さの差を補った類似度が得られる。
また、路面以外の景観の影響を避けるため、投影画像の進行方向に対して垂直な横射影を、縦射影と同様に計算し、上部と下部で分散値に一定以上の差を生ずる(φ,θ)については誤差とし、比較候補から除外する。
また、車間距離センサーが利用可能なときは、前方の移動体(車両)との車間距離が小さく、正しい俯角・パン角による投影画像でも、前方の移動体が撮像部100に撮像されつ影響にて、上部と下部で縦射影に相違を生ずることが推測される場合は姿勢角測定処理を行なわないようにするとよい。
以下、姿勢角推定部16が行う撮像部100の姿勢推定の算出の処理について説明する。
上述した姿勢角の測定において、算出された、撮像部100における姿勢角測定値ベクトルν=(φ,θ)の分布には、測定誤差を含んだ正規分布に加え、車線と垂直でない画素値変動成分やその他の原因によるクラッターの一様分布が混合していると考えられる。
そのため、姿勢角測定値ベクトルνの分布から、誤推定値クラッターのなす一様分布と妥当な測定値の正規分布の混合分布パラメーターを推定し(姿勢角測定値の分布同定)、誤測定成分をとり除いてより正確に撮像部100の姿勢角を推定する。
混合分布パラメーターは、尤度最大化法の一つであるEM法により漸近的に推定することができる。
ここで、各式において、Ωkは、カテゴリを示す変数でΩ1は平均値μをもち誤差σを分散にもつ正規分布をなす真値に正規誤差が加わった母集団を、Ω2は測定範囲で一様分布をするクラッター母集団を示している。
pt(νs|Ω1) ≡ (2π×σt)−1/2exp{−(νs−μt)2/(2×σ2)}
p(νs|Ω2) ≡ 1 / (νのとりうる値の面積)
P(Ωk|νs) ≡ pt(νs|Ωk)×Pt(Ωk) / {pt(νs|Ω1)
×Pt(Ω1)+p(νs|Ω2)×Pt(Ω2) }
と定義する。
μt+1 = Σs[νs×P(Ω1 |νs) / {P(Ω1 |νs) + P(Ω2 |νs)}]
σt+1 = Σs[(ν-μ(t))2×P(Ω1 |xs) / { P(Ω1 |xs) + P(Ω2 |xs)}]
Pt+1(Ωk) = Σs[P(Ωk |xs)/{P(Ω1 |xs)+P(Ω2|xs)}]
これらの漸化式を用いて推定パラメーターμ(t)の変化「μt+1−μt」が求める精度以下、すなわち高い精度となるまでつづける。そして、推定パラメーターμ(t)の変化が求める精度以下となった際のνsに対応する姿勢角推定値ベクトル(φ,θ)を、撮像部100の姿勢角推定値とする。
撮像画像の各画素について、時系列的に平均や重み付け平均をとることにより、画像内の移動物が軌跡を描く残像のような時系列平滑画像が得られる。以下、画像入力部11における時系列平滑画像生成の処理について説明する。
レーンマーカーが破線や金属鋲である場合などに対応する際、遠景部と近景部とのそれぞれの奥行きはレーンマーカー間隔の一周期以上とするべきである。
そうでないと正しい撮像部100の姿勢パラメーターによる投影画像にもかかわらず、遠景部と近景部との縦射影間において、類似度が低くなる原因となりうる。
このように、時系列平滑画像においては、全ての路面の模様が進行方向に沿った軌跡を描くこととなり、進行方向からずれた方向性をもつ模様は薄められる効果があり、撮像画像にて路面表面の模様の方向性が進行方向とずれていることによるパン角測定誤差が改善されるという効果も期待される。
St(h,v)=α×Mt(h,v)+(1−α)×St−1(h,v)
上記式において、係数αは入力される画素値に対する重み付けの係数であり、処理に対応して通常0から1の間(0<α<1)の値を選ぶ。
ヨーレートセンサー(慣性センサー)の出力値、すなわち旋廻角速度が安定している場合、車両は近似的に円軌道を旋廻していると考えられる。以下に、旋回補正部18のパン角補正処理について説明する。
このときの回転半径Rがある程度大きい場合は、図15のように点線矢印にて示す撮像部100のパン角に対し、路面模様のなす円軌道から求まるパン角測定値は実線矢印のようになると考えられる。
そして、図16に示すように、旋回補正部18は、走行検知部17から入力する、速度センサー101から得られる車両速度V[m/sec]と、慣性センサー102から得られるヨーレートω[rad/sec]とから、旋回半径R=V/ωを算出する。
ε=atan(L/D)
として表せる。
ここで、Dは測定における路面観測範囲の奥行きであり、
L=(R2−D2)1/2−RとLが求まる。
ε=atan((1−R2/D2)1/2−R/D)
としてずれεを求め、パン角測定値の補正量とする。
上述したように、旋廻角速度から得られた誤差εを、パン角θの測定値に対して、旋回方向に対応して、加算あるいは減算することで補正を行うことにより、カーブ中のパン角測定も可能になり、直線道路の少ない地域でも本発明を利用したシステムを適用できる。
Claims (5)
- 既定の方向の路面の領域を撮像する撮像手段が撮像した画像を入力し、撮像手段の姿勢角を推定する移動体搭載用前方撮像制御装置であり、
前記画像の各画素を仮想的な路面表面の2次元平面上に前記撮像手段の光学モデルに従う座標変換により対応付ける投影変換手段と、
前記2次元平面に仮想的に投影された投影画像において、直進方向を縦軸として、該投影画像を遠景及び近影に分割し、遠景及び近景それぞれを横軸に対して射影してそれらの間に定義される類似度を算出する射影類似度算出手段と、
遠景及び近景の射影の類似度が最大となる俯角、パン角の値を、前記撮像手段の撮像方向を示す姿勢角の測定値として選択する姿勢角算出手段と
を有することを特徴とする移動体搭載用前方撮像制御装置。 - 前記撮像手段が撮像した画像の各画素を時系列的に平滑化する画素値平滑化手段
をさらに有することを特徴とする請求項1記載の移動体搭載用前方撮像制御装置。 - 前記移動体に搭載された速度センサー及び慣性センサーから、移動体の直進速度及びヨーレートから旋回角速度を求める走行検知手段と、
該旋回角速度から前記パン角の値を補正する旋回補正手段と
をさらに有することを特徴とする請求項1または請求項2に記載の移動体搭載用前方撮像制御装置。 - 前記姿勢角の測定値の集合から、誤差を含む測定値の正規分布と、一様に分布する入力画像に外乱が発生した場合などに得られる誤測定値との混合分布形を推定し、正しい姿勢角の推定値を求める姿勢角推定手段と
を有することを特徴とする請求項1から請求項3のいずれかに記載の移動体搭載用前方撮像制御装置。 - 請求項1から請求項4のいずれかに記載の移動体搭載用前方撮像制御装置として、コンピューターを機能させるための移動体搭載用前方撮像制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008158469A JP4926127B2 (ja) | 2007-06-18 | 2008-06-17 | 移動体搭載用前方撮像制御装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007160300 | 2007-06-18 | ||
JP2007160300 | 2007-06-18 | ||
JP2008158469A JP4926127B2 (ja) | 2007-06-18 | 2008-06-17 | 移動体搭載用前方撮像制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009027700A true JP2009027700A (ja) | 2009-02-05 |
JP4926127B2 JP4926127B2 (ja) | 2012-05-09 |
Family
ID=40132364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008158469A Expired - Fee Related JP4926127B2 (ja) | 2007-06-18 | 2008-06-17 | 移動体搭載用前方撮像制御装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8050458B2 (ja) |
JP (1) | JP4926127B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013065995A (ja) * | 2011-09-16 | 2013-04-11 | Ricoh Co Ltd | 撮像装置及びこれを用いた物体識別装置 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8355539B2 (en) * | 2007-09-07 | 2013-01-15 | Sri International | Radar guided vision system for vehicle validation and vehicle motion characterization |
DE102008034594B4 (de) * | 2008-07-25 | 2021-06-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges |
US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
JP2012093872A (ja) * | 2010-10-26 | 2012-05-17 | Fujitsu Ten Ltd | 画像認識装置、及び、画像認識方法 |
JP5658372B2 (ja) * | 2011-08-29 | 2015-01-21 | 株式会社日立製作所 | 監視装置、監視システム及び監視方法 |
WO2013133129A1 (ja) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 |
CN104520508B (zh) * | 2012-11-08 | 2017-06-30 | 住友重机械工业株式会社 | 铺装机械用图像生成装置以及铺装机械用操作支援系统 |
CN104299219A (zh) * | 2013-07-19 | 2015-01-21 | 株式会社理光 | 物体检测方法和装置 |
JP5906272B2 (ja) * | 2014-03-28 | 2016-04-20 | 富士重工業株式会社 | 車両用ステレオ画像処理装置 |
JP6707378B2 (ja) * | 2016-03-25 | 2020-06-10 | 本田技研工業株式会社 | 自己位置推定装置および自己位置推定方法 |
CN107798705B (zh) * | 2017-09-28 | 2020-06-16 | 杭州师范大学 | 一种基于特征点集分组的姿态角估计方法 |
CN108596852B (zh) * | 2018-04-28 | 2021-10-22 | 中国科学院长春光学精密机械与物理研究所 | 面阵相机大姿态角成像镜像几何畸变的物像映射还原方法 |
CN110617821B (zh) * | 2018-06-19 | 2021-11-02 | 北京嘀嘀无限科技发展有限公司 | 定位方法、装置及存储介质 |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
CN111656298A (zh) * | 2018-09-30 | 2020-09-11 | 深圳市大疆创新科技有限公司 | 云台的控制方法、云台、可移动平台及可读存储介质 |
US10897573B2 (en) * | 2018-11-21 | 2021-01-19 | Ricoh Company, Ltd. | Image capturing system, terminal and computer readable medium which correct images |
CN113160403B (zh) * | 2021-04-14 | 2022-08-30 | 安徽省交通规划设计研究总院股份有限公司 | 一种高精度公路信息模型的建模方法 |
CN113192081B (zh) * | 2021-04-30 | 2024-06-11 | 北京达佳互联信息技术有限公司 | 图像识别方法、装置、电子设备和计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140696A (ja) * | 2000-11-06 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | 撮像及び画像変換装置 |
JP2005100001A (ja) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | 路面走行レーン検出装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6445287B1 (en) * | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
US7266220B2 (en) * | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
US7526103B2 (en) * | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
JP4466200B2 (ja) * | 2004-04-19 | 2010-05-26 | 株式会社豊田自動織機 | 駐車支援装置 |
-
2008
- 2008-06-16 US US12/139,952 patent/US8050458B2/en not_active Expired - Fee Related
- 2008-06-17 JP JP2008158469A patent/JP4926127B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140696A (ja) * | 2000-11-06 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | 撮像及び画像変換装置 |
JP2005100001A (ja) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | 路面走行レーン検出装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013065995A (ja) * | 2011-09-16 | 2013-04-11 | Ricoh Co Ltd | 撮像装置及びこれを用いた物体識別装置 |
Also Published As
Publication number | Publication date |
---|---|
US20080310680A1 (en) | 2008-12-18 |
JP4926127B2 (ja) | 2012-05-09 |
US8050458B2 (en) | 2011-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4926127B2 (ja) | 移動体搭載用前方撮像制御装置 | |
US10636168B2 (en) | Image processing apparatus, method, and program | |
Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
US10529076B2 (en) | Image processing apparatus and image processing method | |
WO2018142496A1 (ja) | 三次元計測装置 | |
KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
JP6782903B2 (ja) | 自己運動推定システム、自己運動推定システムの制御方法及びプログラム | |
KR20150144731A (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
WO2015073548A2 (en) | Point-to-point measurements using a handheld device | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP6116765B1 (ja) | 物体検出装置及び物体検出方法 | |
El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
WO2020230390A1 (ja) | 位置姿勢推定装置及び位置姿勢推定方法 | |
JP5617166B2 (ja) | 回転推定装置、回転推定方法およびプログラム | |
WO2002012830A1 (en) | Height measurement apparatus | |
CN114782556B (zh) | 相机与激光雷达的配准方法、系统及存储介质 | |
JP5230354B2 (ja) | 位置特定装置及び異動建物検出装置 | |
JP2024501731A (ja) | 複数カメラによる速度測定方法及び速度測定装置 | |
JPWO2008032376A1 (ja) | 距離測定装置及び方法、並びにコンピュータプログラム | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
RU2706250C1 (ru) | Способ навигации наземного транспортного средства | |
JP2019020218A (ja) | データ間引き装置、測量装置、測量システム及びデータ間引き方法 | |
US10855918B2 (en) | Image processing device, image processing method, image pickup apparatus, and program storage medium that calculates a matching degree between an estimated target of interest and tracked feature points, then selects a feature point to which tracking is continued according to the matching degree | |
JPH06221832A (ja) | カメラの焦点距離較正方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120207 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4926127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |