JP2004110521A - 変位データ抽出方法及び物体検出装置 - Google Patents
変位データ抽出方法及び物体検出装置 Download PDFInfo
- Publication number
- JP2004110521A JP2004110521A JP2002273388A JP2002273388A JP2004110521A JP 2004110521 A JP2004110521 A JP 2004110521A JP 2002273388 A JP2002273388 A JP 2002273388A JP 2002273388 A JP2002273388 A JP 2002273388A JP 2004110521 A JP2004110521 A JP 2004110521A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- composite image
- object detection
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
Abstract
【解決手段】連続的に撮影された複数の入力画像を画像合成部3が合成し、始点抽出部31が合成開始時の入力画像に撮像された物体のエッジを始点として抽出する。変位データ生成部21では、注目ライン設定部27が、始点抽出部31にて抽出された始点と、入力画像における動きの無限遠点(FOE)とを結ぶ注目ラインを設定し、エッジ抽出フィルタ23が、合成画像のエッジに対応し且つ注目ライン上にある画素を終点として抽出する。そして、軌跡長算出部25が、同一注目ライン上にある始点,終点の座標、及びこれら始点,終点間の長さ(軌跡長)からなる変位データを生成する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、撮像装置にて連続的に撮影された複数の入力画像を用いて、その入力画像に撮像された物体の画面内での変位を表す変位データを抽出する変位データ抽出方法、及びその方法を用いて撮像された物体の位置や移動量を検出する物体検出装置に関する。
【0002】
【従来の技術】
従来より、図13(a)に示すように、車両等に搭載した単眼の撮像装置102を用いて移動しながら異なる2地点にて撮影し、その撮影により得られた二つの入力画像に基づいて、立体物の特定や立体物までの距離の算出などを行う、いわゆる移動単眼ステレオ視や移動単眼立体視による計測方法(例えば、特許文献1,2参照。)が知られている。
【0003】
これらの方法では、撮像された同一の物体を、移動により生じる視差から三角測量の原理で対象物までの距離を測定するものである。具体的には、図13(b)に示すように、第1の撮影地点P1、及び第2の撮影地点P2間の距離(移動距離)をs、二つの入力画像に撮像された物体上の同一撮像点Mの画面内での移動距離(視差)をt、撮像装置の焦点距離をfとすると、撮像点Mと撮像装置の取付位置との高低差dは、(1)式にて求めることができる。
【0004】
d=s×f/t (1)
但し、図13(a)に示すように、撮像装置102が斜め下方に光軸を向けた状態で設置されている場合には、その光軸の傾斜の影響を受け、実際に検出される撮像点Mの画面内での移動距離はt’となるため、これを補正する必要があるが、光軸の傾斜角度に基づいて簡単に補正することができる。
【0005】
(1)式からわかるように、これらの計測方法では、入力画像に撮像された物体の画面内での移動距離tを正確に求めることが必要であり、そのためには、二つの入力画像間で同一の撮像点Mを正確に対応づけることが重要である。その対応づけに使用する手法としては、一般的に、テンプレートマッチングが用いられている。
【0006】
即ち、第1の入力画像から抽出された撮像点Mに対応する画素を中心とするウインドウ(テンプレートブロックとも言う)と、第2の入力画像から抽出された対応候補画素を中心とするウインドウとのパターンマッチングにより両ウインドウの相関を求め、すべての対応候補画素の中で、最も相関の強いものを対応点として特定する(例えば、特許文献3参照。)。
【0007】
また、このように相関を求めることで対応点を特定する場合、画像の状態によっては(例えば、輪郭のぼやけ、低コントラスト)、誤った対応候補画素にて最も相関が高くなり、誤った対応付けが行われてしまう可能性があるため、パターンマッチングの対象となる画像の特徴を、エッジの抽出やコントラストの調整といった前処理により強調して、対応画素の特定精度を向上させる手法が知られている(例えば、特許文献3参照。)。
【0008】
また、撮像装置の移動履歴から対応点(エッジ)を予測したり(例えば、特許文献2参照。)、計測に使用する2地点P1,P2の間の1〜複数地点でも撮影を行い、隣接する各画像間で対応づけ(パターンマッチング)を行うことにより対応づけの検索範囲を小さくしたり(例えば、特許文献1参照。)することで、対応づけ処理の処理量を削減する手法も知られている。
【0009】
【特許文献1】特開平7−78252号公報
(段落「0003」「0008」)
【特許文献2】特開2001−187553号公報
(段落「0053」、図6)
【特許文献3】特開平11−248433号公報
(段落「0080」「0084」)
【0010】
【発明が解決しようとする課題】
しかし、これらの手法を利用しても、最終的には、パターンマッチングにて対応づけを行っていたため、相関を求めるための演算量が膨大なものとなるという問題があった。
【0011】
本発明は、上記問題点を解決するために、異なる画像に示された同一撮像点を少ない演算量にて対応づけることができ、その変位を表す変位データを精度良く求めることが可能な変位データ抽出方法、及び物体検出装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記目的を達成するための発明である請求項1記載の変位データ抽出方法では、連続的に撮影された複数の入力画像に基づき、これら入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、該代表値からなる合成画像を生成し、該合成画像に示された撮像点の軌跡に基づいて、撮像された物体の前記画面内での変位を表す変位データを抽出する。
【0013】
つまり、計測に使用する2地点間以外でも撮影を行う特許文献1に記載の方法では、例えば、図11(a)に示すように、対応づけをすべき撮像点(例えば物体のエッジ等)間の距離は短くなるが、対応関係を特定するためには、結局のところ、各入力画像間で、膨大な演算量を必要とするパターンマッチングを行わなければならない。ところが、本発明では、図11(b)に示すように、合成画像には、対応づけをすべき撮像点の軌跡が示され、その軌跡から、各入力画像間における撮像点の対応関係を明確に把握できるため、パターンマッチングを行わなう必要がないのである。
【0014】
なお、変位データとしては、撮像点の軌跡の始点及び終点の座標を用いてもよいし、その軌跡の長さ等を用いてもよい。
次に、請求項2記載の物体検出装置では、撮像装置により連続的に撮像された複数の入力画像に基づき、画像合成手段が、これら入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、これら代表値からなる合成画像を生成する。そして、その合成画像に示された撮像点の軌跡に基づいて、合成画像処理手段が、撮像された物体の前記画面内での変位を表す変位データを抽出する。
【0015】
つまり、本発明の物体検出装置は、請求項1記載の方法を実現するものであり、従って、これと同様の効果を得ることができる。
なお、撮像装置は、定位置に固定しても移動体に取り付けてもよく、これを定位置に固定した場合には、請求項3記載のように、合成画像処理手段にて抽出された変位データから、移動物体の移動量を求めることができ、一方、これを移動体に取り付けた場合には、請求項4記載のように、合成画像の生成に使用した入力画像の撮影中における移動体の移動距離を表す距離データと、合成画像処理手段にて抽出された変位データと、撮像装置の取付位置を表す取付位置データとに基づき、静止物体の位置を求めることができる。
【0016】
ところで、移動体が、入力画像における動きの無限遠点(FOE:Focus of Expansion)に向かう線に沿って直進している場合、入力画像に撮像された静止物体上の撮像点は、合成画像中では、注目ラインに沿った軌跡を形成する。
このため、合成画像処理手段は、例えば請求項5記載のように、画像合成手段による合成開始時の入力画像に撮像された物体のエッジを始点(図12(a)の点S参照)、及び画像合成手段により合成された合成画像に示された軌跡のエッジを終点(図12(b)の点E参照)として抽出すると共に、入力画像における動きの無限遠点を通過するラインを注目ライン(図12のラインL参照)とし、同一注目ライン上にある始点及び終点から変位データを求めるように構成することができる。
【0017】
また、この場合、請求項6記載のように、画像合成手段は、変位データを得るために必要な、注目ライン上の画素についてのみ、合成を行うように構成すれば、画像合成手段での処理量を大幅に削減できる。
但し、同一注目ライン上に複数の始点が存在する可能性があるため、請求項7記載のように、画像合成手段は、始点の異なる軌跡が互いに連結されることのないように、始点毎に合成を終了するタイミングを制御することが望ましい。
【0018】
次に、画像合成手段は、例えば、請求項8記載のように、合成画像を記憶する合成画像記憶手段を備え、画素更新手段が、撮像装置から得られる入力画像の画素値と合成画像記憶手段に記憶された合成画像の画素値とを逐次比較し、入力画像の画素値が合成画像の画素値より大きい場合に、入力画像の画素値にて合成画像記憶手段の記憶内容を更新するように構成すればよい。
【0019】
この場合、撮像装置から得られる入力画像の画素値を一時的に保存するための記憶容量の削減、及び合成処理の高速化を図ることができる。
ところで、移動体の挙動に基づいて、移動体の移動方向や、移動体の姿勢(ひいては移動体に取り付けられた撮像装置の姿勢)が変化すると、合成画像の生成に使用する各入力画像間で、動きの無限遠点にずれが生じる。このずれが生じると、合成画像中の軌跡は、注目ラインから外れてしまい、軌跡長等の変位データを求める際の手間が増大する。そこで、請求項9記載のように、画像合成手段には、この動きの無限遠点にずれが生じた場合、そのずれを、撮像装置から得られる入力画像の画素と、合成画像記憶手段に記憶された合成画像の画素との対応関係を変化させることで補償する補償手段を備えることが望ましい。
【0020】
なお、補償手段は、請求項10記載のように、移動体の挙動として、移動体の進行方向の変化を検出してもよいし、特に移動体が車両である場合には、請求項11記載のように、車両姿勢の変化を検出してもよい。
そして、車両姿勢の変化は、具体的には請求項12記載のように、車両の進行方向への加速度に基づく前後方向への傾斜及び車両の旋回方向への角速度の基づく左右方向への傾斜のうち少なくともいずれか一方を検出するように構成することができる。
【0021】
また、上述の車両姿勢の変化や、重量物の積載による車体の沈み込みにより、撮像装置の路面からの取付高さh(図13(b)参照)が変化する。このため、変位データに基づいて、撮像点Mの路面からの高さH(=h−d)を求める必要がある場合には、取付高さhの変化分を相殺する補正を行うことが望ましい。
【0022】
ところで、入力画像における動きの無限遠点が画面内に位置するように撮像装置が配置されている場合、無限遠にある物体も検出可能となり検出範囲が広がるる。しかし、この動きの無限遠点が画面の中心付近に位置すると、動きの無限遠点に至る注目ラインが短くなることにより、入力画像の持つ距離分解能を、十分に引き出すことができなくなる。
【0023】
このため、撮像装置は、請求項13記載のように、動きの無限遠点が画面の周縁に位置するように設置されていることが望ましい。
但し、無限遠にある物体まで検出可能とする必要はなく、物体の検出範囲を制限してもよい場合には、動きの無限遠点が画面外に位置するように、撮像装置を配置すればよい。そして、請求項15記載のように、撮像装置を、光軸が鉛直方向に一致する(即ち、動きの無限遠点が無限遠に位置する)ように設置した場合には、入力画像の持つ距離分解能を最大限に引き出すことができる。
【0024】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
図1は、車両の後方を連続的に撮影した複数の入力画像(濃淡画像)に基づいて、車両の後方の路上に存在する物体や路上に描かれたマーク等を検出する車載用物体検出装置の全体構成を示すブロック図である。
【0025】
図1に示すように、本実施形態の物体検出装置1は、車両後部に取り付けられ、車両後方を撮影する撮像装置2と、撮像装置2が連続的に撮影した複数の入力画像を合成する画像合成手段としての画像合成部3と、合成開始時の入力画像から、その入力画像に撮像された物体の特徴点(撮像点ともいう)を始点として抽出する始点抽出部31、及び、始点抽出部31にて抽出された始点と画像合成部3にて合成された合成画像とに基づいて、入力画像に撮像された静止物体の画面内での変位を表す変位データ(ここでは軌跡の始点及び終点の座標、軌跡長)を求める変位データ生成部21からなる合成画像処理手段としての合成画像処理部4と、撮像装置2が画像合成部3にて合成すべきを画像を撮影している間に車両が移動した距離を検出する移動距離算出部5と、合成画像処理部4にて求められた変位データ、移動距離算出部5での検出結果である移動データ、撮像装置2の特性や取付状態を表す取付データ(焦点距離、取付高さ、取付角度など)に基づいて、撮像された静止物体の位置を求める位置算出部6とを備えている。
【0026】
このうち、撮像装置2は、CCDカメラ等からなり、図2(a)に示すように、光軸Pが斜め下方を向き、撮像した画像における動きの無限遠点(FOE)が、図2(b)に示すように、水平方向の画面幅の中央、且つ垂直方向の上部画面外に位置するように配置されている。
【0027】
また、画像合成部3は、合成画像を1画面分だけ記憶する合成画像記憶手段としての合成画像用メモリ13と、合成画像用メモリ13に記憶された合成画像と、撮像装置2からの濃淡画像(以下「入力画像」という)を、画面内で同一位置にある画素毎に、画素値の大小比較をし、入力画像の画素値の方が大きい場合に、合成画像の画素値を更新する画素値更新手段としての比較器11とを備えている。但し、比較器11は、合成開始時の入力画像については、そのまま合成画像用メモリ13に格納するように構成されている。
【0028】
そして、合成画像処理部4を構成する始点抽出部31は、合成開始時の入力画像のエッジを抽出するエッジ抽出フィルタ33と、このエッジ抽出フィルタ33にて抽出されたエッジ(撮像点群)に対応する各画素を始点とし、これら始点の画面内での座標を始点情報として記憶する始点情報データベース35とからなる。
【0029】
一方、変位データ生成部21は、始点情報データベース35に記憶された始点と入力画像におけるFOEとを結ぶラインのそれぞれを、注目ラインとして設定する注目ライン設定部27と、合成を終了した合成画像用メモリ13に記憶されている合成画像に基づき、合成画像のエッジに対応し且つ注目ライン上にある画素を終点として抽出するエッジ抽出フィルタ23と、同一注目ライン上にある始点及び終点の座標を組み合わせると共に、組み合わせた始点及び終点間の距離を軌跡長として求め、これら座標と軌跡長とからなる変位データを生成する軌跡長算出部25とを備えている。
【0030】
ここで、図3(a)は、駐車場にて後向きに駐車する際に撮像装置2にて撮影される画像の一例を示すものであり、ここでは、駐車スペースの仕切ラインと、コンクリートブロックからなるタイヤ止めとが示されている。
この画像が合成開始時の入力画像として始点抽出部31に供給されると、エッジ抽出フィルタ33により、図3(b)に示すように、他の部分とのコントラストの大きい仕切ラインの輪郭とタイヤ止めの輪郭とが抽出され、この輪郭に対応する各画素の座標が始点情報として始点情報データベース35に記憶される。
【0031】
そして、車両の後退と共に撮像装置2が連続的に撮影した複数の入力画像(図4(a)参照)を、画像合成部3が逐次合成することにより、図4(b)に示す合成画像が得られる。この合成画像には、階調度の高い撮像点の軌跡が示され、その軌跡はFOEに向かう注目ラインに沿ったものとなる。
【0032】
ここで、図4(b)中に示された注目ラインL上の各画素の画素値の分布図を図4(c)に示す。なお、注目ラインL上に、二つの始点A,Bが存在するものとする。
エッジ抽出フィルタ23は、各始点A,Bから注目ラインLに沿って、エッジ(即ち画素値が急激に減少する地点)の抽出を行うと、この注目ラインL上では、地点C,Dが軌跡の終点として抽出される。
【0033】
そして、軌跡長算出部25は、始点A,終点C間の軌跡長TA、及び始点B,終点D間の軌跡長TBを求め、始点A,終点Cの各座標、及び軌跡長TAからなる変位データと、始点B,終点Dの各座標、及び軌跡長TBからなる変位データとを生成する。
【0034】
これと同様の処理を、変位データ生成部21は、始点情報データベース35に記憶された始点を含む総ての注目ラインについて行い、このようにして求めた総ての変位データを、位置算出部6に供給する。
なお、ここでは、注目ラインに沿って合成画像のエッジを抽出することで、軌跡の終点を抽出しているが、注目ラインに沿った画素値の分布図(図4(c)参照)から、始点情報データベース35に記憶された始点を含み、且つ予め設定されたしきい値より大きな画素値を有する領域を抽出し、その抽出した領域の長さを軌跡長として求めてもよい。
【0035】
次に、位置算出部6では、このようにして求めた変位データ(軌跡の始点及び終点の座標、軌跡長)、移動距離算出部5にて求められた車両(即ち撮像装置2)の移動データ、予め設定された撮像装置2に関する取付データ(焦点距離、取付高さ、取付角度)に基づき、三角測量を利用した公知の方法(図13(b)参照)を利用して、入力画像に撮像された静止物体の位置(相対距離,方角,路面からの高さ等)を算出する。
【0036】
以上説明したように、本実施形態の物体検出装置1では、連続的に撮影した入力画像を合成し、その合成画像に示された撮像点の軌跡と、合成開始時の入力画像から抽出された始点とに基づいて、入力画像に撮像された静止物体の画面内での変位を表す変位データを得るようにされている。
【0037】
つまり、本実施形態の物体検出装置1によれば、膨大な処理量を必要とするパターンマッチングを一切必要とすることなく、異なる画像に示された同一撮像点を、少ない演算量にて容易に対応づけることができ、その変位を表す変位データを精度良く求めることができる。その結果、入力画像に撮像された静止物体の位置を短時間で検出でき、しかも信頼性の高い検出を行うことができる。
[第2実施形態]
次に、第2実施形態について説明する。
【0038】
本実施形態の物体検出装置は、第1実施形態のものとは、画像合成部の構成が一部異なるだけであるため、この相違する部分を中心に説明する。
即ち、本実施形態において、画像合成部3aは、図5に示すように、車両の進行方向の変化を検出するステアリングセンサ41、車両の進行方向の速度変化を検出する加速度センサ、車両の旋回方向の角速度の変化を検出するヨーレートセンサ45からの検出信号に基づいて、撮像装置2から供給された各入力画像間に生じるFOEの位置ずれを補償する補償手段としてのFOEずれ補償部15を備えており、このFOEずれ補償部15にてずれが補償された入力画像を、比較器11に供給するように構成されている。
【0039】
このように構成された本実施形態の物体検出装置では、図6(a)に示すように、入力画像の合成中に車両の進行方向が変化した場合、入力画像のFOE(以下「現FOE」という)は、合成開始時の入力画像のFOE(以下「初期FOE」)に対して、水平面に沿って左右方向にずれる。このずれを、FOEずれ補償部15では、ステアリングセンサ41からの検出信号によって検出し、図6(c)に示すように、現FOEが初期FOEと一致するよう、合成画像と入力画像との画素の対応関係を、FOEのずれを相殺する左右方向にシフトさせる。
【0040】
また、急激な加減速により車両姿勢が前傾又は後傾した場合、現FOEは初期FOEに対して垂直(上下)方向にずれる。このずれを、FOEずれ補償部15では、加速度センサ43からの検出信号によって検出し、現FOEが初期FOEと一致するよう、合成画像と入力画像との画素の対応関係を、FOEのずれを相殺する上下方向にシフトさせる。
【0041】
更に、図7(a)に示すように路面の幅員方向への傾斜や、車両の旋回により、車両がロール方向に傾斜した場合、入力画像は、合成開始時の入力画像に対して回転する方向にずれる。このずれを、FOEずれ補償部15では、ヨーレートセンサ45からの検出信号によって検出し、図7(b)に示すように、現FOEが初期FOEと一致し、且つ、画面内の水平,垂直方向が一致するように、合成画像と入力画像との画素の対応関係を、上下左右,回転方向にシフトさせる。
【0042】
このような補償を行うことにより、撮像点の軌跡は、例えば図6(b)に示すように、屈曲したものとなってしまうことがなく、図6(c)や図7(b)に示すように、注目ラインに沿った直線となるため、車両が直進している時と同様に合成画像を処理して変位データを抽出することが可能となる。つまり、車両の挙動や姿勢の変化によらず、入力画像に撮像された静止物体の位置を安定した精度で簡単に求めることができる。
[他の実施形態]
以上、本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施可能である。
【0043】
例えば、上記実施形態では、撮像装置2を、FOEが水平方向の画面幅の中央、且つ垂直方向の上部画面外に位置するように配置したが、例えば、図8(a)に示すように、光軸PとFOEの方向に一致させ、図8(b)に示すように、画面の中央にFOEが位置するように配置してもよい。
【0044】
但し、この場合、撮像物の高さ方向や撮像物までの距離方向の分解能が限定され、算出精度が低くなってしまう。このため、少なくとも、図9(a)に示すように、撮像装置2の撮像範囲の上端とFOEの方向とを一致させ、図9(b)及び(c)に示すように、画面の上縁にFOEが位置するように撮像装置2を配置して、解像度を最大限に利用できるようにすることが望ましい。
【0045】
また、このように画像内にFOEが位置する場合には、遠く離れた物体まで画像に収めることができるが、検知範囲を限定してもよい場合には、図10(a)に示すように、光軸を鉛直方向に一致させ、図10(b)に示すように、注目ラインが平行となる(FOEが画面上方の無限遠に位置する)ように、撮像装置2を設置してもよい。
【0046】
更に、上記実施形態では、画像合成部3,3aにおいて、総ての画素を用いて合成画像を生成しているが、注目ライン設定部27が設定した注目ライン上の画素のみを用いて合成画像を生成するように構成してもよい。この場合、画像合成部3,3aでの処理量を大幅に削減することができる。
【0047】
但し、同一注目ライン上に複数の始点が存在する可能性があるため、比較器11は、始点の異なる軌跡が互いに連結されることのないように、始点毎に合成を終了するタイミングを制御することが望ましい。
また更に、上記実施形態では、位置算出部6では、予め設定された取付データを用いているが、重量物を積載する等して、車体の沈み込みが生じた場合に、これを検出して、取付データの一つである取付高さを補正するように構成してもよい。
【0048】
また、上記実施形態では、撮像装置2を車両に取り付け、その撮像装置2にて連続的に撮影された入力画像の合成画像に基づいて求めた変位データから、静止物体の位置を検出するように構成されているが、撮像装置2を定位置に固定し、その撮像装置2にて連続的に撮影された入力画像の合成画像に基づいて求めた変位データから、移動物体の位置や移動量を求めるように構成してもよい。
【図面の簡単な説明】
【図1】第1実施形態の物体検出装置の全体構成を示すブロック図である。
【図2】撮像装置の設置方法を示す説明図である。
【図3】合成開始時の入力画像、及びその画像から軌跡の始点となるエッジを抽出した画像の一例である。
【図4】入力画像,合成画像の一例、及び軌跡抽出方法を示す説明図である。
【図5】第2実施形態における画像厚生部の構成を示すブロック図である。
【図6】車両の進行方向が変化した場合のFOEずれ補償部の動作を示す説明図である。
【図7】車両の姿勢がロール方向に傾斜した場合のFOEずれ補償部の動作を示す説明図である。
【図8】撮像装置の設置方法の一例を示す説明図である。
【図9】撮像装置の設置方法の一例を示す説明図である。
【図10】撮像装置の設置方法の一例を示す説明図である。
【図11】従来装置との本発明の作用効果の相違点を示す説明図である
【図12】軌跡長の検出方法を示す説明図である。
【図13】移動ステレオ視の原理を示す説明図である。
【符号の説明】
1…物体検出装置、2…撮像装置、3,3a…画像合成部、4…合成画像処理部、5…移動距離算出部、6…位置算出部、11…比較器、13…合成画像用メモリ、15…FOEずれ補償部、21…変位データ生成部、23,33…エッジ抽出フィルタ、25…軌跡長算出部、27…注目ライン設定部、31…始点抽出部、35…始点情報データベース、41…ステアリングセンサ、43…加速度センサ、45…ヨーレートセンサ、L…注目ライン、M…撮像点、P…光軸。
Claims (14)
- 連続的に撮影された複数の入力画像に基づき、該入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、該代表値からなる合成画像を生成し、
該合成画像に示された撮像点の軌跡に基づいて、撮像された物体の前記画面内での変位を表す変位データを抽出することを特徴とする変位データ抽出方法。 - 連続的な撮影が可能な撮像装置と、
該撮像装置により連続的に撮影された複数の入力画像に基づき、該入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、該代表値からなる合成画像を生成する画像合成手段と、
該画像合成手段が生成する合成画像に示された撮像点の軌跡に基づいて、撮像された物体の前記画面内での変位を表す変位データを抽出する合成画像処理手段と、
を備えることを特徴とする物体検出装置。 - 前記撮像装置は定位置に固定され、
前記合成画像処理手段にて抽出された変位データから、移動物体の移動量を求めることを特徴とする請求項2記載の物体検出装置。 - 前記撮像装置は移動体に取り付けられ、
前記合成画像の生成に使用した入力画像の撮影中における前記移動体の移動距離を表す距離データと、前記合成画像処理手段にて抽出された変位データと、前記撮像装置の取付位置を表す取付位置データとに基づき、静止物体の位置を求めることを特徴とする請求項2記載の物体検出装置。 - 前記合成画像処理手段は、
前記画像合成手段による合成開始時の入力画像に撮像された物体のエッジを始点、及び前記画像合成手段により合成された合成画像に示された物体のエッジを終点として抽出すると共に、前記入力画像における無限遠点(FOE:Focus ofExpansion)を通過するラインを注目ラインとし、同一注目ライン上にある始点及び終点から前記変位データを求めることを特徴とする請求項4記載の物体検出装置。 - 前記画像合成手段は、前記注目ライン上の画素についてのみ、合成を行うことを特徴とする請求項5記載の物体検出装置。
- 前記画像合成手段は、始点の異なる軌跡が互いに連結されることのないように、前記始点毎に合成を終了するタイミングを制御することを特徴とする請求項6記載の物体検出装置。
- 前記画像合成手段は、
前記合成画像を記憶する合成画像記憶手段と、
前記撮像装置から得られる入力画像の画素値と前記合成画像記憶手段に記憶された合成画像の画素値とを逐次比較し、前記入力画像の画素値が前記合成画像の画素値より大きい場合に、前記入力画像の画素値にて前記合成画像記憶手段の記憶内容を更新する画素値更新手段と、
を備えることを特徴とする請求項4乃至請求項7いずれか記載の物体検出装置。 - 前記画像合成手段は、
前記移動体の挙動に基づいて、前記合成画像の生成に使用する各入力画像間で動きの無限遠点にずれが生じた場合、該動きの無限遠点のずれを、前記撮像装置から得られる入力画像の画素と、前記合成画像記憶手段に記憶された合成画像の画素との対応関係を変化させることで補償する補償手段を備えることを特徴とする請求項8記載の物体検出装置。 - 前記補償手段は、前記移動体の挙動として、前記移動体の進行方向の変化を検出することを特徴とする請求項9記載の物体検出装置。
- 前記移動体は車両であり、
前記補償手段は、前記移動体の挙動として、車両姿勢の変化を検出することを特徴とする請求項9又は請求項10記載の物体検出装置。 - 前記補償手段は、車両姿勢の変化として、車両の進行方向への加速度に基づく前後方向への傾斜及び車両の旋回方向への角速度に基づく左右方向への傾斜のうち少なくともいずれか一方を検出することを特徴とする請求項11記載の物体検出装置。
- 前記撮像装置は、動きの無限遠点が前記画面の周縁に位置するように設置されていることを特徴とする請求項2乃至請求項12いずれか記載の物体検出装置。
- 前記撮像装置は、光軸が鉛直方向に一致するように設置されていることを特徴とする請求項2乃至請求項12いずれか物体検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002273388A JP3956817B2 (ja) | 2002-09-19 | 2002-09-19 | 変位データ抽出方法及び物体検出装置 |
US10/662,401 US7433494B2 (en) | 2002-09-19 | 2003-09-16 | Moving body detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002273388A JP3956817B2 (ja) | 2002-09-19 | 2002-09-19 | 変位データ抽出方法及び物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004110521A true JP2004110521A (ja) | 2004-04-08 |
JP3956817B2 JP3956817B2 (ja) | 2007-08-08 |
Family
ID=32270157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002273388A Expired - Fee Related JP3956817B2 (ja) | 2002-09-19 | 2002-09-19 | 変位データ抽出方法及び物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3956817B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005111937A1 (ja) * | 2004-05-19 | 2005-11-24 | Honda Motor Co., Ltd. | 車両用走行区分線認識装置 |
JP2006101816A (ja) * | 2004-10-08 | 2006-04-20 | Univ Of Tokyo | 操向制御方法及び装置 |
KR100709107B1 (ko) | 2006-03-02 | 2007-04-18 | 주식회사 코로 | 모션 시스템의 원점 검출 방법 |
US7415133B2 (en) | 2004-05-19 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
US7415134B2 (en) | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
US7421094B2 (en) | 2004-05-19 | 2008-09-02 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
JP2008258778A (ja) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | 撮像システム |
JP2009145230A (ja) * | 2007-12-14 | 2009-07-02 | Toyota Motor Corp | 車両用物体監視装置、及び車両用画像解析装置 |
WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
KR101284321B1 (ko) * | 2011-12-14 | 2013-07-08 | 현대자동차주식회사 | 차량의 주행궤적 연산시스템 및 연산방법 |
WO2015160639A1 (en) * | 2014-04-14 | 2015-10-22 | Bendix Commercial Vehicle Systems Llc | Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object |
CN112489450A (zh) * | 2020-12-21 | 2021-03-12 | 北京百度网讯科技有限公司 | 交通路口处的车辆流量控制方法、路侧设备及云控平台 |
-
2002
- 2002-09-19 JP JP2002273388A patent/JP3956817B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7421094B2 (en) | 2004-05-19 | 2008-09-02 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
WO2005111937A1 (ja) * | 2004-05-19 | 2005-11-24 | Honda Motor Co., Ltd. | 車両用走行区分線認識装置 |
US7415133B2 (en) | 2004-05-19 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
US7421095B2 (en) | 2004-05-19 | 2008-09-02 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
JP2006101816A (ja) * | 2004-10-08 | 2006-04-20 | Univ Of Tokyo | 操向制御方法及び装置 |
US7415134B2 (en) | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
KR100709107B1 (ko) | 2006-03-02 | 2007-04-18 | 주식회사 코로 | 모션 시스템의 원점 검출 방법 |
JP2008258778A (ja) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | 撮像システム |
JP2009145230A (ja) * | 2007-12-14 | 2009-07-02 | Toyota Motor Corp | 車両用物体監視装置、及び車両用画像解析装置 |
WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
KR101284321B1 (ko) * | 2011-12-14 | 2013-07-08 | 현대자동차주식회사 | 차량의 주행궤적 연산시스템 및 연산방법 |
WO2015160639A1 (en) * | 2014-04-14 | 2015-10-22 | Bendix Commercial Vehicle Systems Llc | Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object |
US9342747B2 (en) | 2014-04-14 | 2016-05-17 | Bendix Commercial Vehicle Systems Llc | Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object |
CN112489450A (zh) * | 2020-12-21 | 2021-03-12 | 北京百度网讯科技有限公司 | 交通路口处的车辆流量控制方法、路侧设备及云控平台 |
CN112489450B (zh) * | 2020-12-21 | 2022-07-08 | 阿波罗智联(北京)科技有限公司 | 交通路口处的车辆流量控制方法、路侧设备及云控平台 |
Also Published As
Publication number | Publication date |
---|---|
JP3956817B2 (ja) | 2007-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108141570B (zh) | 校准装置、校准方法以及校准程序存储介质 | |
US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
JP4406381B2 (ja) | 障害物検出装置及び方法 | |
US6172601B1 (en) | Three-dimensional scope system with a single camera for vehicles | |
US8594378B2 (en) | 3D object detecting apparatus and 3D object detecting method | |
JP4899424B2 (ja) | 物体検出装置 | |
US20080159620A1 (en) | Vehicular Vision System | |
US20130215270A1 (en) | Object detection apparatus | |
JP2007263669A (ja) | 3次元座標取得装置 | |
JP2007264714A (ja) | 車線認識装置 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
WO2018179281A1 (ja) | 物体検出装置及び車両 | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
JP3956817B2 (ja) | 変位データ抽出方法及び物体検出装置 | |
JP3765862B2 (ja) | 車両用環境認識装置 | |
JPH10269362A (ja) | 物体認識方法およびその装置 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
CN111989541B (zh) | 立体摄像机装置 | |
CN108292441B (zh) | 用于机动车辆的视觉系统和控制视觉系统的方法 | |
JP2009139324A (ja) | 車両用走行路面検出装置 | |
JP3853574B2 (ja) | 移動体検出システム | |
JP2004354256A (ja) | キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
JP4752319B2 (ja) | 画像認識装置及び画像認識方法 | |
JP5832850B2 (ja) | 車線監視システム及び車線監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070430 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |