JP2003322521A - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JP2003322521A JP2003322521A JP2002127476A JP2002127476A JP2003322521A JP 2003322521 A JP2003322521 A JP 2003322521A JP 2002127476 A JP2002127476 A JP 2002127476A JP 2002127476 A JP2002127476 A JP 2002127476A JP 2003322521 A JP2003322521 A JP 2003322521A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- correlation
- distance
- search area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 対象物を探索するための探索領域を正確に設
定し、運転者の対象物認識を妨げる対象物表示を防止す
る画像認識装置を提供する。 【解決手段】 画像処理ユニットは、赤外線カメラによ
り得られた右画像の２値化処理を行う（Ｓ４）。そし
て、右画像の２値化画像によって追跡される対象物の中
の１つを選択することにより、右画像から探索画像を抽
出する（Ｓ１２）。次に、探索画像に対応する対応画像
を探索する探索領域を左画像に設定し、相関演算を実行
して対応画像を抽出する（Ｓ１３）。次に、相関が良好
であるか否かを判定する相関判定を行う（Ｓ１４）。相
関が良好である場合、探索画像と対応画像との距離から
自車両と対象物との距離を算出する（Ｓ１５）と共に探
索領域を縮小する（Ｓ１６）。相関が良好でない場合
（Ｓ１４のＮＯ）、探索領域を赤外線カメラの撮像素子
の各定数と測定すべき距離に基づく探索領域の初期値へ
戻す（Ｓ１７）。
定し、運転者の対象物認識を妨げる対象物表示を防止す
る画像認識装置を提供する。 【解決手段】 画像処理ユニットは、赤外線カメラによ
り得られた右画像の２値化処理を行う（Ｓ４）。そし
て、右画像の２値化画像によって追跡される対象物の中
の１つを選択することにより、右画像から探索画像を抽
出する（Ｓ１２）。次に、探索画像に対応する対応画像
を探索する探索領域を左画像に設定し、相関演算を実行
して対応画像を抽出する（Ｓ１３）。次に、相関が良好
であるか否かを判定する相関判定を行う（Ｓ１４）。相
関が良好である場合、探索画像と対応画像との距離から
自車両と対象物との距離を算出する（Ｓ１５）と共に探
索領域を縮小する（Ｓ１６）。相関が良好でない場合
（Ｓ１４のＮＯ）、探索領域を赤外線カメラの撮像素子
の各定数と測定すべき距離に基づく探索領域の初期値へ
戻す（Ｓ１７）。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、撮像手段により
撮影された画像から車両の走行に影響を与えそうな対象
物を検出する画像認識装置に関する。 【０００２】 【従来の技術】従来、赤外線カメラ等の撮像手段により
捉えられた自車両周辺の画像から、自車両との衝突の可
能性がある歩行者等の対象物を抽出し、その情報を自車
両の運転者に提供する装置としては、例えば特開２００
１−６０９６号公報に記載のものがある。この装置で
は、左右一組の赤外線カメラが撮影した自車両周辺の画
像について、例えば右側の赤外線カメラが撮影した画像
を２値化処理することにより、第１の対象物画像を抽出
する。次に、左側の赤外線カメラが撮影したグレースケ
ール画像上に、第１の対象物画像に対応する画像（対応
画像）を探索する探索領域を設定し、第１の対象物画像
と探索領域中の物体画像との相関演算を実行することに
より、第１の対象物画像に対する対応画像を第２の対象
物画像として抽出する。そして、右側の赤外線カメラが
撮影した画像中の第１の対象物画像の重心位置と、左側
の赤外線カメラが撮影した画像中の第２の対象物画像の
重心位置との差から、視差Δｄ（画素数）を求め、これ
から自車両と対象物との距離ｚを算出する。 【０００３】また、抽出された対象物について過去の距
離データが存在する場合には、その距離データに基づい
て探索領域を縮小することで、相関演算を実行する際に
探索領域中の別の物体の画像を上述の第２の対象物画像
と誤認識する確率を少なくするように制御している。な
お、この装置では、求められた自車両と対象物との距離
の変化から、対象物の相対移動ベクトルを求め、これに
より自車両と歩行者等の対象物との相対距離や相対速度
を判断し、自車両との衝突の可能性が判定される。そし
て、自車両と衝突する可能性があると判定された対象物
は、画像表示装置に強調表示を伴う実映像として表示さ
れ、運転者に通知される。 【０００４】 【発明が解決しようとする課題】しかし、従来の装置で
は、相関演算を実行する際に探索領域中の別の物体の画
像を上述の第２の対象物画像と誤認識する確率を少なく
するために、抽出された対象物についての過去の距離デ
ータに基づいて探索領域を縮小する制御を行うものの、
過去の距離データに誤差が含まれている場合は、探索領
域を誤って縮小してしまうという問題があった。すなわ
ち、対象物と背景との重なり具合によっては、第１の対
象物画像と探索領域中の物体画像とのミスマッチが発生
し、これにより相関演算における相関度が悪化して対応
画像（第２の対象物画像）が正確に抽出できない場合が
発生する。しかし、従来の装置では、対象物までの距離
が算出されれば、探索領域が距離データに基づいて縮小
される。そのため、距離データに誤差が含まれている場
合に、誤った制御による探索領域の縮小により、目的の
対象物が存在しない範囲を探索領域として設定してしま
う可能性があるという問題があった。 【０００５】本発明は、上記課題に鑑みてなされたもの
で、対象物を探索するための探索領域を正確に設定し、
運転者の正確な対象物認識を妨げる対象物表示を防止す
ることができる画像認識装置を提供することを目的とす
る。 【０００６】 【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明に係る画像認識装置は、一組のステ
レオカメラ（例えば実施の形態の赤外線カメラ２Ｒ、２
Ｌ）を備え、第１のカメラの画像から第１の対象物画像
（例えば実施の形態の探索画像Ｒ１）を抽出すると共
に、抽出された前記第１の対象物画像に基づいて設定さ
れた第２のカメラの画像上の探索領域（例えば実施の形
態の探索領域Ｒ２）から、相関演算処理を行うことによ
り前記第１の対象物画像に対応する第２の対象物画像
（例えば実施の形態の対応画像）を抽出し、前記第１と
第２の対象物画像間の視差を求めて、該対象物までの距
離を計算する画像認識装置において、前記相関演算処理
の結果に基づいて、前記探索領域の範囲を変更する探索
領域調整手段（例えば実施の形態のステップＳ１２〜ス
テップＳ１７）を備えたことを特徴とする。以上の構成
を備えた画像認識装置は、過去の距離データに基づいて
探索領域を縮小した場合でも、第１の対象物画像と探索
領域中の物体画像との相関演算を実行した結果、相関度
が低く第２の対象物画像が正確に抽出できないと判断し
た場合には、探索領域調整手段により探索領域の設定を
変更して、誤差を含む過去の距離データの影響を軽減す
ることができる。 【０００７】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明の一実施の
形態の画像認識装置の構成を示すブロック図である。図
１において、符号１は、本実施の形態の画像認識装置を
制御するＣＰＵ（中央演算装置）を備えた画像処理ユニ
ットであって、遠赤外線を検出可能な２つの赤外線カメ
ラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレ
ートセンサ３、更に、当該車両の走行速度（車速）を検
出する車速センサ４とブレーキの操作を検出するための
ブレーキセンサ５が接続される。これにより、画像処理
ユニット１は、車両の周辺の赤外線画像と車両の走行状
態を示す信号から、車両前方の歩行者や動物等の動く物
体を検出し、衝突の可能性が高いと判断したときに警報
を発する。 【０００８】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、検出された対象物と自
車両との衝突する危険性が高いと判定された場合のみ、
赤外線カメラ２Ｒ、２Ｌにより撮影された画像を強調表
示された対象物画像と共に表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。 【０００９】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、画像表示装置７の表示信
号などを出力する出力回路を備えており、赤外線カメラ
２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブ
レーキセンサ５の各出力信号は、ディジタル信号に変換
されてＣＰＵに入力されるように構成されている。 【００１０】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対称な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。 【００１１】次に、本実施の形態の動作について図面を
参照して説明する。図３は、本実施の形態の画像認識装
置の画像処理ユニット１における歩行者等の対象物検出
・警報動作を示すフローチャートである。まず、画像処
理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号で
ある赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変
換し（ステップＳ２）、グレースケール画像を画像メモ
リに格納する（ステップＳ３）。なお、ここでは赤外線
カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌに
より左画像が得られる。また、右画像と左画像では、同
一の対象物の表示画面上の水平位置がずれて表示される
ので、このずれ（視差）によりその対象物までの距離を
算出することができる。 【００１２】ステップＳ３においてグレースケール画像
が得られたら、次に、赤外線カメラ２Ｒにより得られた
右画像を基準画像とし、その画像信号の２値化処理、す
なわち、輝度閾値ＩＴＨより明るい領域を「１」（白）
とし、暗い領域を「０」（黒）とする処理を行う（ステ
ップＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得
られたグレースケール画像を示し、これに２値化処理を
行うことにより、図４（ｂ）に示すような画像を得る。
なお、図４（ｂ）において、例えばＰ１からＰ４の枠で
囲った物体を、表示画面上に白色として表示される対象
物（以下「高輝度領域」という）とする。赤外線画像か
ら２値化された画像データを取得したら、２値化した画
像データをランレングスデータに変換する処理を行う
（ステップＳ５）。ランレングスデータにより表される
ラインは、２値化により白となった領域を画素レベルで
示したもので、いずれもｙ方向には１画素の幅を有して
おり、またｘ方向にはそれぞれランレングスデータを構
成する画素の長さを有している。 【００１３】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
のうち、ｙ方向に重なる部分のあるラインを１つの対象
物とみなすことにより、例えば図４（ｂ）に示す高輝度
領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）
として把握されることになる。対象物の抽出が完了した
ら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四
角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ
８）。 【００１４】ここで、面積Ｓは、ラベルＡの対象物のラ
ンレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ
［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とする
と、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を
同一対象物（Ｎ個のランレングスデータ）について積算
することにより算出する。また、対象物Ａの重心Ｇの座
標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒ
ｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ
［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更に
これを同一対象物について積算したものを、面積Ｓで割
ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、
対象物の外接四角形の縦方向の長さＤｙと横方向の長さ
Ｄｘとの比Ｄｙ／Ｄｘとして算出する。なお、ランレン
グスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示
されているので、実際の長さは「−１」する必要がある
（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接
四角形の重心位置で代用してもよい。 【００１５】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、例えば時
刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽
出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行
う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であ
ると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、
Ｂというラベルに変更することにより、時刻間追跡が行
われる。また、このようにして認識された各対象物の
（重心の）位置座標は、時系列位置データとしてメモリ
に格納され、後の演算処理に使用される。 【００１６】なお、以上説明したステップＳ４〜Ｓ９の
処理は、２値化した基準画像（本実施の形態では、右画
像）について実行する。次に、車速センサ４により検出
される車速ＶＣＡＲ及びヨーレートセンサ３より検出さ
れるヨーレートＹＲを読み込み、ヨーレートＹＲを時間
積分することより、自車両１０の回頭角θｒを算出する
（ステップＳ１０）。次に、自車両１０が回頭すること
による画像上の位置ずれを補正するための回頭角補正を
行う（ステップＳ１１）。回頭角補正は、時刻ｋから
（ｋ＋１）までの期間中に自車両１０が例えば左方向に
回頭角θｒだけ回頭すると、カメラによって得られる画
像上では、画像の範囲がΔｘだけｘ方向にずれるので、
これを補正する処理である。なお、以下の説明では、回
頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。 【００１７】一方、ステップＳ９からステップＳ１１の
処理に平行して、ステップＳ１２〜Ｓ１７では、対象物
と自車両１０との距離ｚを算出する処理を行う。この演
算はステップＳ９からステップＳ１１の処理より長い時
間を要するため、ステップＳ９からステップＳ１１の処
理より長い周期（例えばステップＳ１〜Ｓ１０の実行周
期の３倍程度の周期）で実行される。まず、基準画像
（右画像）の２値化画像によって追跡される対象物の中
の１つを選択することにより、図５（ａ）に示すように
右画像から探索画像Ｒ１（ここでは、外接四角形で囲ま
れる領域全体を探索画像とする）を抽出する（ステップ
Ｓ１２）。 【００１８】次に、左画像中から探索画像に対応する画
像（以下「対応画像」という）を探索する探索領域を設
定し、相関演算を実行して対応画像を抽出する（ステッ
プＳ１３）。具体的には、図５（ｂ）に示すように、探
索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域
Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関
の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式
（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小と
なる領域を対応画像として抽出する。なお、この相関演
算は、２値化画像ではなくグレースケール画像を用いて
行う。 【数１】 ここで、ＩＲ（ｍ，ｎ）は、図５に示す探索画像Ｒ１内
の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ
−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を
基点とした、探索画像Ｒ１と同一形状の局所領域内の座
標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，
ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小と
なる位置を求めることにより、対応画像の位置が特定さ
れる。 【００１９】次に、求められた輝度差分総和値Ｃ（ａ，
ｂ）を規定値と比較し、相関が良好であるか否かを判定
する相関判定を行う（ステップＳ１４）。なお、上述の
ように輝度差分総和値Ｃ（ａ，ｂ）は、その値が小さい
ほど相関の度合いが高いので、規定値との比較も、例え
ば規定値より輝度差分総和値Ｃ（ａ，ｂ）が小さければ
相関が良好であるとし、規定値と輝度差分総和値Ｃ
（ａ，ｂ）が等しいか、または規定値より輝度差分総和
値Ｃ（ａ，ｂ）が大きければ相関が良好でない（不良）
とする。 【００２０】ステップＳ１４において、相関が良好であ
る場合（ステップＳ１４のＹＥＳ）、図６に示すように
探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４と
が抽出されるので、次に、探索画像Ｒ１の重心位置と、
画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画
像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ
（画素数）を求め、下記式（２）に適用して、自車両１
０と、対象物との距離ｚを算出する（ステップＳ１
５）。 【数２】 ここで、Ｂは基線長、すなわち赤外線カメラ２Ｒの撮像
素子の中心位置と赤外線カメラ２Ｌの撮像素子の中心位
置との水平方向の距離（両赤外線カメラの光軸の間
隔）、Ｆは赤外線カメラ２Ｒ、２Ｌのレンズの焦点距
離、ｐは赤外線カメラ２Ｒ、２Ｌの撮像素子内の画素間
隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。 【００２１】そして、算出された距離ｚに基づいて、例
えば図５（ｂ）に示すように、探索領域Ｒ２より狭い領
域Ｒ２ａを新たな探索領域として設定する（ステップＳ
１６）。また、ステップＳ１４において、相関が良好で
ない場合（ステップＳ１４のＮＯ）、それまでにステッ
プＳ１６で縮小された探索領域を、赤外線カメラ２Ｒ、
２Ｌの撮像素子の各定数と測定すべき距離に基づく探索
領域、すなわち図５（ｂ）に示す探索領域の初期値（＝
探索領域Ｒ２）へ戻す（ステップＳ１７）。 【００２２】次に、ステップＳ１１における回頭角の補
正と、ステップＳ１５からステップＳ１７における対象
物との距離算出、探索領域の範囲設定が完了したら、画
像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，
Ｙ，Ｚ）に変換する（ステップＳ１８）。ここで、実空
間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カ
メラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１
０に固定された位置）を原点Ｏとして、図示のように定
め、画像内の座標は、画像の中心を原点として水平方向
をｘ、垂直方向をｙと定めている。 【００２３】画像内の座標及び距離ｚの実空間座標への
変換が完了したら、次に、同一対象物について、ΔＴの
モニタ期間内に得られた、回頭角補正後のＮ個（例えば
Ｎ＝１０程度）の実空間位置データ、すなわち時系列デ
ータから、対象物と自車両１０との相対移動ベクトルに
対応する近似直線ＬＭＶを求める（ステップＳ１９）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ
（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間Δ
Ｔ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ
（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置
に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ
（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）
＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−
１））を求める。 【００２４】これにより、位置座標Ｐｖ（Ｎ−１）から
Ｐｖ（０）に向かうベクトルとして、相対移動ベクトル
が得られる。このようにモニタ期間ΔＴ内の複数（Ｎ
個）のデータから対象物の自車両１０に対する相対移動
軌跡を近似する近似直線を算出して相対移動ベクトルを
求めることにより、位置検出誤差の影響を軽減して対象
物との衝突の可能性をより正確に予測することが可能と
なる。 【００２５】また、ステップＳ１９において、相対移動
ベクトルが求められたら、次に、自車両１０が検出した
対象物と衝突する可能性があるか否かを判定する警報判
定処理を行う（ステップＳ２０）。そして、ステップＳ
２０において、自車両１０と検出した対象物との衝突の
可能性がないと判定された場合（ステップＳ２０のＮ
Ｏ）、ステップＳ１へ戻り、上述の処理を繰り返す。ま
た、ステップＳ２０において、自車両１０と検出した対
象物との衝突の可能性があると判定された場合（ステッ
プＳ２０のＹＥＳ）、ステップＳ２１の警報出力判定処
理へ進む。 【００２６】ステップＳ２１では、ブレーキセンサ５の
出力ＢＲから自車両１０の運転者がブレーキ操作を行っ
ているか否かを判別することにより、警報出力判定処
理、すなわち警報出力を行うか否かの判定を行う（ステ
ップＳ２１）。もし、自車両１０の運転者がブレーキ操
作を行っている場合には、それによって発生する加速度
Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓ
が所定閾値ＧＴＨより大きいときは、ブレーキ操作によ
り衝突が回避されると判定して警報出力判定処理を終了
し（ステップＳ２１のＮＯ）、ステップＳ１へ戻り、上
述の処理を繰り返す。これにより、適切なブレーキ操作
が行われているときは、警報を発しないようにして、運
転者に余計な煩わしさを与えないようにすることができ
る。 【００２７】また、加速度Ｇｓが所定閾値ＧＴＨ以下で
あるとき、または自車両１０の運転者がブレーキ操作を
行っていなければ、直ちにステップＳ２２の処理へ進み
（ステップＳ２１のＹＥＳ）、対象物と接触する可能性
が高いので、スピーカ６を介して音声による警報を発す
る（ステップＳ２２）と共に、画像表示装置７に対し
て、例えば赤外線カメラ２Ｒにより得られる画像を出力
し、接近してくる対象物を自車両１０の運転者に対する
強調映像として表示する（ステップＳ２３）。なお、所
定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのま
ま維持された場合に、現在の対象物と自車両１０との間
の距離以下の走行距離で自車両１０が停止する条件に対
応する値である。 【００２８】なお、上述のステップＳ１６において、算
出された自車両１０と対象物との距離ｚに基づいて、例
えば探索領域Ｒ２より狭い領域Ｒ２ａを新たな探索領域
として設定した後は、ステップＳ１８へ進まずに、ステ
ップＳ１３へ進み、新たな探索領域から対応画像を抽出
し、それ以降の処理を繰り返しても良い。また、本実施
の形態では、画像処理ユニット１が、探索領域調整手段
を含んでいる。より具体的には、図３のＳ１２〜Ｓ１７
が探索領域調整手段に相当する。 【００２９】以上説明したように、本実施の形態の画像
認識装置は、対象物の過去の距離データに基づいて探索
領域Ｒ２を例えば探索領域Ｒ２ａへ縮小した場合でも、
探索画像Ｒ１と探索領域Ｒ２ａ中の物体画像との相関演
算を実行した結果、相関度が低く対応画像が正確に抽出
できないと判断した場合には、探索領域の設定を探索領
域Ｒ２ａから初期値の探索領域Ｒ２へ戻し、再度広い探
索領域の中から対応画像を探索する。これにより、誤差
を含む過去の距離データを利用して探索領域を誤設定し
たとしても、画像処理ユニット１は赤外線カメラ２Ｒ、
２Ｌから得られた画像の中の対象物画像を見失うことは
なく、速やかに探索領域を初期化して対象物の追跡を続
行することができる。 【００３０】 【発明の効果】以上の如く、請求項１に記載の画像認識
装置によれば、対象物の過去の距離データに基づいて探
索領域を縮小した場合でも、第１の対象物画像と探索領
域中の物体画像との相関演算を実行した結果、相関度が
低く第２の対象物画像が正確に抽出できないと判断した
場合には、探索領域の設定を初期値に戻し、対象物を見
失うことなく対象物の追跡を続行することができる。従
って、安定した対象物の時系列距離データを取得し、運
転者の正確な対象物認識を妨げる対象物表示を防止する
ことができるという効果が得られる。
撮影された画像から車両の走行に影響を与えそうな対象
物を検出する画像認識装置に関する。 【０００２】 【従来の技術】従来、赤外線カメラ等の撮像手段により
捉えられた自車両周辺の画像から、自車両との衝突の可
能性がある歩行者等の対象物を抽出し、その情報を自車
両の運転者に提供する装置としては、例えば特開２００
１−６０９６号公報に記載のものがある。この装置で
は、左右一組の赤外線カメラが撮影した自車両周辺の画
像について、例えば右側の赤外線カメラが撮影した画像
を２値化処理することにより、第１の対象物画像を抽出
する。次に、左側の赤外線カメラが撮影したグレースケ
ール画像上に、第１の対象物画像に対応する画像（対応
画像）を探索する探索領域を設定し、第１の対象物画像
と探索領域中の物体画像との相関演算を実行することに
より、第１の対象物画像に対する対応画像を第２の対象
物画像として抽出する。そして、右側の赤外線カメラが
撮影した画像中の第１の対象物画像の重心位置と、左側
の赤外線カメラが撮影した画像中の第２の対象物画像の
重心位置との差から、視差Δｄ（画素数）を求め、これ
から自車両と対象物との距離ｚを算出する。 【０００３】また、抽出された対象物について過去の距
離データが存在する場合には、その距離データに基づい
て探索領域を縮小することで、相関演算を実行する際に
探索領域中の別の物体の画像を上述の第２の対象物画像
と誤認識する確率を少なくするように制御している。な
お、この装置では、求められた自車両と対象物との距離
の変化から、対象物の相対移動ベクトルを求め、これに
より自車両と歩行者等の対象物との相対距離や相対速度
を判断し、自車両との衝突の可能性が判定される。そし
て、自車両と衝突する可能性があると判定された対象物
は、画像表示装置に強調表示を伴う実映像として表示さ
れ、運転者に通知される。 【０００４】 【発明が解決しようとする課題】しかし、従来の装置で
は、相関演算を実行する際に探索領域中の別の物体の画
像を上述の第２の対象物画像と誤認識する確率を少なく
するために、抽出された対象物についての過去の距離デ
ータに基づいて探索領域を縮小する制御を行うものの、
過去の距離データに誤差が含まれている場合は、探索領
域を誤って縮小してしまうという問題があった。すなわ
ち、対象物と背景との重なり具合によっては、第１の対
象物画像と探索領域中の物体画像とのミスマッチが発生
し、これにより相関演算における相関度が悪化して対応
画像（第２の対象物画像）が正確に抽出できない場合が
発生する。しかし、従来の装置では、対象物までの距離
が算出されれば、探索領域が距離データに基づいて縮小
される。そのため、距離データに誤差が含まれている場
合に、誤った制御による探索領域の縮小により、目的の
対象物が存在しない範囲を探索領域として設定してしま
う可能性があるという問題があった。 【０００５】本発明は、上記課題に鑑みてなされたもの
で、対象物を探索するための探索領域を正確に設定し、
運転者の正確な対象物認識を妨げる対象物表示を防止す
ることができる画像認識装置を提供することを目的とす
る。 【０００６】 【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明に係る画像認識装置は、一組のステ
レオカメラ（例えば実施の形態の赤外線カメラ２Ｒ、２
Ｌ）を備え、第１のカメラの画像から第１の対象物画像
（例えば実施の形態の探索画像Ｒ１）を抽出すると共
に、抽出された前記第１の対象物画像に基づいて設定さ
れた第２のカメラの画像上の探索領域（例えば実施の形
態の探索領域Ｒ２）から、相関演算処理を行うことによ
り前記第１の対象物画像に対応する第２の対象物画像
（例えば実施の形態の対応画像）を抽出し、前記第１と
第２の対象物画像間の視差を求めて、該対象物までの距
離を計算する画像認識装置において、前記相関演算処理
の結果に基づいて、前記探索領域の範囲を変更する探索
領域調整手段（例えば実施の形態のステップＳ１２〜ス
テップＳ１７）を備えたことを特徴とする。以上の構成
を備えた画像認識装置は、過去の距離データに基づいて
探索領域を縮小した場合でも、第１の対象物画像と探索
領域中の物体画像との相関演算を実行した結果、相関度
が低く第２の対象物画像が正確に抽出できないと判断し
た場合には、探索領域調整手段により探索領域の設定を
変更して、誤差を含む過去の距離データの影響を軽減す
ることができる。 【０００７】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明の一実施の
形態の画像認識装置の構成を示すブロック図である。図
１において、符号１は、本実施の形態の画像認識装置を
制御するＣＰＵ（中央演算装置）を備えた画像処理ユニ
ットであって、遠赤外線を検出可能な２つの赤外線カメ
ラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレ
ートセンサ３、更に、当該車両の走行速度（車速）を検
出する車速センサ４とブレーキの操作を検出するための
ブレーキセンサ５が接続される。これにより、画像処理
ユニット１は、車両の周辺の赤外線画像と車両の走行状
態を示す信号から、車両前方の歩行者や動物等の動く物
体を検出し、衝突の可能性が高いと判断したときに警報
を発する。 【０００８】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、検出された対象物と自
車両との衝突する危険性が高いと判定された場合のみ、
赤外線カメラ２Ｒ、２Ｌにより撮影された画像を強調表
示された対象物画像と共に表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。 【０００９】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、画像表示装置７の表示信
号などを出力する出力回路を備えており、赤外線カメラ
２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブ
レーキセンサ５の各出力信号は、ディジタル信号に変換
されてＣＰＵに入力されるように構成されている。 【００１０】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対称な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。 【００１１】次に、本実施の形態の動作について図面を
参照して説明する。図３は、本実施の形態の画像認識装
置の画像処理ユニット１における歩行者等の対象物検出
・警報動作を示すフローチャートである。まず、画像処
理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号で
ある赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変
換し（ステップＳ２）、グレースケール画像を画像メモ
リに格納する（ステップＳ３）。なお、ここでは赤外線
カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌに
より左画像が得られる。また、右画像と左画像では、同
一の対象物の表示画面上の水平位置がずれて表示される
ので、このずれ（視差）によりその対象物までの距離を
算出することができる。 【００１２】ステップＳ３においてグレースケール画像
が得られたら、次に、赤外線カメラ２Ｒにより得られた
右画像を基準画像とし、その画像信号の２値化処理、す
なわち、輝度閾値ＩＴＨより明るい領域を「１」（白）
とし、暗い領域を「０」（黒）とする処理を行う（ステ
ップＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得
られたグレースケール画像を示し、これに２値化処理を
行うことにより、図４（ｂ）に示すような画像を得る。
なお、図４（ｂ）において、例えばＰ１からＰ４の枠で
囲った物体を、表示画面上に白色として表示される対象
物（以下「高輝度領域」という）とする。赤外線画像か
ら２値化された画像データを取得したら、２値化した画
像データをランレングスデータに変換する処理を行う
（ステップＳ５）。ランレングスデータにより表される
ラインは、２値化により白となった領域を画素レベルで
示したもので、いずれもｙ方向には１画素の幅を有して
おり、またｘ方向にはそれぞれランレングスデータを構
成する画素の長さを有している。 【００１３】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
のうち、ｙ方向に重なる部分のあるラインを１つの対象
物とみなすことにより、例えば図４（ｂ）に示す高輝度
領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）
として把握されることになる。対象物の抽出が完了した
ら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四
角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ
８）。 【００１４】ここで、面積Ｓは、ラベルＡの対象物のラ
ンレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ
［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とする
と、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を
同一対象物（Ｎ個のランレングスデータ）について積算
することにより算出する。また、対象物Ａの重心Ｇの座
標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒ
ｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ
［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更に
これを同一対象物について積算したものを、面積Ｓで割
ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、
対象物の外接四角形の縦方向の長さＤｙと横方向の長さ
Ｄｘとの比Ｄｙ／Ｄｘとして算出する。なお、ランレン
グスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示
されているので、実際の長さは「−１」する必要がある
（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接
四角形の重心位置で代用してもよい。 【００１５】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、例えば時
刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽
出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行
う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であ
ると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、
Ｂというラベルに変更することにより、時刻間追跡が行
われる。また、このようにして認識された各対象物の
（重心の）位置座標は、時系列位置データとしてメモリ
に格納され、後の演算処理に使用される。 【００１６】なお、以上説明したステップＳ４〜Ｓ９の
処理は、２値化した基準画像（本実施の形態では、右画
像）について実行する。次に、車速センサ４により検出
される車速ＶＣＡＲ及びヨーレートセンサ３より検出さ
れるヨーレートＹＲを読み込み、ヨーレートＹＲを時間
積分することより、自車両１０の回頭角θｒを算出する
（ステップＳ１０）。次に、自車両１０が回頭すること
による画像上の位置ずれを補正するための回頭角補正を
行う（ステップＳ１１）。回頭角補正は、時刻ｋから
（ｋ＋１）までの期間中に自車両１０が例えば左方向に
回頭角θｒだけ回頭すると、カメラによって得られる画
像上では、画像の範囲がΔｘだけｘ方向にずれるので、
これを補正する処理である。なお、以下の説明では、回
頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。 【００１７】一方、ステップＳ９からステップＳ１１の
処理に平行して、ステップＳ１２〜Ｓ１７では、対象物
と自車両１０との距離ｚを算出する処理を行う。この演
算はステップＳ９からステップＳ１１の処理より長い時
間を要するため、ステップＳ９からステップＳ１１の処
理より長い周期（例えばステップＳ１〜Ｓ１０の実行周
期の３倍程度の周期）で実行される。まず、基準画像
（右画像）の２値化画像によって追跡される対象物の中
の１つを選択することにより、図５（ａ）に示すように
右画像から探索画像Ｒ１（ここでは、外接四角形で囲ま
れる領域全体を探索画像とする）を抽出する（ステップ
Ｓ１２）。 【００１８】次に、左画像中から探索画像に対応する画
像（以下「対応画像」という）を探索する探索領域を設
定し、相関演算を実行して対応画像を抽出する（ステッ
プＳ１３）。具体的には、図５（ｂ）に示すように、探
索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域
Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関
の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式
（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小と
なる領域を対応画像として抽出する。なお、この相関演
算は、２値化画像ではなくグレースケール画像を用いて
行う。 【数１】 ここで、ＩＲ（ｍ，ｎ）は、図５に示す探索画像Ｒ１内
の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ
−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を
基点とした、探索画像Ｒ１と同一形状の局所領域内の座
標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，
ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小と
なる位置を求めることにより、対応画像の位置が特定さ
れる。 【００１９】次に、求められた輝度差分総和値Ｃ（ａ，
ｂ）を規定値と比較し、相関が良好であるか否かを判定
する相関判定を行う（ステップＳ１４）。なお、上述の
ように輝度差分総和値Ｃ（ａ，ｂ）は、その値が小さい
ほど相関の度合いが高いので、規定値との比較も、例え
ば規定値より輝度差分総和値Ｃ（ａ，ｂ）が小さければ
相関が良好であるとし、規定値と輝度差分総和値Ｃ
（ａ，ｂ）が等しいか、または規定値より輝度差分総和
値Ｃ（ａ，ｂ）が大きければ相関が良好でない（不良）
とする。 【００２０】ステップＳ１４において、相関が良好であ
る場合（ステップＳ１４のＹＥＳ）、図６に示すように
探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４と
が抽出されるので、次に、探索画像Ｒ１の重心位置と、
画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画
像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ
（画素数）を求め、下記式（２）に適用して、自車両１
０と、対象物との距離ｚを算出する（ステップＳ１
５）。 【数２】 ここで、Ｂは基線長、すなわち赤外線カメラ２Ｒの撮像
素子の中心位置と赤外線カメラ２Ｌの撮像素子の中心位
置との水平方向の距離（両赤外線カメラの光軸の間
隔）、Ｆは赤外線カメラ２Ｒ、２Ｌのレンズの焦点距
離、ｐは赤外線カメラ２Ｒ、２Ｌの撮像素子内の画素間
隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。 【００２１】そして、算出された距離ｚに基づいて、例
えば図５（ｂ）に示すように、探索領域Ｒ２より狭い領
域Ｒ２ａを新たな探索領域として設定する（ステップＳ
１６）。また、ステップＳ１４において、相関が良好で
ない場合（ステップＳ１４のＮＯ）、それまでにステッ
プＳ１６で縮小された探索領域を、赤外線カメラ２Ｒ、
２Ｌの撮像素子の各定数と測定すべき距離に基づく探索
領域、すなわち図５（ｂ）に示す探索領域の初期値（＝
探索領域Ｒ２）へ戻す（ステップＳ１７）。 【００２２】次に、ステップＳ１１における回頭角の補
正と、ステップＳ１５からステップＳ１７における対象
物との距離算出、探索領域の範囲設定が完了したら、画
像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，
Ｙ，Ｚ）に変換する（ステップＳ１８）。ここで、実空
間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カ
メラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１
０に固定された位置）を原点Ｏとして、図示のように定
め、画像内の座標は、画像の中心を原点として水平方向
をｘ、垂直方向をｙと定めている。 【００２３】画像内の座標及び距離ｚの実空間座標への
変換が完了したら、次に、同一対象物について、ΔＴの
モニタ期間内に得られた、回頭角補正後のＮ個（例えば
Ｎ＝１０程度）の実空間位置データ、すなわち時系列デ
ータから、対象物と自車両１０との相対移動ベクトルに
対応する近似直線ＬＭＶを求める（ステップＳ１９）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ
（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間Δ
Ｔ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ
（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置
に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ
（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）
＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−
１））を求める。 【００２４】これにより、位置座標Ｐｖ（Ｎ−１）から
Ｐｖ（０）に向かうベクトルとして、相対移動ベクトル
が得られる。このようにモニタ期間ΔＴ内の複数（Ｎ
個）のデータから対象物の自車両１０に対する相対移動
軌跡を近似する近似直線を算出して相対移動ベクトルを
求めることにより、位置検出誤差の影響を軽減して対象
物との衝突の可能性をより正確に予測することが可能と
なる。 【００２５】また、ステップＳ１９において、相対移動
ベクトルが求められたら、次に、自車両１０が検出した
対象物と衝突する可能性があるか否かを判定する警報判
定処理を行う（ステップＳ２０）。そして、ステップＳ
２０において、自車両１０と検出した対象物との衝突の
可能性がないと判定された場合（ステップＳ２０のＮ
Ｏ）、ステップＳ１へ戻り、上述の処理を繰り返す。ま
た、ステップＳ２０において、自車両１０と検出した対
象物との衝突の可能性があると判定された場合（ステッ
プＳ２０のＹＥＳ）、ステップＳ２１の警報出力判定処
理へ進む。 【００２６】ステップＳ２１では、ブレーキセンサ５の
出力ＢＲから自車両１０の運転者がブレーキ操作を行っ
ているか否かを判別することにより、警報出力判定処
理、すなわち警報出力を行うか否かの判定を行う（ステ
ップＳ２１）。もし、自車両１０の運転者がブレーキ操
作を行っている場合には、それによって発生する加速度
Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓ
が所定閾値ＧＴＨより大きいときは、ブレーキ操作によ
り衝突が回避されると判定して警報出力判定処理を終了
し（ステップＳ２１のＮＯ）、ステップＳ１へ戻り、上
述の処理を繰り返す。これにより、適切なブレーキ操作
が行われているときは、警報を発しないようにして、運
転者に余計な煩わしさを与えないようにすることができ
る。 【００２７】また、加速度Ｇｓが所定閾値ＧＴＨ以下で
あるとき、または自車両１０の運転者がブレーキ操作を
行っていなければ、直ちにステップＳ２２の処理へ進み
（ステップＳ２１のＹＥＳ）、対象物と接触する可能性
が高いので、スピーカ６を介して音声による警報を発す
る（ステップＳ２２）と共に、画像表示装置７に対し
て、例えば赤外線カメラ２Ｒにより得られる画像を出力
し、接近してくる対象物を自車両１０の運転者に対する
強調映像として表示する（ステップＳ２３）。なお、所
定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのま
ま維持された場合に、現在の対象物と自車両１０との間
の距離以下の走行距離で自車両１０が停止する条件に対
応する値である。 【００２８】なお、上述のステップＳ１６において、算
出された自車両１０と対象物との距離ｚに基づいて、例
えば探索領域Ｒ２より狭い領域Ｒ２ａを新たな探索領域
として設定した後は、ステップＳ１８へ進まずに、ステ
ップＳ１３へ進み、新たな探索領域から対応画像を抽出
し、それ以降の処理を繰り返しても良い。また、本実施
の形態では、画像処理ユニット１が、探索領域調整手段
を含んでいる。より具体的には、図３のＳ１２〜Ｓ１７
が探索領域調整手段に相当する。 【００２９】以上説明したように、本実施の形態の画像
認識装置は、対象物の過去の距離データに基づいて探索
領域Ｒ２を例えば探索領域Ｒ２ａへ縮小した場合でも、
探索画像Ｒ１と探索領域Ｒ２ａ中の物体画像との相関演
算を実行した結果、相関度が低く対応画像が正確に抽出
できないと判断した場合には、探索領域の設定を探索領
域Ｒ２ａから初期値の探索領域Ｒ２へ戻し、再度広い探
索領域の中から対応画像を探索する。これにより、誤差
を含む過去の距離データを利用して探索領域を誤設定し
たとしても、画像処理ユニット１は赤外線カメラ２Ｒ、
２Ｌから得られた画像の中の対象物画像を見失うことは
なく、速やかに探索領域を初期化して対象物の追跡を続
行することができる。 【００３０】 【発明の効果】以上の如く、請求項１に記載の画像認識
装置によれば、対象物の過去の距離データに基づいて探
索領域を縮小した場合でも、第１の対象物画像と探索領
域中の物体画像との相関演算を実行した結果、相関度が
低く第２の対象物画像が正確に抽出できないと判断した
場合には、探索領域の設定を初期値に戻し、対象物を見
失うことなく対象物の追跡を続行することができる。従
って、安定した対象物の時系列距離データを取得し、運
転者の正確な対象物認識を妨げる対象物表示を防止する
ことができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の画像認識装置の構成
を示すブロック図である。 【図２】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。 【図３】 同実施の形態の画像認識装置の対象物検出・
警報動作を示すフローチャートである。 【図４】 赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。 【図５】 探索領域を対象とした相関演算処理を示す図
である。 【図６】 対象物の距離算出における対象物視差の算出
方法を示す図である。 【符号の説明】 １ 画像処理ユニット ２Ｒ、２Ｌ 赤外線カメラ ３ ヨーレートセンサ ４ 車速センサ ５ ブレーキセンサ ６ スピーカ ７ 画像表示装置 １０ 自車両 Ｓ１２〜Ｓ１７ 探索領域調整手段
を示すブロック図である。 【図２】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。 【図３】 同実施の形態の画像認識装置の対象物検出・
警報動作を示すフローチャートである。 【図４】 赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。 【図５】 探索領域を対象とした相関演算処理を示す図
である。 【図６】 対象物の距離算出における対象物視差の算出
方法を示す図である。 【符号の説明】 １ 画像処理ユニット ２Ｒ、２Ｌ 赤外線カメラ ３ ヨーレートセンサ ４ 車速センサ ５ ブレーキセンサ ６ スピーカ ７ 画像表示装置 １０ 自車両 Ｓ１２〜Ｓ１７ 探索領域調整手段
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｕ
Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｚ
7/60 １８０ 7/60 １８０Ｂ
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ
(72)発明者 辻 孝之
埼玉県和光市中央１丁目４番１号 株式会
社本田技術研究所内
(72)発明者 服部 弘
埼玉県和光市中央１丁目４番１号 株式会
社本田技術研究所内
Ｆターム(参考） 2F065 AA06 AA17 AA20 BB05 CC11
CC14 CC16 DD06 DD11 FF05
FF09 FF64 FF65 GG10 GG22
JJ03 JJ05 JJ26 QQ03 QQ04
QQ24 QQ25 QQ31
2F112 AC03 AC06 BA06 BA07 CA05
FA03 FA07 FA35 FA45
5B057 AA16 BA02 CA13 CA16 DB03
DC03 DC34
5C054 AA01 AA05 CA05 CE01 EA01
FC05 FC12 FE28 HA30
5L096 BA04 CA05 DA03 FA34 FA66
GA34 GA36
Claims (1)
- 【特許請求の範囲】 【請求項１】 一組のステレオカメラを備え、第１のカ
メラの画像から第１の対象物画像を抽出すると共に、抽
出された前記第１の対象物画像に基づいて設定された第
２のカメラの画像上の探索領域から、相関演算処理を行
うことにより前記第１の対象物画像に対応する第２の対
象物画像を抽出し、前記第１と第２の対象物画像間の視
差を求めて、該対象物までの距離を計算する画像認識装
置において、 前記相関演算処理の結果に基づいて、前記探索領域の範
囲を変更する探索領域調整手段を備えたことを特徴とす
る画像認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002127476A JP2003322521A (ja) | 2002-04-26 | 2002-04-26 | 画像認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002127476A JP2003322521A (ja) | 2002-04-26 | 2002-04-26 | 画像認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003322521A true JP2003322521A (ja) | 2003-11-14 |
Family
ID=29541575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002127476A Pending JP2003322521A (ja) | 2002-04-26 | 2002-04-26 | 画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003322521A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012122923A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Corp | 対象物検出装置及び方法 |
| WO2013186906A1 (ja) * | 2012-06-14 | 2013-12-19 | トヨタ自動車株式会社 | 識別器生成装置およびパターン検出装置 |
| KR101386397B1 (ko) * | 2013-01-02 | 2014-04-17 | 군산대학교산학협력단 | 콤바인의 동작 제어 장치 및 그 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6317418A (ja) * | 1986-06-25 | 1988-01-25 | Minolta Camera Co Ltd | 合焦検出装置 |
| JPH11120351A (ja) * | 1997-10-15 | 1999-04-30 | Fujitsu Ltd | 画像マッチング装置および画像マッチングプログラムを格納する記憶媒体 |
| JP2000213933A (ja) * | 1999-01-26 | 2000-08-04 | Victor Co Of Japan Ltd | 画像処理装置 |
| JP2001006096A (ja) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | 車両の周辺監視装置 |
-
2002
- 2002-04-26 JP JP2002127476A patent/JP2003322521A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6317418A (ja) * | 1986-06-25 | 1988-01-25 | Minolta Camera Co Ltd | 合焦検出装置 |
| JPH11120351A (ja) * | 1997-10-15 | 1999-04-30 | Fujitsu Ltd | 画像マッチング装置および画像マッチングプログラムを格納する記憶媒体 |
| JP2000213933A (ja) * | 1999-01-26 | 2000-08-04 | Victor Co Of Japan Ltd | 画像処理装置 |
| JP2001006096A (ja) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | 車両の周辺監視装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012122923A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Corp | 対象物検出装置及び方法 |
| WO2013186906A1 (ja) * | 2012-06-14 | 2013-12-19 | トヨタ自動車株式会社 | 識別器生成装置およびパターン検出装置 |
| JPWO2013186906A1 (ja) * | 2012-06-14 | 2016-02-01 | トヨタ自動車株式会社 | 識別器生成装置およびパターン検出装置 |
| US9818025B2 (en) | 2012-06-14 | 2017-11-14 | Toyota Jidosha Kabushiki Kaisha | Discrimination container generation device and pattern detection device |
| KR101386397B1 (ko) * | 2013-01-02 | 2014-04-17 | 군산대학교산학협력단 | 콤바인의 동작 제어 장치 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3756452B2 (ja) | 赤外線画像処理装置 | |
| JP2003134508A (ja) | 車両用情報提供装置 | |
| US20030007074A1 (en) | Vehicle zone monitoring apparatus | |
| JP2001006096A (ja) | 車両の周辺監視装置 | |
| US9619895B2 (en) | Image processing method of vehicle camera and image processing apparatus using the same | |
| JP2001160144A (ja) | 画像認識装置 | |
| JP2003216937A (ja) | ナイトビジョンシステム | |
| JP2768042B2 (ja) | 距離測定装置 | |
| JP6615984B2 (ja) | 物体認識装置 | |
| US6697146B2 (en) | Range finder for finding range by image realization | |
| JP2001169310A (ja) | 距離検出装置 | |
| JP4094604B2 (ja) | 車両周辺監視装置 | |
| JP2003329439A (ja) | 距離検出装置 | |
| JP4128562B2 (ja) | 車両周辺監視装置 | |
| JP4425852B2 (ja) | 車両周辺監視装置 | |
| JP2004126905A (ja) | 画像処理装置 | |
| JP3999088B2 (ja) | 障害物検出装置 | |
| JP3936313B2 (ja) | 画像認識装置 | |
| JP2002005626A (ja) | 位置検出装置 | |
| JP4176558B2 (ja) | 車両周辺表示装置 | |
| JP3970876B2 (ja) | 車両周辺監視装置 | |
| JP2003322521A (ja) | 画像認識装置 | |
| JP2004103018A (ja) | 車両の周辺監視装置 | |
| JP2008276787A (ja) | 車両周辺監視装置 | |
| JP2006185433A (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070605 |