JP2007131178A

JP2007131178A - 障害物位置特定システム

Info

Publication number: JP2007131178A
Application number: JP2005326613A
Authority: JP
Inventors: Chihiro Hiraiwa; 千尋平岩
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2005-11-10
Filing date: 2005-11-10
Publication date: 2007-05-31

Abstract

【課題】堅固な支持部により左右の撮像装置を車体に固着することなく、ステレオ視による障害物までの距離算出の精度を高く維持することができる障害物位置特定システムを提供する。
【解決手段】車両の前方を撮像する２つの遠赤外撮像装置それぞれで撮像した２つの画像データに基づいて、画像の特徴部分、例えば横長エッジ、所定の輝度より高い高輝度部分等を抽出し、２つの画像データで抽出した特徴部分を重ね合わせ、両者が重なり合う画素数を算出する。両者が重なり合う画素数が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトし、両者が重なり合う画素数が最大となる状態で障害物の当該車両に対する距離を算出する。
【選択図】図４

Description

本発明は、夜間に車両の外部を撮像する遠赤外撮像装置が撮像した画像データに基づいて、視差を利用して障害物の存在する位置をより正確に特定する障害物位置特定システムに関する。

自動車等の車両に周囲を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を認識する障害物認識システムを利用して、自車両との衝突の可能性を判定する衝突判定システムが多々開発されている。

例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を抽出し、ステレオ視により該領域までの距離及び車両に対する相対移動ベクトルを算出することにより、障害物との衝突の可能性を判定している（非特許文献１参照）。

そして、衝突する可能性の算出精度を高めるには、障害物が存在すると考えられる領域までの距離を精度良く算出する必要がある。ステレオ視による距離算出精度を高めるには、撮像装置で撮像された画像の上下方向の位置ズレを抑制することが好ましい。従来の車両では、車両前方に左右に撮像装置を設置する場合に、撮像する画像の上下方向のズレを抑制すべく、バンパー部分に剛体からなる支持部を設け、撮像装置を支持部へ固着することにより、撮像装置設置時の上下方向のズレ、撮像中の上下方向のズレ等を抑制していた。
「ホンダアールアンドディーテクニカルレビュー (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月

しかし、上述した撮像装置の固着方法では、バンパー部分に剛体からなる支持部を設ける必要が有ることから、車両の軽量化を図ることが困難となり、サスペンションの設計の自由度も縮小されるというデメリットが生じるという問題点があった。また、撮像装置の光軸合わせの自由度が少なく、並置される２つの撮像装置の光軸を平行に設置することが困難であるという問題点もあった。

さらに、撮像装置を支持部へ固着していることから、容易に撮像装置を交換することが困難であり、支持部へ取り付けることが可能な専用の撮像装置であることが好ましい。したがって、汎用的な撮像装置を取り付けることが困難になるおそれがあるという問題点もあった。

加えて、自動車等の車両に設けられている左右の車輪は、走行中に非同期に上下動を繰り返しており、静止状態で水平方向の取り付け位置を調整した場合であっても、撮像した画像が必ずしも上下方向にズレのないステレオ画像となっている保証は無い。

本発明は、斯かる事情に鑑みてなされたものであり、堅固な支持部により左右の撮像装置を車体に固着することなく、ステレオ視による障害物までの距離算出の精度を高く維持することができる障害物位置特定システムを提供することを目的とする。

上記目的を達成するために第１発明に係る障害物位置特定システムは、車両の前方を撮像する２つの遠赤外撮像装置と、該遠赤外撮像装置それぞれで撮像した２つの画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、２つの前記遠赤外撮像装置により取得した画像の視差に基づいて前記障害物の当該車両に対する距離を算出する距離算出手段を有する障害物位置特定装置とを備える障害物位置特定システムにおいて、前記障害物位置特定装置は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、画像の特徴部分を抽出する特徴部分抽出手段と、２つの画像データで抽出した特徴部分を重ね合わせ、両者が重なり合う画素数を算出する重複画素数算出手段と、該重複画素数算出手段で算出する両者が重なり合う画素数が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする画像重ね合わせ変更手段とを備え、前記距離算出手段は、両者が重なり合う画素数が最大となる状態で前記障害物の当該車両に対する距離を算出するようにしてあることを特徴とする。

また、第２発明に係る障害物位置特定システムは、第１発明において、前記特徴部分抽出手段は、２つの前記遠赤外撮像装置で撮像した画像データに基づいて、画像の横長のエッジを抽出するようにしてあり、前記重複画素数算出手段は、２つの画像データから抽出した横長エッジを重ね合わせ、両者が重なり合う画素数を算出するようにしてあることを特徴とする。

また、第３発明に係る障害物位置特定システムは、第１発明において、前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定の輝度より高い高輝度部分を画像内から抽出するようにしてあり、前記重複画素数算出手段は、２つの画像データで抽出した高輝度部分を重ね合わせ、両者が重なり合う画素数をラインごとに算出するようにしてあり、前記画像重ね合わせ変更手段は、画像の全部又は一部のラインにて重なり合う画素数の総和が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする。

また、第４発明に係る障害物位置特定システムは、第１発明において、前記画像重ね合わせ変更手段は、画像の一部又は全部のラインにつき、ラインごとに輝度値の総和を算出する手段と、算出した輝度値の総和を縦方向の画素位置に対応付けて記憶する手段と、ラインごとに輝度値の総和を算出した一部又は全部のラインにつき、ラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異の絶対値が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする手段とを備えることを特徴とする。

また、第５発明に係る障害物位置特定システムは、第１発明において、前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定範囲内の輝度の平均値が高い順に複数箇所の高輝度領域を抽出するようにしてあり、前記重複画素数算出手段は、２つの画像データで抽出した高輝度領域を重ね合わせ、複数の高輝度領域の領域中心で形成される多角形領域が重なり合う画素数を算出するようにしてあり、前記画像重ね合わせ変更手段は、多角形領域が重なり合う画素数の総和が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする。

また、第６発明に係る障害物位置特定システムは、車両の前方を撮像する２つの遠赤外撮像装置と、該遠赤外撮像装置それぞれで撮像した２つの画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、２つの前記遠赤外撮像装置により取得した画像の視差に基づいて前記障害物の当該車両に対する距離を算出する距離算出手段を有する障害物位置特定装置とを備える障害物位置特定システムにおいて、前記障害物位置特定装置は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、画像の特徴部分を抽出する特徴部分抽出手段と、２つの画像データで抽出した特徴部分の少なくともいずれか一方を含む画素数を算出する特徴部分画素数算出手段と、該特徴部分画素数算出手段で算出した画素数が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする画像重ね合わせ変更手段とを備え、前記距離算出手段は、特徴部分の少なくともいずれか一方を含む画素数が最小となる状態で前記障害物の当該車両に対する距離を算出するようにしてあることを特徴とする。

また、第７発明に係る障害物位置特定システムは、第６発明において、前記特徴部分抽出手段は、２つの前記遠赤外撮像装置で撮像した画像データに基づいて、画像の横長のエッジを抽出するようにしてあり、前記特徴部分画素数算出手段は、２つの画像データから抽出した横長エッジを重ね合わせ、少なくともいずれか一方を含む画素数を算出するようにしてあることを特徴とする。

また、第８発明に係る障害物位置特定システムは、第６発明において、前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定の輝度より高い高輝度部分を画像内から抽出するようにしてあり、前記特徴部分画素数算出手段は、２つの画像データで抽出した高輝度部分を重ね合わせ、少なくともいずれか一方を含む画素数を算出するようにしてあり、前記画像重ね合わせ変更手段は、画像の全部又は一部のラインにて算出した画素数の総和が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする。

また、第９発明に係る障害物位置特定システムは、第６発明において、前記画像重ね合わせ変更手段は、画像の一部又は全部のラインにつき、ラインごとに輝度値の総和を算出する手段と、算出した輝度値の総和を縦方向の画素位置に対応付けて記憶する手段と、ラインごとに輝度値の総和を算出した一部又は全部のラインにつき、ラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異の絶対値が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする手段とを備えることを特徴とする。

また、第１０発明に係る障害物位置特定システムは、第６発明において、前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定範囲内の輝度の平均値が高い順に複数箇所の高輝度領域を抽出するようにしてあり、前記特徴部分画素数算出手段は、２つの画像データで抽出した高輝度領域を重ね合わせ、少なくともいずれか一方の多角形領域を含む画素数を算出するようにしてあり、前記画像重ね合わせ変更手段は、少なくともいずれか一方の多角形領域を含む画素数の総和が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする。

第１発明では、車両の前方を撮像する２つの遠赤外撮像装置それぞれで撮像した２つの画像データに基づいて、画像の特徴部分を抽出し、２つの画像データで抽出した特徴部分を重ね合わせ、両者が重なり合う画素数を算出する。両者が重なり合う画素数が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトし、両者が重なり合う画素数が最大となる状態で障害物の当該車両に対する距離を算出する。これにより、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像の上下方向のズレを修正することができ、視差による距離算出精度を高めることが可能となる。したがって、初期取り付け時に正確な光軸合わせを行う必要がなく、取り付け工数の低減を図ることも可能となる。

第２発明では、２つの画像データで抽出された横長エッジを重ね合わせ、両者が重なり合う画素数を算出し、算出した画素数が最大となるように一方の画像データを他方の画像データに対して縦方向に画素単位でシフトする。これにより、比較的抽出が容易な横長エッジに基づいて、左右の撮像装置で撮像した画像を縦方向にシフトすることで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第３発明では、２つの画像データに基づいて、所定の輝度より高い高輝度部分を画像内から抽出し、２つの画像データで抽出した高輝度部分を重ね合わせ、両者が重なり合う画素数をラインごとに算出する。画像の全部又は一部のラインにて重なり合う画素数の総和が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする。これにより、抽出した高輝度部分の重複状態を各ラインにて重複する画素数に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。また、特徴部分近傍の一部のラインにて重複する画素数に基づいて判断することにより、視差による距離算出精度を高く維持しつつ演算処理負荷を軽減することが可能となる。

第４発明では、画像の一部又は全部のラインにつき、ラインごとに輝度値の総和を算出し、算出した輝度値の総和を縦方向の画素位置に対応付けて記憶する。ラインごとに輝度値の総和を算出した一部又は全部のラインにつき、ラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異の絶対値が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする。これにより、ラインごとの輝度値の総和の縦方向の分布が略一致する位置まで一方の画像を他方の画像に対して縦方向に画素単位でシフトすることができ、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正して、視差による距離算出精度を高めることが可能となる。

第５発明では、２つの遠赤外撮像装置から取得した画像データに基づいて、所定範囲内の輝度の平均値が高い順に複数箇所の高輝度領域を抽出し、２つの画像データで抽出した高輝度領域を重ね合わせ、複数の高輝度領域の領域中心で形成される多角形領域が重なり合う画素数を算出する。多角形領域が重なり合う画素数の総和が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする。これにより、抽出した高輝度領域の重複状態を、多角形領域の形状の類似度に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第６発明では、車両の前方を撮像する２つの遠赤外撮像装置それぞれで撮像した２つの画像データに基づいて、画像の特徴部分を抽出し、２つの画像データで抽出した特徴部分の少なくともいずれか一方を含む画素数を算出する。算出した画素数が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトし、特徴部分の少なくともいずれか一方を含む画素数が最小となる状態で障害物の当該車両に対する距離を算出する。これにより、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像の上下方向のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第７発明では、２つの遠赤外撮像装置で撮像した画像データに基づいて、画像の横長のエッジを抽出し、２つの画像データから抽出した横長エッジを重ね合わせ、少なくともいずれか一方を含む画素数を算出する。これにより、比較的抽出が容易な横長エッジに基づいて、左右の撮像装置で撮像した画像を縦方向にシフトすることで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第８発明では、２つの遠赤外撮像装置から取得した画像データに基づいて、所定の輝度より高い高輝度部分を画像内から抽出し、２つの画像データで抽出した高輝度部分を重ね合わせ、少なくともいずれか一方を含む画素数を算出し、画像の全部又は一部のラインにて算出した画素数の総和が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする。これにより、抽出した高輝度部分の重複状態を各ラインにて高輝度部分が存在する画素数に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。また、特徴部分近傍の一部のラインにて高輝度部分が存在する画素数に基づいて判断することにより、視差による距離算出精度を高く維持しつつ演算処理負荷を軽減することが可能となる。

第９発明では、画像の一部又は全部のラインにつき、ラインごとに輝度値の総和を算出し、算出した輝度値の総和を縦方向の画素位置に対応付けて記憶し、ラインごとに輝度値の総和を算出した一部又は全部のラインにつき、ラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異の絶対値が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする。これにより、ラインごとの輝度値の総和の縦方向の分布が略一致する位置まで一方の画像を他方の画像に対して縦方向に画素単位でシフトすることができ、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正して、視差による距離算出精度を高めることが可能となる。

第１０発明では、２つの遠赤外撮像装置から取得した画像データに基づいて、所定範囲内の輝度の平均値が高い順に複数箇所の高輝度領域を抽出し、２つの画像データで抽出した高輝度領域を重ね合わせ、少なくともいずれか一方の多角形領域を含む画素数を算出し、少なくともいずれか一方の多角形領域を含む画素数の総和が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする。これにより、抽出した高輝度領域の重複状態を、多角形領域の形状の類似度に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第１発明によれば、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像の上下方向のズレを修正することができ、視差による距離算出精度を高めることが可能となる。したがって、初期取り付け時に正確な光軸合わせを行う必要がなく、取り付け工数の低減を図ることも可能となる。

第２発明によれば、比較的抽出が容易な横長エッジに基づいて、左右の撮像装置で撮像した画像を縦方向にシフトすることで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第３発明によれば、抽出した高輝度部分の重複状態を各ラインにて重複する画素数に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。また、特徴部分近傍の一部のラインにて重複する画素数に基づいて判断することにより、視差による距離算出精度を高く維持しつつ演算処理負荷を軽減することが可能となる。

第４発明によれば、ラインごとの輝度値の総和の縦方向の分布が略一致する位置まで一方の画像を他方の画像に対して縦方向に画素単位でシフトすることができ、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正して、視差による距離算出精度を高めることが可能となる。

第５発明によれば、抽出した高輝度領域の重複状態を、多角形領域の形状の類似度に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第６発明によれば、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像の上下方向のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第７発明によれば、比較的抽出が容易な横長エッジに基づいて、左右の撮像装置で撮像した画像を縦方向にシフトすることで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

第８発明によれば、抽出した高輝度部分の重複状態を各ラインにて高輝度部分が存在する画素数に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。また、特徴部分近傍の一部のラインにて高輝度部分が存在する画素数に基づいて判断することにより、視差による距離算出精度を高く維持しつつ演算処理負荷を軽減することが可能となる。

第９発明によれば、ラインごとの輝度値の総和の縦方向の分布が略一致する位置まで一方の画像を他方の画像に対して縦方向に画素単位でシフトすることができ、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正して、視差による距離算出精度を高めることが可能となる。

第１０発明によれば、抽出した高輝度領域の重複状態を、多角形領域の形状の類似度に基づいて判断することで、２つの撮像装置で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る障害物位置特定システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置であるビデオカメラにより撮像された画像に基づいて車両の前方に障害物、例えば歩行者、自転車等が存在するか否かを判断し、存在を確認した障害物の自車両に対する距離を算出する場合を例として説明する。なお、遠赤外撮像装置は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図１において、１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある障害物位置特定装置３に送信される。

障害物位置特定装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７とも車載ＬＡＮケーブル６を介して接続されており、車両の走行速度の検出値が障害物位置特定装置３へ入力される。

図２は、本発明の実施の形態１に係る障害物位置特定システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する複数の撮像素子を画素単位で備えている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、内部バス１５を介して信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信した輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、補正後の輝度信号を画像データとして画像メモリ１３へ記憶する。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して障害物位置特定装置３とデータの送受信を行う。通信インタフェース部１４は、障害物位置特定装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの障害物位置特定装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換等を行う。

図３は、本発明の実施の形態１に係る障害物位置特定システムの障害物位置特定装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データをパターンマッチングすることにより、画像内の横長エッジを抽出し、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する。

ＬＳＩ３３は、視差画像の上下方向のズレを修正した後、パターンマッチングにより障害物の存在を検出し、検出した障害物までの距離を算出する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態１に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、撮像素子ごとに出力されている輝度値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ラプラシアンフィルタは、所定の画素の輝度値と該画素の周囲に存在する画素の輝度値とを対比し、輝度値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と輝度値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の輝度値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。

（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の輝度値を、ｇ（ｘ、ｙ）は、エッジ画素の輝度値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより輝度値が‘１’となった画素をエッジ部分として抽出する。

まずＬＳＩ３３は、視差画像間の上下方向のズレを修正することが容易な横長の直線分布を示すテンプレートと画像データとをマッチングすることによる相関値Ｒ１を算出し（ステップＳ４０３）、相関値Ｒ１が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４０４）。ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ４０４：ＮＯ）、ＬＳＩ３３は、視差画像の上下方向のズレを修正することができないことから、以下の視差画像調整処理を行うことなく、後続の処理、例えば障害物との衝突判定処理等へと移行する。

ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４０４：ＹＥＳ）、ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ４０５）、所定の閾値より大きい領域、すなわち横長エッジが存在する領域が重なり合っている画素数Ｐ１を算出してＲＡＭ３３１に記憶する（ステップＳ４０６）。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ４０７）。ＬＳＩ３３は、シフト後の状態で横長エッジが存在する領域が重なり合っている画素数Ｐ２を算出し（ステップＳ４０８）、順次算出した画素数Ｐ２、・・・、Ｐｎ（ｎは縦方向の画素数）を記憶する（ステップＳ４０９）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ４１０）、ＬＳＩ３３が終了したと判断した場合（ステップＳ４１０：ＹＥＳ）、ＬＳＩ３３は、記憶してある画素数Ｐ１、Ｐ２、・・・、Ｐｎの最大値を抽出する（ステップＳ４１１）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ４１０：ＮＯ）、ＬＳＩ３３は、ステップＳ４０７へ処理を戻す。ＬＳＩ３３は、画素数Ｐ１、Ｐ２、・・・、Ｐｎの最大値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する（図６）。

図５は、横長エッジに基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。図５（ａ）に示すようにビデオカメラ１で撮像した画像５１と、ビデオカメラ２で撮像した画像５２との間には視差が存在する。なお、横長エッジ５３の抽出を容易にすべく、実際にはビデオカメラ１、２で撮像した画像に対し、エッジ強調処理を行った後、二値化することにより、より鮮明な横長エッジを検出することができる。

２つのビデオカメラ１、２で撮像された画像５１、５２は、図５（ｂ）のように、左上の画像原点に基づいて重ね合わせる。横長エッジ５３が重なっている領域について画素数を算出する。図５の例では、ビデオカメラ２で撮像した画像５２がわずかに下方へずれている。

そこで、図５（ｃ）のように、ビデオカメラ２で撮像した画像５２をビデオカメラ１で撮像した画像５１に対して１ライン分上方へシフトする。これにより、横長エッジ５３が重なり合っている画素数が多くなり、重なり合っている画素数が最大となるラインまでビデオカメラ２で撮像した画像をシフトした状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。

図６は、本発明の実施の形態１に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の障害物検出処理及び障害物までの距離算出処理の手順を示すフローチャートである。ＬＳＩ３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ２を算出し（ステップＳ６０１）、相関値Ｒ２が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ６０２）。

なお、ＬＳＩ３３が、電柱、水銀灯等が存在するか否かを判断するのに使用する特徴量、例えば横長の直線分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ１、又は歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒ２を用いる場合、相関値Ｒ１、Ｒ２は（数２）に基づいて算出される。

（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは縦長の直線分布を示すテンプレート又は人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の輝度値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の輝度値を、それぞれ示している。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３が、相関値Ｒ２が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ６０２：ＮＯ）、ＬＳＩ３３は、ステップＳ４０１へ戻り、次の画像データを読み出す。ＬＳＩ３３が、相関値Ｒ２が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ６０２：ＹＥＳ）、ＬＳＩ３３は、該領域が歩行者を示す領域であると判断して、歩行者を示す領域、すなわち障害物が存在する領域の位置データを自車両の前部中央を原点とした座標値を算出して（ステップＳ６０３）、障害物までの距離を算出する（ステップＳ６０４）。

すなわち、ＬＳＩ３３は、上述した処理により歩行者と認識された障害物と自車両との距離、及び障害物の存在する方向を、車両前部の左右にステレオ配置されているビデオカメラ１、２の画像データをステレオ画像処理することにより算出する。これにより、障害物の位置を、例えば自車両の前方中央を原点とした座標系における座標値として算出することができ、障害物までの距離を正確に算出することが可能となる。なお、別途レーダ装置を車両前方下部に装着しておき、直接的に障害物と自車両との距離、及び障害物の存在する方向を測定して、座標値を算出するものであっても良い。

なお、障害物までの距離が算出された場合、算出された距離及び速度センサ７から受け付けた車両の速度等に基づいて、自車両と障害物とが衝突するか否かを判断することも可能であり、衝突する可能性の存在を、例えば表示手段４に警告表示する、警報手段５を鳴動させるとうにより運転者へ報知することも可能である。

以上のように本実施の形態１によれば、画像の特徴部分が重なり合う部分、例えば横長エッジが重なり合う部分の画素数が最大となるように、左右に設置してあるビデオカメラ１、２で撮像した画像を縦方向にシフトすることにより、２つのビデオカメラ１、２で撮像した２つの画像が、車両の上下動、ビデオカメラ１、２の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

（実施の形態２）
本発明の実施の形態２に係る障害物位置特定システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、左右に設置してある２つのビデオカメラ１、２で撮像した画像内で、輝度が所定の輝度よりも高い領域を抽出し、両画像を重ね合わせた場合の該領域（以下、高輝度領域という。）が重複する画素数をラインごとに算出し、全ライン又は一部分のラインの画素数の総和に基づいてビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する点で実施の形態１と相違する。

すなわちＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データから所定の輝度より高い輝度値を有する高輝度部分を抽出し、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する。

ＬＳＩ３３は、視差画像の上下方向のズレを修正した後、パターンマッチングにより障害物を検出し、検出した障害物の過去の位置データに基づいて、障害物の自車両に対する距離を算出する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図７は、本発明の実施の形態２に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ７０１）、所定の輝度値より高い高輝度部分を抽出する（ステップＳ７０２）。ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ７０３）、画像内のライン（画素行）ごとに高輝度部分が重複している画素数を算出し（ステップＳ７０４）、全ライン又は部分ラインにおける高輝度部分が重複している画素数の総和Ｓ１を算出して、ＲＡＭ３３１に記憶する（ステップＳ７０５）。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ７０６）。ＬＳＩ３３は、シフト後の状態で画像内のライン（画素行）ごとに高輝度部分が重複している画素数を算出し、全ライン又は部分ラインにおける高輝度部分が重複している画素数の総和Ｓ２を算出し（ステップＳ７０７）、順次算出した画素数の総和Ｓ２、・・・、Ｓｎ（ｎは縦方向の画素数）をＲＡＭ３３１へ記憶する（ステップＳ７０８）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ７０９）、ＬＳＩ３３が終了したと判断した場合（ステップＳ７０９：ＹＥＳ）、ＬＳＩ３３は、記憶してある画素数の総和Ｓ１、Ｓ２、・・・、Ｓｎの最大値を抽出する（ステップＳ７１０）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ７０９：ＮＯ）、ＬＳＩ３３は、ステップＳ７０６へ処理を戻す。ＬＳＩ３３は、画素数の総和Ｓ１、Ｓ２、・・・、Ｓｎの最大値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する（図６）。

図８は、高輝度部分に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。図８（ａ）に示すようにビデオカメラ１で撮像した画像８１と、ビデオカメラ２で撮像した画像８２との間には視差が存在する。しかし、高輝度部分８３自体はその領域に大差がない。

そこで、２つのビデオカメラ１、２で撮像された画像８１、８２を、図８（ｂ）のように、左上の画像原点に基づいて重ね合わせる。高輝度部分８３が重なっている領域についてライン（画素行）ごとに画素数を計数する。高輝度部分８３が画面内に散在している場合、全てのラインについて画素数の計数値の総和を算出し、ビデオカメラ２で撮像した画像８２をビデオカメラ１で撮像した画像８１に対して１ラインずつ上方又は下方へシフトする都度算出した画素数の計数値の総和と比較することにより、画素数の計数値の総和が最大となる状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。一方、高輝度部分８３が画面内の一部に集中している場合、該高輝度部分を含む一部のラインについて画素数の計数値の総和を算出し、ビデオカメラ２で撮像した画像８２をビデオカメラ１で撮像した画像８１に対して１ラインずつ上方又は下方へシフトする都度算出した画素数の計数値の総和と比較することにより、画素数の計数値の総和が最大となる状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。

以上のように本実施の形態２によれば、画像の特徴部分が重なり合う部分、例えば高輝度部分が重なり合う部分の画素数の計数値の総和が最大となるように、左右に設置してあるビデオカメラ１、２で撮像した画像を縦方向にシフトすることにより、２つのビデオカメラ１、２で撮像した２つの画像が、車両の上下動、ビデオカメラ１、２の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

（実施の形態３）
本発明の実施の形態３に係る障害物位置特定システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態３は、左右に設置してある２つのビデオカメラ１、２で撮像した画像内で、一部又は全部のラインにつき、ラインごとに輝度値の総和を算出し、両画像間でラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異を最小とするようにして、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する点で実施の形態１と相違する。

すなわちＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出した画像データから、一部又は全部のラインにつき、ラインごとに輝度値の総和を算出し、両画像間でラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異を最小とするように一方の画像と他方の画像とを上下方向にシフトして、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する。

ＬＳＩ３３での詳細な処理について以下に説明する。図９は、本発明の実施の形態３に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ９０１）、両画像データの一部又は全部のラインにつき、ラインごとに輝度値の総和を算出する（ステップＳ９０２）。ＬＳＩ３３は、ラインごとに算出した輝度値の総和を、画面内縦方向の座標値、例えば画像左上を原点とした座標値に対応付けて、ＲＡＭ３３１に記憶する（ステップＳ９０３）。

ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ９０４）、画像内のライン（画素行）ごとに算出した一方の画像の輝度値の総和と、他方の画像の輝度値の総和との差異を差異の絶対値Ｄ１を算出して、ＲＡＭ３３１に記憶する（ステップＳ９０５）。一方の画像の輝度値の総和と、他方の画像の輝度値の総和との差異を算出するのは、視差画像を重ね合わせた場合に、両画像が重複しているラインについてのみである。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ９０６）。ＬＳＩ３３は、シフト後の状態で画像内のライン（画素行）ごとに算出した一方の画像の輝度値の総和と、他方の画像の輝度値の総和との差異の絶対値Ｄ２を算出し（ステップＳ９０７）、順次算出した画素数の総和Ｄ２、・・・、Ｄｎ（ｎは縦方向の画素数）をＲＡＭ３３１へ記憶する（ステップＳ９０８）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ９０９）、ＬＳＩ３３が終了したと判断した場合（ステップＳ９０９：ＹＥＳ）、ＬＳＩ３３は、記憶してある差異の絶対値Ｄ１、Ｄ２、・・・、Ｄｎの最小値を抽出する（ステップＳ９１０）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ９０９：ＮＯ）、ＬＳＩ３３は、ステップＳ９０６へ処理を戻す。ＬＳＩ３３は、差異の絶対値Ｄ１、Ｄ２、・・・、Ｄｎの最小値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する。

図１０は、ラインごとの輝度値の総和の差異に基づいて視差画像の上下方向のズレを修正する処理の概要を示す図である。図１０（ａ）はビデオカメラ１で撮像した画像１０１を、図１０（ｂ）はビデオカメラ２で撮像した画像１０２を、それぞれ示している。画像１０１と画像１０２とを対比した場合、ラインごとの輝度値の総和そのものは相違している。しかし、輝度値の総和の増減傾向は略一致しており、輝度値の総和の増減パターンに合わせて一方の画像を他方の画像に対してシフトすることにより、上下方向のズレを修正することが可能となる。

そこで、２つのビデオカメラ１、２で撮像された画像１０１、１０２につき、左上の画像原点に基づいて重ね合わせる。この状態で、画像１０１、１０２それぞれについて、ライン（画素行）ごとに輝度値の総和を計数する。そして、例えば画像１０２で計数した輝度値の総和から画像１０１で計数した輝度値の総和を減算し、求めた差の絶対値が最小となるように、ビデオカメラ２で撮像した画像１０２をビデオカメラ１で撮像した画像１０１に対して１ラインずつ上方又は下方へシフトする。これにより、差の絶対値が最小となるシフト位置で輝度値の総和の増減パターンが略一致するので、上下方向のズレを修正できたものとして障害物の検出処理及び障害物までの距離算出処理を実行する。

以上のように本実施の形態３によれば、画像のラインごとの輝度値の総和の増減パターンが略一致するように、左右に設置してあるビデオカメラ１、２で撮像した画像を縦方向にシフトすることにより、２つのビデオカメラ１、２で撮像した２つの画像が、車両の上下動、ビデオカメラ１、２の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

（実施の形態４）
本発明の実施の形態４に係る障害物位置特定システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態４は、左右に設置してある２つのビデオカメラ１、２で撮像した画像内の所定範囲内、例えば単位画素数当たりの輝度値の平均値が高い順に複数箇所の高輝度部分を抽出し、複数箇所の高輝度部分の面積中心で形成される多角形領域が重なり合う画素数の総和に基づいてビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する点で実施の形態１と相違する。

すなわちＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データから所定範囲内、例えば単位画素数当たりの輝度値の平均値が高い順に複数箇所、例えば３カ所の高輝度部分を抽出し、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する。

ＬＳＩ３３での詳細な処理について以下に説明する。図１１は、本発明の実施の形態４に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ１１０１）、所定の領域、例えば３画素×３画素の領域内の輝度値の平均値を画像全体について算出し（ステップＳ１１０２）、輝度値の平均値が高い領域から順次複数の、例えば３つの高輝度領域を抽出する（ステップＳ１１０３）。ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ１１０４）、３つの高輝度領域の領域中心を結ぶ三角形領域が重複している画素数Ｔ１を算出して、ＲＡＭ３３１に記憶する（ステップＳ１１０５）。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ１１０６）。ＬＳＩ３３は、シフト後の状態で３つの高輝度領域の領域中心を結ぶ三角形領域が重複している画素数Ｔ２を算出し（ステップＳ１１０７）、順次算出した画素数Ｔ２、・・・、Ｔｎ（ｎは縦方向の画素数）をＲＡＭ３３１へ記憶する（ステップＳ１１０８）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ１１０９）、ＬＳＩ３３が終了したと判断した場合（ステップＳ１１０９：ＹＥＳ）、ＬＳＩ３３は、記憶してある画素数Ｔ１、Ｔ２、・・・、Ｔｎの最大値を抽出する（ステップＳ１１１０）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ１１０９：ＮＯ）、ＬＳＩ３３は、ステップＳ１１０６へ処理を戻す。ＬＳＩ３３は、画素数Ｔ１、Ｔ２、・・・、Ｔｎの最大値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する（図６）。

図１２は、高輝度領域の領域中心を結ぶ三角形領域に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。図１２（ａ）に示すようにビデオカメラ１で撮像した画像１２１と、ビデオカメラ２で撮像した画像１２２との間には視差が存在する。しかし、高輝度領域１２３自体はその領域に大差がない。

そこで、２つのビデオカメラ１、２で撮像された画像１２１、１２２を、図１２（ｂ）のように、左上の画像原点に基づいて重ね合わせる。高輝度部分１２３、１２３、１２３の領域中心を結ぶ三角形領域１２４が重なっている領域について画素数を計数する。ビデオカメラ２で撮像した画像１２２をビデオカメラ１で撮像した画像１２１に対して１ラインずつ上方又は下方へシフトする都度算出した三角形領域１２４が重なっている領域の画素数と比較することにより、三角形領域が重なっている画素数が最大となる状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。

以上のように本実施の形態４によれば、抽出した高輝度領域の重複状態を、三角形領域の形状の類似度に基づいて判断することにより、左右に設置してあるビデオカメラ１、２で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

なお、上述した実施の形態４では、複数箇所の高輝度領域の領域中心を結ぶ多角形領域が、３つの高輝度領域の領域中心を結ぶ三角形領域である場合を例に挙げて説明しているが、特に三角形領域に限定されるものではなく、四角形、五角形、・・・等の多角形領域であっても同様の効果が期待できる。

（実施の形態５）
本発明の実施の形態５に係る障害物位置特定システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態５は、左右に設置してある２つのビデオカメラ１、２で撮像した画像から抽出した特徴部分が重複する部分の画素数ではなく、いずれかを含む部分（重複部分も含む）の画素数を算出し、算出した画素数が最も少ない状態となるよう一方の画像を他方画像に対してシフトすることにより、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する点で実施の形態１と相違する。

すなわち、画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出した画像データをパターンマッチングすることにより、画像内の横長エッジを抽出し、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する。

ＬＳＩ３３での詳細な処理について以下に説明する。図１３は、本発明の実施の形態５に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ１３０１）、画素単位の輝度値に基づいてエッジ部分を抽出する（ステップＳ１３０２）。エッジ部分の抽出方法は特に限定されるものではない。

ＬＳＩ３３は、視差画像間の上下方向のズレを修正することが容易な横長の直線分布を示すテンプレートと画像データとをマッチングすることによる相関値Ｒ１を算出し（ステップＳ１３０３）、相関値Ｒ１が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ１３０４）。ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ１３０４：ＮＯ）、ＬＳＩ３３は、視差画像の上下方向のズレを修正することができないことから、以下の視差画像調整処理を行うことなく、後続の処理、例えば障害物との衝突判定処理等へと移行する（図６）。

ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ１３０４：ＹＥＳ）、ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ１３０５）、所定の閾値より大きい領域、すなわち横長エッジが存在する領域（少なくともいずれか一方が存在する領域）の画素数ＰＰ１を算出してＲＡＭ３３１に記憶する（ステップＳ１３０６）。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ１３０７）。ＬＳＩ３３は、シフト後の状態で横長エッジが存在する領域の画素数ＰＰ２を算出し（ステップＳ１３０８）、順次算出した画素数ＰＰ２、・・・、ＰＰｎ（ｎは縦方向の画素数）を記憶する（ステップＳ１３０９）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ１３１０）、ＬＳＩ３３が終了したと判断した場合（ステップＳ１３１０：ＹＥＳ）、ＬＳＩ３３は、記憶してある画素数ＰＰ１、ＰＰ２、・・・、ＰＰｎの最小値を抽出する（ステップＳ１３１１）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ１３１０：ＮＯ）、ＬＳＩ３３は、ステップＳ１３０７へ処理を戻す。ＬＳＩ３３は、画素数ＰＰ１、ＰＰ２、・・・、ＰＰｎの最小値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する（図６）。

図１４は、横長エッジに基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。図１４（ａ）に示すようにビデオカメラ１で撮像した画像１４１と、ビデオカメラ２で撮像した画像１４２との間には視差が存在する。なお、横長エッジ１４３の抽出を容易にすべく、実際にはビデオカメラ１、２で撮像した画像に対し、エッジ強調処理を行った後、二値化することにより、より鮮明な横長エッジを検出することができる。

２つのビデオカメラ１、２で撮像された画像１４１、１４２は、図１４（ｂ）のように、左上の画像原点に基づいて重ね合わせる。横長エッジ１４３が重なっている領域について画素数を算出する。図１４の例では、ビデオカメラ２で撮像した画像１４２がわずかに下方へずれている。

そこで、図１４（ｃ）のように、ビデオカメラ２で撮像した画像１４２をビデオカメラ１で撮像した画像１４１に対して１ライン分上方へシフトする。これにより、横長エッジ１４３が重なり合う画素数が多くなり、横長エッジ１４３が存在する領域、すなわち少なくともいずれか一方の横長エッジ１４３が存在する領域の画素数が最小となるラインまでビデオカメラ２で撮像した画像をシフトした状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。

以上のように本実施の形態５によれば、画像の特徴部分、例えば横長エッジが存在する領域、すなわち少なくともいずれか一方の横長エッジが存在する領域の画素数が最小となるように、左右に設置してあるビデオカメラ１、２で撮像した画像を縦方向にシフトすることにより、２つのビデオカメラ１、２で撮像した２つの画像が、車両の上下動、ビデオカメラ１、２の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

（実施の形態６）
本発明の実施の形態６に係る障害物位置特定システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態６は、左右に設置してある２つのビデオカメラ１、２で撮像した画像内で、輝度値が所定の輝度値よりも高い領域を抽出し、両画像を重ね合わせた場合の該領域（以下、高輝度領域という。）が存在する領域、すなわち少なくともいずれか一方の高輝度領域が存在する領域の画素数をラインごとに算出し、全ライン又は一部分のラインの画素数の総和に基づいてビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する点で実施の形態１と相違する。

すなわちＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データから所定の輝度値より高い輝度値を有する高輝度部分を抽出し、ビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する。

ＬＳＩ３３での詳細な処理について以下に説明する。図１５は、本発明の実施の形態６に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ１５０１）、所定の輝度値より高い高輝度部分を抽出する（ステップＳ１５０２）。ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ１５０３）、画像内のライン（画素行）ごとに高輝度部分が存在する領域（少なくともいずれか一方の高輝度領域を含む領域）の画素数を算出し（ステップＳ１５０４）、全ライン又は部分ラインにおける高輝度部分が存在する領域の画素数の総和ＳＳ１を算出して、ＲＡＭ３３１に記憶する（ステップＳ１５０５）。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ１５０６）。ＬＳＩ３３は、シフト後の状態で画像内のライン（画素行）ごとに高輝度部分が存在する領域の画素数を算出し、全ライン又は部分ラインにおける高輝度部分が存在する領域の画素数の総和ＳＳ２を算出し（ステップＳ１５０７）、順次算出した画素数の総和ＳＳ２、・・・、ＳＳｎ（ｎは縦方向の画素数）をＲＡＭ３３１へ記憶する（ステップＳ１５０８）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ１５０９）、ＬＳＩ３３が終了したと判断した場合（ステップＳ１５０９：ＹＥＳ）、ＬＳＩ３３は、記憶してある画素数の総和ＳＳ１、ＳＳ２、・・・、ＳＳｎの最小値を抽出する（ステップＳ１５１０）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ１５０９：ＮＯ）、ＬＳＩ３３は、ステップＳ１５０６へ処理を戻す。ＬＳＩ３３は、画素数の総和ＳＳ１、ＳＳ２、・・・、ＳＳｎの最小値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する（図６）。

図１６は、高輝度部分に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。図１６（ａ）に示すようにビデオカメラ１で撮像した画像１６１と、ビデオカメラ２で撮像した画像１６２との間には視差が存在する。しかし、高輝度部分１６３自体はその領域に大差がない。

そこで、２つのビデオカメラ１、２で撮像された画像１６１、１６２を、図１６（ｂ）のように、左上の画像原点に基づいて重ね合わせる。高輝度部分１６３が存在する領域、すなわち少なくともいずれか一方の高輝度領域が存在する領域についてライン（画素行）ごとに画素数を計数する。高輝度部分１６３が画面内に散在している場合、全てのラインについて画素数の計数値の総和を算出し、ビデオカメラ２で撮像した画像１６２をビデオカメラ１で撮像した画像１６１に対して１ラインずつ上方又は下方へシフトする都度算出した画素数の計数値の総和と比較することにより、画素数の計数値の総和が最小となる状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。一方、高輝度部分１６３が画面内の一部に集中している場合、該高輝度部分を含む一部のラインについて画素数の計数値の総和を算出し、ビデオカメラ２で撮像した画像１６２をビデオカメラ１で撮像した画像１６１に対して１ラインずつ上方又は下方へシフトする都度算出した画素数の計数値の総和と比較することにより、画素数の計数値の総和が最小となる状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。

以上のように本実施の形態６によれば、画像の特徴部分、例えば高輝度部分が存在する領域、すなわち少なくとも一方の高輝度領域が存在する領域の画素数の計数値の総和が最小となるように、左右に設置してあるビデオカメラ１、２で撮像した画像を縦方向にシフトすることにより、２つのビデオカメラ１、２で撮像した２つの画像が、車両の上下動、ビデオカメラ１、２の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

（実施の形態７）
本発明の実施の形態７に係る障害物位置特定システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態７は、左右に設置してある２つのビデオカメラ１、２で撮像した画像内の所定範囲内、例えば単位画素数当たりの輝度の平均値が高い順に複数箇所の高輝度部分を抽出し、複数箇所の高輝度部分の面積中心で形成される多角形領域が存在する領域、すなわち少なくともいずれか一方の多角形領域が存在する領域の画素数の総和に基づいてビデオカメラ１、２で撮像された視差画像の上下方向のズレを修正する点で実施の形態１と相違する。

ＬＳＩ３３は、視差画像の上下方向のズレを修正した後、パターンマッチングにより障害物を検出し、検出した障害物の過去の位置データに基づいて、障害物の自車両に対する相対移動ベクトルを算出する。ＬＳＩ３３は、相対移動ベクトル及び自車両の速度に基づいて、障害物が自車両と衝突するか否かを判断し、ＬＳＩ３３が、自車両と衝突すると判断した場合、通信インタフェース部３１を介して表示装置４又は警報装置５へ、警告情報を出力する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図１７は、本発明の実施の形態７に係る障害物位置特定システムの障害物位置特定装置３のＬＳＩ３３の視差画像調整処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ１７０１）、所定の領域、例えば３画素×３画素の領域内の輝度値の平均値を画像全体について算出し（ステップＳ１７０２）、輝度値の平均値が高い領域から順次複数の、例えば３つの高輝度領域を抽出する（ステップＳ１７０３）。ＬＳＩ３３は、ビデオカメラ１、２で撮像した視差画像を、例えば画像左上を原点として重ね合わせ（ステップＳ１７０４）、３つの高輝度領域の領域中心を結ぶ三角形領域が存在する領域、すなわち少なくともいずれか一方の三角形領域が存在する領域の画素数ＴＴ１を算出して、ＲＡＭ３３１に記憶する（ステップＳ１７０５）。

ＬＳＩ３３は、一方の画像（例えばビデオカメラ１で撮像した画像）を他方の画像（例えばビデオカメラ２で撮像した画像）に対して１画素列上方又は下方にシフトする（ステップＳ１７０６）。ＬＳＩ３３は、シフト後の状態で３つの高輝度領域の領域中心を結ぶ三角形領域が存在する領域の画素数ＴＴ２を算出し（ステップＳ１７０７）、順次算出した画素数ＴＴ１、ＴＴ２、・・・、ＴＴｎ（ｎは縦方向の画素数）をＲＡＭ３３１へ記憶する（ステップＳ１７０８）。

ＬＳＩ３３は、画像の上方又は下方へのシフトが終了したか否かを判断し（ステップＳ１７０９）、ＬＳＩ３３が終了したと判断した場合（ステップＳ１７０９：ＹＥＳ）、ＬＳＩ３３は、記憶してある画素数ＴＴ１、ＴＴ２、・・・、ＴＴｎの最小値を抽出する（ステップＳ１７１０）。ＬＳＩ３３が終了していないと判断した場合（ステップＳ１７０９：ＮＯ）、ＬＳＩ３３は、ステップＳ１７０６へ処理を戻す。ＬＳＩ３３は、画素数ＴＴ１、ＴＴ２、・・・、ＴＴｎの最小値におけるシフト位置で上下方向のズレが最小になったと判断し、画像シフト後の状態で障害物の検出処理及び障害物までの距離算出処理を実行する（図６）。

図１８は、高輝度領域の領域中心を結ぶ三角形領域に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。図１８（ａ）に示すようにビデオカメラ１で撮像した画像１８１と、ビデオカメラ２で撮像した画像１８２との間には視差が存在する。しかし、高輝度領域１８３自体はその領域に大差がない。

そこで、２つのビデオカメラ１、２で撮像された画像１８１、１８２を、図１８（ｂ）のように、左上の画像原点に基づいて重ね合わせる。高輝度部分１８３、１８３、１８３の領域中心を結ぶ三角形領域１８４が存在する領域、すなわち少なくともいずれか一方の三角形領域が存在する領域について画素数を計数する。ビデオカメラ２で撮像した画像１８２をビデオカメラ１で撮像した画像１８１に対して１ラインずつ上方又は下方へシフトする都度算出した三角形領域１８４が存在する領域の画素数と比較することにより、三角形領域が存在する領域の画素数が最小となる状態で、障害物の検出処理及び障害物までの距離算出処理を実行する。

以上のように本実施の形態７によれば、抽出した高輝度領域の重複状態を、三角形領域の形状の類似度に基づいて判断することにより、左右に設置してあるビデオカメラ１、２で撮像した２つの画像が、車両の上下動、撮像装置の取り付け位置の相違等により上下方向にずれていた場合であっても、両画像のズレを修正することができ、視差による距離算出精度を高めることが可能となる。

なお、上述した実施の形態７では、複数箇所の高輝度領域の領域中心を結ぶ多角形領域が、３つの高輝度領域の領域中心を結ぶ三角形領域である場合を例に挙げて説明しているが、特に三角形領域に限定されるものではなく、四角形、五角形、・・・等の多角形領域であっても同様の効果が期待できる。

また、上述した実施の形態１乃至７では、障害物位置特定装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態に係る障害物位置特定システムの構成を示す模式図である。本発明の実施の形態１に係る障害物位置特定システムの遠赤外用ビデオカメラの構成を示すブロック図である。本発明の実施の形態１に係る障害物位置特定システムの障害物位置特定装置の構成を示すブロック図である。本発明の実施の形態１に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。横長エッジに基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。本発明の実施の形態１に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの障害物検出処理及び障害物までの距離算出処理の手順を示すフローチャートである。本発明の実施の形態２に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。高輝度部分に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。本発明の実施の形態３に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。ラインごとの輝度値の総和の差異に基づいて視差画像の上下方向のズレを修正する処理の概要を示す図である。本発明の実施の形態４に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。高輝度領域の領域中心を結ぶ三角形領域に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。本発明の実施の形態５に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。横長エッジに基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。本発明の実施の形態６に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。高輝度部分に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。本発明の実施の形態７に係る障害物位置特定システムの障害物位置特定装置のＬＳＩの視差画像調整処理の手順を示すフローチャートである。高輝度領域の領域中心を結ぶ三角形領域に基づく視差画像の上下方向のズレを修正する処理の概要を示す図である。

符号の説明

１、２ビデオカメラ
３障害物位置特定装置
４表示装置
５警報装置
７速度センサ
３１通信インタフェース部
３２画像メモリ
３３ＬＳＩ
３３１ＲＡＭ

Claims

車両の前方を撮像する２つの遠赤外撮像装置と、
該遠赤外撮像装置それぞれで撮像した２つの画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び
該障害物検出手段で障害物を検出した場合、２つの前記遠赤外撮像装置により取得した画像の視差に基づいて前記障害物の当該車両に対する距離を算出する距離算出手段を有する障害物位置特定装置と
を備える障害物位置特定システムにおいて、
前記障害物位置特定装置は、
２つの前記遠赤外撮像装置から取得した画像データに基づいて、画像の特徴部分を抽出する特徴部分抽出手段と、
２つの画像データで抽出した特徴部分を重ね合わせ、両者が重なり合う画素数を算出する重複画素数算出手段と、
該重複画素数算出手段で算出する両者が重なり合う画素数が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする画像重ね合わせ変更手段と
を備え、
前記距離算出手段は、両者が重なり合う画素数が最大となる状態で前記障害物の当該車両に対する距離を算出するようにしてあることを特徴とする障害物位置特定システム。
前記特徴部分抽出手段は、２つの前記遠赤外撮像装置で撮像した画像データに基づいて、画像の横長のエッジを抽出するようにしてあり、
前記重複画素数算出手段は、２つの画像データから抽出した横長エッジを重ね合わせ、両者が重なり合う画素数を算出するようにしてあることを特徴とする請求項１記載の障害物位置特定システム。
前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定の輝度より高い高輝度部分を画像内から抽出するようにしてあり、
前記重複画素数算出手段は、２つの画像データで抽出した高輝度部分を重ね合わせ、両者が重なり合う画素数をラインごとに算出するようにしてあり、
前記画像重ね合わせ変更手段は、画像の全部又は一部のラインにて重なり合う画素数の総和が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする請求項１記載の障害物位置特定システム。
前記画像重ね合わせ変更手段は、
画像の一部又は全部のラインにつき、ラインごとに輝度値の総和を算出する手段と、
算出した輝度値の総和を縦方向の画素位置に対応付けて記憶する手段と、
ラインごとに輝度値の総和を算出した一部又は全部のラインにつき、ラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異の絶対値が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする手段と
を備えることを特徴とする請求項１記載の障害物位置特定システム。
前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定範囲内の輝度の平均値が高い順に複数箇所の高輝度領域を抽出するようにしてあり、
前記重複画素数算出手段は、２つの画像データで抽出した高輝度領域を重ね合わせ、複数の高輝度領域の領域中心で形成される多角形領域が重なり合う画素数を算出するようにしてあり、
前記画像重ね合わせ変更手段は、多角形領域が重なり合う画素数の総和が最大となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする請求項１記載の障害物位置特定システム。
車両の前方を撮像する２つの遠赤外撮像装置と、
該遠赤外撮像装置それぞれで撮像した２つの画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び
該障害物検出手段で障害物を検出した場合、２つの前記遠赤外撮像装置により取得した画像の視差に基づいて前記障害物の当該車両に対する距離を算出する距離算出手段を有する障害物位置特定装置と
を備える障害物位置特定システムにおいて、
前記障害物位置特定装置は、
２つの前記遠赤外撮像装置から取得した画像データに基づいて、画像の特徴部分を抽出する特徴部分抽出手段と、
２つの画像データで抽出した特徴部分の少なくともいずれか一方を含む画素数を算出する特徴部分画素数算出手段と、
該特徴部分画素数算出手段で算出した画素数が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする画像重ね合わせ変更手段と
を備え、
前記距離算出手段は、特徴部分の少なくともいずれか一方を含む画素数が最小となる状態で前記障害物の当該車両に対する距離を算出するようにしてあることを特徴とする障害物位置特定システム。
前記特徴部分抽出手段は、２つの前記遠赤外撮像装置で撮像した画像データに基づいて、画像の横長のエッジを抽出するようにしてあり、
前記特徴部分画素数算出手段は、２つの画像データから抽出した横長エッジを重ね合わせ、少なくともいずれか一方を含む画素数を算出するようにしてあることを特徴とする請求項６記載の障害物位置特定システム。
前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定の輝度より高い高輝度部分を画像内から抽出するようにしてあり、
前記特徴部分画素数算出手段は、２つの画像データで抽出した高輝度部分を重ね合わせ、少なくともいずれか一方を含む画素数を算出するようにしてあり、
前記画像重ね合わせ変更手段は、画像の全部又は一部のラインにて算出した画素数の総和が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする請求項６記載の障害物位置特定システム。
前記画像重ね合わせ変更手段は、
画像の一部又は全部のラインにつき、ラインごとに輝度値の総和を算出する手段と、
算出した輝度値の総和を縦方向の画素位置に対応付けて記憶する手段と、
ラインごとに輝度値の総和を算出した一部又は全部のラインにつき、ラインが重複している部分の一方の画像のラインごとの輝度値の総和と他方の画像のラインごとの輝度値の総和との差異の絶対値が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトする手段と
を備えることを特徴とする請求項６記載の障害物位置特定システム。
前記特徴部分抽出手段は、２つの前記遠赤外撮像装置から取得した画像データに基づいて、所定範囲内の輝度の平均値が高い順に複数箇所の高輝度領域を抽出するようにしてあり、
前記特徴部分画素数算出手段は、２つの画像データで抽出した高輝度領域を重ね合わせ、少なくともいずれか一方の多角形領域を含む画素数を算出するようにしてあり、
前記画像重ね合わせ変更手段は、少なくともいずれか一方の多角形領域を含む画素数の総和が最小となるよう一方の画像を他方の画像に対して縦方向に画素単位でシフトするようにしてあることを特徴とする請求項６記載の障害物位置特定システム。