JP2007139564A - 障害物検出システム、障害物検出方法及びコンピュータプログラム - Google Patents

Abstract

【課題】実在することができない領域と判断された後は、グレースケール領域特定処理を実行しないようにすることで、演算処理負荷を軽減して、歩行者等の障害物であるか否かを判断するための演算時間を可能な限り短縮する障害物検出システム、障害物検出方法及びコンピュータプログラムを提供する。
【解決手段】車両の周辺を撮像する複数の撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する。選択された高輝度領域の周囲領域に、障害物が存在する候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出して所定の範囲内であるか否かを判断する。所定の範囲内である場合、マスク領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定し、所定の範囲内でない場合は演算処理を終了する。
【選択図】図４

Description

本発明は、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、演算処理負荷を軽減しつつ歩行者等の障害物が存在するか否かを検出する障害物検出システム、障害物検出方法及びコンピュータプログラムに関する。

自動車等の車両に周囲を撮像する撮像装置を搭載し、車両周辺の障害物、例えば歩行者等の障害物の存在を認識する障害物認識システムを利用して、自車両の周辺に障害物が存在することを認識した場合に運転者に対して警告を発する警告システムが多々開発されている。

従来の障害物認識システムでは、例えば撮像装置で撮像した画像を二値化処理することにより、比較的輝度が高い高輝度領域を抽出している。そして、例えば障害物である歩行者の存在を示すグレースケール領域は、高輝度領域の周囲に存在することから、所定のマスク領域を高輝度領域の周囲に設定し、所定値以上の階調を有する領域をグレースケール領域として抽出する。抽出したグレースケール領域の画面内寸法、及びグレースケール領域までの距離を視差画像から算出することにより、グレースケール領域の絶対寸法を算出する。

撮像した画像について、フレーム単位で上述した処理を実行し、人間として実在することが可能な絶対寸法であるか否か、具体的には身長が高すぎないか、幅が広すぎないか等を判断し、グレースケール領域が人間として実在することが可能な絶対寸法であると判断した場合に、該グレースケール領域が歩行者候補領域であるとして歩行者等の障害物の存在を認識していた。
特開２００４−１３５０３４号公報

上述した歩行者認識システムは、撮像装置で撮像した画像を二値化処理し、抽出した高輝度領域の周辺領域のグレースケール領域を特定することにより、特定されたグレースケール領域の実際のサイズが、人間として実在することが可能なサイズであるか否かに応じて、該グレースケール領域が歩行者が存在する候補領域であるか否かを判断していた。したがって、フレーム単位でグレースケール領域を特定した状態で、歩行者であるか否かを逐次判断する必要が有り、上述した煩雑な演算処理を１フレームごとに実行する必要があった。

例えば身長が３メートルと判断されたグレースケール領域は、明らかに歩行者が存在する候補領域ではなく、人間として実在することが可能な範囲を超えた高輝度領域については、該グレースケール領域の実際のサイズが所定範囲を超えた時点で、以後のサイズ算出処理を実行する必要はない。しかし、従来の歩行者認識システムでは、画像内の全ての領域についてグレースケール領域の特定処理を実行し、グレースケール領域の実際のサイズ算出処理を実行した後に、特定されたグレースケール領域が歩行者が存在する候補領域であるか否かを判断していることから、無意味な演算処理の実行時間が長く、早期に歩行者であるか否かを判断して安全を確保するという本来の目的達成を阻害するという問題点があった。

グレースケール領域を特定するためのマスク領域の設定処理、マスク領域がグレースケール領域であるか否かの判定処理は、特に演算処理負荷が大きく、安全を確保するために用いられることが多い障害物検出処理に用いるためには、少しでも演算処理負荷を軽減して、歩行者等の障害物であるか否かを判断するための演算時間を短縮する必要がある。

本発明は、斯かる事情に鑑みてなされたものであり、実在することができない領域と判断された後は、グレースケール領域特定処理を実行しないようにすることで、演算処理負荷を軽減して、歩行者等の障害物であるか否かを判断するための演算時間を可能な限り短縮する障害物検出システム、障害物検出方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する複数の撮像装置と、該撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段と、前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段と、該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段と、縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段とを備え、該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び前記高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とする。

また、第２発明に係る障害物検出システムは、第１発明において、前記マスク領域設定手段は、同一の対象物について複数の前記撮像装置で撮像された複数の画像での高輝度領域の位置が同一である周辺領域に前記マスク領域を配置し、視差画像間での前記マスク領域の位置関係の矛盾の有無を判断し、位置関係に矛盾がないと判断した場合には、さらにマスク領域を配置して障害物候補領域を拡張するようにしてあることを特徴とする。

また、第３発明に係る障害物検出システムは、第２発明において、視差画像間でのマスク領域の位置関係の矛盾の有無は、マスク領域内の輝度の最大値と最小値との差、及び高輝度領域の中心位置とマスク領域の中心位置との距離に基づいて判断するようにしてあることを特徴とする。

また、第４発明に係る障害物検出方法は、車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択し、前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出し、縦横の絶対寸法が所定の範囲内であるか否かを判断し、所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定することを特徴とする。

また、第５発明に係るコンピュータプログラムは、車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段、前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段、該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段、及び縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段として機能させ、該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とする。

第１発明、第４発明及び第５発明では、車両の周辺を撮像する複数の撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する。高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する。算出した縦横の絶対寸法が所定の範囲内であるか否かを判断し、所定の範囲内であると判断した場合、マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定して上述した処理を繰り返す。これにより、算出した縦横の絶対寸法が所定の範囲内である場合、すなわち障害物が存在する可能性がある範囲内である場合にのみマスク領域を追加設定して障害物が存在する可能性のある障害物候補領域を拡張し、所定の範囲内でない場合にはマスク領域を設定して障害物候補領域を拡張する処理を実行することがない。したがって、抽出した高輝度領域が障害物が存在する可能性のある障害物候補領域の一部では無いと判断された時点で、演算処理負荷の大きいマスク領域の設定処理、及びマスク領域がグレースケール領域（障害物候補領域）であるか否かの判定処理を行わないようにすることで、不要な演算処理の実行を未然に防止することが可能となる。

第２発明では、同一の対象物について複数の前記撮像装置で撮像された複数の画像での高輝度領域の位置が同一である周辺領域にマスク領域を配置し、視差画像間でのマスク領域の位置関係の矛盾の有無を判断する。位置関係に矛盾がないと判断した場合には、さらにマスク領域を配置して障害物候補領域を拡張する。これにより、左右の撮像装置で撮像した視差画像間でマスク領域の位置関係が矛盾している場合には、障害物が存在する可能性のある障害物候補領域ではないことからマスク領域の付加による障害物候補領域の拡張を行うことが無く、矛盾していない場合のみ障害物候補領域の拡張を行うよう制御することができ、不要な演算処理の実行を未然に防止することが可能となる。

第３発明では、視差画像間でのマスク領域の位置関係の矛盾の有無は、マスク領域内の輝度の最大値と最小値との差、及び高輝度領域の中心位置とマスク領域の中心位置との距離に基づいて判断する。これにより、マスク領域内の輝度の最大値と最小値との差が両視差画像間で大きく異なる場合には、別個の領域を示しているものと判断され、矛盾が生じているものと判断することができる。また、高輝度領域の中心位置とマスク領域の中心位置との距離が両視差画像間で大きく異なる場合にも、相対的な位置が異なっていることから矛盾が生じているものと判断することができる。

第１発明、第４発明及び第５発明によれば、算出した縦横の絶対寸法が所定の範囲内である場合、すなわち障害物が存在する可能性がある範囲内である場合にのみマスク領域を追加設定して障害物が存在する可能性のある障害物候補領域を拡張し、所定の範囲内でない場合にはマスク領域を設定して障害物候補領域を拡張する処理を実行することがない。したがって、抽出した高輝度領域が障害物が存在する可能性のある障害物候補領域の一部では無いと判断された時点で、演算処理負荷の大きいマスク領域の設定処理、及びマスク領域がグレースケール領域（障害物候補領域）であるか否かの判定処理を行わないようにすることで、不要な演算処理の実行を未然に防止することが可能となる。

第２発明によれば、左右の撮像装置で撮像した視差画像間でマスク領域の位置関係が矛盾している場合には、障害物が存在する可能性のある障害物候補領域ではないことからマスク領域の付加による障害物候補領域の拡張を行うことが無く、矛盾していない場合のみ障害物候補領域の拡張を行うよう制御することができ、不要な演算処理の実行を未然に防止することが可能となる。

第３発明によれば、マスク領域内の輝度の最大値と最小値との差が両視差画像間で大きく異なる場合には、別個の領域を示しているものと判断され、矛盾が生じているものと判断することができる。また、高輝度領域の中心位置とマスク領域の中心位置との距離が両視差画像間で大きく異なる場合にも、相対的な位置が異なっていることから矛盾が生じているものと判断することができる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置であるビデオカメラにより撮像された画像に基づいて車両の前方に歩行者が存在するか否かを判断する場合を例として説明する。なお、波長が７〜１４マイクロメートルの赤外光を用いた遠赤外撮像装置に限定されるものではなく、近赤外撮像装置であっても良いし、可視光撮像装置であっても良い。

図１において、１、２は、夜間の歩行者、自転車に乗った人間等の障害物を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある検出装置３に送信される。

検出装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７、車両のヨーイング角度を検出するヨーセンサ８とも車載ＬＡＮケーブル６を介して接続されており、それぞれ車両の走行速度の検出値、車両のヨーイング角度が検出装置３へ入力される。

図２は、本発明の実施の形態に係る障害物検出システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、内部バス１５を介して信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、デジタル信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号等に変換し、変換したＹＵＶ信号等を画像データとして画像メモリ１３へ記憶する。もちろん、画像メモリ１３を介することなく、通信インタフェース部１４から直接検出装置３へ画像データを送信するものであっても良いことは言うまでもない。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して検出装置３とデータの送受信を行う。通信インタフェース部１４は、検出装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの検出装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図３は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された左右に設置されたビデオカメラ１、２で撮像された画像データをフレーム単位で読み出し、読み出した画像データから高輝度領域を抽出する。ＬＳＩ３３は、抽出した高輝度領域の周囲にマスク領域を設定し、設定されたマスク領域及び高輝度領域を含む候補領域の縦横の絶対寸法を算出する。ここで、候補領域とは、障害物が存在する可能性のある障害物候補領域を意味する。絶対寸法の算出には三角法を用いることから、候補領域までの距離が必要となる。したがって、マスク領域を設定する都度、マスク領域及び高輝度領域を含む候補領域、すなわちグレースケール領域までの距離を算出する。

グレースケール領域までの距離Ｚに基づいて、画面内での表示寸法Ｈｃと絶対寸法Ｈｒとを変換する場合、（数１）に基づいて絶対寸法Ｈｒを算出する。

なお、（数１）において、ｐはビデオカメラ１、２に搭載されている撮像素子のピッチであり、ｆはビデオカメラ１、２の焦点距離である。

ＬＳＩ３３は、算出された縦横の絶対寸法が所定の範囲内である限り、継続してマスク領域を周囲領域に設定してグレースケール領域を検出し、所定の範囲を超えた場合には人間ではないものと判断し、以後の演算を中止する。したがって、歩行者が存在しているか否かを判断する場合に、明らかに人間が存在する候補領域ではないと判断されるような領域については、グレースケール領域を全て求めることなく検出処理を中止することができる。したがって、無用な演算処理を省略することができ、演算処理負荷を軽減することができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、二値化処理を行う（ステップＳ４０２）。なお二値化処理が必須であるわけではなく、また二値化処理方法についても特に限定されるものではない。例えば、以下に示すようなＰｒｅｗｉｔｔフィルタを用いて二値化する。

Ｐｒｅｗｉｔｔフィルタは、所定の画素の輝度値と該画素の周囲に存在する画素の輝度値とを対比し、輝度値の差分が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と輝度値の差分が所定の閾値より大きい場合、高輝度部分であるとして‘１’を出力する。（数２）は、所定の画素の上下左右に存在する画素の輝度値を用いる場合のＰｒｅｗｉｔｔフィルタにおける演算処理を示す数式である。

（数２）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の輝度値を、ｇ（ｘ、ｙ）は、高輝度部分の輝度値を、ＴＨは所定の閾値を、それぞれ示している。

ＬＳＩ３３は、二値化されたデータから所定値、例えば０．５より大きい領域、すなわち二値化処理により‘１’に設定された画素領域を高輝度領域として抽出する（ステップＳ４０３）。ＬＳＩ３３は、抽出された一又は複数の高輝度領域から、一の高輝度領域を選択し（ステップＳ４０４）、選択された高輝度領域の周囲領域に、障害物が存在する可能性のある領域、例えば歩行者存在領域を特定するマスク領域を単位矩形領域ごとに設定する（ステップＳ４０５）。本実施の形態では説明を簡単にすべく単位矩形領域ごとにマスク領域を設定しているが、単位領域であれば矩形領域に限定されないことは言うまでもない。

図５は、高輝度領域の周囲領域にマスク領域を設定する状態を示す例示図である。図５に示すように、左右の画像で選択された高輝度領域５１、５２に隣接する周辺領域に、単位面積を有する矩形領域５３、５４をマスク領域として設定する。ＬＳＩ３３は、設定したマスク領域について、左右の画像で矛盾が存在するか否かを、所定の条件を具備するか否かにより判断し（ステップＳ４０６）、ＬＳＩ３３が所定の条件を具備する、すなわち左右の画像が矛盾しないと判断した場合（ステップＳ４０６：ＮＯ）、ＬＳＩ３３は、マスク領域の設定位置が左右の画像間で矛盾していないものと判断し、該マスク領域までの距離をステレオ視により算出し、マスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域の縦横の絶対寸法を算出する（ステップＳ４０７）。

ＬＳＩ３３が所定の条件を具備しない、すなわち左右の画像が矛盾すると判断した場合（ステップＳ４０６：ＹＥＳ）、ＬＳＩ３３は、マスク領域の設定位置が左右の画像間で矛盾しているものと判断し、設定したマスク領域を削除する（ステップＳ４０８）。これにより、矛盾していると判断されたマスク領域よりも外側へは障害物候補領域を拡張することがない。

ＬＳＩ３３は、算出した縦横の絶対寸法が所定の範囲内であるか否かを判断し（ステップＳ４０９）、ＬＳＩ３３が、縦横の絶対寸法が所定の範囲内であると判断した場合（ステップＳ４０９：ＹＥＳ）、ＬＳＩ３３は、マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらなるマスク領域を設定することが可能であるか否かを判断する（ステップＳ４１０）。具体的には、マスク領域を設定する領域が障害物候補領域の周囲領域に存在するか否かにより判断する。

ＬＳＩ３３が、マスク領域を設定することが可能であると判断した場合（ステップＳ４１０：ＮＯ）、ＬＳＩ３３は、マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらなるマスク領域を設定し（ステップＳ４１１）、ステップＳ４０６へ戻って上述した処理を繰り返す。ＬＳＩ３３が、縦横の絶対寸法が所定の範囲内ではないと判断した場合（ステップＳ４０９：ＮＯ）、例えば縦方向の長さが３ｍを超える、横方向の長さが２ｍを超える等、一般の人間では想定することができない絶対寸法を有していると判断した場合、及びマスク領域を設定することが不可であると判断した場合（ステップＳ４１０：ＹＥＳ）、ＬＳＩ３３は、マスク領域をそれ以上設定することなく演算処理を終了する（ステップＳ４１２）。

図６は、マスク領域を設定した場合に算出した絶対寸法に基づく判断処理を示す模式図である。高輝度領域６０を含むグレースケール領域に人間が存在する場合の、人間である可能性のある縦方向長さの上限値をＨｈ、横方向長さの上限値をＷｈとする。

図６（ａ）では、マスク領域６１を設定した時点でのマスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域６２は、画面内の縦方向長さが‘２’であり、画面内の横方向の長さが‘４’となっている。画面内の縦方向長さ及び横方向長さに基づいて、実際の縦方向長さをＨｒ１、横方向長さをＷｒ１と算出されている。ＬＳＩ３３は、Ｈｒ１とＨｈとを、及びＷｒ１とＷｈとを比較し、それぞれＨｈ、Ｗｈより小さいと判断した場合には、継続してマスク領域を追加設定していく。

図６（ｂ）では、マスク領域６１を設定した時点でのマスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域６２は、画面内の縦方向長さが‘２’であり、画面内の横方向の長さが‘４’となっている点では図６（ａ）と共通している。しかし、上述した相関値、あるいは最大値と最小値との差分等に基づいて矛盾する位置に配置しているものと判断され、新たに設定されたマスク領域６１は削除される。図６（ａ）及び（ｂ）の処理を繰り返すことにより、障害物候補領域、いわゆるグレースケール領域６２を特定することができる。

図６（ｃ）では、マスク領域６１を設定した時点でのマスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域６２は、画面内の縦方向長さが‘１１’であり、画面内の横方向の長さが‘６’となっている。画面内の縦方向長さ及び横方向長さに基づいて、実際の縦方向長さをＨｒ２、横方向長さをＷｒ２と算出されている。ＬＳＩ３３は、Ｈｒ２とＨｈとを、及びＷｒ２とＷｈとを比較し、Ｗｒ２はＷｈより小さいが、Ｈｒ２はＨｈよりも大きいことから、人間として想定している範囲を超えていることから、マスク領域６１を追加設定する処理を打ち切り、歩行者等の障害物が存在する可能性のある障害物候補領域として検出しない。

なお、ＬＳＩ３３が、左右の画像間で矛盾する位置に設定されているか否かを判断するための所定の条件は、特に限定されるものではない。例えば左右の画像データにおけるマスク領域の相関値を算出して、算出した相関値が所定値より大きいか否かを判断条件としても良い。この場合、相関値が所定値より大きい場合には、左右画像間で矛盾しない位置に設定されているマスク領域であると判断することができ、距離算出対象となるグレースケール領域内であることを確認することができる。

また、対応するマスク領域の輝度値の分散を算出して、算出した分散が大きいか否かを判断条件として追加しても良い。この場合、マスク領域を高輝度領域の相対位置が同一である周辺領域に配置しておき、両画像における輝度の最大値と最小値との差が、左右の視差画像間で大きく相違するか否かを判断する。算出した分散が略一致しており、しかも高輝度領域の中心位置とマスク領域の中心位置との距離が略一致していると判断された場合には、左右画像間で矛盾しない位置に設定されているマスク領域であると判断することができ、距離算出対象となるグレースケール領域内であることを確認することができる。

歩行者等の障害物が存在する可能性のある障害物候補領域としてグレースケール領域を検出した場合、例えばＬＳＩ３３は、障害物候補領域の座標値を算出し、速度センサ７から受け付けた車両の速度及びヨーセンサ８で検出したヨーイング角度に基づいて、自車両と歩行者とが衝突するか否かを判断し、衝突すると判断した場合、例えば表示装置４にて警告表示する、あるいは警報装置５を鳴動させる。

以上のように本実施の形態によれば、算出した縦横の絶対寸法が所定の範囲内である場合、例えば障害物が人間である場合には人間が存在する可能性がある範囲内であるときのみマスク領域を追加設定して障害物が存在する可能性のある障害物候補領域を検出し、所定の範囲内でない場合にはマスク領域を設定して障害物候補領域を検出することがない。したがって、抽出した高輝度領域が障害物候補領域の一部では無いと判断された時点で、演算処理負荷の大きいマスク領域の設定処理、及びマスク領域がグレースケール領域であるか否かの判定処理を行わないようにすることで、不要な演算処理の実行を未然に防止することが可能となる。

なお、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。 本発明の実施の形態に係る障害物検出システムの遠赤外用ビデオカメラの構成を示すブロック図である。 本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。 高輝度領域の周囲領域にマスク領域を設定する状態を示す例示図である。 マスク領域を設定した場合に算出した絶対寸法に基づく判断処理を示す模式図である。

符号の説明

１、２ ビデオカメラ
３ 検出装置
４ 表示装置
５ 警報装置
７ 速度センサ
８ ヨーセンサ
３１ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ

Claims (5)

1. 車両の周辺を撮像する複数の撮像装置と、
   該撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する検出装置と
   を備える障害物検出システムにおいて、
   前記検出装置は、
   複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段と、
   前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段と、
   該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段と、
   縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段とを備え、
   該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び前記高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とする障害物検出システム。
2. 前記マスク領域設定手段は、同一の対象物について複数の前記撮像装置で撮像された複数の画像での高輝度領域の位置が同一である周辺領域に前記マスク領域を配置し、視差画像間での前記マスク領域の位置関係の矛盾の有無を判断し、位置関係に矛盾がないと判断した場合には、さらにマスク領域を配置して障害物候補領域を拡張するようにしてあることを特徴とする請求項１記載の障害物検出システム。
3. 視差画像間でのマスク領域の位置関係の矛盾の有無は、マスク領域内の輝度の最大値と最小値との差、及び高輝度領域の中心位置とマスク領域の中心位置との距離に基づいて判断するようにしてあることを特徴とする請求項２記載の障害物検出システム。
4. 車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
   複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択し、
   前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定し、
   設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出し、
   縦横の絶対寸法が所定の範囲内であるか否かを判断し、
   所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定することを特徴とする障害物検出方法。
5. 車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出するコンピュータで実行することが可能なコンピュータプログラムにおいて、
   前記コンピュータを、
   複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段、
   前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段、
   該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段、及び
   縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段
   として機能させ、
   該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とするコンピュータプログラム。

Images