JP2007139564A - 障害物検出システム、障害物検出方法及びコンピュータプログラム - Google Patents
障害物検出システム、障害物検出方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2007139564A JP2007139564A JP2005333216A JP2005333216A JP2007139564A JP 2007139564 A JP2007139564 A JP 2007139564A JP 2005333216 A JP2005333216 A JP 2005333216A JP 2005333216 A JP2005333216 A JP 2005333216A JP 2007139564 A JP2007139564 A JP 2007139564A
- Authority
- JP
- Japan
- Prior art keywords
- area
- obstacle
- mask
- mask area
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】実在することができない領域と判断された後は、グレースケール領域特定処理を実行しないようにすることで、演算処理負荷を軽減して、歩行者等の障害物であるか否かを判断するための演算時間を可能な限り短縮する障害物検出システム、障害物検出方法及びコンピュータプログラムを提供する。
【解決手段】車両の周辺を撮像する複数の撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する。選択された高輝度領域の周囲領域に、障害物が存在する候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出して所定の範囲内であるか否かを判断する。所定の範囲内である場合、マスク領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定し、所定の範囲内でない場合は演算処理を終了する。
【選択図】図4
【解決手段】車両の周辺を撮像する複数の撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する。選択された高輝度領域の周囲領域に、障害物が存在する候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出して所定の範囲内であるか否かを判断する。所定の範囲内である場合、マスク領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定し、所定の範囲内でない場合は演算処理を終了する。
【選択図】図4
Description
本発明は、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、演算処理負荷を軽減しつつ歩行者等の障害物が存在するか否かを検出する障害物検出システム、障害物検出方法及びコンピュータプログラムに関する。
自動車等の車両に周囲を撮像する撮像装置を搭載し、車両周辺の障害物、例えば歩行者等の障害物の存在を認識する障害物認識システムを利用して、自車両の周辺に障害物が存在することを認識した場合に運転者に対して警告を発する警告システムが多々開発されている。
従来の障害物認識システムでは、例えば撮像装置で撮像した画像を二値化処理することにより、比較的輝度が高い高輝度領域を抽出している。そして、例えば障害物である歩行者の存在を示すグレースケール領域は、高輝度領域の周囲に存在することから、所定のマスク領域を高輝度領域の周囲に設定し、所定値以上の階調を有する領域をグレースケール領域として抽出する。抽出したグレースケール領域の画面内寸法、及びグレースケール領域までの距離を視差画像から算出することにより、グレースケール領域の絶対寸法を算出する。
撮像した画像について、フレーム単位で上述した処理を実行し、人間として実在することが可能な絶対寸法であるか否か、具体的には身長が高すぎないか、幅が広すぎないか等を判断し、グレースケール領域が人間として実在することが可能な絶対寸法であると判断した場合に、該グレースケール領域が歩行者候補領域であるとして歩行者等の障害物の存在を認識していた。
特開2004−135034号公報
上述した歩行者認識システムは、撮像装置で撮像した画像を二値化処理し、抽出した高輝度領域の周辺領域のグレースケール領域を特定することにより、特定されたグレースケール領域の実際のサイズが、人間として実在することが可能なサイズであるか否かに応じて、該グレースケール領域が歩行者が存在する候補領域であるか否かを判断していた。したがって、フレーム単位でグレースケール領域を特定した状態で、歩行者であるか否かを逐次判断する必要が有り、上述した煩雑な演算処理を1フレームごとに実行する必要があった。
例えば身長が3メートルと判断されたグレースケール領域は、明らかに歩行者が存在する候補領域ではなく、人間として実在することが可能な範囲を超えた高輝度領域については、該グレースケール領域の実際のサイズが所定範囲を超えた時点で、以後のサイズ算出処理を実行する必要はない。しかし、従来の歩行者認識システムでは、画像内の全ての領域についてグレースケール領域の特定処理を実行し、グレースケール領域の実際のサイズ算出処理を実行した後に、特定されたグレースケール領域が歩行者が存在する候補領域であるか否かを判断していることから、無意味な演算処理の実行時間が長く、早期に歩行者であるか否かを判断して安全を確保するという本来の目的達成を阻害するという問題点があった。
グレースケール領域を特定するためのマスク領域の設定処理、マスク領域がグレースケール領域であるか否かの判定処理は、特に演算処理負荷が大きく、安全を確保するために用いられることが多い障害物検出処理に用いるためには、少しでも演算処理負荷を軽減して、歩行者等の障害物であるか否かを判断するための演算時間を短縮する必要がある。
本発明は、斯かる事情に鑑みてなされたものであり、実在することができない領域と判断された後は、グレースケール領域特定処理を実行しないようにすることで、演算処理負荷を軽減して、歩行者等の障害物であるか否かを判断するための演算時間を可能な限り短縮する障害物検出システム、障害物検出方法及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る障害物検出システムは、車両の周辺を撮像する複数の撮像装置と、該撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段と、前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段と、該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段と、縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段とを備え、該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び前記高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とする。
また、第2発明に係る障害物検出システムは、第1発明において、前記マスク領域設定手段は、同一の対象物について複数の前記撮像装置で撮像された複数の画像での高輝度領域の位置が同一である周辺領域に前記マスク領域を配置し、視差画像間での前記マスク領域の位置関係の矛盾の有無を判断し、位置関係に矛盾がないと判断した場合には、さらにマスク領域を配置して障害物候補領域を拡張するようにしてあることを特徴とする。
また、第3発明に係る障害物検出システムは、第2発明において、視差画像間でのマスク領域の位置関係の矛盾の有無は、マスク領域内の輝度の最大値と最小値との差、及び高輝度領域の中心位置とマスク領域の中心位置との距離に基づいて判断するようにしてあることを特徴とする。
また、第4発明に係る障害物検出方法は、車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択し、前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出し、縦横の絶対寸法が所定の範囲内であるか否かを判断し、所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定することを特徴とする。
また、第5発明に係るコンピュータプログラムは、車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段、前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段、該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段、及び縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段として機能させ、該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とする。
第1発明、第4発明及び第5発明では、車両の周辺を撮像する複数の撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する。高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定し、設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する。算出した縦横の絶対寸法が所定の範囲内であるか否かを判断し、所定の範囲内であると判断した場合、マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定して上述した処理を繰り返す。これにより、算出した縦横の絶対寸法が所定の範囲内である場合、すなわち障害物が存在する可能性がある範囲内である場合にのみマスク領域を追加設定して障害物が存在する可能性のある障害物候補領域を拡張し、所定の範囲内でない場合にはマスク領域を設定して障害物候補領域を拡張する処理を実行することがない。したがって、抽出した高輝度領域が障害物が存在する可能性のある障害物候補領域の一部では無いと判断された時点で、演算処理負荷の大きいマスク領域の設定処理、及びマスク領域がグレースケール領域(障害物候補領域)であるか否かの判定処理を行わないようにすることで、不要な演算処理の実行を未然に防止することが可能となる。
第2発明では、同一の対象物について複数の前記撮像装置で撮像された複数の画像での高輝度領域の位置が同一である周辺領域にマスク領域を配置し、視差画像間でのマスク領域の位置関係の矛盾の有無を判断する。位置関係に矛盾がないと判断した場合には、さらにマスク領域を配置して障害物候補領域を拡張する。これにより、左右の撮像装置で撮像した視差画像間でマスク領域の位置関係が矛盾している場合には、障害物が存在する可能性のある障害物候補領域ではないことからマスク領域の付加による障害物候補領域の拡張を行うことが無く、矛盾していない場合のみ障害物候補領域の拡張を行うよう制御することができ、不要な演算処理の実行を未然に防止することが可能となる。
第3発明では、視差画像間でのマスク領域の位置関係の矛盾の有無は、マスク領域内の輝度の最大値と最小値との差、及び高輝度領域の中心位置とマスク領域の中心位置との距離に基づいて判断する。これにより、マスク領域内の輝度の最大値と最小値との差が両視差画像間で大きく異なる場合には、別個の領域を示しているものと判断され、矛盾が生じているものと判断することができる。また、高輝度領域の中心位置とマスク領域の中心位置との距離が両視差画像間で大きく異なる場合にも、相対的な位置が異なっていることから矛盾が生じているものと判断することができる。
第1発明、第4発明及び第5発明によれば、算出した縦横の絶対寸法が所定の範囲内である場合、すなわち障害物が存在する可能性がある範囲内である場合にのみマスク領域を追加設定して障害物が存在する可能性のある障害物候補領域を拡張し、所定の範囲内でない場合にはマスク領域を設定して障害物候補領域を拡張する処理を実行することがない。したがって、抽出した高輝度領域が障害物が存在する可能性のある障害物候補領域の一部では無いと判断された時点で、演算処理負荷の大きいマスク領域の設定処理、及びマスク領域がグレースケール領域(障害物候補領域)であるか否かの判定処理を行わないようにすることで、不要な演算処理の実行を未然に防止することが可能となる。
第2発明によれば、左右の撮像装置で撮像した視差画像間でマスク領域の位置関係が矛盾している場合には、障害物が存在する可能性のある障害物候補領域ではないことからマスク領域の付加による障害物候補領域の拡張を行うことが無く、矛盾していない場合のみ障害物候補領域の拡張を行うよう制御することができ、不要な演算処理の実行を未然に防止することが可能となる。
第3発明によれば、マスク領域内の輝度の最大値と最小値との差が両視差画像間で大きく異なる場合には、別個の領域を示しているものと判断され、矛盾が生じているものと判断することができる。また、高輝度領域の中心位置とマスク領域の中心位置との距離が両視差画像間で大きく異なる場合にも、相対的な位置が異なっていることから矛盾が生じているものと判断することができる。
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図1は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置であるビデオカメラにより撮像された画像に基づいて車両の前方に歩行者が存在するか否かを判断する場合を例として説明する。なお、波長が7〜14マイクロメートルの赤外光を用いた遠赤外撮像装置に限定されるものではなく、近赤外撮像装置であっても良いし、可視光撮像装置であっても良い。
図1において、1、2は、夜間の歩行者、自転車に乗った人間等の障害物を撮像する遠赤外用のビデオカメラ(撮像装置)である。ビデオカメラ1、2は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、IEEE1394に準拠した車載LANケーブル6を介して接続してある検出装置3に送信される。
検出装置3は、ビデオカメラ1、2の他、操作部を備えた表示装置4、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とも、車載LANケーブル6を介して接続されている。また、車両の速度を検出する速度センサ7、車両のヨーイング角度を検出するヨーセンサ8とも車載LANケーブル6を介して接続されており、それぞれ車両の走行速度の検出値、車両のヨーイング角度が検出装置3へ入力される。
図2は、本発明の実施の形態に係る障害物検出システムの遠赤外用ビデオカメラ1の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、内部バス15を介して信号処理部12へ送信する。
信号処理部12は、LSI基板であり、画像撮像部11から受信した輝度信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、デジタル信号をYUV(Y:輝度、U、V:色差)信号等に変換し、変換したYUV信号等を画像データとして画像メモリ13へ記憶する。もちろん、画像メモリ13を介することなく、通信インタフェース部14から直接検出装置3へ画像データを送信するものであっても良いことは言うまでもない。
通信インタフェース部14は、LSI基板であり、車載LANケーブル6を介して検出装置3とデータの送受信を行う。通信インタフェース部14は、検出装置3から送出される指令に従って、画像メモリ13に記憶された画像データの検出装置3への送出、ビデオカメラ1、2で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
図3は、本発明の実施の形態に係る障害物検出システムの検出装置3の構成を示すブロック図である。通信インタフェース部31は、ビデオカメラ1、2に対する指令の送信、ビデオカメラ1、2からの画像データの受信を行う。通信インタフェース部31は、ビデオカメラ1、2から受信した画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、通信インタフェース部31は、車載LANケーブル6を介して液晶ディスプレイ等の表示装置4に対して画像データを送出し、ブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。
画像メモリ32は、SRAM、フラッシュメモリ等であり、通信インタフェース部31を介してビデオカメラ1、2から受信した画像データを記憶する。
画像処理を行う基板であるLSI33は、画像メモリ32に記憶された左右に設置されたビデオカメラ1、2で撮像された画像データをフレーム単位で読み出し、読み出した画像データから高輝度領域を抽出する。LSI33は、抽出した高輝度領域の周囲にマスク領域を設定し、設定されたマスク領域及び高輝度領域を含む候補領域の縦横の絶対寸法を算出する。ここで、候補領域とは、障害物が存在する可能性のある障害物候補領域を意味する。絶対寸法の算出には三角法を用いることから、候補領域までの距離が必要となる。したがって、マスク領域を設定する都度、マスク領域及び高輝度領域を含む候補領域、すなわちグレースケール領域までの距離を算出する。
グレースケール領域までの距離Zに基づいて、画面内での表示寸法Hcと絶対寸法Hrとを変換する場合、(数1)に基づいて絶対寸法Hrを算出する。
なお、(数1)において、pはビデオカメラ1、2に搭載されている撮像素子のピッチであり、fはビデオカメラ1、2の焦点距離である。
LSI33は、算出された縦横の絶対寸法が所定の範囲内である限り、継続してマスク領域を周囲領域に設定してグレースケール領域を検出し、所定の範囲を超えた場合には人間ではないものと判断し、以後の演算を中止する。したがって、歩行者が存在しているか否かを判断する場合に、明らかに人間が存在する候補領域ではないと判断されるような領域については、グレースケール領域を全て求めることなく検出処理を中止することができる。したがって、無用な演算処理を省略することができ、演算処理負荷を軽減することができる。
LSI33での詳細な処理について以下に説明する。図4は、本発明の実施の形態に係る障害物検出システムの検出装置3のLSI33の障害物検出処理の手順を示すフローチャートである。
LSI33は、画像メモリ32に記憶してある画像データを読み出し(ステップS401)、二値化処理を行う(ステップS402)。なお二値化処理が必須であるわけではなく、また二値化処理方法についても特に限定されるものではない。例えば、以下に示すようなPrewittフィルタを用いて二値化する。
Prewittフィルタは、所定の画素の輝度値と該画素の周囲に存在する画素の輝度値とを対比し、輝度値の差分が所定の閾値より大きい場合に‘1’を出力し、所定の閾値より小さい場合に‘0’を出力する。すなわち、周囲の画素と輝度値の差分が所定の閾値より大きい場合、高輝度部分であるとして‘1’を出力する。(数2)は、所定の画素の上下左右に存在する画素の輝度値を用いる場合のPrewittフィルタにおける演算処理を示す数式である。
(数2)において、f(x、y)は、受け付けた画像データにおける所定の位置での画素の輝度値を、g(x、y)は、高輝度部分の輝度値を、THは所定の閾値を、それぞれ示している。
LSI33は、二値化されたデータから所定値、例えば0.5より大きい領域、すなわち二値化処理により‘1’に設定された画素領域を高輝度領域として抽出する(ステップS403)。LSI33は、抽出された一又は複数の高輝度領域から、一の高輝度領域を選択し(ステップS404)、選択された高輝度領域の周囲領域に、障害物が存在する可能性のある領域、例えば歩行者存在領域を特定するマスク領域を単位矩形領域ごとに設定する(ステップS405)。本実施の形態では説明を簡単にすべく単位矩形領域ごとにマスク領域を設定しているが、単位領域であれば矩形領域に限定されないことは言うまでもない。
図5は、高輝度領域の周囲領域にマスク領域を設定する状態を示す例示図である。図5に示すように、左右の画像で選択された高輝度領域51、52に隣接する周辺領域に、単位面積を有する矩形領域53、54をマスク領域として設定する。LSI33は、設定したマスク領域について、左右の画像で矛盾が存在するか否かを、所定の条件を具備するか否かにより判断し(ステップS406)、LSI33が所定の条件を具備する、すなわち左右の画像が矛盾しないと判断した場合(ステップS406:NO)、LSI33は、マスク領域の設定位置が左右の画像間で矛盾していないものと判断し、該マスク領域までの距離をステレオ視により算出し、マスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域の縦横の絶対寸法を算出する(ステップS407)。
LSI33が所定の条件を具備しない、すなわち左右の画像が矛盾すると判断した場合(ステップS406:YES)、LSI33は、マスク領域の設定位置が左右の画像間で矛盾しているものと判断し、設定したマスク領域を削除する(ステップS408)。これにより、矛盾していると判断されたマスク領域よりも外側へは障害物候補領域を拡張することがない。
LSI33は、算出した縦横の絶対寸法が所定の範囲内であるか否かを判断し(ステップS409)、LSI33が、縦横の絶対寸法が所定の範囲内であると判断した場合(ステップS409:YES)、LSI33は、マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらなるマスク領域を設定することが可能であるか否かを判断する(ステップS410)。具体的には、マスク領域を設定する領域が障害物候補領域の周囲領域に存在するか否かにより判断する。
LSI33が、マスク領域を設定することが可能であると判断した場合(ステップS410:NO)、LSI33は、マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらなるマスク領域を設定し(ステップS411)、ステップS406へ戻って上述した処理を繰り返す。LSI33が、縦横の絶対寸法が所定の範囲内ではないと判断した場合(ステップS409:NO)、例えば縦方向の長さが3mを超える、横方向の長さが2mを超える等、一般の人間では想定することができない絶対寸法を有していると判断した場合、及びマスク領域を設定することが不可であると判断した場合(ステップS410:YES)、LSI33は、マスク領域をそれ以上設定することなく演算処理を終了する(ステップS412)。
図6は、マスク領域を設定した場合に算出した絶対寸法に基づく判断処理を示す模式図である。高輝度領域60を含むグレースケール領域に人間が存在する場合の、人間である可能性のある縦方向長さの上限値をHh、横方向長さの上限値をWhとする。
図6(a)では、マスク領域61を設定した時点でのマスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域62は、画面内の縦方向長さが‘2’であり、画面内の横方向の長さが‘4’となっている。画面内の縦方向長さ及び横方向長さに基づいて、実際の縦方向長さをHr1、横方向長さをWr1と算出されている。LSI33は、Hr1とHhとを、及びWr1とWhとを比較し、それぞれHh、Whより小さいと判断した場合には、継続してマスク領域を追加設定していく。
図6(b)では、マスク領域61を設定した時点でのマスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域62は、画面内の縦方向長さが‘2’であり、画面内の横方向の長さが‘4’となっている点では図6(a)と共通している。しかし、上述した相関値、あるいは最大値と最小値との差分等に基づいて矛盾する位置に配置しているものと判断され、新たに設定されたマスク領域61は削除される。図6(a)及び(b)の処理を繰り返すことにより、障害物候補領域、いわゆるグレースケール領域62を特定することができる。
図6(c)では、マスク領域61を設定した時点でのマスク領域及び高輝度領域を含む障害物候補領域、すなわちグレースケール領域62は、画面内の縦方向長さが‘11’であり、画面内の横方向の長さが‘6’となっている。画面内の縦方向長さ及び横方向長さに基づいて、実際の縦方向長さをHr2、横方向長さをWr2と算出されている。LSI33は、Hr2とHhとを、及びWr2とWhとを比較し、Wr2はWhより小さいが、Hr2はHhよりも大きいことから、人間として想定している範囲を超えていることから、マスク領域61を追加設定する処理を打ち切り、歩行者等の障害物が存在する可能性のある障害物候補領域として検出しない。
なお、LSI33が、左右の画像間で矛盾する位置に設定されているか否かを判断するための所定の条件は、特に限定されるものではない。例えば左右の画像データにおけるマスク領域の相関値を算出して、算出した相関値が所定値より大きいか否かを判断条件としても良い。この場合、相関値が所定値より大きい場合には、左右画像間で矛盾しない位置に設定されているマスク領域であると判断することができ、距離算出対象となるグレースケール領域内であることを確認することができる。
また、対応するマスク領域の輝度値の分散を算出して、算出した分散が大きいか否かを判断条件として追加しても良い。この場合、マスク領域を高輝度領域の相対位置が同一である周辺領域に配置しておき、両画像における輝度の最大値と最小値との差が、左右の視差画像間で大きく相違するか否かを判断する。算出した分散が略一致しており、しかも高輝度領域の中心位置とマスク領域の中心位置との距離が略一致していると判断された場合には、左右画像間で矛盾しない位置に設定されているマスク領域であると判断することができ、距離算出対象となるグレースケール領域内であることを確認することができる。
歩行者等の障害物が存在する可能性のある障害物候補領域としてグレースケール領域を検出した場合、例えばLSI33は、障害物候補領域の座標値を算出し、速度センサ7から受け付けた車両の速度及びヨーセンサ8で検出したヨーイング角度に基づいて、自車両と歩行者とが衝突するか否かを判断し、衝突すると判断した場合、例えば表示装置4にて警告表示する、あるいは警報装置5を鳴動させる。
以上のように本実施の形態によれば、算出した縦横の絶対寸法が所定の範囲内である場合、例えば障害物が人間である場合には人間が存在する可能性がある範囲内であるときのみマスク領域を追加設定して障害物が存在する可能性のある障害物候補領域を検出し、所定の範囲内でない場合にはマスク領域を設定して障害物候補領域を検出することがない。したがって、抽出した高輝度領域が障害物候補領域の一部では無いと判断された時点で、演算処理負荷の大きいマスク領域の設定処理、及びマスク領域がグレースケール領域であるか否かの判定処理を行わないようにすることで、不要な演算処理の実行を未然に防止することが可能となる。
なお、上述した実施の形態では、検出装置3のLSI33が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
1、2 ビデオカメラ
3 検出装置
4 表示装置
5 警報装置
7 速度センサ
8 ヨーセンサ
31 通信インタフェース部
32 画像メモリ
33 LSI
331 RAM
3 検出装置
4 表示装置
5 警報装置
7 速度センサ
8 ヨーセンサ
31 通信インタフェース部
32 画像メモリ
33 LSI
331 RAM
Claims (5)
- 車両の周辺を撮像する複数の撮像装置と、
該撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段と、
前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段と、
該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段と、
縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段とを備え、
該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び前記高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とする障害物検出システム。 - 前記マスク領域設定手段は、同一の対象物について複数の前記撮像装置で撮像された複数の画像での高輝度領域の位置が同一である周辺領域に前記マスク領域を配置し、視差画像間での前記マスク領域の位置関係の矛盾の有無を判断し、位置関係に矛盾がないと判断した場合には、さらにマスク領域を配置して障害物候補領域を拡張するようにしてあることを特徴とする請求項1記載の障害物検出システム。
- 視差画像間でのマスク領域の位置関係の矛盾の有無は、マスク領域内の輝度の最大値と最小値との差、及び高輝度領域の中心位置とマスク領域の中心位置との距離に基づいて判断するようにしてあることを特徴とする請求項2記載の障害物検出システム。
- 車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択し、
前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定し、
設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出し、
縦横の絶対寸法が所定の範囲内であるか否かを判断し、
所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定することを特徴とする障害物検出方法。 - 車両の周辺を撮像する複数の撮像装置それぞれで撮像した複数の画像データを取得して画像中の障害物の存在を検出するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
複数の前記撮像装置から取得した画像データから所定の輝度より高い高輝度領域を選択する高輝度領域選択手段、
前記高輝度領域の周囲領域に、障害物候補領域を特定するマスク領域を単位領域ごとに設定するマスク領域設定手段、
該マスク領域設定手段で設定されたマスク領域及び高輝度領域を含む障害物候補領域の縦横の絶対寸法を算出する縦横寸法算出手段、及び
縦横の絶対寸法が所定の範囲内であるか否かを判断する判断手段
として機能させ、
該判断手段で所定の範囲内であると判断した場合、前記マスク領域及び高輝度領域を含む障害物候補領域の周囲領域に、さらにマスク領域を単位領域ごとに設定するようにしてあることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005333216A JP2007139564A (ja) | 2005-11-17 | 2005-11-17 | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005333216A JP2007139564A (ja) | 2005-11-17 | 2005-11-17 | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007139564A true JP2007139564A (ja) | 2007-06-07 |
Family
ID=38202624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005333216A Pending JP2007139564A (ja) | 2005-11-17 | 2005-11-17 | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007139564A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009126493A (ja) * | 2007-11-28 | 2009-06-11 | Clarion Co Ltd | 障害物検出装置 |
JP2009184523A (ja) * | 2008-02-06 | 2009-08-20 | Denso Corp | 駐車支援装置 |
WO2014054753A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
US10150415B2 (en) | 2014-08-25 | 2018-12-11 | Hyundai Motor Company | Method and apparatus for detecting a pedestrian by a vehicle during night driving |
CN113534814A (zh) * | 2021-08-04 | 2021-10-22 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的避障方法 |
WO2022078107A1 (zh) * | 2020-10-16 | 2022-04-21 | 吴江兵 | 一种落水用安全自救包 |
-
2005
- 2005-11-17 JP JP2005333216A patent/JP2007139564A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009126493A (ja) * | 2007-11-28 | 2009-06-11 | Clarion Co Ltd | 障害物検出装置 |
JP2009184523A (ja) * | 2008-02-06 | 2009-08-20 | Denso Corp | 駐車支援装置 |
WO2014054753A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
JP5951785B2 (ja) * | 2012-10-04 | 2016-07-13 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
JPWO2014054752A1 (ja) * | 2012-10-04 | 2016-08-25 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
US10150415B2 (en) | 2014-08-25 | 2018-12-11 | Hyundai Motor Company | Method and apparatus for detecting a pedestrian by a vehicle during night driving |
US10391937B2 (en) | 2014-08-25 | 2019-08-27 | Hyundai Motor Company | Method and apparatus for detecting a pedestrian by a vehicle during night driving |
WO2022078107A1 (zh) * | 2020-10-16 | 2022-04-21 | 吴江兵 | 一种落水用安全自救包 |
CN113534814A (zh) * | 2021-08-04 | 2021-10-22 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的避障方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4359710B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP5071198B2 (ja) | 信号機認識装置,信号機認識方法および信号機認識プログラム | |
JP5760090B2 (ja) | 生体認識装置 | |
JP2007139564A (ja) | 障害物検出システム、障害物検出方法及びコンピュータプログラム | |
JP2010102572A (ja) | 車両の周辺監視装置 | |
WO2010007718A1 (ja) | 車両周辺監視装置 | |
JP2008026998A (ja) | 障害物位置算出システム、及び障害物位置算出方法 | |
JP2007128460A (ja) | 衝突判定システム、衝突判定方法、コンピュータプログラム及び判定装置 | |
JP2006341713A (ja) | ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法 | |
JP2007045336A (ja) | 障害物検出システム及び障害物検出方法 | |
JP6313999B2 (ja) | 物体検出装置、及び、物体検出システム | |
JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
JP2007087203A (ja) | 衝突判定システム、衝突判定方法及びコンピュータプログラム | |
JP2005285011A (ja) | 人間認識システム、及び画像処理装置 | |
JP4404047B2 (ja) | 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム | |
JP5235843B2 (ja) | 車両周辺監視装置および車両周辺監視方法 | |
JP2008286648A (ja) | 距離計測装置、距離計測システム、距離計測方法 | |
JP4765113B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP6174960B2 (ja) | 車外環境認識装置 | |
JP2008108135A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2007281989A (ja) | ステレオ式監視装置 | |
JP2007030753A (ja) | 障害物表示システム、及び障害物表示方法 | |
JP5602354B2 (ja) | 車両周辺監視装置 | |
JP2007148647A (ja) | 二輪車検出装置、信号制御システム、二輪車検出システム、二輪車検出方法及びコンピュータプログラム |