JP2009175802A - 物体検出装置 - Google Patents

Abstract

【課題】検出対象物を精度よく検出することができる物体検出装置を提供する。
【解決手段】カメラ１２による撮影によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域とＨＤＤ２８に記憶された検出対象物の特徴を示すパターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域を検出対象物の存在する領域と特定する。
【選択図】図２

Description

本発明は、物体検出装置に係り、特に、カメラ等により撮像された画像から検出対象物を検出する物体検出装置に関する。

従来より、パターンマッチング技術を用いてカメラ等により撮像された画像から検出対象物の検出が行われている。

例えば、特許文献１には、入力画像と目的のパターンとのパターンマッチングを行い、マッチング率がある一定の値を超えるマッチング候補画素として、当該マッチング候補画素の周辺の画素におけるマッチング率の分布形状を求め、マッチング率の分布形状が略正規分布な理想的な分布形状と一致しているか否かを判定することにより誤検出であるか否かを判定しており、誤検出の場合は正常な検出の場合に比べて、マッチング率の分布形状が広くなる点が開示されている。
特開平７−８１７２６号公報

しかしながら、上記特許文献１の技術では、検出対象物を精度よく検出できない、という問題点があった。

すなわち、撮像された画像内の検出対象物が実際に存在する領域は、検出対象物が含まれる領域だけでなく、その周辺（位置や大きさのずれた領域）でも類似度の高い領域が分布するが、画像内の検出対象物が存在しない領域は、類似度がたまたま高い部分があったとしても、その周辺では類似度の高い領域が少ない。このため、検出対象物が存在しない領域におけるマッチング率の分布形状は、検出対象物が存在する領域におけるマッチング率の分布形状よりも広くならないため、検出対象物が存在しない領域の誤検出を検出できず、検出対象物を精度よく検出することができない。
また、撮像された画像内に検出対象物が実際に存在する領域でもマッチング率の分布形状が必ずしも理想的な分布形状になるとは限らない。

本発明は上記問題点を解決するためになされたものであり、検出対象物を精度よく検出することができる物体検出装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、検出対象領域を撮像する撮像手段と、検出対象物の特徴を示すパターン画像データを予め記憶する記憶手段と、前記撮像手段による撮像によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域と前記記憶手段に記憶されたパターン画像データにより示されるパターン画像とを比較し、各領域毎に当該パターン画像との類似度を導出する導出手段と、前記導出手段により導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域を前記検出対象物が存在する領域と特定する特定手段と、を備えている。

請求項１記載の発明では、撮像手段により、検出対象領域が撮像されており、記憶手段により、検出対象物の特徴を示すパターン画像データが予め記憶されている。

そして、本発明では、導出手段により、撮像手段による撮像によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域と前記記憶手段に記憶されたパターン画像データにより示されるパターン画像とを比較して各領域毎に当該パターン画像との類似度が導出され、特定手段により、導出手段により導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域が検出対象物が存在する領域と特定される。

このように、請求項１記載の発明によれば、撮像によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域と検出対象物の特徴を示すパターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域を検出対象物の存在する領域と特定するので、検出対象物を精度よく検出することができる。

なお、本発明は、請求項２記載の発明のように、前記導出手段が、比較対象とする領域の位置を所定間隔ずつずらして各領域と前記パターン画像とを比較し、各領域毎に当該パターン画像との類似度を導出して前記検出対象物が存在する可能性がある候補領域を特定し、各候補領域の近傍において領域の位置を変えつつ、各領域と前記パターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、前記特定手段が、前記導出手段により導出された類似度が所定閾値以上となる領域が所定の割合以上分布する候補領域を前記検出対象物が存在する領域と特定するようにしてもよい。

また、本発明の導出手段は、請求項３記載の発明のように、比較対象とする領域の位置及び大きさを変えつつ、前記類似度を導出してもよい。

以上説明したように、本発明によれば、撮像によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域と検出対象物の特徴を示すパターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域を検出対象物の存在する領域と特定するので、検出対象物を精度よく検出することができる、という優れた効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、以下では、本発明を、車両に搭載され、車両周辺の歩行者を検出して警告を行うドライバ支援装置に適用した場合を例として説明する。

［第１の実施の形態］
図１には、本実施の形態に係るドライバ支援装置１０の概略構成が示されている。
同図に示すように、ドライバ支援装置１０は、所定の検出対象領域を連続的に撮像するカメラ１２と、各種情報を表示するディスプレイ１４と、カメラ１２による撮像により得られた画像に基づいて歩行者を検出し、検出された歩行者の位置に応じて警告を行う装置本体２０と、を含んで構成されている。
なお、本実施の形態に係るカメラ１２は、車両の前方グリルまたはバンパなどの車両の前方側に取り付けられており、車両の前方を撮像する。

図１に示すように、装置本体２０は、ドライバ支援装置１０全体の動作を司るＣＰＵ（中央処理装置）２２と、ＣＰＵ２２による各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４と、後述する歩行者検出処理プログラムを含む各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２６と、各種情報を記憶するＨＤＤ（ハード・ディスク・ドライブ）２８と、カメラ１２の撮影動作を制御するカメラ制御部３０と、ディスプレイ１４への画面やメッセージなどの各種情報の表示を制御する表示制御部３２と、運転者へ警告を行うためのスピーカ３４と、を備えている。

ＣＰＵ２２、ＲＡＭ２４、ＲＯＭ２６、ＨＤＤ２８、カメラ制御部３０、表示制御部３２、及びスピーカ３４は、システムバスＢＵＳを介して相互に接続されている。

従って、ＣＰＵ２２は、ＲＡＭ２４、ＲＯＭ２６、及びＨＤＤ２８に対するアクセスと、カメラ制御部３０を介してカメラ１２の撮影動作の制御と、表示制御部３２を介したディスプレイ１４に対する各種情報の表示の制御と、スピーカ３４からの音声の出力の制御と、を各々行うことができる。

本実施の形態に係るＨＤＤ２８には、検出対象物として歩行者の特徴を示すパターン画像データが記憶されている。

図２には、本実施の形態に係るドライバ支援装置１０の機能的な構成を示す機能ブロック図が示されている。

同図に示されるように、ドライバ支援装置１０は、類似度導出部５０と、対象物領域特定部５２と、警告表示制御部５８と、を備えている。

カメラ制御部３０は、類似度導出部５０、及び警告表示制御部５８と接続されており、カメラ１２による撮影によって得られた画像を示す画像データを順次出力する。

類似度導出部５０は、ＨＤＤ２８、及び対象物領域特定部５２と接続されており、カメラ制御部３０から画像データが順次入力される。

類似度導出部５０は、カメラ制御部３０から画像データが入力されると、当該画像データにより示される画像を、比較対象とする領域の大きさ及び位置を変えつつ、各領域とＨＤＤ２８に記憶されたパターン画像データにより示されるパターン画像とを比較し、各領域毎に当該パターン画像との類似度を導出する。

そして、類似度導出部５０は、導出した各領域毎のパターン画像との類似度を示す類似度情報を対象物領域特定部５２へ出力する。

対象物領域特定部５２は、警告表示制御部５８と接続されており、類似度導出部５０から類似度情報が入力される。

対象物領域特定部５２は、類似度情報により示される各領域毎のパターン画像との類似度に基づいて、類似度が所定閾値以上となる領域が所定の割合以上分布する領域を歩行者が存在する歩行者領域と特定する。

そして、対象物領域特定部５２は、特定した歩行者領域の位置を示す位置情報を警告表示制御部５８へ出力する。

警告表示制御部５８は、ディスプレイ１４、及びスピーカ３４と接続されており、カメラ制御部３０から画像データが順次入力され、対象物領域特定部５２から歩行者領域の位置を示す位置情報が入力される。

警告表示制御部５８は、カメラ制御部３０から順次入力される画像データにより示される画像をディスプレイ１４に表示させ、対象物領域特定部５２から位置情報が入力された場合、ディスプレイ１４に表示される、当該位置情報により示される歩行者領域の表示形態を変更（例えば、全身領域を赤く囲んで表示）してドライバに対して警告を発生させるものとされている。なお、この際、スピーカ３４から警告音や警告メッセージ等を出力するものとしもよい。

ところで、以上のように構成されたドライバ支援装置１０の各構成要素（類似度導出部５０、対象物領域特定部５２、及び警告表示制御部５８）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。

以下では、本実施の形態に係るドライバ支援装置１０が、歩行者検出処理プログラムを実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該歩行者検出処理プログラムをＲＯＭ２６やＨＤＤ２８に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。

次に、図３を参照して、本実施の形態に係るドライバ支援装置１０の作用を説明する。なお、図３は、ＣＰＵ２２により実行される歩行者検出処理プログラムの処理の流れを示すフローチャートである。当該歩行者検出処理プログラムは、例えば、ドライバ支援装置１０が搭載された車両のエンジンスイッチがオンされるなどによって図示しない車両制御装置から処理開始の指示信号が受信されるとＣＰＵ２２により実行される。

同図のステップ１００では、カメラ制御部３０からの画像データの入力待ちを行う。

次のステップ１０２では、入力された画像データにより示される画像内に比較対象とする領域を決定する。なお、本実施形態では、ステップ１０２が実行される毎に、図４に示されるように、比較対象とする領域の大きさを一旦定めて、画像データにより示される画像の左上からライン方向に沿って順に、比較対象とする領域を１つ決定しており、当該画像の右下に到達すると、比較対象とする領域の大きさを変えて再度、画像の左上から領域を決定することを、比較する領域のサイズ毎に繰り返す。

次のステップ１０４では、上記ステップ１０２において決定された領域とＨＤＤ２８に記憶されたパターン画像データにより示されるパターン画像とを比較し、当該領域とパターン画像との類似度を導出する。

次のステップ１１２では、比較する領域のサイズ毎に全ての領域の類似度が導出されか否かを判定し、肯定判定となった場合はステップ１１４へ移行する一方、否定判定となったステップ１０２へ移行する。

次のステップ１１４では、上記ステップ１１２により導出された各領域毎のパターン画像との類似度に基づいて、類似度が所定閾値以上となる領域が所定の割合以上分布する領域を歩行者が存在する歩行者領域と特定する。

図５には、カメラ１２により撮像することによって得られた画像において、類似度が所定閾値以上となる領域が矩形に囲まれて示されており、また、実際に歩行者が存在する領域（正検出）と歩行者が存在しない誤検出された領域（誤検出）の各近傍において、類似度が所定閾値以上となる領域を、当該領域の中心となる画素を白点することにより、類似度が所定閾値以上となる候補領域の分布（候補分布）が示されている。

同図に示すように、正検出の領域は、その周辺でも類似度の高い領域が多く分布するが、誤検出の領域は、その周辺では類似度の高い領域が少ない。このため、類似度が所定閾値以上となる領域の割合を求めることにより歩行者を精度良く検出することができる。

なお、上記所定閾値や所定の割合は、実機を用いた実験やコンピュータ・シミュレーション等により、適宜定めればよい。

次のステップ１１６では、ディスプレイ１４に、カメラ制御部３０から入力される画像データにより示される画像と共に、上記ステップ１１４において特定された歩行者領域を表示させる。

次にステップ１２０では、例えば、車両のエンジンスイッチがオフされるなどによって図示しない車両制御装置から処理終了の指示信号が入力したか否かを判定し、否定判定となった場合はステップ１００へ移行する一方、肯定判定となった場合は本歩行者検出処理プログラムの処理が処理終了となる。

以上のように、本実施の形態によれば、カメラ１２による撮影によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域と検出対象物の特徴を示すパターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域を検出対象物の存在する領域と特定するので、検出対象物を精度よく検出することができる。

［第２の実施の形態］
第２の実施の形態に係るドライバ支援装置１０の電気系の要部構成は、上記第１の実施の形態（図１参照）と同一であるため、説明を省略する。

図６には、本実施の形態に係るドライバ支援装置１０の機能的な構成を示す機能ブロック図が示されている。なお、同図における図２と同一の処理部分には図２と同一の符号を付して、その説明を省略する。

本実施の形態に係る類似度導出部５０Ａは、カメラ制御部３０から画像データが入力されると、当該画像データにより示される画像内を、比較対象とする領域の位置を所定間隔ずつずらして各領域とパターン画像とを比較し、各領域毎に当該パターン画像との類似度を導出して歩行者が存在する可能性がある候補領域を特定する。そして、類似度導出部５０Ａは、各候補領域の近傍において領域の位置を変えつつ、各領域とパターン画像とを比較して各領域毎に当該パターン画像との類似度を導出する。

対象物領域特定部５２Ａは、類似度導出部５０Ａにより導出された類似度が所定閾値以上となる領域が所定の割合以上分布する候補領域を歩行者が存在する領域と特定する。

次に、図７を参照して、本実施の形態に係る歩行者検出処理プログラムの処理の流れについて説明する。なお、同図における図３と同一の処理部分には図３と同一の符号を付して、その説明を省略する。

ステップ１０２Ａでは、入力された画像データにより示される画像内に比較対象とする領域を決定する。なお、本実施形態では、ステップ１０２が実行される毎に、図８（Ａ）に示されるように、比較対象とする領域の大きさを一旦定めて、画像データにより示される画像の左上からライン方向に沿って順に、所定間隔ずつずらして比較対象とする領域を１つ決定しており、当該画像の右下に到達すると、比較対象とする領域の大きさを変えて再度、画像の左上から領域を決定することを、比較する領域のサイズ毎に繰り返す。

ステップ１０４Ａでは、上記ステップ１０２Ａにおいて決定された領域とＨＤＤ２８に記憶されたパターン画像データにより示されるパターン画像とを比較し、当該領域とパターン画像との類似度を導出する。

次のステップ１０６Ａでは、上記ステップ１０４Ａにより導出された類似度が所定閾値以上であるか否かを判定し、肯定判定となった場合はステップ１０８Ａへ移行する一方、否定判定となった場合はステップ１１２Ａへ移行する。

この類似度が所定閾値以上である領域は、歩行者が存在する可能性がある候補領域である。図８（Ｂ）には、類似度が所定閾値以上となった領域が候補矩形１として示されている。

ステップ１０８Ａでは、上記ステップ１０６Ａにおいて類似度が所定閾値以上であると判定された、歩行者が存在する可能性がある候補領域の近傍において領域の位置を変えつつ、各領域と画像データにより示されるパターン画像と比較して各領域毎にパターン画像との類似度を導出する。すなわち、図８（Ｂ）に示した候補矩形１の近傍において、領域の位置を変えつつ、図８（Ｃ）に示すようにパターン画像との類似度を導出する。なお、図８（Ｃ）には、近傍の各領域の類似度が、当該領域の中心となる画素の濃度により示されており、濃度が濃いほど類似度が高いことを示している。

次のステップ１１０Ａでは、上記ステップ１０６Ａにおいて導出された候補領域近傍の各領域の類似度が所定閾値以上となる領域が所定の割合以上分布する領域を歩行者が存在する歩行者領域と特定する。

すなわち、本実施の形態では、図９（Ａ）に示すようなカメラ１２により撮像することによって得られた画像内に粗く検索することにより歩行者が存在する可能性がある候補領域を特定する。

そして、図９（Ｂ）に示すように、特定された候補領域の近傍を領域の位置を変えつつ詳細に検索してパターン画像との類似度を導出し、類似度が所定閾値以上となる領域が所定の割合以上分布する領域を歩行者が存在する歩行者領域と特定する。

ステップ１１６Ａでは、ディスプレイ１４に、カメラ制御部３０から入力される画像データにより示される画像と共に、上記ステップ１１０Ａにおいて特定された歩行者領域を表示させる。

以上のように、本実施の形態によれば、カメラ１２による撮影によって得られた画像内に粗く検索することにより歩行者が存在する可能性がある候補領域を特定し、各候補領域の近傍において領域の位置を変えつつ、各領域と前記パターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、導出された類似度が所定閾値以上となる領域が所定の割合以上分布する候補領域を検出対象物が存在する領域と特定するので、候補領域以外の領域で詳細な検索を行う必要が無くなるため、処理時間を短縮することができる。

なお、上記各実施の形態では、車両に搭載され、車両周辺の歩行者を検出して警告を行うドライバ支援装置に本発明を適用した場合について説明したが、本発明はこれに限定されるものではない。

また、第２の実施の形態では、候補領域であるか否かを判定する閾値と検出対象物が存在する領域であるか否かを判定する閾値を同一とした場合について説明したが、異なる値としてもよい。例えば、候補領域であるか否かを判定する閾値（第１閾値）を検出対象物が存在する領域であるか否かを判定する閾値（第２閾値）よりも小さくしてもよい（第１閾値＜第２閾値）。

その他、上記各実施の形態で説明したドライバ支援装置１０の電気系の要部構成（図１参照。）、及びドライバ支援装置１０の機能的な構成（図２、及び図６参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、上記各実施の形態で説明した歩行者検出処理プログラム（図３、及び図７参照。）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施の形態に係るドライバ支援装置の電気系の要部構成を示すブロック図である。 第１の実施の形態に係るドライバ支援装置の機能的な構成を示すブロック図である。 第１の実施の形態に係る歩行者検出処理プログラムの処理の流れを示すフローチャートである。 第１の実施の形態に係る比較対象とする領域の決定順を示す模式図である。 第１の実施の形態に係る歩行者検出処理による検出結果の一例を示す図である。 第２の実施の形態に係るドライバ支援装置の機能的な構成を示すブロック図である。 第２の実施の形態に係る歩行者検出処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る比較対象とする領域の決定順を示す模式図である。 第２の実施の形態に係る歩行者検出処理による検出結果の一例を示す図である。

符号の説明

１０ ドライバ支援装置
１２ カメラ（撮像手段）
２８ ＨＤＤ（記憶手段）
５０、５０Ａ 類似度導出部（導出手段）
５２、５２Ａ 対象物領域特定部（特定手段）

Claims (3)

1. 検出対象領域を撮像する撮像手段と、
   検出対象物の特徴を示すパターン画像データを予め記憶する記憶手段と、
   前記撮像手段による撮像によって得られた画像を、比較対象とする領域の位置を変えつつ、各領域と前記記憶手段に記憶されたパターン画像データにより示されるパターン画像とを比較し、各領域毎に当該パターン画像との類似度を導出する導出手段と、
   前記導出手段により導出された類似度が所定閾値以上となる領域が所定の割合以上分布する領域を前記検出対象物が存在する領域と特定する特定手段と、
   を備えた物体検出装置。
2. 前記導出手段は、比較対象とする領域の位置を所定間隔ずつずらして各領域と前記パターン画像とを比較し、各領域毎に当該パターン画像との類似度を導出して前記検出対象物が存在する可能性がある候補領域を特定し、各候補領域の近傍において領域の位置を変えつつ、各領域と前記パターン画像とを比較して各領域毎に当該パターン画像との類似度を導出し、
   前記特定手段は、前記導出手段により導出された類似度が所定閾値以上となる領域が所定の割合以上分布する候補領域を前記検出対象物が存在する領域と特定する
   請求項１記載の物体検出装置。
3. 前記導出手段は、比較対象とする領域の位置及び大きさを変えつつ、前記類似度を導出する
   請求項1又は請求項２記載の物体検出装置。