JP2015215235A - 物体検出装置及び物体検出方法 - Google Patents

Abstract

【課題】所望の対象物の輪郭を抽出する際にかかる計算コストの増加を抑制できる物体検出装置及び物体検出方法を提供する。
【解決手段】物体検出装置は、ステレオカメラ撮像部１によって取得された画像の輝度値情報に基づいて、画像を構成する部分的な画素領域ごとに視差値を算出する視差値算出部３ｂと、視差値算出部３ｂによって算出された視差値の信頼度が高いか否かを判定する判定部３ｃと、視差値算出部３ｂによって算出された視差値のうち、判定部３ｃによって否と判定された視差値が算出された画素領域の画素位置情報に基づいて、画像中から対象物を検出する対象物検出部３ｅと、を備える。
【選択図】図１

Description

本発明は、対象物検出装置及び物体検出方法に関する。

従来、視差画像算出技術として、例えば、非特許文献１に記載の技術が報告されている。非特許文献１では、ステレオカメラによる撮像画像（輝度画像）から視差画像を算出するにあたり、撮像画像を構成する所定の画素領域ごとに視差値及びその視差値の信頼度を算出する。そして、非特許文献１では、所定の画素領域ごとに算出された各々の視差に対して、それら各々の視差値の信頼度が、信頼度が高いことを示す所定条件を満たすか否かを特定し、信頼度が高いとされた視差情報のみから構成される視差画像を算出する技術が開示されている。

ところで、撮像画像中に所望の立体対象物の存在を検出するためには、視差画像から輪郭を抽出する必要がある。視差画像の輪郭抽出方法としては、例えば、特許文献１の方法が挙げられる。特許文献１では、ステレオカメラによる対象物の撮像画像から視差画像を算出し、当該視差画像における視差勾配の大きいエッジ領域を当該対象物の輪郭として抽出することで当該対象物を検出する方法が開示されている。

特開２００７−２８００８８号公報

Ｈｅｉｋｏ Ｈｉｒｓｃｈｍｕｌｌｅｒ，「Ａｃｃｕｒａｔｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒａｍａｔｉｏｎ」，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｓａｎ Ｄｉｅｇｏ，ＣＡ，ＵＳＡ，Ｊｕｎｅ ２０−２６，２００５．

しかしながら、特許文献１に記載されたような従来の視差画像の輪郭抽出方法を適用すると、視差画像全体に亘って隣接する画素の視差値の差を走査して算出する必要があり、計算コストの増加に繋がる可能性があった。

具体的には、特許文献１に記載されたようなステレオカメラから得られる立体情報を利用して立体物を検出する従来の方法では、まずステレオカメラから得られる少なくとも２枚の輝度画像をスキャンして距離画像（視差画像）を生成し、次に距離画像全体に亘って隣接する画素の視差値の差（勾配）を走査して算出して、差（勾配）の大きい画素領域を当該対象物の輪郭として抽出することで立体物の輪郭形状を抽出するという２ステップの走査が必要である。このように、従来の方法では、立体物の輪郭形状の抽出には、距離画像の視差の差を用いる必要がある。そのため、従来技術においては、立体物の輪郭形状を抽出するためには、輝度画像のスキャンの後、距離画像における隣接する画素間の視差の差（勾配）の大きい画素領域の検出を、距離画像全体に亘って実行するためのスキャンが必要であり、処理負荷が高くなってしまう。

本発明は、上記の事情に鑑みてなされたものであって、所望の対象物の輪郭を抽出する際にかかる計算コストの増加を抑制できる物体検出装置及び物体検出方法を提供することを目的とする。

本発明の物体検出装置は、ステレオカメラ撮像部と、前記ステレオカメラ撮像部によって取得された画像の輝度値情報に基づいて、当該画像を構成する部分的な画素領域ごとに視差値を算出する視差値算出部であって、当該部分的な画素領域における視差値を暫定的に算出し、当該暫定的に算出された視差値である暫定視差値と、当該部分的な画素領域から所定の画像範囲内に位置する画素領域のうち少なくとも近接位置の画素領域において、当該視差値算出部によって既に算出された視差値である周辺視差値と、の比較に基づいて当該暫定視差値を補正することによって、当該部分的な画素領域における視差値を算出する視差値算出部と、前記視差値算出部によって算出された前記視差値の信頼度が高いか否かを判定する判定部と、前記視差値算出部によって算出された前記視差値のうち、前記判定部によって否と判定された視差値が算出された画素領域の画素位置情報に基づいて、前記画像中から対象物を検出する対象物検出部と、を備えることを特徴とする。

上記物体検出装置において、前記判定部は、前記視差値の信頼度が高いか否かが前記暫定視差値と前記周辺視差値との相対関係に対して規定された規則に基づいて、前記視差値算出部によって前記補正が為された視差値の信頼度が高いか否かを判定し、前記物体検出部は、前記視差値算出部によって前記補正が為された視差値のうち、前記判定部によって否と判定された視差値を特定し、当該特定された視差値が算出された前記部分的な画素領域の画素位置情報に基づいて、前記画像中から前記対象物を検出することが好ましい。

上記物体検出装置において、前記暫定視差値と前記周辺視差値との差が大きい程、前記判定部によって否であると判定されやすくなるように規定されていることが好ましい。

上記物体検出装置において、前記判定部によって否と判定された視差値が算出された画素領域のみから構成される画像を信頼度画像として生成する信頼度画像生成部、を更に備え、前記対象物検出部は、前記視差信頼度画像生成部により生成された前記視差信頼度画像と、前記対象物のテンプレート画像とを比較することで、当該テンプレート画像が示す対象物と一致する輪郭を前記視差信頼度画像から抽出し、当該抽出した輪郭を前記対象物として検出することが好ましい。

本発明の物体検出方法は、ステレオカメラ撮像部によって取得された画像の輝度値情報に基づいて、当該画像を構成する部分的な画素領域ごとに視差値を算出する視差値算出工程であって、当該部分的な画素領域における視差値を暫定的に算出し、当該暫定的に算出された視差値である暫定視差値と、当該部分的な画素領域から所定の画像範囲内に位置する画素領域のうち少なくとも近接位置の画素領域において、当該視差値算出部によって既に算出された視差値である周辺視差値と、の比較に基づいて当該暫定視差値を補正することによって、当該部分的な画素領域における視差値を算出する視差値算出工程と、前記視差値算出工程において算出された前記視差値の信頼度が高いか否かを判定する判定工程と、前記視差値算出工程において算出された前記視差値のうち、前記判定工程において否と判定された視差値が算出された画素領域の画素位置情報に基づいて、前記画像中から対象物を検出する対象物検出工程と、を含むことを特徴とする。

本発明にかかる物体検出装置及び物体検出方法によれば、所望の対象物の輪郭を抽出する際にかかる計算コストの増加を抑制できるという効果を奏する。

図１は、本発明に係る物体検出装置の構成を示す図である。 図２は、視差値の信頼度が各画素に付与された輝度画像と視差信頼度画像の一例を示す図である。 図３は、本発明に係る物体検出装置の処理の一例を示すフローチャートである。

以下に、本発明にかかる物体検出装置及び物体検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

〔実施形態〕
図１及び図２を参照して、本発明に係る物体検出装置の構成について説明する。ここで、図１は、本発明に係る物体検出装置の構成を示す図である。図２は、視差値の信頼度が各画素に付与された輝度画像と視差信頼度画像の一例を示す図である。

本実施形態における視差画像生成装置は、車両（自車両）に搭載され、典型的には、ステレオカメラ撮像部１と、車両運動量検出装置２と、ＥＣＵ３と、アクチュエータ４と、を備える。

ステレオカメラ撮像部１は、車両の周囲環境を撮像する、少なくとも２つ以上のカメラを具備しているステレオカメラ撮像手段である。本実施形態においては、ステレオカメラ撮像部１が２つのカメラから構成されている例を説明する。ステレオカメラ撮像部１は、撮像可能な右カメラ１ａと左カメラ１ｂとから構成される。右カメラ１ａは、車両前方右側に設置され、左カメラ１ｂは、車両前方左側に設置される。右カメラ１ａ及び左カメラ１ｂは、例えば、ステレオカメラである。右カメラ１ａは、車両の進行方向を撮像した画像である輝度画像ＲをＥＣＵ３へ出力する。左カメラ１ｂは、車両の進行方向を撮像した画像である輝度画像ＬをＥＣＵ３へ出力する。なお、ステレオカメラ撮像部１は、２つのカメラを具備している例に限定されず、後述のＥＣＵ３の処理により視差を算出可能なように少なくとも２つ以上のカメラを具備していればよい。

車両運動量検出装置２は、車両運動量を示す各種情報（車速やヨーレートや加速度等）を検出する自車運動量検出手段である。車両運動量検出装置２は、車速センサ２ａとヨーレートセンサ２ｂと加速度センサ２ｃを少なくとも含んで構成される。車速センサ２ａは、車輪毎に設けられ、夫々の車輪速度を検出する車輪速度検出装置である。各車速センサ２ａは、各車輪の回転速度である車輪速度を検出する。各車速センサ２ａは、検出した各車輪の車輪速度を示す車輪速信号をＥＣＵ３へ出力する。ＥＣＵ３は、各車速センサ２ａから入力される各車輪の車輪速度に基づいて、車両の走行速度である車速を算出する。ＥＣＵ３は、各車速センサ２ａのうち少なくとも１つから入力される車輪速度に基づいて車速を算出してもよい。ＥＣＵ３は、算出した車速を車両の運動情報として取得する。ヨーレートセンサ２ｂは、車両のヨーレートを検出するヨーレート検出装置である。ヨーレートセンサ２ｂは、検出したヨーレートを示すヨーレート信号をＥＣＵ３へ出力する。ＥＣＵ３は、入力されたヨーレート信号を車両の運動情報として取得する。加速度センサ２ｃは、車体にかかる加速度を検出する加速度検出装置である。加速度センサ２ｃは、検出した加速度を示す加速度信号をＥＣＵ３へ出力する。ＥＣＵ３は、入力された加速度信号を車両の運動情報として取得する。

ＥＣＵ３は、車両の各部の駆動を制御するものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子制御ユニットである。ＥＣＵ３は、ステレオカメラ撮像部１および車両運動量検出装置２と電気的に接続され、検出結果に対応した電気信号が入力される。そして、ＥＣＵ３は、検出結果に対応した電気信号に応じて各種演算処理を行い、演算結果に対応した制御指令を出力することで、ＥＣＵ３と電気的に接続されたアクチュエータ４の作動を制御する。例えば、ＥＣＵ３は、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで車両の挙動を制御する運転支援制御を行う。

ＥＣＵ３の各種処理部の詳細について説明する。ＥＣＵ３は、輝度画像取得部３ａと、視差値算出部３ｂと、判定部３ｃと、視差信頼度画像生成部３ｄと、対象物検出部３ｅと、第１の障害物判定部３ｆと、第２の障害物判定部３ｇと、車両制御部３ｈと、を少なくとも備える。

ＥＣＵ３のうち、輝度画像取得部３ａは、ステレオカメラ撮像部１の右カメラ１ａ及び左カメラ１ｂからそれぞれ出力される輝度画像Ｒおよび輝度画像Ｌを取得する輝度画像取得手段である。輝度画像取得部３ａは、更に、画像歪補正処理として、右カメラ１ａと左カメラ１ｂのレンズ歪みがなくなるように輝度画像Ｒおよび輝度画像Ｌを補正し、右カメラ１ａと左カメラ１ｂの光軸が平行になるように輝度画像Ｒおよび輝度画像Ｌを補正する処理を行う機能も有する。輝度画像取得部３ａにより取得されかつ歪みを補正された輝度画像Ｒおよび輝度画像Ｌは、視差値算出部３ｂの処理に用いられる。

視差値算出部３ｂは、車両の周囲環境を撮像した、ステレオカメラ撮像部１から得られた複数の輝度画像（例えば、輝度画像Ｒおよび輝度画像Ｌ）に基づいて、当該輝度画像を構成する所定の画素領域ごとに、視差値を算出する視差値算出手段である。

なお、本実施形態において、所定の画素領域は、単一画素であってもよいし、複数画素のまとまりであってもよい。また、所定の画素領域は、視差を算出する際に、複数の輝度画像間で共通の大きさとなる領域に設定されるものとする。例えば、輝度画像Ｌの画素領域を単一画素とした場合、輝度画像Ｒの画素領域も単一画素となる。また、輝度画像Ｌの画素領域を複数画素のまとまりとした場合、輝度画像Ｒの画素領域も輝度画像Ｌと同じ大きさとなる複数画像のまとまりとなる。例えば、輝度画像Ｌの画素領域を、２×２（ｘ方向に２つの単一画素、ｙ方向に２つの単一画素）の４個の複数画素のまとまりとする場合、輝度画像Ｒの画素領域も２×２の４個の複数画素のまとまりとなる。この他、画素領域は、例えば、３×３の９個の複数画素のまとまりであってもよいし、４×４の１６個の複数画素のまとまりであってもよいし、５×５の２５個の複数画素のまとまりであってもよい。

ここで、視差値算出部３ｂによる視差の算出処理の詳細について説明する。視差値算出部３ｂは、輝度画像取得部３ａにより取得されかつ歪み補正された輝度画像Ｒおよび輝度画像Ｌに基づいて、視差を算出する。本実施形態において、視差値算出部３ｂは、輝度画像Ｌおよび輝度画像Ｒの何れか一方のみをベースとして視差を算出する。言い換えると、視差値算出部３ｂは、輝度画像Ｌおよび輝度画像Ｒの両方に基づいて輝度画像Ｌをベースとして視差を算出するか、又は、輝度画像Ｌおよび輝度画像Ｒの両方に基づいて輝度画像Ｒをベースとして視差を算出する。

具体的には、視差値算出部３ｂは、輝度画像Ｌと輝度画像Ｒの間で対応する画素領域を探索し、探索した対応する画素領域ごとに、対応する画素領域が輝度画像Ｌと輝度画像Ｒの間で何画素分ずれているかを示すズレ量を視差値Ｄ（ｘ，ｙ）として算出する。例えば、視差値算出部３ｂは、輝度画像Ｌをベースとして視差を算出する場合、対応する画素領域間で、輝度画像Ｌから輝度画像Ｒまでのズレ量を視差値Ｄ（ｘ，ｙ）として算出する。なお、輝度画像Ｒをベースとして視差を算出する場合、対応する画素領域間で、輝度画像Ｒから輝度画像Ｌまでのズレ量を視差値Ｄ（ｘ，ｙ）として算出すればよい。更に、視差値算出部３ｂは、算出した視差値Ｄ（ｘ，ｙ）を、輝度画像Ｌ及び輝度画像Ｒのうち一方の輝度画像（すなわち、視差算出のベースとした輝度画像）における画素領域の画素位置情報（ｘ，ｙ）ごとに紐付ける処理を行う。

より具体的には、視差値算出部３ｂは、ステレオカメラ撮像部１によって取得された画像（輝度画像）の輝度値情報に基づいて、当該画像を構成する部分的な画素領域ごとに視差値を算出する過程で以下の処理を行う。視差値算出部３ｂは、当該部分的な画素領域における視差値を暫定的に算出する。そして、視差値算出部３ｂは、当該暫定的に算出された視差値である暫定視差値（後述の［数１］中の「視差値Ｄ_ｐ」に相当）と、当該部分的な画素領域から所定の画像範囲内に位置する画素領域のうち少なくとも近接位置の画素領域において、当該視差値算出部によって既に算出された視差値である周辺視差値（後述の［数１］中の「視差値Ｄ_ｑ」に相当）と、の比較に基づいて当該暫定視差値を補正することによって、当該部分的な画素領域における視差値を算出する。このように算出された視差は、後述の判定部３ｃにより視差値の信頼度を算出する際に用いられる。

判定部３ｃは、視差値算出部３ｂによって算出された視差値の信頼度が高いか否かを判定する判定手段である。本実施形態において、判定部３ｃは、視差値の信頼度が高いか否かが暫定視差値と周辺視差値との相対関係に対して規定された規則に基づいて、視差値算出部３ｂによって補正が為された視差値の信頼度が高いか否かを判定する。ここで、上記規則は、暫定視差値と周辺視差値との差が大きい程、判定部３ｃによって否であると判定されやすくなるように規定されている。

ここで、判定部３ｃによる視差値の信頼度の算出処理の詳細について説明する。判定部３ｃは、視差値算出部３ｂによる視差算出の際にベースとした輝度画像（輝度画像Ｌまたは輝度画像Ｒのいずれか）を構成する各々の画素領域の視差値Ｄ（ｘ，ｙ）について、視差値の信頼度Ｒ（ｘ，ｙ）を算出する。具体的には、判定部３ｃは、輝度画像Ｌと輝度画像Ｒの間で対応する画素領域を探索する。そして、判定部３ｃは、探索した対応する画素領域ごとに、輝度画像Ｌおよび輝度画像Ｒの左右画像間で対応する画素領域が略同等の輝度値情報を持つかどうかを判定することで視差算出コストとしての信頼度Ｒ（ｘ，ｙ）を算出する。判定部３ｃは、略同等の輝度値情報を持つと判定した場合は信頼度Ｒ（ｘ，ｙ）を高い値に設定し、略同等の輝度値情報を持たないと判定した場合は信頼度Ｒ（ｘ，ｙ）を低い値に設定する。更に、判定部３ｃは、算出した信頼度Ｒ（ｘ，ｙ）を、輝度画像Ｌ及び輝度画像Ｒのうちいずれか一方の輝度画像（すなわち、視差算出のベースとした輝度画像）における画素領域の画素位置情報（ｘ，ｙ）ごとに紐付ける処理を行う。

本実施形態において、判定部３ｃは、各画素領域について周囲の視差との滑らかさを考慮する以下の数式を用いることで、視差値の信頼度を最適化することが好ましい。

上記［数１］に示した数式における各変数の詳細は、以下の通りである。
ｐは、画素位置を示す。画素位置ｐは、対象の画素領域の位置であり、当該画素領域の位置は、単一画素の中心位置であってもよいし、複数の画素のまとまりからなる画素領域の中心位置であってもよい。画素位置ｐは、輝度画像を構成する各画素領域の位置（ｘ，ｙ）に対応する。
Ｄ_ｐは、画素位置ｐに対応する視差値を示す。視差値Ｄ_ｐは、輝度画像を構成する各画素領域の位置（ｘ，ｙ）における視差値Ｄ（ｘ，ｙ）に対応する。
Ｃ（ｐ，Ｄ_ｐ）は、コスト関数を示す。
Ｎ_ｐは、画素位置ｐの近傍画素領域を示す。近傍画素領域Ｎ_ｐは、画素位置ｐに対応する画素領域を含まないように、対象の画素領域周辺の所定範囲に設定される。
ｑは、近傍画素領域Ｎ_ｐを構成する画素位置を示す。
Ｔは、論理演算子を示す。論理演算子Ｔは、設定された条件が「真」である場合は値「１」をとる一方、設定された条件が「偽」である場合は値「０」をとる。
Ｄ_ｔｈは、予め設定される閾値（固定値）を示す。閾値Ｄ_ｔｈは、画素位置ｐに対応する視差値Ｄ_ｐと、近傍画素領域Ｎ_ｐを構成する画素位置ｑに対応する視差値Ｄ_ｑと、の差が大きいか小さいかを区別するために設定される。
Ｐ_１，Ｐ_２は、それぞれ重み付け定数を示す。重み付け定数Ｐ_１と重み付け定数Ｐ_２は、Ｐ_１＜Ｐ_２となるように設定される。

上記［数１］に示した数式の右辺第一項は、左右の輝度画像のうちいずれか一方の輝度画像（例えば、輝度画像Ｌ）における画素位置ｐ上の輝度値情報と、左右の輝度画像の他方の輝度画像（例えば、輝度画像Ｒ）中においてｘ方向（水平方向）に移動量として視差値Ｄ_ｐ分だけ移動した画素位置上の輝度値情報と、の類似度を算出する項である。類似度が高いほど、コスト関数Ｃ（ｐ，Ｄ_ｐ）は小さな値をとり、類似度が低いほど、コスト関数Ｃ（ｐ，Ｄ_ｐ）は大きな値をとる。なお、コスト関数の式は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を利用した視差コスト算出式やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）の式を利用した視差コスト算出式などの周知の式であってもよい。

上記［数１］に示した数式の右辺第二項及び右辺第三項は、画素位置ｐの周囲の画素位置ｑに対応する視差値Ｄ_ｑを加味して、当該数式の左辺の値を補正するための項である。したがって、当該数式の右辺第二項及び右辺第三項は、画素位置ｐに対応する視差値Ｄ_ｐの値を最適化するための項となる。

例えば、上記［数１］に示した数式において、Ｄ_ｔｈ＝１である場合、当該数式の右辺第二項のＴ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］においては、｜Ｄ_ｐ−Ｄ_ｑ｜＝１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝１となり、｜Ｄ_ｐ−Ｄ_ｑ｜≠１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝０となる。同様に、Ｄ_ｔｈ＝１である場合、当該数式の右辺第三項のＴ［｜Ｄ_ｐ−Ｄ_ｑ｜＞１］においては、｜Ｄ_ｐ−Ｄ_ｑ｜＞１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝１となり、｜Ｄ_ｐ−Ｄ_ｑ｜≦１ならば、Ｔ［｜Ｄ_ｐ−Ｄ_ｑ｜＝１］＝０となる。よって、上記［数１］に示した数式において、Ｄ_ｔｈ＝１の場合、パターン（１）｜Ｄ_ｐ−Ｄ_ｑ｜＜Ｄ_ｔｈでは、Ｐ_１及びＰ_２の何れも加算されず、パターン（２）｜Ｄ_ｐ−Ｄ_ｑ｜＝Ｄ_ｔｈでは、Ｐ_１は加算され、パターン（３）｜Ｄ_ｐ−Ｄ_ｑ｜＞Ｄ_ｔｈでは、Ｐ_２は加算されることとなる。

すなわち、設定した近傍画素領域Ｎ_ｐにおいて、画素位置ｐに対応する視差値Ｄ_ｐと近傍画素領域Ｎ_ｐを構成する画素位置ｑに対応する視差値Ｄ_ｑとの差｜Ｄ_ｐ−Ｄ_ｑ｜が、所定の値（閾値Ｄ_ｔｈ）より大きくなるような画素位置ｐ周辺の画素位置ｑの数が多い程、上記［数１］に示した数式の左辺Ｅ（Ｄ_ｐ）の値はより大きな値をとりやすくなる。言い換えると、画素位置ごとの視差値の分布において、画素位置ｐから近傍画素領域Ｎ_ｐにかけての視差値変化が滑らかであることの蓋然性が低い程、当該数式の左辺Ｅ（Ｄ_ｐ）の値はより大きな値をとりやすくなる。つまり、視差値の信頼度としては低くなりやすくなる。一方で、画素位置ｐに対応する視差値Ｄ_ｐと近傍画素領域Ｎ_ｐを構成する画素位置ｑに対応する視差値Ｄ_ｑとの差｜Ｄ_ｐ−Ｄ_ｑ｜が、所定の値（閾値Ｄ_ｔｈ）未満となるような画素位置ｐ周辺の画素位置ｑの数が多い程、当該数式の左辺Ｅ（Ｄ_ｐ）の値はより小さな値をとりやすくなる。言い換えると、画素位置ごとの視差値の分布において、画素位置ｐから近傍画素領域Ｎ_ｐにかけての視差値変化が滑らかであることの蓋然性が高い程、当該数式の左辺Ｅ（Ｄ_ｐ）の値はより小さな値をとりやすくなる。つまり、視差値の信頼度としては高くなりやすくなる。

このようにして決定された視差値の信頼度Ｒ（ｘ，ｙ）の大小に基づいて、判定部３ｃは、視差値の信頼度Ｒ（ｘ，ｙ）が高いか否かを判定する。本実施形態において、信頼度Ｒ（ｘ，ｙ）は、上述の［数１］における「右辺第二項」及び「右辺第三項」に相当する。例えば、判定部３ｃが視差値の信頼度Ｒ（ｘ，ｙ）が高いか否かを判定する際に用いる、視差値の信頼度Ｒ（ｘ，ｙ）が高いか否かが暫定視差値（上述の［数１］中の「視差値Ｄ_ｑ」に相当）と周辺視差値（上述の［数１］中の「視差値Ｄ_ｑ」に相当）との相対関係に対して規定された規則は、「右辺第二項」及び「右辺第三項」の和≧「所定の値Ａ」ならば、信頼度Ｒ（ｘ，ｙ）が低い（すなわち、「高い」に対して「否」である）として規定される。同様に、上記規則は、「右辺第二項」及び「右辺第三項」の和＜「所定の値Ａ」ならば、信頼度Ｒ（ｘ，ｙ）が高いとして規定される。この他、信頼度Ｒ（ｘ，ｙ）は、上述の［数１］における「右辺第一項」と「右辺第二項」と「右辺第三項」の和（すなわち、上述の［数１］における「左辺」としてのＥ（Ｄ_ｐ））に相当すると定めることもできる。この場合、上記規則は、「Ｅ（Ｄ_ｐ）」≧「所定の値Ｂ」ならば、信頼度Ｒ（ｘ，ｙ）が低い（すなわち、「高い」に対して「否」である）として規定される。同様に、上記規則は、「Ｅ（Ｄ_ｐ）」＜「所定の値Ｂ」ならば、信頼度Ｒ（ｘ，ｙ）が高いとして規定される。なお、本実施形態において、視差値の信頼度Ｒ（ｘ，ｙ）は、次の視差信頼度画像生成部３ｄの処理にも用いられる。

視差信頼度画像生成部３ｄは、判定部３ｃによって否（すなわち、信頼度が低い）と判定された視差値が算出された画素領域のみから構成される画像を視差信頼度画像として生成する視差信頼度画像生成手段である。

ところで、信頼度が高い値に設定される画素領域は、左右のカメラの両方から見えているため、左右カメラの各々で撮像された輝度画像間で共通して存在している被写体部分領域を特定し易い領域（言い換えると、信頼度が高い視差を算出し易い領域）であるといえる。一方、信頼度が低い値に設定される画素領域は、左右のカメラのうち片方からしか見えないことに起因して、左右カメラの各々で撮像された輝度画像間で共通して存在している被写体部分領域を特定し難い領域（言い換えると、信頼度が高い視差を算出し難い領域）であるといえる。ここで、輝度画像中に立体物が存在すると、当該立体物の輪郭に対応する画素領域は、左右のカメラのうち片方からしか見えない領域となる蓋然性が高い。よって、信頼度が低い値に設定される画素領域は、立体物の輪郭に対応する画素領域と見做すことができる蓋然性が高い。

そこで、本実施形態では、視差信頼度画像生成部３ｄの処理により、図２に示すように、輝度画像中の立体物の輪郭に対応する画素領域群がなす輪郭線を含む視差信頼度画像を生成している。図２（ａ）は、視差値の信頼度が各画素領域に付与された輝度画像の一例を示す。図２（ａ）に示す輝度画像では、視差値算出部３ｂにより算出された視差値の信頼度の値（図２（ａ）において、１〜６）が、それぞれ対応する画素領域の画素位置情報に対応付けて付与されている。図２において、視差値の信頼度の値が小さいほど視差値の信頼度が高く、視差値の信頼度の値が大きいほど視差値の信頼度が低いものとする。図２（ａ）の例では、視差値の信頼度の低い画素領域を太線枠で示している（図２（ａ）において、視差値の信頼度の所定値４〜６が付与された画素領域に対応）。具体的にｘ座標とｙ座標で視差値の信頼度の低い画素領域を其々例示すると、図２（ａ）の例では、１２個の画素領域（２，８），（２，７），（２，６），（２，５），（３，４），（４，３），（５，３），（６，４），（６，５），（６，６），（６，７），（６，８）となる。図２（ｂ）は、図２（ａ）に示す輝度画像のうち視差値の信頼度の低い画素領域のみから構成される視差信頼度画像の一例を示す。図２（ｂ）に示す視差信頼度画像において、視差値の信頼度の低い画素領域群の各中心点を繋ぐ線を、立体物の輪郭形状を示す輪郭線として見做すことができる。

図１に戻り、対象物検出部３ｅは、視差値算出部３ｂによって算出された視差値のうち、判定部３ｃによって否（すなわち、視差値の信頼度が低い）と判定された視差値が算出された画素領域の画素位置情報に基づいて、画像（輝度画像）中から対象物を検出する対象物検出手段である。ここで、対象物検出部３ｅは、視差信頼度画像生成部３ｄにより生成された視差信頼度画像と、対象物のテンプレート画像とを比較することで、当該テンプレート画像が示す対象物と一致する輪郭を視差信頼度画像から抽出し、当該抽出した輪郭を対象物として検出してもよい。この場合、対象物検出部３ｅは、視差信頼度画像から抽出される輪郭に基づいて、視差信頼度画像内に検出対象とする対象物（例えば、歩行者など）が存在するか否かを、パターンマッチング等の手法により解析することで対象物を検出する。

また、対象物検出部３ｅは、第１の障害物判定部３ｆと、第２の障害物判定部３ｇを更に備える。第１の障害物判定部３ｆは、輝度画像取得部３ａにより取得された複数の輝度画像のうちいずれか一方の輝度画像と、対象物のテンプレート画像とを比較することで、当該テンプレート画像が示す対象物に類似する複数の候補領域を、輝度画像から抽出する。そして、第２の障害物判定部３ｇは、第１の障害物判定部３ｆにより抽出された複数の候補領域に対応する視差信頼度画像内の対応領域において、当該複数の候補領域と、対象物のテンプレート画像とを比較することで、当該テンプレート画像が示す対象物に一致する輪郭を視差信頼度画像から抽出し、当該抽出した輪郭を対象物として検出する。

車両制御部３ｈは、対象物検出部３ｅにより検出された対象物を車両が回避するように車両挙動を制御する運転支援制御を行う車両制御手段である。車両制御部３ｈは、例えば、車両運動量検出装置２から取得した運動情報（車両の車速、ヨーレート、加速度）、車両が走行可能な領域を示す各種情報、及び、回避対象となる対象物の位置などに基づいて、車両が対象物を回避可能な走行軌跡や走行速度等を演算する。そして、車両制御部３ｈは、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで回避制御を実行する。車両制御部３ｈは、回避制御として、例えば、ＥＰＳ等のアクチュエータ４を介して車両の操舵輪の舵角を制御することで、車両が対象物を回避するように操舵支援を実行する。車両制御部３ｈは、対象物をより確実に回避できるように、回避制御として、操舵支援にブレーキ支援を組み合わせて実行してもよい。このようにして、車両制御部３ｈは、対象物の位置への車両の移動を回避する回避制御手段として機能する。

続いて、上述のように構成される物体検出装置の処理により実行される物体検出方法について、図３を参照して説明する。ここで、図３は、本発明に係る物体検出装置の処理の一例を示すフローチャートである。図３では、所望の対象物としての障害物を歩行者とした場合の例を説明する。

図３に示すように、ＥＣＵ３は、左右に２台並列に並べたカメラで同時に車両の周囲環境を撮像し２枚の輝度画像を取得する（ステップＳ１）。その後、次のステップＳ２及びステップ４の処理へ移行する。

ステップＳ２の処理から先に説明する。ＥＣＵ３は、ステップＳ１の処理により取得された２枚の輝度画像から視差値の信頼度（視差算出コスト）を算出する（ステップＳ２）。ステップＳ２において、ＥＣＵ３は、ステップＳ１で取得した２枚の輝度画像を用いて、Ｇｌｏｂａｌ ｍａｔｃｈｉｎｇなどのステレオマッチングの手法を用いて視差を算出する。ステレオマッチングの手法としては、当該技術分野で一般的に用いられているＳＧＭ法を用いてもよい。ＳＧＭ法としては、例えば、文献１（Ｈ．Ｈｉｒｓｃｈｍｕｌｌｅｒ， “Ａｃｃｕｒａｔｅ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｓｔｅｒｅｏ ｐｒｏｃｅｓｓｉｎｇ ｂｙ ｓｅｍｉｇｌｏｂａｌ ｍａｔｃｈｉｎｇ ａｎｄ ｍｕｔｕａｌ ｉｎｆｏｒｍａｉｏｎ”， ＣＶＰＲ， ２００５， ｐｐ．８０７−８１４）に記載の方法を用いてもよい。また、ステップＳ２において、ＥＣＵ３は、ＳＧＭ法を実行する過程で算出する、隣接ピクセルが左右の画像で同じ視差値を持つかどうかを判定するコスト値も視差値の信頼度（上述の［数１］を参照）として算出する。そして、ＥＣＵ３は、算出した視差値の信頼度を後述の処理で読み出せるように、視差算出の際にベースにした輝度画像を構成する各画素領域の画素位置情報に対応付けて保存する（上述の図２（ａ）の視差値の信頼度が各画素領域に付与された輝度画像を参照）。その後、次のステップＳ３の処理へ移行する。

ＥＣＵ３は、ステップＳ２の処理により算出された視差値の信頼度が各画素領域に付与された輝度画像から、予め設定した視差値の信頼度のしきい値（例えば、視差値の信頼度の値が４）以上の画素領域のみを残すように２値化して視差信頼度画像を生成する（ステップＳ３）。ステップＳ３において、ＥＣＵ３は、例えば、上述の図２（ａ）に示した視差値の信頼度が各画素領域に付与された輝度画像から、上述の図２（ｂ）に示すように、視差値の信頼度の低い画素領域（図２において、視差値の信頼度の値が４以上の４〜６の視差値の信頼度が付与された画素領域）のみから構成される視差信頼度画像を生成する。その後、後述するステップＳ６の処理へ移行する。

ここで、ステップＳ４の処理を説明する。ＥＣＵ３は、ステップＳ１の処理により取得された２枚の輝度画像のうち、１枚の輝度画像（例えば輝度画像Ｒ）からパターンマッチングを用いて歩行者の候補領域を複数抽出する（ステップＳ４）。ステップＳ４において、ＥＣＵ３は、１枚の輝度画像から当該技術分野で一般的に用いられているパターンマッチング手法を用いて歩行者の候補領域を複数抽出する。パターンマッチング手法としては、例えば、文献２（Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．ｔｒｉｇｇｓ． “Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ”． ＣＶＰＲ， ２００５）に記載されたＨＯＧ法とＳＶＭ法を用いた手法を用いてもよい。その後、次のステップＳ５の処理へ移行する。

ＥＣＵ３は、ステップＳ４の処理により抽出された複数の歩行者の候補領域から１つの候補領域を選択する（ステップＳ５）。その後、次のステップＳ６の処理へ移行する。

ＥＣＵ３は、ステップＳ３の処理により生成された視差信頼度画像から、ステップＳ５において選択した１つの歩行者の候補領域に対応する対応領域を切り出す（ステップＳ６）。ステップＳ６において、ＥＣＵ３は、視差信頼度画像が、ステップＳ４でパターンマッチングに用いたものと同じ輝度画像をベースにして生成されたものであれば、選択した歩行者の候補領域と同じ座標値の領域を対応領域として切り出せばよい。その後、次のステップＳ７の処理へ移行する。

ＥＣＵ３は、ステップＳ３の処理に生成された視差値の信頼度の低い画素領域のみが残った視差信頼度画像に対して、ステップＳ６において切り出した対応領域内において、パターンマッチングを行い歩行者らしいかどうかを判定する（ステップＳ７）。ステップＳ７において、ＥＣＵ３は、ステップＳ３で生成された視差信頼度画像の対応領域において、歩行者かどうかを判定するためのパターンマッチングを行い、最終的な歩行者判定を行う。その後、次のステップＳ８の処理へ移行する。

ＥＣＵ３は、ステップＳ４の処理により抽出された複数の歩行者の候補領域全てについて、上述のステップＳ６〜Ｓ７の処理を繰り返すために、他に抽出された歩行者の候補領域があるか否かを判定する（ステップＳ８）。ステップＳ８において、ＥＣＵ３は、他に抽出された歩行者の候補領域があると判定した場合（ステップＳ８：Ｙｅｓ）、ステップＳ５の処理へ戻り、選択されていない複数の歩行者の候補領域が１つの候補領域を選択して、ステップＳ６〜Ｓ７の処理を行う。一方、ステップＳ８において、ＥＣＵ３は、他に抽出された歩行者の候補領域がないと判定した場合（ステップＳ８：Ｎｏ）、ステップＳ４の処理により抽出された複数の歩行者の候補領域全てについて、上述のステップＳ６〜Ｓ７の処理を繰り返したと判定して、本処理を終了する。

なお、本実施形態において、物体検出装置は、所望の対象物の候補領域が単数である場合などは、上述の図３に示すように所望の対象物のテンプレート画像を用いたパターンマッチングを行わずに、視差値の信頼度が低いと判定された視差値が算出された画素領域群がなす輪郭線を、対象物の輪郭を表すと見做して対象物を検出してもよい。

以上説明したように、従来はステレオカメラから得られる輝度画像から立体物の形状を抽出するには、２枚の輝度画像から一旦視差画像を算出した後、この視差画像をスキャンする必要があったものの、本実施形態によれば、視差画像を構成する視差値として最終的に求められる視差を算出する過程で一時的（暫定的）に算出される視差値と、周辺画素領域の視差値と、の差を考慮して算出される視差値の信頼度の値が低い画素領域を、立体物の輪郭の一部であると見做して利用することで立体物の形状を抽出する。このため、従来のように、視差画像が算出された後に、この視差画像中における隣接する画素間の視差の差（勾配）の大きい画素領域の検出を距離画像全体に亘って実行するためのスキャンをすることなく立体物の形状を抽出することが可能となる。

具体的には、従来は、立体物の輪郭形状を抽出するためには、輝度画像から一旦視差画像を算出し、視差画像の隣接する画素の視差値の差を視差画像全体をスキャンして算出することで、初めて立体物の輪郭形状を抽出することが可能であった。一方、本実施形態では、視差画像を構成する視差値として最終的に求められる視差を算出する過程で一時的（暫定的）に算出される視差値と、周辺画素領域の視差値と、の差を考慮して算出される視差信頼度の値が低い画素領域を抽出することによって、ステレオカメラの視差算出処理過程で精度向上のために使用される、左右の画像の同じ部分領域は同じ視差値を持つという拘束条件を満たさない画素領域が抽出されることになるため、この画素領域を障害物の輪郭形状として代用することで、視差画像のスキャンをすることなく輪郭形状が得ることができる。上記の拘束条件を満たさない場合としては、奥行きの違いから片方の画像からしか見えない画素がある領域である蓋然性が高い。そこで、本実施形態によれば、判定したい障害物の輪郭形状か予めどのような形状かが分かっている場合には、上記の拘束条件を満たさない画素領域を障害物の輪郭形状の候補としてパターンマッチングやパターン認識などの形状判別を行うことで、容易に障害物どうかを判定することができる。

このように、本実施形態によれば、対象物のステレオ画像において、左右のカメラの片方からしか見えないことに起因して、原理上、左右カメラそれぞれからの画像間で共通して存在している被写体部分領域を特定することが難しい領域（言い換えれば、信頼度が高い視差を算出することが難しい画素領域）を特定することで、当該画素領域を対象物の輪郭と見做すことが可能となる。従来は、視差値の信頼度が低いこのような画素領域が、対象物検出処理に直接利用されることはなかったが、本実施形態では、視差値の信頼度が低い画素領域をあえて対象物の輪郭として抽出している。このため、従来のように視差画像全体に亘って隣接する画素の視差値の差を走査して算出するなどの処理によって対象物の輪郭を抽出する必要がなくなり、その結果、計算コストの増加を抑制することが可能となる。

１ ステレオカメラ撮像部
１ａ 右カメラ
１ｂ 左カメラ
２ 車両運動量検出装置
２ａ 車速センサ
２ｂ ヨーレートセンサ
２ｃ 加速度センサ
３ ＥＣＵ
３ａ 輝度画像取得部
３ｂ 視差値算出部
３ｃ 判定部
３ｄ 視差信頼度画像生成部
３ｅ 対象物検出部
３ｆ 第１の障害物判定部
３ｇ 第２の障害物判定部
３ｈ 車両制御部
４ アクチュエータ

Claims (5)

1. ステレオカメラ撮像部と、
   前記ステレオカメラ撮像部によって取得された画像の輝度値情報に基づいて、当該画像を構成する部分的な画素領域ごとに視差値を算出する視差値算出部であって、当該部分的な画素領域における視差値を暫定的に算出し、当該暫定的に算出された視差値である暫定視差値と、当該部分的な画素領域から所定の画像範囲内に位置する画素領域のうち少なくとも近接位置の画素領域において、当該視差値算出部によって既に算出された視差値である周辺視差値と、の比較に基づいて当該暫定視差値を補正することによって、当該部分的な画素領域における視差値を算出する視差値算出部と、
   前記視差値算出部によって算出された前記視差値の信頼度が高いか否かを判定する判定部と、
   前記視差値算出部によって算出された前記視差値のうち、前記判定部によって否と判定された視差値が算出された画素領域の画素位置情報に基づいて、前記画像中から対象物を検出する対象物検出部と、
   を備えることを特徴とする物体検出装置。
2. 前記判定部は、前記視差値の信頼度が高いか否かが前記暫定視差値と前記周辺視差値との相対関係に対して規定された規則に基づいて、前記視差値算出部によって前記補正が為された視差値の信頼度が高いか否かを判定し、
   前記物体検出部は、前記視差値算出部によって前記補正が為された視差値のうち、前記判定部によって否と判定された視差値を特定し、当該特定された視差値が算出された前記部分的な画素領域の画素位置情報に基づいて、前記画像中から前記対象物を検出する請求項１に記載の物体検出装置。
3. 前記規則は、前記暫定視差値と前記周辺視差値との差が大きい程、前記判定部によって否であると判定されやすくなるように規定されている請求項２に記載の物体検出装置。
4. 前記判定部によって否と判定された視差値が算出された画素領域のみから構成される画像を信頼度画像として生成する信頼度画像生成部、を更に備え、
   前記対象物検出部は、
   前記視差信頼度画像生成部により生成された前記視差信頼度画像と、前記対象物のテンプレート画像とを比較することで、当該テンプレート画像が示す対象物と一致する輪郭を前記視差信頼度画像から抽出し、当該抽出した輪郭を前記対象物として検出する請求項１乃至３のいずれか一項に記載の物体検出装置。
5. ステレオカメラ撮像部によって取得された画像の輝度値情報に基づいて、当該画像を構成する部分的な画素領域ごとに視差値を算出する視差値算出工程であって、当該部分的な画素領域における視差値を暫定的に算出し、当該暫定的に算出された視差値である暫定視差値と、当該部分的な画素領域から所定の画像範囲内に位置する画素領域のうち少なくとも近接位置の画素領域において、当該視差値算出部によって既に算出された視差値である周辺視差値と、の比較に基づいて当該暫定視差値を補正することによって、当該部分的な画素領域における視差値を算出する視差値算出工程と、
   前記視差値算出工程において算出された前記視差値の信頼度が高いか否かを判定する判定工程と、
   前記視差値算出工程において算出された前記視差値のうち、前記判定工程において否と判定された視差値が算出された画素領域の画素位置情報に基づいて、前記画像中から対象物を検出する対象物検出工程と、
   を含むことを特徴とする物体検出方法。

Images