JP2018032074A - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】路面を検出する精度を向上させること。【解決手段】画像処理装置において、複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択する選択部と、前記選択部に選択された標本点の候補から抽出された標本点に基づいて、路面を検出する検出部と、を備える。【選択図】図７

Description

本発明は、画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラムに関する。

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。

自動的にブレーキをかけるには人や他車等の物体までの距離を測定する必要があり、そのために、ステレオカメラの画像を用いた測定が実用化されている。

人や他車等の物体を検出するためには、まず、路面を検出する必要がある。路面を正確に検出できない場合、例えば、路面を人や他車等の物体と誤認識する可能性がある。

特許文献１には、以下のような処理により、車線が標示されていない場合でも路面を検出する技術が開示されている。まず、横軸に視差値、縦軸に視差の頻度を表す頻度ヒストグラムを生成する。次に、視差の頻度が最も高い最頻点を各ｙ座標における視差の代表値として決定する。そして、この代表値を、視差画像の各ｙ座標における水平方向の視差点群の仮想平面にプロットし、路面推定に利用する。

しかしながら、従来技術では、視差画像に基づいて路面を検出する際、路面以外の物体の視差を、路面の視差であると誤判定する場合があるという問題がある。

そこで、路面を検出する精度を向上させる技術を提供することを目的とする。

画像処理装置において、複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択する選択部と、前記選択部に選択された標本点の候補から抽出された標本点に基づいて、路面を検出する検出部と、を備える。

開示の技術によれば、路面を検出する精度を向上させることが可能となる。

実施形態に係る車載機器制御システムの構成を示す模式図である。 撮像ユニット及び画像解析ユニットの構成を示す模式図である。 移動体機器制御システムの機能ブロック図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応する所定の領域のＶマップを示す図である。 路面推定部の一例を示す機能ブロック図である。 第１の実施形態に係る標本点の候補を選択する処理の一例を示すフローチャートである。 第１の実施形態に係る標本点の候補を選択する処理を説明する図である。 視差画像の全領域から視差を抽出し、Ｖマップを生成した場合の例を示す図である。 標本点抽出処理の一例を示すフローチャートである。 外れ点除去処理の一例を示すフローチャートである。 外れ点除去処理を説明する図である。 第２の実施形態に係る標本点の候補を選択する処理の一例を示すフローチャートである。 第２の実施形態に係る標本点の候補を選択する処理を説明する図である。 第３の実施形態に係る標本点の候補を選択する処理を説明する図である。 第４の実施形態に係る標本点の候補を選択する処理の一例を示すフローチャートである。 第４の実施形態に係る標本点の候補を選択する処理を説明する図である。

以下、実施形態に係る画像処理装置を有する移動体機器制御システムについて説明する。
［第１の実施形態］
〈車載機器制御システムの構成〉
図１は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。

この車載機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット５００、画像解析ユニット６００、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット５００で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方の路面（移動面）の相対的な高さ情報（相対的な傾斜状況を示す情報）を検知し、その検知結果から、自車両前方の走行路面の３次元形状を検出し、その検出結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。

撮像ユニット５００は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット５００の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット６００に入力される。

画像解析ユニット６００は、撮像ユニット５００から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。また、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。

画像解析ユニット６００の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット５００で得られた撮像画像データ及び解析結果を表示する。車両走行制御ユニット１０４は、画像解析ユニット６００による自車両前方の他車両、歩行者、各種障害物などの認識対象物の認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御したりするなどの走行支援制御を行う。

〈撮像ユニット５００及び画像解析ユニット６００の構成〉
図２は、撮像ユニット５００及び画像解析ユニット６００の構成を示す図である。

撮像ユニット５００は、撮像手段としての２つの撮像部５１０ａ，５１０ｂを備えたステレオカメラで構成されており、２つの撮像部５１０ａ，５１０ｂは同一のものである。各撮像部５１０ａ，５１０ｂは、それぞれ、撮像レンズ５１１ａ，５１１ｂと、受光素子が２次元配置された画像センサ５１３ａ，５１３ｂを含んだセンサ基板５１４ａ，５１４ｂと、センサ基板５１４ａ，５１４ｂから出力されるアナログ電気信号（画像センサ５１３ａ，５１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部５１５ａ，５１５ｂとから構成されている。撮像ユニット５００からは、輝度画像データと視差画像データが出力される。

また、撮像ユニット５００は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部５１０を備えている。この処理ハードウェア部５１０は、各撮像部５１０ａ，５１０ｂから出力される輝度画像データから視差画像を得るために、各撮像部５１０ａ，５１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部５１１を備えている。

ここでいう視差値とは、各撮像部５１０ａ，５１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

画像解析ユニット６００は、画像処理基板等から構成され、撮像ユニット５００から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段６０１と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）６０２と、データＩ／Ｆ（インタフェース）６０３と、シリアルＩ／Ｆ６０４を備えている。

処理ハードウェア部５１０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット６００のＲＡＭに書き出す処理などを行う。画像解析ユニット６００のＣＰＵ６０２は、各撮像部５１０ａ，５１０ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（識別対象物）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩ／Ｆ６０３やシリアルＩ／Ｆ６０４から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ６０３を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

なお、撮像ユニット５００及び画像解析ユニット６００は、一体の装置である撮像装置２として構成してもよい。

図３は、図２における処理ハードウェア部５１０、画像解析ユニット６００、及び車両走行制御ユニット１０４で実現される車載機器制御システム１の機能ブロック図である。なお、画像解析ユニット６００で実現される機能部は、画像解析ユニット６００にインストールされた１以上のプログラムが、画像解析ユニット６００のＣＰＵ６０２に実行させる処理により実現される。

以下、本実施形態における処理について説明する。

〈視差画像生成処理〉
視差画像生成部１１は、視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。なお、視差画像生成部１１は、例えば視差演算部５１１（図２）によって構成される。

視差画像生成処理では、まず、２つの撮像部５１０ａ，５１０ｂのうちの一方の撮像部５１０ａの輝度画像データを基準画像データとし、他方の撮像部５１０ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１１は、基準画像データのある行について、一つの注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像生成部１１でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）、ＮＣＣ（Normalized cross correlation）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。

〈Ｖマップ生成処理〉
Ｖマップ生成部１２は、視差画像から抽出した視差に基づいて、Ｖマップ（V-Disparity Map、「垂直方向分布データ」の一例）を生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向（水平方向）位置とｙ方向（垂直方向）位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップと呼ぶ。

具体的に説明すると、Ｖマップ生成部１２は、視差画像を上下方向に複数分割して得られる各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。

図４は視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図４Ａは視差画像の視差値分布の一例を示す図であり、図５Ｂは、図４Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。

図４Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１２は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値ｄをとった二次元直交座標系上に表すことで、図４Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

図５は、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図５Ａが撮影画像であり、図５ＢがＶマップである。即ち、図５Ａに示すような撮影画像から図５Ｂに示すＶマップが生成される。Ｖマップでは、路面より下の領域には視差は検出されないので、斜線で示した領域Ａで視差がカウントされることはない。

図５Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図５Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。

この画像例は、自車両の前方路面が、相対的に平坦な路面、即ち、自車両の前方路面が自車両の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。

撮像部５１０ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図５Ａに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。従って、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

図６は、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応する所定の領域のＶマップを示す図である。

Ｖマップ生成部１２は、視差画像における全画素を用いてＶマップを生成してもよいし、視差画像（図６Ａは、視差画像の基となる撮影画像の例）における所定の領域（例えば、路面が写り得る領域）の画素のみを用いてＶマップを生成してもよい。例えば、路面は遠方になるにつれて、消失点に向かって狭くなるため、図６Ａに示すように、路面の幅に応じた領域を設定してもよい。これにより、路面が写り得る領域以外の領域に位置する物体（例えば電柱４０３）によるノイズがＶマップに混入しないようにすることができる。

〈路面推定〉
路面推定部１３は、視差画像生成部１１により生成された視差画像に基づき、路面を推定（検出）する。

次に、図７を参照し、路面推定部１３の機能構成の一例について説明する。図７は、路面推定部１３の一例を示す機能ブロック図である。

路面推定部１３は、選択部１３０、標本点抽出部１３１、外れ点除去部１３２、路面形状検出部１３３、路面補足部１３４、及びスムージング処理部１３５を有する。

以下、路面推定部１３の各機能部の処理について説明する。

《選択処理》
選択部１３０は、Ｖマップ生成部１２により生成されたＶマップから、路面の推定に用いる標本点の候補を選択する。

次に、図８を参照して、選択部１３０による標本点の候補の選択処理について説明する。図８は、第１の実施形態に係る標本点の候補を選択する処理の一例を示すフローチャートである。

なお、選択部１３０は、Ｖマップの所定のｙ座標毎に、以下の処理を行う。

まず、選択部１３０は、所定サイズ（例えば３画素分）の水平バッファの位置を、Ｖマップにおける一方の端（例えば左端）に設定する（ステップＳ１）。なお、水平バッファのサイズは、路面の視差の分散に応じて決定してもよい。水平バッファのサイズは、例えば、予め設定された値を使ってもよいし、処理対象の画像のフレーム毎に変更してもよい。フレーム毎に変更する場合、例えば、左右方向の傾斜等があり路面視差が横方向に分散している場合は、比較的大きいサイズの水平バッファを用いてもよい。

続いて、選択部１３０は、当該位置における、水平バッファ内に含まれる画素の値の総和を算出する（ステップＳ２）。なお、この画素の値は、視差の頻度を示す値である。

続いて、選択部１３０は、水平バッファの位置を、Ｖマップにおける他方の端（例えば右端）へ、所定画素数（例えば１画素）分、横方向に移動（シフト）させる（ステップＳ３）。

続いて、選択部１３０は、当該位置における、水平バッファ内に含まれる画素の値の総和を算出する（ステップＳ４）。

続いて、選択部１３０は、水平バッファの位置がＶマップの他方の端に達したか否かを判定する（ステップＳ５）。

他方の端に達していない場合（ステップＳ５でＮＯ）、ステップＳ３の処理に進む。

他方の端に達した場合（ステップＳ５でＹＥＳ）、選択部１３０は、水平バッファ内に含まれる画素の値の総和が最大である位置を選択する（ステップＳ６）。なお、総和が最大である位置を一つ選択する代わりに、総和が大きい順に所定数の位置を選択してもよい。

続いて、選択部１３０は、当該位置において水平バッファ内に含まれる画素を、標本点の候補として選択する（ステップＳ７）。

図９は、第１の実施形態に係る標本点の候補を選択する処理を説明する図である。図９では、３画素分のサイズの水平バッファを使って、路面による視差を探索する例を示している。

図９（Ａ）では、水平バッファ５５１Ａが、Ｖマップにおける所定のｙ座標において、左端から右端に移動する例を示している。

図９（Ｂ）では、水平バッファ５５１Ｂ内に含まれる画素の値（視差値）の総和が最大である例を示している。この場合、水平バッファ５５１Ｂ内に含まれる複数の画素が、標本点の候補として選択される。

図１０は、視差画像の全領域から視差を抽出し、Ｖマップを生成した場合の例を示す図である。

視差画像から路面の視差を抽出する際、路面が写っている領域を正確に認識する必要がある。従来技術では、路面が写っている領域を正確に認識することはできなかった。

このため、後述する路面推定処理において、Ｖマップ上で視差頻度の最も高い最頻点に基づいて路面を検出する場合を考える。車線５７１が土手５７２の上にあり、つまり、カメラから土手までの距離よりも、カメラから路面までの距離のほうが近い場合、土手から抽出された視差は路面から抽出された視差よりもＶマップ上で左側に投票される（分布する）。これにより、これらの左側に投票された視差を使って推定された路面５７３の高さは、実際の路面５７４に比べて低くなる。この場合、路面の視差を、路面上に位置する物体として誤認識し、誤警報、誤ブレーキの発生原因となる可能性がある。

視差画像から視差を抽出する際、視差画像の所定のｙ座標上において、路面の視差が多ければ、Ｖマップの当該所定のｙ座標上における路面の視差頻度の値は大きくなる。

また、視差画像から抽出された路面の視差群は、Ｖマップにおいて比較的高い密度で分布する場合が多い。

そのため、上述した第１の実施形態によれば、路面を検出する精度を向上させることが可能となる。

《標本点抽出処理》
標本点抽出部１３１は、選択部１３０により選択された標本点の候補から、路面の推定に用いる標本点を抽出する。

なお、以下では、Ｖマップを、視差値（自車両からの距離値）に応じて、複数のセグメントに分割し、後述する標本点抽出処理や路面形状検出処理等を行う例について説明するが、Ｖマップを分割せずに標本点抽出処理や路面形状検出処理等を行ってもよい。

次に、図１１を参照して、標本点抽出部１３１による標本点抽出処理について説明する。図１１は、標本点抽出処理の一例を示すフローチャートである。

まず、標本点抽出部１３１は、Ｖマップの横軸である視差の値に応じて、Ｖマップを複数のセグメントに分割する（ステップＳ１１）。

続いて、標本点抽出部１３１は、Ｖマップの横軸である視差の値に応じて、抽出する標本点を探索する範囲（探索範囲）を設定する（ステップＳ１２）。標本点抽出部１３１は、探索領域５５３を、例えば、矩形の領域としてもよい。

続いて、標本点抽出部１３１は、探索範囲に含まれる画素の中から、標本点を抽出する（ステップＳ１３）。標本点抽出部１３１は、探索範囲に含まれる画素の中から、例えば、各視差値ｄの座標位置毎に一つ以上の標本点を抽出してもよい。または、標本点抽出部１３１は、探索範囲に含まれる画素の中から、各視差値ｄの座標位置において、頻度の最も多い最頻点を標本点として抽出してもよい。あるいは、標本点抽出部１３１は、探索範囲に含まれる画素の中から、各視差値ｄを含む複数の座標位置（例えば各視差値ｄの座標位置と、当該各視差値ｄの左及び右の少なくとも一方の１以上の座標位置）における頻度の最も多い最頻点を標本点として抽出してもよい。

《外れ点除去処理》
外れ点除去部１３２は、標本点抽出部１３１により抽出された標本点のうち、直線近似に適さない点を除外する。

図１２、図１３を参照して、外れ点除去部１３２による外れ点除去処理について説明する。図１２は、外れ点除去処理の一例を示すフローチャートである。図１３は、外れ点除去処理を説明する図である。

まず、外れ点除去部１３２は、標本点抽出部１３１により抽出された各セグメントの標本点、または、全セグメントの標本点から、近似直線を算出する（ステップＳ２０）。外れ点除去部１３２は、例えば最小二乗法を用いて近似直線を算出する。図１３の例では、近似直線５４１が、図１３のステップＳ２０にて算出される。

続いて、外れ点除去部１３２は、Ｘ座標の値に応じた閾値を算出する（ステップＳ２１）。図１３の例では、所定のＸ座標の値Ｄ（例えば自車両からの距離５０ｍに相当する視差値）を境界として、Ｄ未満（自車両から所定距離より遠い）は所定の閾値を２σ、Ｄ以上（自車両から所定距離以下）をσとしている。これは、視差値が小さい、すなわち自車両からの距離が遠い位置の路面については、ステレオカメラで計測する際の誤差が大きいため、除去する際の閾値を緩くするためである。

続いて、外れ点除去部１３２は、算出した近似直線に対し、距離がステップＳ２１で算出した閾値以上離れている標本点を除去する（ステップＳ２２）。図１３の例では、Ｄ以上で所定の閾値σ以上離れている標本点５４２を除去する。なお、距離としては、ユークリッド距離や、マハラノビス距離等を用いてもよい。

《路面形状検出処理》
路面形状検出部１３３は、Ｖマップ生成部１２により生成されたＶマップの各セグメントから、標本点抽出部１３１により抽出され、外れ点除去部１３２により除去されていない標本点に基づき、路面の形状（位置、高さ）を検出する。

路面形状検出部１３３は、例えば最小二乗法により、各セグメントの標本点から近似直線を算出し、算出した近似直線を、路面として検出（推定）する。

《路面補足処理》
路面補足部１３４は、路面形状検出部１３３により検出（推定）された路面、または、後述する路面決定部１４により選択された路面が不適切か否かを判定し、不適切と判定した場合は、路面を補足する。

路面補足部１３４は、ノイズにより、ステレオカメラにて撮影されることがあり得ない不適切な路面が推定されたかを判定する。そして、路面補足部１３４は、不適切な路面が推定されたと判定すると、デフォルト路面または、以前のフレームにて推定された路面のデータに基づいて、不適切な路面を補足（補間）する。

路面補足部１３４は、Ｖマップにおいて、例えば一部の勾配が所定値以上である急な左下がり（右上がり）の路面のデータが検出された場合、当該路面は、自車両からの距離が離れるにつれ、勾配が急になる下り坂の路面であると判定する。そして、路面補足部１３４は、当該路面のデータを除去し、代わりにデフォルト路面等のデータで補足する。

《スムージング処理》
スムージング処理部１３５は、各セグメントで推定された各路面を、当該各路面が連続するように修正する。スムージング処理部１３５は、隣り合う２つのセグメントにおいてそれぞれ推定された各路面のうち、一方の路面の終点（端点）と、他方の路面の始点（端点）が一致するよう、各路面の傾きと切片を変更する。

〈路面高さテーブル算出処理〉
路面高さテーブル算出部１５は、スムージング処理部１３５にて修正された各セグメントにおける路面に基づいて、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。

路面高さテーブル算出部１５は、各セグメントにおける路面の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出する。なお、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面高さテーブル算出部１５は、各セグメントにおける路面と、基準直線とを比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、各セグメントにおける路面上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

なお、ある視差値ｄにおいてＹ軸位置がｙ'である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける路面上のＹ軸位置をｙ０としたとき、（ｙ'−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ'）に対応する物体についての路面からの高さＨは、下記の式より算出することができる。ただし、下記の式において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ'−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。

Ｈ＝ｚ×（ｙ'−ｙ０）／ｆ
〈クラスタリング、棄却、トラッキング〉
クラスタリング部１６は、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ−Ｙの２次元ヒストグラム情報（頻度Ｕマップ）を作成する。

クラスタリング部１６は、路面高さテーブル算出部１５によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

クラスタリング部１６は、頻度Ｕマップにおいて、頻度が所定値よりも多い、視差が密集している領域を物体の領域として検出し、視差画像上の座標や、物体の実際の大きさ（サイズ）から予測した物体のタイプ（人や歩行者）などの個体情報を付与する。

棄却部１７は、視差画像、頻度Ｕマップ、物体の個体情報に基づいて、認識対象ではない物体の情報を棄却する。

トラッキング部１８は、検出された物体が複数の視差画像のフレームで連続して出現する場合に、追跡対象であるか否かを判定する。

〈走行支援制御〉
制御部１９は、クラスタリング部１６による、物体の検出結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御したりするなどの走行支援制御を行う。
［第２の実施形態］
第１の実施形態では、選択部１３０が、一次元の水平バッファを用いて、路面の推定に用いる標本点の候補を選択する例について説明した。

第２の実施形態では、選択部１３０が、二次元のバッファを用いて、路面の推定に用いる標本点の候補を選択する例について説明する。なお、第２の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。

以下では第２の実施形態に係る車載機器制御システム１の処理の詳細について第１の実施形態との差異を説明する。

次に、図１４を参照して、選択部１３０による標本点の候補の選択処理について説明する。図１４は、第２の実施形態に係る標本点の候補を選択する処理の一例を示すフローチャートである。

ステップＳ２０１乃至ステップＳ２０７は、図８のステップＳ１乃至ステップＳ７と同様であるが、水平バッファの代わりに二次元バッファを用いる点が異なる。

図１５は、第２の実施形態に係る標本点の候補を選択する処理を説明する図である。図１５では、３×３画素分のサイズの二次元バッファを使って、路面による視差を探索する例を示している。

図１５（Ａ）では、二次元バッファ５６１Ａが、Ｖマップにおける所定のｙ座標において、左端から右端に移動する例を示している。

図１５（Ｂ）では、二次元バッファ５６１Ｂ内に含まれる画素の値（視差値）の総和が最大である例を示している。この場合、二次元バッファ５６１Ｂ内に含まれる複数の画素が、標本点の候補として選択される。

二次元バッファを使うことにより、ノイズによりロバストになり、より正確に路面の視差の位置を捉えることができる。これは、路面の視差は、左右方向だけでなく、上下方向に対しても高頻度、高密度で出現しやすいというためである。

なお、二次元バッファの形状は、正方形や矩形に限らない。例えば、Ｖマップにおける路面の視差が左上がりになるように座標系を設定した場合、二次元バッファを、左上がりの階段上のバッファとしてもよい。また、二次元バッファのサイズも、任意のサイズとしてよい。
［第３の実施形態］
第３の実施形態では、選択部１３０が、Ｖマップにおける所定の領域から、路面の推定に用いる標本点の候補を選択する例について説明する。なお、第３の実施形態は一部を除いて第１の実施形態、または第２の実施形態と同様であるため、適宜説明を省略する。

以下では第３の実施形態に係る車載機器制御システム１の処理の詳細について第１の実施形態、または第２の実施形態との差異を説明する。

視差画像の所定のｙ座標におけるライン上に着目すると、路面による視差の割合は、その他の物体による視差の割合に比べて大きくなりやすい。しかし、自車両の直前に他車両等の障害物が存在する場合、路面による視差の割合が、他車両等による視差の割合に比べて小さくなる場合がある。この場合、路面による視差ではなく、他車両等による視差に基づいて路面が推定されてしまう可能性がある。

そこで、第３の実施形態に係る選択部１３０は、基準路面を用いて、標本点の候補を探索する範囲を限定する。

図１６は、第３の実施形態に係る標本点の候補を選択する処理を説明する図である。

図１６に示すように、視差画像の所定のｙ座標において、自車両から路面上に存在する物体までの距離は、自車両から路面までの距離に比べて小さくなる。

つまり、図１６に示すように、Ｖマップ上の所定のｙ座標において、物体による視差５８３は、路面による視差５８４よりも右側に分布する。

第３の実施形態に係る選択部１３０は、標本点の候補を探索する範囲を、Ｖマップの基準路面５８１よりも左側の領域５８５に限定する。なお、基準路面としては、平坦路を仮定したデフォルト路面を用いてもよいし、過去のフレームで算出した履歴路面を用いてもよい。履歴路面を用いた場合、例えばアップ・ダウンの存在する路面であっても、比較的適切に探索範囲を制限することができる。また、検出すべき路面の勾配を予め設定しておき、この勾配をＶマップ上の路面に変換したものを基準路面としてもよい。

なお、より正確に路面による視差を捉えるため、基準路面５８１に所定のオフセット量を加えることによりＶマップ上で右側にシフトさせた第２の基準路面５８２を使ってもよい。

第３の実施形態に係る選択部１３０は、限定された領域において、例えば第１の実施形態、または第２の実施形態と同様に、水平バッファ、または二次元バッファを用いて、バッファ内に含まれる画素の値の総和が最大である位置を選択する。そして、当該位置においてバッファ内に含まれる画素を、標本点の候補として選択する。

なお、Ｖマップにおける標本点の候補を探索する範囲の左端は、Ｖマップの左端（ｄ＝０）でなくともよい。例えば、基準路面よりも左側の任意の位置を、Ｖマップにおける標本点の候補を探索する範囲の左端として設定してよい。
［第４の実施形態］
第４の実施形態では、選択部１３０が、Ｖマップにおける所定の視差の範囲毎に、路面の推定に用いる標本点の候補を選択する例について説明する。なお、第４の実施形態は一部を除いて第１の実施形態、または第２の実施形態と同様であるため、適宜説明を省略する。

以下では第４の実施形態に係る車載機器制御システム１の処理の詳細について第１の実施形態、または第２の実施形態との差異を説明する。

図１７を参照して、選択部１３０による標本点の候補の選択処理について説明する。図１７は、第４の実施形態に係る標本点の候補を選択する処理の一例を示すフローチャートである。

ステップＳ３０１乃至ステップＳ３０５は、図８のステップＳ１乃至ステップＳ５、または図１４のステップＳ２０１乃至ステップＳ２０５と同様である。第４の実施形態では、バッファとして、第１実施形態と同様に水平バッファを用いてもよいし、第２実施形態と同様に二次元バッファを用いてもよい。

ステップＳ３０６において、第４の実施形態に係る選択部１３０は、Ｖマップにおける所定の視差の範囲毎に、バッファ内に含まれる画素の値の総和が最大である位置を選択する。

続いて、選択部１３０は、当該位置においてバッファ内に含まれる画素を、標本点の候補として選択する（ステップＳ３０７）。

図１８は、第４の実施形態に係る標本点の候補を選択する処理を説明する図である。図１８（Ａ）では、視差画像中から視差を抽出する領域を、遠方に向かうに連れてサイズが小さくなる三段の矩形により設定している。これは、自車両からの距離が遠方になるに連れて、視差画像に含まれる路面の面積が小さくなっていくためである。

また、図１８では、Ｖマップを、視差ｄに応じて複数のセグメントに分割し、標本点抽出部１３１が、セグメント毎に路面の標本点を抽出する場合の例である。

視差画像の所定のｙ座標におけるライン上に着目すると、路面による視差の割合は、その他の物体による視差の割合に比べて大きくなりやすい。しかし、自車両の直前に他車両等の障害物が存在する場合、路面による視差の割合が、他車両等による視差の割合に比べて小さくなる場合がある。この場合、路面による視差ではなく、他車両等による視差に基づいて路面が推定されてしまう可能性がある。

この場合、第１の実施形態、または第２の実施形態では、図１８における、自車両の前方を走行するトラックのコンテナ部分から抽出された視差点群５８３が、標本点の候補として選択される可能性がある。

そして、路面の視差点群５８４が、標本点の候補として選択されていない場合、標本点抽出部１３１は、路面の推定に利用することができない。

そこで、第４の実施形態では、選択部１３０は、Ｖマップにおける所定の視差の範囲毎に、標本点の候補を選択する。

図１８（Ａ）の例では、自車両から所定の距離を基準とし、当該基準の距離に応じた視差５９０よりも近方（図１８のＶマップにおける視差５９０よりも右側）から、バッファ内に含まれる画素の値の総和が最大である位置を選択する。そして、当該位置においてバッファ内に含まれる画素５９１を、標本点の候補として選択する。

そして、当該基準の距離よりも遠方（図１８のＶマップにおける視差５９０よりも左側）において、バッファ内に含まれる画素の値の総和が最大である位置を選択する。そして、当該位置においてバッファ内に含まれる画素５９２を、標本点の候補として選択する。

図１８（Ａ）の例では、より具体的には、視差画像中から視差を抽出する領域である三段の矩形の領域のうち、最上段の矩形の下端にあたる距離を視差に変換し、当該視差５９０の位置を基点として、基点よりも左側の領域に対して、バッファ内に含まれる画素の値の総和が最大である位置を選択する。

なお、基点よりも左側の領域に対しては、当該領域に含まれる全ての視差点を、標本点の候補として選択してもよい。なお、基点よりも左側の領域に対しては、例えば第３の実施形態と同様に、基準路面よりも左側の任意の位置を、Ｖマップにおける標本点の候補を探索する範囲の左端として設定してよい。

図１８（Ｂ）は、自車両の前方が下り坂の場合の撮影画像と、Ｖマップを用いた場合の選択処理の例を示す図である。

図１８（Ｂ）の例では、図１８（Ａ）の例と同様に、視差５９０よりも近方（図１８のＶマップにおける視差５９０よりも右側）から、バッファ内に含まれる画素５９７を、標本点の候補として選択する。

そして、視差５９０よりも遠方（図１８のＶマップにおける視差５９０よりも左側）においては、標本点抽出部１３１が用いる各セグメント５９５Ａ、５９５Ｂ、５９５Ｃ毎に、バッファ内に含まれる画素の値の総和が最大である位置を選択する。そして、当該各位置においてバッファ内に含まれる画素５９６Ａ、５９６Ｂ、５９６Ｃを、標本点の候補として選択する。

これにより、自車両の前方が下り坂の場合であっても、各セグメント毎に、標本点の候補を選択できる。
［第５の実施形態］
第５の実施形態では、選択部１３０が、自車両の旋回情報に基づいて、路面の推定に用いる標本点の候補を選択する処理を行う例について説明する。なお、第５の実施形態は一部を除いて第１の実施形態、乃至第４の実施形態と同様であるため、適宜説明を省略する。

以下では第５の実施形態に係る車載機器制御システム１の処理の詳細について第１の実施形態、乃至第４の実施形態との差異を説明する。

車線がカーブしている場合、視差画像から視差を抽出する領域には、側壁などの障害物が写り込み、路面が写る面積が小さくなる場合がある。

この場合、選択部１３０が、標本点の候補を絞り込むよりも、全ての視差点を標本点の候補として選択した方が、路面を比較的正しく推定できる場合がある。

そこで、第５の実施形態に係る選択部１３０は、自車両が走行している路面（車線）がカーブしているか否か判定し、カーブしている場合は、全ての視差点を標本点の候補として選択する。

第５の実施形態に係る選択部１３０は、例えば、データＩ／Ｆ６０３を利用して、ＣＡＮ（Controller Area Network）から取得した操舵角（ハンドルの切り角）に基づいて、車線がカーブしていることを検知してもよい。

または、ＧＰＳにて取得した現在の位置情報に応じて、地図データベースから取得してた現在の位置の道路データに基づき、車線がカーブしているか否かを判定してもよい。または、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）を用いて取得した道路データに基づき、現在走行中の車線がカーブしているか否かを判定してもよい。

あるいは、撮像ユニット５００で撮像した撮像画像データから車線の白線等を画像認識することにより、車線がカーブしているか否かを判定してもよい。

＜まとめ＞
上述した各実施形態によれば、複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた視差値を有する視差画像に基づいて生成されたＶマップから、視差頻度の密度に基づいて、路面を検出するための標本点の候補を選択する。

それにより、路面を検出する精度を向上させることができる。

なお、距離の値（距離値）と視差値は等価に扱えることから、本実施形態においては距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。また、上述した各実施形態の一部又は全部を組み合わせることも可能である。

例えば、外れ点除去部１３２、路面補足部１３４、スムージング処理部１３５等の処理は必須ではないため、これらの機能部を有しない構成としてもよい。

また、処理ハードウェア部５１０、画像解析ユニット６００、及び車両走行制御ユニット１０４の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたＣＤ−ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。

１ 車載機器制御システム（「機器制御システム」の一例）
１００ 自車両
１０１ 撮像ユニット
１０３ 表示モニタ
１０６ 車両走行制御ユニット（「制御部」の一例）
１１ 視差画像生成部（「距離画像生成部」の一例）
１２ Ｖマップ生成部
１３ 路面推定部（「推定部」の一例）
１３０ 選択部
１３１ 標本点抽出部
１３２ 外れ点除去部
１３３ 路面形状検出部（「検出部」の一例）
１３４ 路面補足部
１３５ スムージング処理部
１５ 路面高さテーブル算出部
１６ クラスタリング部（「物体検出部」の一例）
１７ 棄却部
１８ トラッキング部
１９ 制御部
２ 撮像装置
５１０ａ，５１０ｂ 撮像部
５１０ 処理ハードウェア部
６００ 画像解析ユニット（「画像処理装置」の一例）

特開２０１１−１２８８４４号公報

Claims (11)

1. 複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
   前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択する選択部と、
   前記選択部に選択された標本点の候補から抽出された標本点に基づいて、路面を検出する検出部と、
   を備えることを特徴とする画像処理装置。
2. 前記選択部は、所定の距離値の範囲に含まれる複数の距離値の頻度を加算した値に基づいて、標本点の候補を選択する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記選択部は、前記垂直方向分布データの垂直方向における複数の位置に対する所定の距離値の範囲に含まれる複数の距離値の頻度を加算した値に基づいて、標本点の候補を選択する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記選択部は、基準となる路面よりも距離値が大きい範囲に含まれる距離値の頻度を加算した値に基づいて、標本点の候補を選択する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記選択部は、前記垂直方向分布データにおける所定の距離値の範囲毎に、標本点の候補を選択する
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記検出部は、前記垂直方向分布データにおける所定の距離値の範囲毎に、前記選択部に選択された標本点の候補から抽出された標本点に基づいて、路面を検出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記選択部は、路面がカーブしているか否か判定し、路面がカーブしていない場合、前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択する
   ことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 複数の撮像部と、
   前記複数の撮像部で各々撮影された複数の撮影画像から、前記複数の撮影画像における物体の距離に応じた距離値を有する距離画像を生成する距離画像生成部と、
   前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
   前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択する選択部と、
   前記選択部に選択された標本点の候補から抽出された標本点に基づいて、路面を検出する検出部と、
   を備えることを特徴とする画像処理装置。
9. 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
   前記複数の撮像部で各々撮影された複数の撮影画像から、前記複数の撮影画像における物体の距離に応じた距離値を有する距離画像を生成する距離画像生成部と、
   前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成する生成部と、
   前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択する選択部と、
   前記選択部に選択された標本点の候補から抽出された標本点に基づいて、移動面を検出する検出部と、
   前記検出部により検出された移動面、及び前記距離画像に基づいて、前記複数の撮影画像における物体を検出する物体検出部と、
   前記物体検出部により検出された物体のデータに基づいて、前記移動体の制御を行う制御部と、
   を備える移動体機器制御システム。
10. コンピュータが、
    複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成するステップと、
    前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択するステップと、
    前記選択された標本点の候補から抽出された標本点に基づいて、路面を検出するステップと、
    を実行する、画像処理方法。
11. コンピュータに、
    複数の撮像部で各々撮影された複数の撮影画像における路面の距離に応じた距離値を有する距離画像から、前記距離画像の垂直方向に対する距離値の頻度の分布を示す垂直方向分布データを生成するステップと、
    前記垂直方向分布データにおける距離値の頻度の密度に基づいて、標本点の候補を選択するステップと、
    前記選択された標本点の候補から抽出された標本点に基づいて、路面を検出するステップと、
    を実行させるプログラム。

Images