JP2015156120A - 歩行者認識装置 - Google Patents

Abstract

【課題】車両前方の遠方に位置する歩行者を早期かつ高精度に検出する。
【解決手段】歩行者認識装置は、検出領域を撮像した撮像画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部１６２と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して、撮像画像における対象物が含まれる部分画像を特定する部分画像特定部１６４と、部分画像を構成する構成部位の輝度および色差に基づいて部分画像の対象平均を導出し、部分画像に隣接する参照画像を構成する構成部位の輝度または色差に基づいて参照画像の背景平均を導出し、対象平均および背景平均を用いて背景を示す構成部位および対象物を示す構成部位を特定する対象背景特定部１６６と、部分画像における背景を示す構成部位または対象物を示す構成部位の分布に基づいて、対象物が歩行者か否かを判定する歩行者判定部１６８と、を備える。
【選択図】図２

Description

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する歩行者認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている。このような自車両の前方監視技術により、先行車両のみならず、歩行者との接触事故の回避や軽減にも効果が期待されている。

歩行者の検出技術としては、例えば、ステレオ画像処理によって生成された距離画像を用いて、画像中の道路表面を特定し、道路から所定の高さに位置する画像のブロック群の形状によって歩行者を特定する技術が公開されている（例えば、特許文献１）。この技術では、ブロック群を、高さ方向の上部と下部に分割し、下部の画像のエッジが人の下半身の形状に類似するかを判定することで、歩行者の検出精度を向上させている。

また、ステレオ画像処理によって生成された距離画像を用いて物体を検出する際、検出対象として想定される物体の種類に応じて、物体を特定する条件を予め複数設けておく技術が提案されている（例えば、特許文献２）。さらに、自車両の外界の照度や、可視画像と赤外線画像それぞれからエッジを検出して、エッジ同士の差分を評価して歩行者を検出する処理が公開されている（例えば、特許文献３）。

特開２０１３−１０９７２０号公報 特開２００８−４５９７４号公報 特開２００７−２５９０７６号公報

車両が高速で走行している場合、歩行者が車両前方の遠方に位置していても、歩行者に接近するまでの時間が短時間となることから、衝突を回避すべく、歩行者を早期に検出して制動制御などを開始する必要がある。しかし、歩行者が遠方に位置していると、撮像装置などから取得される歩行者の画像は小さすぎるので、画像のエッジを評価しても歩行者の形状に類似しない場合が多い。そのため、従来の技術では、遠方の歩行者については検出精度を高くできず、歩行者を早期に検出することが困難であった。

本発明は、このような課題に鑑み、車両前方の遠方に位置する障害物を早期かつ高精度に検出することが可能な、歩行者認識装置を提供することを目的としている。

上記課題を解決するために、本発明の歩行者認識装置は、検出領域を撮像した撮像画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して、撮像画像における対象物が含まれる部分画像を特定する部分画像特定部と、部分画像を構成する構成部位の輝度および色差に基づいて部分画像の輝度平均値または色差平均値の少なくとも一方を対象平均として導出するとともに、部分画像に隣接する複数の構成部位を参照画像とし、参照画像を構成する構成部位の輝度または色差に基づいて参照画像の輝度平均値または色差平均値の少なくとも一方を背景平均として導出し、対象平均および背景平均を用いて部分画像を構成する構成部位のうち背景を示す構成部位および対象物を示す構成部位の少なくとも一方を特定する対象背景特定部と、部分画像における背景を示す構成部位および対象物を示す構成部位の少なくとも一方の分布に基づいて、対象物が歩行者か否かを判定する歩行者判定部と、を備えることを特徴とする。

対象背景特定部は、撮像画像の垂直方向の位置が等しく水平方向に並んだ複数の画素の中から、部分画像を構成する画素と、参照画像を構成する画素とを選択し、選択した画素に基づいて導出した対象平均および背景平均を用いて閾値を導出し、部分画像を構成する各構成部位の輝度または色差を閾値と比較することで、部分画像を構成する構成部位が背景を示す構成部位であるか、もしくは、対象物を示す構成部位であるかを特定してもよい。

対象背景特定部は、部分画像について、複数のブロックに分割して正規化し、ブロックを構成部位としてもよい。

歩行者判定部は、部分画像を構成するブロックのうち、垂直方向の位置が低いブロックの分布の方が、垂直方向の位置が高いブロックの分布よりも、大きな重み付けをして、対象物が歩行者か否かを判定してもよい。

歩行者判定部は、部分画像に含まれる対象物が撮像画像の取得位置から所定距離未満の位置にある場合、対象物の輪郭形状に基づいて、対象物が歩行者か否かを判定し、部分画像に含まれる対象物が撮像画像の取得位置から所定距離以上離れている場合、部分画像における背景を示す構成部位および対象物を示す構成部位の少なくとも一方の分布に基づいて、対象物が歩行者か否かを判定してもよい。

本発明によれば、車両前方の遠方に位置する歩行者を早期かつ高精度に検出することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 カラー画像と距離画像を説明するための説明図である。 歩行者特定処理を説明するための第１の図である。 歩行者特定処理を説明するための第２の図である。 歩行者特定処理の流れを説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。かかる衝突防止機能では、自車両前方の様々な障害物を特定し、それが静止している対象物であるか、それとも移動を伴った対象物であるかに応じて適切に回避制御を行っている。移動を伴う対象物としては、主として車両や歩行者が想定されるが、特に、歩行者は検出領域に様々な方向から突然出現する可能性があり、また、その絶対的な大きさも車両と比較して小さいので、特定が困難、または、特定に時間を要するという問題があった。

例えば、対象物の外観とパターンマッチングを行うことで対象物を歩行者と特定する技術を用いたとしても、歩行者であるとの誤認識による車両の誤作動を回避すべく、複数のフレームに亘って外観がマッチングしたことをもって歩行者と特定しなければならない。したがって、歩行者の特定には長時間が費やされることになる。そこで、本実施形態では、対象物の外観に関する外観情報のみならず、その色に関する色情報にも着目し、早期に歩行者らしさを判定することで、車両前方の遠方に位置する歩行者を早期かつ高精度に検出することを目的としている。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置（歩行者認識装置）を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０（歩行者認識装置）と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を、後述する距離画像と区別する。

また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。カラー画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、カラー画像に基づく輝度および色差、並びに、距離画像に基づく車両１との奥行距離を用いて、車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

また、車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、対象物を歩行者と特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置導出部１６２、部分画像特定部１６４、対象背景特定部１６６、歩行者判定部１６８としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、部分画像特定処理、歩行者特定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。以下、かかる視差情報を導出する単位となるブロックを視差ブロックと称する。

ただし、画像処理部１６０では、検出分解能単位である視差ブロック毎に視差を導出することはできるが、その視差ブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えば視差ブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する奥行距離に相当）を画像データに対応付けた画像を距離画像という。

図３は、カラー画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のようなカラー画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つのカラー画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このようなカラー画像２１０から視差ブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各視差ブロックには、その視差ブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出された視差ブロックを黒のドットで表している。

図２に戻って説明すると、３次元位置導出部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内の視差ブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む実空間における３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位の距離画像２１２における視差からその対象部位の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置導出部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。そして、導出された３次元位置情報を改めて距離画像２１２に対応付ける。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（部分画像特定処理）
部分画像特定部１６４は、距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位（画素やブロック）同士をグループ化して、一部に対象物が含まれた部分画像を特定する。具体的に、部分画像特定部１６４は、任意の対象部位を基点として、その対象部位と、水平距離の差分、高さの差分、および、奥行距離の差分が予め定められた所定範囲内にある他の対象部位をグループ化し、その対象部位も一体的な部分画像とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、部分画像特定部１６４は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分、高さの差分、および、奥行距離の差分が所定範囲内にある他の対象部位をグループ化する。結果的に、距離が所定範囲内であれば、それら全ての対象部位が、対象物が示された部分画像としてグループ化されることとなる。

（歩行者特定処理）
図４および図５は、歩行者特定処理を説明するための図である。歩行者特定処理では、対象部位をグループ化した対象物の外観に基づいて、対象物が歩行者であるか否か判定される。歩行者が車両１に近い場合、歩行者判定部１６８は、エッジを強調して、輪郭形状をモデル形状と比較することで、歩行者を特定する。

一方、図４（ａ）に示すように、歩行者（ここでは、対象物２２０）が車両１（撮像画像の取得位置）から遠いと、撮像装置１１０から取得されるカラー画像２１０において、当該歩行者の画像が小さくなり輪郭形状からの歩行者の特定が困難となる。例えば、本来、図４（ｂ）に示すように、輪郭形状から明確に歩行者と判別可能な画像２１６ａが、図４（ｃ）に示すように、細かな輪郭形状が潰れて粗い形状の画像２１６ｂとなってしまう。

そこで、本実施形態では、対象物２２０が所定距離以上離れているとき、対象背景特定部１６６による画像処理が行われる。

図４（ｄ）に示すように、上記の部分画像特定部１６４は、矩形の部分画像２２２ａを生成する。対象部位（ここでは、視差ブロック）がグループ化された部分画像２２２ｂが全体として矩形でない場合、矩形となるように隣接する視差ブロック２２４を追加して矩形形状にグループ化する。その結果、部分画像２２２ａは、各列の垂直方向のブロック数が等しくなり、かつ、各列の水平方向のブロック数が等しくなる。

対象背景特定部１６６は、図４（ｅ）に示すように、部分画像２２２ａを構成する視差ブロックの各行ごとに、部分画像２２２ａから水平方向に隣接する４ブロック、左右に計８ブロックを、部分画像２２２ａの垂直方向の高さ分、選択する。以下、選択された視差ブロックを、参照画像２２６と称する。すなわち、対象背景特定部１６６は、視差ブロックの垂直方向の位置が等しく水平方向に並んだ複数の画素の中から、部分画像２２２ａを構成する画素と、参照画像２２６の画素とを選択することとなる。

そして、対象背景特定部１６６は、各行ごとの部分画像２２２ａおよび参照画像２２６それぞれについて、輝度の平均値、および、色差の平均値を導出する。ここでは、例えば、ＹＵＶ色空間で表される色情報のうち、輝度Ｙと色差Ｕ（輝度Ｙと青色成分との差）を用いる。

上記のように、部分画像特定部１６４は、視差ブロックがグループ化された部分画像２２２ｂが全体として矩形でない場合、矩形となるように隣接する視差ブロック２２４を追加して矩形形状にグループ化して、部分画像２２２ａを生成する。そのため、部分画像２２２ａには、隣接する視差ブロック２２４など、対象物２２０が含まれていない可能性が高い視差ブロックが含まれる。そこで、対象背景特定部１６６は、例えば、部分画像２２２ａについて、水平方向の両端の視差ブロックは除外し、中心側の２ブロックを構成する画素の輝度の平均値である対象平均が導出される。

参照画像２２６については、部分画像２２２ａの左右両方の計８つの視差ブロックを構成する画素の輝度の平均値、および、色差の平均値である背景平均が導出される。

その後、対象背景特定部１６６は、視差ブロックの各行ごとに、対象平均と背景平均の平均を輝度および色差それぞれについて導出して、後述する２値化処理の閾値とする。

また、対象背景特定部１６６は、図５（ａ）に示すように、部分画像２２２ａについて、上記の視差情報の導出単位となった視差ブロックとは異なるブロックに分割する。具体的には、対象背景特定部１６６は、部分画像２２２ａを構成する画素を、縦横それぞれ１０ブロックに大凡均等に分割する。こうして、部分画像２２２ａは、その大きさ（画素の多さ）に関わらず、縦横１０のブロックで構成されるように、正規化される。以下、かかる正規化によって生成されたブロックを正規化ブロックと称する。

続いて、対象背景特定部１６６は、正規化ブロック毎の輝度の平均値、および、色差の平均値に基づいて、対象平均と背景平均を用いて、部分画像を構成する正規化ブロックのうち、対象物２２０を示す正規化ブロックを特定する。

具体的に、対象背景特定部１６６は、正規化ブロックの行ごとに２値化処理を行う。２値化処理の閾値は、上記のように、視差ブロックの各行ごとに導出されている。しかし、正規化の対象は、視差ブロックではなく正規化ブロックであることから、正規化ブロックのそれぞれの行に、視差ブロックの行ごとに導出された閾値のいずれかを対応付けなければならない。そこで、対象背景特定部１６６は、正規化ブロックの行それぞれについて、正規化ブロックの行の垂直方向の中心に最も近い視差ブロックの行を対応付ける。そして、正規化ブロックの正規化処理に、その正規化ブロックの行に対応付けられた視差ブロックの行を用いて導出された閾値を用いる。

こうして、対象背景特定部１６６は、正規化ブロックそれぞれの輝度の平均値、および、色差の平均値と、特定された閾値とを比較し、輝度の平均値、および、色差の平均値が閾値よりも対象平均寄りの値であるか、背景平均寄りの値であるかを判定する。

対象背景特定部１６６は、各正規化ブロックについて、輝度の平均値が閾値よりも対象平均寄りの値であれば、輝度を１とし、輝度の平均値が閾値よりも背景平均寄りの値であれば、輝度を０とする。対象背景特定部１６６は、同様の処理を色差についても行う。

例えば、対象平均の方が背景平均よりも大きい場合、対象背景特定部１６６は、正規化ブロックの輝度の平均値が、閾値よりも大きければ、輝度を１とし、閾値よりも小さければ、輝度を０とする。

対象背景特定部１６６は、上記の２値化処理を正規化ブロックの各行に対して行い、部分画像２２２ａを構成する全ての正規化ブロックの輝度値、および、色差を２値化する。そして、輝度値と色差の２つの値について、値が１となっているものが１つ以上あれば、その正規化ブロックの代表値を１とする。また、輝度値と色差の２つの値について、いずれも値が０となっていれば、その正規化ブロックの代表値を０とする。図５（ｂ）では、代表値が１の正規化ブロックを黒塗りで示し、代表値が０の正規化ブロックを白抜きで示す。

ここでは、代表値が１の正規化ブロックは、対象物２２０の一部を示し、代表値が０の正規化ブロックは、対象物２２０の背景の一部を示すと見做す。

このように、対象背景特定部１６６は、撮像装置１１０から取得したカラー画像のうち、対象物２２０を示す所定の形状（例えば、矩形）の部分画像２２２ａを特定し、部分画像２２２ａの輝度、および、色差に基づいて、部分画像２２２ａを構成する正規化ブロックにおける、対象物２２０を示す正規化ブロックを特定する。

ここでは、正規化ブロックごとに、対象物２２０を示すものか否かを特定する場合について説明したが、特定処理の単位である構成部位は、正規化ブロックごとではなく、画素であってもよいし、他の画素群であってもよい。

歩行者判定部１６８は、部分画像２２２ａにおける対象物２２０を示す正規化ブロックの分布に基づいて、部分画像２２２ａが歩行者を示すか、すなわち、対象物２２０が歩行者であるか否かを判定する。本実施形態では、部分画像２２２ａを所定数のブロックに正規化していることから、歩行者判定部１６８は、部分画像２２２ａにおける背景を示す正規化ブロックの分布に基づいて、対象物２２０が歩行者であるか否かを判定できる。

図５（ｃ）に示す例では、歩行者判定部１６８は、上から１行目の正規化ブロックは、代表値が０の正規化ブロックが１０個、すべて連続していることを特定する。同様に、歩行者判定部１６８は、上から２行目の正規化ブロックは、代表値が０の正規化ブロックが８個、代表値が１の正規化ブロックを挟んで左右に２つのグループに分かれていることを特定する。

また、歩行者判定部１６８は、上から９行目の正規化ブロックについては、代表値が０の正規化ブロックが８個、代表値が１の正規化ブロックに分断されて、３つのグループに分かれていることを特定する。

こうして、歩行者判定部１６８は、正規化ブロックのすべての行について、代表値が０の正規化ブロックについて、総数とグループの数を特定する。

そして、歩行者判定部１６８は、上から１〜３行目までの正規化ブロックを、歩行者の頭部に対応するものとし、上から４〜７行目までの正規化ブロックを、歩行者の胴体に対応するものとし、上から８〜１０行目までの正規化ブロックを、歩行者の脚部に対応するものとして、以下の判定処理を行う。

歩行者判定部１６８は、図５（ｄ）に示すように、部分画像２２２ａにおける、代表値が０となった背景を示す正規化ブロックの分布によって、歩行者の画像との類似度合いを判定し、歩行者の画像に類似する特徴に該当すると、評価ポイントが加算される。以下、歩行者の画像に類似する特徴を列記する。
ａ．頭部（１〜３行目）
・対象物２２０を示す正規化ブロックが、胴部や脚部よりも多く連続する（横幅が大きい）
・対象物２２０を示す正規化ブロックが、行ごとに１つのグループにまとまっている（複数のグループに分割されていない）
ｂ．胴部（４〜７行目）
・対象物２２０を示す正規化ブロックが、行ごとに１つのグループにまとまっている（複数のグループに分割されていない）
・対象物２２０を示す正規化ブロックの数が、行ごとに、３〜５つである
ｃ．脚部（８〜１０行目）
・対象物２２０を示す正規化ブロックが、行ごとに２つのグループに分かれている
・２つのグループそれぞれを構成する正規化ブロックの数が、１〜３つである

また、部分画像２２２ａにおいては、頭部寄りの部分よりも、脚部寄りの部分の方が、歩行者の画像の特徴が表れやすい。そこで、歩行者判定部１６８は、画像の垂直方向の位置が低い正規化ブロックの集合の形状（分布）の方が、垂直方向の位置が高い正規化ブロックの集合の形状（分布）よりも、大きな重み付けをして、評価ポイントの加算を行う。

このように、歩行者判定部１６８は、部分画像２２２ａにおける背景を示す正規化ブロックの分布が、上記の歩行者の画像に類似する特徴に該当するか否かを判定し、該当する場合、部分画像２２２ａに、該当する特徴に対応するポイントを加算する。そして、すべての特徴についての判定が終了した後、歩行者判定部１６８は、積算された評価ポイントが所定値以上である場合、部分画像２２２ａが歩行者を示す、すなわち、対象物２２０が歩行者であると判定する。

図６は、歩行者特定処理の流れを説明するためのフローチャートである。図６に示す歩行者特定処理は、撮像装置１１０から取得されるカラー画像のフレーム毎に繰り返し実行される。

図６に示すように、画像処理部１６０は、パターンマッチングを用いて視差ブロックの視差を導出して距離画像２１２を生成する（Ｓ３００）。そして、３次元位置導出部１６２は、視差ブロックの実空間における３次元位置を導出する（Ｓ３０２）。部分画像特定部１６４は、距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における視差ブロック同士をグループ化して、一部に対象物２２０が含まれた部分画像２２２ａを特定する（Ｓ３０４）。

歩行者判定部１６８は、特定された部分画像２２２ａのうち未選択のものを１つ選択する（Ｓ３０６）。そして、歩行者判定部１６８は、選択した対象物２２０が、車両１（撮像画像の取得位置）から所定距離以上離れているか否かを判定する（Ｓ３０８）。所定距離以上離れていない場合（Ｓ３０８におけるＮＯ）、歩行者判定部１６８は、対象物２２０の画像にエッジ強調処理を施し（Ｓ３１２）、エッジが示す輪郭形状が、歩行者の形状に類似して歩行者と見做せるか否かを判定する（Ｓ３１４）。歩行者と見做せない場合（Ｓ３１４におけるＮＯ）、未選択判定処理Ｓ３１８に処理を移す。

エッジが示す輪郭形状が、歩行者の形状に類似して歩行者と見做せる場合（Ｓ３１４におけるＹＥＳ）、当該対象物２２０を歩行者と特定して（Ｓ３１６）、まだ選択されていない部分画像２２２ａがあるか否かを判定する（Ｓ３１８）。まだ選択されていない部分画像２２２ａがなければ（Ｓ３１８におけるＮＯ）、当該歩行者特定処理を終了する。まだ選択されていない部分画像２２２ａがある場合（Ｓ３１８におけるＹＥＳ）、部分画像選択処理Ｓ３０６に処理を移す。

対象物２２０が車両１から所定距離以上離れている場合（Ｓ３０８におけるＹＥＳ）、対象背景特定部１６６は、部分画像２２２ａおよび参照画像２２６を用いて、画素の輝度、および、色差に基づいて、各行ごとに閾値を導出する（Ｓ３２０）。そして、対象背景特定部１６６は、部分画像２２２ａを構成する画素を、縦横それぞれ１０ブロックに大凡均等に分割して正規化する（Ｓ３２２）。

その後、対象背景特定部１６６は、正規化ブロックそれぞれについて、画素の輝度の平均値、および、色差の平均値を導出し、対応する閾値と比較する。そして、輝度の平均値が閾値よりも対象平均寄りの値であれば、輝度を１とし、輝度の平均値が閾値よりも背景平均寄りの値であれば、輝度を０とする２値化処理を行う。色差についても２値化処理を行う。そして、輝度値と色差の２つの値について、値が１となっているものが１つ以上あれば、その正規化ブロックの代表値を１とする。また、輝度値と色差の２つの値について、値が０となっているものが２つであれば、その正規化ブロックの代表値を０とする（Ｓ３２４）。

歩行者判定部１６８は、部分画像２２２ａにおける背景を示す正規化ブロックの分布を特定し、歩行者の画像との類似度合いを判定して、評価ポイントを導出する（Ｓ３２６）。評価ポイントが所定値を超えていれば（Ｓ３２８におけるＹＥＳ）、歩行者判定部１６８は、対象物２２０を歩行者と特定し（Ｓ３１６）、未選択判定処理Ｓ３１８に処理を移す。評価ポイントが所定値を超えていなければ（Ｓ３２８におけるＮＯ）、未選択判定処理Ｓ３１８に処理を移す。

上述したように、本実施形態の歩行者特定処理によれば、歩行者が車両１から遠方に離れており、撮像装置１１０から取得される歩行者の画像が小さすぎて、輪郭による歩行者の特定が困難であっても、歩行者を早期かつ高精度に検出することが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、対象背景特定部１６６は、対象物を示すものか背景を示すものかを特定する特定処理の処理単位である構成部位として、部分画像２２２ａを正規化した正規化ブロックを用いる場合について説明したが、上記のように、構成部位は、画素であってもよいし、他の画素群であってもよい。ただし、部分画像２２２ａを正規化して正規化ブロックとすれば、部分画像２２２ａの大きさに関わらず、対象物を示す正規化ブロックの分布から、歩行者か否かの判定を行うことが容易となる。

また、上述した実施形態では、正規化ブロックを構成する画素の輝度、および、色差と、対応する閾値との比較によって、対象物を示す正規化ブロックを特定する場合について説明したが、閾値との比較以外の処理によって、対象物を示す正規化ブロックを特定してもよい。ただし、閾値との比較によって対象物を示す正規化ブロックを特定することで、簡易な処理で特定処理を遂行することが可能となる。

また、上述した実施形態では、対象背景特定部１６６は、部分画像２２２ａを構成する画素と、部分画像２２２ａに隣接する部分画像２２２ａ外の参照画像２２６の画素それぞれの輝度、および、色差から、対象物を示す正規化ブロックを特定する閾値をそれぞれ導出する場合について説明した。しかし、閾値は任意の値が設定されていてもよい。ただし、参照画像２２６には背景が含まれる可能性が高いことから、当該閾値を、部分画像２２２ａを構成する画素と、参照画像２２６の画素それぞれの輝度、および、色差から導出することで、部分画像２２２ａから対象物と背景を高精度に分別することが可能となる。その結果、歩行者の検出精度が向上する。

また、上述した実施形態では、対象背景特定部１６６は、部分画像２２２ａの正規化処理を行った後、閾値との比較によって、部分画像２２２ａの輝度、および、色差の２値化処理を行う場合について説明した。しかし、対象背景特定部１６６は、部分画像２２２ａの輝度、および、色差の２値化処理を行った後、部分画像２２２ａの正規化処理を行ってもよい。

また、上述した実施形態では、歩行者判定部１６８は、画像の垂直方向の位置が低い正規化ブロックの集合の形状（分布）の方が、垂直方向の位置が高い正規化ブロックの集合の形状（分布）よりも、大きな重み付けをして、評価ポイントの加算を行う場合について説明した。しかし、歩行者判定部１６８は、このような重み付けを行わずともよい。ただし、かかる重み付けを行うことで、形状の特定がし易い、人の下半身についてのポイントの影響が大きくなり、検出精度を向上することが可能となる。

また、上述した実施形態では、対象背景特定部１６６は、部分画像を構成する正規化ブロックのうち対象物を示す正規化ブロックを特定し、歩行者判定部１６８は、部分画像における対象物を示す正規化ブロックの分布に基づいて、対象物が歩行者か否かを判定する場合について説明した。しかし、対象背景特定部１６６は、部分画像を構成する正規化ブロックのうち背景を示す正規化ブロックを特定し、歩行者判定部１６８は、部分画像における背景を示す正規化ブロックの分布に基づいて、対象物が歩行者か否かを判定してもよい。さらには、対象物を示す正規化ブロックおよび背景を示す正規化ブロックの両方の分布に基づいて、対象物が歩行者か否かを判定してもよい。

また、上述した実施形態では、対象背景特定部１６６は、ＹＵＶ色空間で表される色情報のうち、輝度Ｙと色差Ｕを用いて、部分画像を構成する正規化ブロックのうち対象物を示す正規化ブロックを特定する場合について説明した。しかし、対象背景特定部１６６は、ＹＵＶ色空間で表される色情報のうち、輝度Ｙと色差Ｖを用いて、または、輝度Ｙと色差Ｕ、Ｖの両方を用いて、部分画像を構成する正規化ブロックのうち対象物を示す正規化ブロックを特定してもよい。さらに、対象背景特定部１６６は、色差Ｕ、Ｖのいずれか一方、または、両方を用いて、部分画像を構成する正規化ブロックのうち対象物を示す正規化ブロックを特定してもよい。

また、対象背景特定部１６６は、ＹＵＶ色空間で表される色情報に限らず、ＲＧＢの各色相の輝度で表される色情報を用いてもよいし、カラー画像に限らず、グレースケールの輝度で表される画像情報を用いてもよい。ただし、撮像画像がカラー画像であって、対象背景特定部１６６は、輝度に加えて色差にも基づいて、部分画像を構成する正規化ブロックのうち対象物を示す正規化ブロックを特定することで、輝度Ｙの差がつき難い背景と対象物であっても色差Ｕ、Ｖに差があれば識別が容易となる。

また、上述した実施形態では、歩行者判定部１６８は、部分画像に含まれる対象物が車両１（撮像画像の取得位置であって、撮像装置１１０の位置）から所定距離未満の位置にある場合、対象物の輪郭形状に基づいて、対象物が歩行者か否かを判定し、部分画像に含まれる対象物が車両１から所定距離以上離れている場合、部分画像における対象物を示す正規化ブロックの分布に基づいて、対象物が歩行者か否かを判定する場合について説明した。しかし、歩行者判定部１６８は、部分画像に含まれる対象物の位置にかかわらず、部分画像における対象物を示す正規化ブロックの分布に基づいて、対象物が歩行者か否かを判定してもよい。ただし、部分画像に含まれる対象物が当該歩行者認識装置から所定距離未満の位置にある場合、対象物の輪郭形状に基づいて、対象物が歩行者か否かを判定し、正規化ブロックの分布による判定を回避することで、処理負荷を低減することが可能となる。

なお、本明細書の歩行者特定処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する歩行者認識装置に利用することができる。

１ 車両
１００ 環境認識システム
１２０ 車外環境認識装置（歩行者認識装置）
１６０ 画像処理部
１６２ ３次元位置導出部
１６４ 部分画像特定部
１６６ 対象背景特定部
１６８ 歩行者判定部
２２０ 対象物
２２２ａ 部分画像
２２６ 参照画像

Claims (5)

1. 検出領域を撮像した撮像画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して、前記撮像画像における対象物が含まれる部分画像を特定する部分画像特定部と、
   前記部分画像を構成する構成部位の輝度および色差に基づいて該部分画像の輝度平均値または色差平均値の少なくとも一方を対象平均として導出するとともに、該部分画像に隣接する複数の構成部位を参照画像とし、該参照画像を構成する構成部位の輝度または色差に基づいて該参照画像の輝度平均値または色差平均値の少なくとも一方を背景平均として導出し、該対象平均および該背景平均を用いて該部分画像を構成する構成部位のうち背景を示す構成部位および前記対象物を示す構成部位の少なくとも一方を特定する対象背景特定部と、
   前記部分画像における前記背景を示す構成部位および前記対象物を示す構成部位の少なくとも一方の分布に基づいて、前記対象物が歩行者か否かを判定する歩行者判定部と、
   を備えることを特徴とする歩行者認識装置。
2. 前記対象背景特定部は、前記撮像画像の垂直方向の位置が等しく水平方向に並んだ複数の画素の中から、前記部分画像を構成する画素と、前記参照画像を構成する画素とを選択し、選択した画素に基づいて導出した前記対象平均および前記背景平均を用いて閾値を導出し、該部分画像を構成する各構成部位の輝度または色差を該閾値と比較することで、該部分画像を構成する構成部位が背景を示す構成部位であるか、もしくは、前記対象物を示す構成部位であるかを特定することを特徴とする請求項１に記載の歩行者認識装置。
3. 前記対象背景特定部は、前記部分画像について、複数のブロックに分割して正規化し、該ブロックを前記構成部位とすることを特徴とする請求項１または２に記載の歩行者認識装置。
4. 前記歩行者判定部は、前記部分画像を構成するブロックのうち、垂直方向の位置が低い該ブロックの分布の方が、該垂直方向の位置が高い該ブロックの分布よりも、大きな重み付けをして、前記対象物が歩行者か否かを判定することを特徴とする請求項３に記載の歩行者認識装置。
5. 前記歩行者判定部は、
   前記部分画像に含まれる対象物が前記撮像画像の取得位置から所定距離未満の位置にある場合、該対象物の輪郭形状に基づいて、該対象物が歩行者か否かを判定し、
   前記部分画像に含まれる対象物が前記撮像画像の取得位置から所定距離以上離れている場合、該部分画像における前記背景を示す構成部位および該対象物を示す構成部位の少なくとも一方の分布に基づいて、該対象物が歩行者か否かを判定することを特徴とする請求項１から４のいずれか１項に記載の歩行者認識装置。