JP2008065634A - 物体検出装置および物体検出方法 - Google Patents

Abstract

【課題】単一の物体を複数の小物体とみなしてしまうといった誤検出を抑制し、物体の検出精度の向上を図る。
【解決手段】フィルタ部３は、距離画像を構成する距離データのそれぞれの信頼性を評価し、この信頼性に基づいて、距離データから有効距離データと無効距離データとを抽出する。物体検出部４は、距離画像における有効距離データのヒストグラムに基づいて、検出対象となる物体を検出する。グループ検出部５は、距離画像上において、有効距離データが存在する領域を分離条件とした上で、互いに隣接した無効距離データをグループ化する。グループチェック部６は、グループ化されたグループの中から、個々のグループ内における無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出する。物体修正部７は、複数の物体の間に同一物体グループが介在する場合、これらを１つの物体とみなす。
【選択図】図１

Description

本発明は、物体検出装置および物体検出方法に係り、特に、ステレオ画像処理によって生成された距離画像を用いて、物体を検出する手法に関する。

例えば、特許文献１には、ステレオ画像処理によって距離画像を生成し、距離画像における距離データのヒストグラムを用いて、物体（例えば、自車両前方を走行する先行車）を検出する車外監視システムが開示されている。具体的には、まず、距離画像を縦短冊状に分割することによって、距離画像上に複数の区分が設定される。つぎに、それぞれの区分について、一つの区分内に存在する距離データのヒストグラムが算出され、その最頻値が距離代表値として特定される。そして、検出対象である物体の実サイズに応じて設定された検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化することで、距離画像上において物体が検出される。
特開平５−２６５５４７号公報

上述した特許文献１は、先行車という単一物体の検出に関するものであり、複数種の物体（例えば、先行車と歩行者）が出現し得る状況への適用については考慮されていない。例えば、自車両前方を監視するシステムでは、１台の先行車が走行している状況や、２人の歩行者（或いは２台のバイク等）が併走している状況が想定されるが、これらの状況で得られる距離画像が互いに類似してしまうケースがある。そのため、１台の先行車を２人の歩行者とみなしてしまうといった誤検出が生じる可能性がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、単一の物体を複数の小物体とみなしてしまうといった誤検出を抑制し、物体の検出精度の向上を図ることである。

かかる課題を解決するために、第１の発明は、フィルタ部と、物体検出部と、グループ検出部と、グループチェック部と、物体修正部とを有し、ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出装置を提供する。フィルタ部は、距離画像を構成する距離データのそれぞれの信頼性を評価し、この信頼性に基づいて距離データから有効距離データと無効距離データとを抽出する。物体検出部は、距離画像における有効距離データのヒストグラムに基づいて、検出対象となる物体を検出する。グループ検出部は、距離画像上において、有効距離データが存在する領域を分離条件とした上で、互いに隣接した無効距離データをグループ化する。グループチェック部は、グループ検出部によってグループ化されたグループの中から、個々のグループ内における無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出する。物体修正部は、物体検出部によって検出された複数の物体の間に、グループチェック部によって抽出された同一物体グループが介在する場合、これらの物体を１つの物体とみなす。

第２の発明は、フィルタ部と、グループ検出部と、グループチェック部と、物体検出手段とを有し、ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出装置を提供する。フィルタ部は、距離画像を構成する距離データのそれぞれの信頼性を評価し、この信頼性に基づいて距離データから有効距離データと無効距離データとを抽出する。グループ検出部は、距離画像上において、有効距離データが存在する領域を分離条件とした上で、互いに隣接した無効距離データをグループ化する。グループチェック部は、グループ検出部によってグループ化されたグループの中から、個々のグループ内における無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出する。物体検出手段は、距離画像における有効距離データのヒストグラムに基づいて検出された複数の物体の間に、グループチェック部によって抽出された同一物体グループが介在する場合、当該複数の物体を１つの物体とみなす。

第３の発明は、ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出方法を提供する。この物体検出方法は、距離画像を構成する距離データのそれぞれの信頼性を評価し、この信頼性に基づいて距離データから有効距離データと無効距離データとを抽出するステップと、距離画像における有効距離データのヒストグラムに基づいて、検出対象となる物体を検出するステップと、距離画像上において、有効距離データが存在する領域を分離条件とした上で、互いに隣接した無効距離データをグループ化するステップと、グループ化されたグループの中から、個々のグループ内における無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出するステップと、検出対象となる物体が複数検出された際、複数の物体の間に同一物体グループが介在する場合、複数の物体を１つの物体とみなすステップとを有する。

第４の発明は、ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出方法を提供する。この物体検出方法は、距離画像を構成する距離データのそれぞれの信頼性を評価し、この信頼性に基づいて距離データから有効距離データと無効距離データとを抽出するステップと、距離画像上において、有効距離データが存在する領域を分離条件とした上で、互いに隣接した無効距離データをグループ化するステップと、グループ化されたグループの中から、個々のグループ内における無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出するステップと、距離画像における有効距離データのヒストグラムに基づいて検出された複数の物体の間に、同一物体グループが介在する場合、当該複数の物体を１つの物体とみなすステップとを有する。

ここで、第１から第４の発明のいずれかにおいて、上記無効距離データのグループ化は、同一値とみなせる複数の有効距離データによって囲まれた複数の無効距離データを一グループとしてまとめることが好ましい。

また、第１から第４の発明のいずれかにおいて、上記同一物体グループの抽出は、グループ内に存在する複数の無効距離データのうち、グループと隣接した有効距離データとの差が所定のしきい値以下である無効距離データの個数を算出するとともに、算出された個数を所定の判定しきい値と比較することによって、行うことが好ましい。その際、距離データの算出単位となる画素ブロックのテクスチャの強度を評価するとともに、テクスチャの強度が強いと評価された画素ブロックに関する無効距離データのみを用いて、同一物体グループの抽出を行ってもよい。

本発明では、複数の物体が検出された際、同一物体グループ、すなわち、同一物体とみなすことができる無効距離データのグループが両者の間に介在する場合には、これらを１つの物体とみなしている。個々の無効距離データの信頼性は高くないが、隣接したもの同士によって構成されるグループとしての統計をとることで、同一物体であるか否かを判断するのに有意な情報が得られる。この情報を加味して物体検出を行えば、本来、単一の物体として検出すべき状況を、分裂した複数の小物体とみなしてしまうといった誤検出を抑制できるので、物体の検出精度の向上を図ることができる。

図１は、本実施形態に係る物体検出装置のブロック構成図である。この物体検出装置は、一例として、自動車等の車両に搭載され、自車両前方に存在する物体（先行車や歩行者等）を検出する。物体検出装置は、ステレオカメラ１と、距離画像生成部２と、フィルタ部３と、物体検出部４と、グループ検出部５と、グループチェック部６と、物体修正部７とを主体に構成されている。

ステレオカメラ１は、車内のルームミラー近傍に取り付けられており、自車両前方の景色を所定の間隔で時系列的に撮像することによって、一対の撮像画像をステレオ画像として随時出力する。距離画像生成部２は、時系列的に撮像されたステレオ画像のそれぞれに対してステレオ画像処理を随時施し、距離画像を随時生成する。ここで、「距離画像」は、画像平面（具体的には、後述する基準画像）上の位置に対応付けされた距離データ（視差）の集合として定義される。

図２に示すように、距離データの算出単位は、ステレオカメラ１を構成する一方のカメラ（例えば右カメラ）からの撮像画像を縦横に分割することによって得られる単一の画素ブロックＰＢij（画像の一部を構成する小領域）である。一例として図示したように、右カメラによって得られる基準画像が512×200画素、一画素ブロックＰＢijのサイズが４×４の場合、一フレーム相当の撮像画像から、最大で画素ブロックＰＢijの個数相当（128×50個）の視差群が算出される。視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がステレオカメラ１に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像（ステレオカメラ１を構成する他方のカメラ（例えば左カメラ）の撮像画像）において特定する。上述したように、ステレオカメラ１から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰＢijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。距離画像生成部２は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。２つの画素ブロックの相関は、例えば、輝度差絶対和または輝度差自乗和といった周知の相関評価値を用いて評価することができる。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量が、その画素ブロックＰＢijの視差ｄ（距離データ）となる。画素ブロックＰＢij内に写し出された対象物の実空間上の位置（Ｘ，Ｙ，Ｚ）は、この画素ブロックＰＢijの画像平面上の座標（ｉ，Ｊ）と、その視差ｄとを入力とした座標変換によって一義的に特定される。

フィルタ部３は、以下に述べる所定の評価条件１〜５に基づいて、距離画像を構成する個々の距離データの信頼性を評価する。これらの評価条件１〜５のすべてを具備する場合は、距離データの信頼性が高いと評価され、「有効距離データ」として後段の物体検出部４に出力される（有効化）。これに対して、いずれかを具備せず有効距離データとされなかったものは、「無効距離データ」として後段のグループ検出部５に出力される（無効化）。フィルタ部３の役割は、信頼性の低いノイズ的な距離データを除去して、物体検出部４における物体の検出精度を確保する点にある。なお、本実施形態では、評価条件１〜５のすべてを用いているが、これらすべてを用いることは必須ではなく、これらとは別の評価条件を付加してもよい。

（評価条件１）テクスチャの強度による選別
テクスチャの強度（すなわち、画素ブロック内の輝度変化の程度）が低くなるほどステレオ画像処理におけるミスマッチの発生率が高くなるという事実が示すように、テクスチャの強度は距離データの信頼性と大きな相関を有する。そこで、テクスチャの強度を、画素ブロック内における水平方向の輝度エッジ（ＤＣＤＸ）の個数で評価し、これが所定数以上の画素ブロックに関する距離データを有効とし、それ以外のものを無効とする。具体的には、４×４の画素ブロックにおいて、まず、水平方向に隣接した画素対の輝度変化量（絶対値）ΔＰが算出される。ただし、一番左側の画素列については、１つ左側に隣接した画素ブロックの一番右側の画素列から輝度変化量ΔＰが算出される。これにより、１つの画素ブロックに関して１６個の輝度変化量ΔＰが算出される。つぎに、これらの１６個の輝度変化量ΔＰのうち、所定のしきい値（これをＤＣＤＸ値と呼ぶ）以上のものの数がカウントされる。このＤＣＤＸ値は、例えば、３から７の範囲において適切に設定される。そして、このＤＣＤＸ値以上の輝度変化量ΔＰの数が所定値（例えば４）以上の画素ブロックに関する距離データのみが有効とされ、それ以外の距離データは無効とされる。

（評価条件２）相関先の相関評価値の大小による選別
相関評価値として輝度差絶対和や輝度差自乗和を用いる場合、画素ブロック同士の相関が高くなるほど、その値が小さくなる。そこで、相関先として特定された画素ブロックに関する相関評価値を所定のしきい値と比較し、しきい値以下の画素ブロックに関する距離データを有効とし、しきい値よりも大きな画素ブロックに関する距離データを無効とする。

（評価条件３）探索範囲内における相関評価値の最大値と最小値の差による選別
上述したように、エピポーラライン上に存在する相関先候補のそれぞれに関して、相関評価値が算出されるが、その最大値と最小値との差が所定のしきい値と比較される。そして、このしきい値以上の画素ブロックに関する距離データを有効とし、しきい値よりも小さな画素ブロックに関する距離データを無効とする。

（評価条件４）ペアリングフィルタによる選別
ペアリングフィルタは、ステレオ画像処理において相関が取れているとされた画素ブロック間の位置関係の矛盾を検出し、それに係る距離データを無効化する。具体的には、基準画像データ中の複数の画素ブロックが、比較画像中の同一の画素ブロックと相関が取れている場合、この画素ブロックのいずれかに係る距離データを有効化するとともに、残りの画素ブロックに係る距離データを無効化にする。本来、ステレオ法の原理から、基準画像における画素ブロック（相関元）と、比較画像における画素ブロック（相関先）とは、一対一でマッチングが取られるはずである。しかしながら、実際には、例えば、道路のパイロン列、複数の照明灯または複数の電柱といった複数の類似物が映し出されている状況では、一つの相関元に対して、複数の相関先がミスマッチしまうことがある。このような状況では、統計的な見地から、距離データ（視差）が大きいものは偽情報である確率が高いことが知られている。そこで、距離データの値の最も小さいもの、すなわち遠方を示す距離データを有効とし、それ以外を無効とする。ただし、どちらの距離データも一定値以下の場合は、それらはいずれも有効として出力する。ペアリングフィルタによって除去された距離データの数が多いということは、ミスマッチが多いということを示している。なお、ペアリングフィルタにおける具体的な処理手順については、特開平７−１５２９１４号公報に開示されているので、必要ならば参照されたい。

（評価条件５）グルーピングフィルタによる選別
グループフィルタは、近接した値の距離データを有し、かつ、互いに隣接した画素ブロック同士をグループ化するとともに、グループ化された画素ブロックの面積（画素数）を算出し、その面積の大きさに応じて、距離データの選別（有効／無効）を行うフィルタである。一般に、ノイズ等の影響によるミスマッチにより生じた距離データは、周囲の距離データと大きく異なり、かつ、その距離データと同様の値を有するグループの面積が比較的小さいという特性がある。そこで、グループフィルタは、距離データ領域において同様の値を有する距離データ群の面積を検出し、面積が小さな距離データを無効化する。なお、グループフィルタにおける具体的な処理手順については、特開平１０−２８５５８２号公報に開示されているので、必要ならば参照されたい。

物体検出部４は、距離画像上において、互いに隣接した有効距離データをグループ化することによって、検出対象となる物体を検出する。具体的には、まず、地面上に存在する物体と、そうでない物体との切り分けを行う際の位置的な基準を与えるべく、実空間上における地面の形状（Ｘ，Ｙ，Ｚ）が検出される。周知のように、地面形状は、例えば道路モデルとして表現することができるが、このモデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の領域に分け、領域毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することによって算出される。

つぎに、物体検出部４は、地面より上に存在する物体の距離分布を算出する。そのために、図３に示すように、距離画像上に複数の区分Ｓ1〜Ｓnが設定される。区分Ｓ1〜Ｓnのそれぞれは、距離画像を横方向に分割することによって得られる縦短冊形状を有し、地面近傍が写し出される画像下側と、空が写し出される画像上方とを除いた領域として定義される。なお、同図は、理解を容易にするために、本来の距離データの集合（距離画像）ではなく、便宜上、自車両前方の状況を図示している点に留意されたい。つぎに、図４に示すように、個々の区分Ｓ（ＳはＳ1〜Ｓnの一つを指す）に関して、その内部に存在する距離データのヒストグラムが生成される。距離Ｚを所定の区間毎に区切った上で、ある区分Ｓ内に存在するすべての距離データが該当する区間に投票される。そして、出現頻度が最大かつ所定のしきい値Ｔｈ以上である距離値（区間の代表値または区間内に存在する距離値の平均値）が距離代表値Ｚrとして特定される。例えば、図示したように、ある区分Ｓ内に先行車が写し出されている場合、先行車までの距離に相当する区間の出現頻度が最大となるので、この区分Ｓについて算出された距離代表値Ｚrは先行車までの距離とほぼ一致する。

そして、物体検出部４は、上述した手法で生成された距離分布上において、代表距離値Ｚrをグループ化することによって、検出対象となる物体を検出する。このグループ化においては、距離画像上で位置的に近接する代表距離値Ｚr同士が、検出すべき物体の大きさを考慮して設定される所定のしきい値よりも近接していれば同一物体としてグループ化される。これに対して、これらが所定のしきい値よりもすき間が大きければ、それぞれが別の物体としてグループ化される。以下、このグループ化処理について説明する。

まず、検出対象である物体を検出する際に用いられる検出条件が設定される。この検出条件は、同一の物体とみなせる区分Ｓをグループ化するために適用され、代表距離値Ｚrの範囲および複数の区分Ｓの幅に関する条件を規定している。その具体的な内容は、物体の実際のサイズに応じて適宜設定されるが、先行車を一例としてその内容を以下に示す。

［検出条件］
（１）代表距離値Ｚrの範囲
一般的な自動車の車長（奥行き方向のサイズ）に鑑み、同一物体とみなす代表距離値Ｚrの許容範囲をしきい値Ｚth1（例えば６ｍ程度）で規定する。また、隣接した区分Ｓ間における代表距離値Ｚrの許容変化量（絶対値）をしきい値Ｚth2で規定する。
（２）複数の区分Ｓの幅
一般的な自動車の車幅（幅方向のサイズ）に鑑み、同一物体とみなす複数の区分Ｓの許容幅をしきい値Ｘth1（例えば３ｍ程度）で規定する。また、別グループを同一物体とみなしてマージする際に用いられる、隣り合っていない区分Ｓ間の最大すき間区分数をしきい値Ｘth2（例えば１ｍ程度）で規定する。

つぎに、物体検出部４は、上記検出条件に基づいて、区分Ｓのグループ化による物体（先行車）の検出を行う。図５は、区分Ｓのグループ化の説明図である。まず、前回のサイクルにおける検出結果から、今回のサイクルにおける先行車の位置が推測され、この位置の周りに検出ウインドウＷが設定される。この検出ウインドウＷは、自動車のサイズ（車長および車幅）に相当する二次元領域であり、車長Ｚth1と車幅Ｘth1とによって規定される。つぎに、距離画像上における最左端の区分Ｓから右に向かって順に調べて、代表距離値Ｚrが検出ウインドウＷの内部にはじめてプロットされるものが検出開始点として設定される。そして、この検出開始点を起点として右方向に順次隣接する区分Ｓの代表距離値Ｚrを調べて、（１）隣接する２つの区分Ｓの代表距離値Ｚrの差｜ΔＺr｜がしきい値Ｚth2以下で、かつ、（２）双方の代表距離値Ｚrが検出ウインドウＷの内部にプロットされる場合には、これらの区分Ｓを同一の物体グループに属すると判断する。この場合、このグループに属する区分Ｓにおける距離値の平均値（これに代えて代表距離値Ｚrでもよい）を物体の距離とする。ここで、同一物体に属しない区分Ｓがあった場合には、順次右の区分Ｓを調べて、代表距離値Ｚrおよび検出ウインドウＷに関する上記（１），（２）の条件を満たす区分Ｓを探索する。この探索は、最大すき間区分数に相当するしきい値Ｘth2の範囲内まで探索しても同一物体に属する区分Ｓが見つからなかった場合、或いは、距離画像の最右端の区分Ｓに到達した場合に打ち切られる。このしきい値Ｘth2は、実空間上における車幅方向のすき間の長さとして規定され、自動車の場合には、例えば１ｍ以上のすき間があったら、そこが物体の切れ目であると判断される。また、このしきい値Ｘth2は、物体の距離に応じた区分数に換算される。このようなグループ化によって、例えば図６に示したケースでは、区分Ｓ3−Ｓ6間の距離がしきい値Ｘth2以下であることを条件として、８つの区分Ｓ1〜Ｓ8が同一物体のグループに属するものと判断される。なお、前回検出されたすべての先行車について検出を終えた後においても、所属するグループが未だ決まっていない区分Ｓの代表距離値Ｚrが残り得る。そこで、残った区分Ｓを今回のサイクルにおける新たな検出物体としてグループ化するために、区分Ｓを左から右へ順次調べていく。そして、隣接する区分Ｓに関して、上述したような手法により、区分Ｓのグループ化と、互いに離間したグループ同士のマージとが行われる。

このようにして、物体検出部４は、区分Ｓの距離分布をグループ化して先行車を検出し、検出された先行車の中央位置、左右端の位置、左右端の区分番号、先行車の幅、位置の時間変化より特定される移動速度等を算出する。算出されたこれらのデータは、物体データとして、後段の物体修正部７に出力される。なお、距離のバラツキの影響による速度変動を抑制すべく、移動速度は、一次遅れフィルタや移動平均などにより平滑化することが好ましい。

グループ検出部５は、距離画像上において、互いに隣接した無効距離データをグループ化し、そのグループ化の結果を示すグループデータを後段のグループチェック部６に出力する。このグループ化の最終的な目的は、無効距離データのグループ（集合）によって規定される距離画像上の領域のうち、同一物体の一部とみなせるものを見つけ出し、これを用いて、物体検出部４の検出結果を修正することである。したがって、有効距離データが存在する領域を跨いだグループ化は禁止され、これを分離条件とした上で、同一値とみなせる複数の有効距離データによって囲まれた無効距離データ群が一つのグループとしてまとめられる（ただし、周囲が完全に囲まれている必要はない）。換言すれば、無効距離データ群の周囲に存在する有効距離データの値が異なる場合、この無効距離データ群のグループは単一物体の内部領域とはみなさない。

図６は、距離画像上における無効距離データのグループ化の説明図である。同図において、距離画像の一部を構成する正方形状のブロックは、距離データの算出単位（４×４の画素ブロック）に相当する。また、ハッチングで囲まれたブロックは、有効距離データが存在するもの（以下、「有効距離ブロック」という）を示し、ハッチングで囲まれていないブロックは、無効距離データが存在するもの（以下、「無効距離ブロック」という）を示す。グループ検出部５は、一水平ライン毎に無効距離データをグループ化するとともに（ライングループの設定）、隣接した上下のライングループ同士をマージする処理を行う。

ライングループの設定は、以下の”ライン内グルーピング規則”にしたがって、一水平ライン上の無効距離ブロックをグループ化することによって行われる。以下、水平ラインｊ1を具体例として挙げつつ、このグルーピング規則について説明するが、それ以外の水平ラインｊ2，ｊ3，ｊ4，・・・についても処理の内容は同様である。

［ライン内グルーピング規則］
（１）水平方向に連続して並んだ無効距離ブロックによって構成されるラインブロックａの左右端に、有効距離ブロック（ハッチングにて図示）が隣接していること
（２）ライングループａの左端に隣接した有効距離ブロックの位置に物体が検出されており、かつ、このブロックの距離ｄ1と、この物体の距離ｄtとの差（絶対値）が所定のしきい値ｄth1以下であること（｜ｄt−ｄ1｜≦ｄth1）
（３）ライングループａの右端に隣接した有効距離ブロックの位置に物体が検出されており、かつ、このブロックの距離ｄ2と、この物体の距離ｄtとの差（絶対値）が所定のしきい値ｄth1以下であること（｜ｄt−ｄ2｜≦ｄth1）
（４）ライングループａの左端に隣接した有効距離ブロックの距離ｄ1と、その右端に隣接した有効距離ブロックの距離ｄ2との差（絶対値）が所定のしきい値ｄth2以下であること（｜ｄ2−ｄ1｜≦ｄth2）

上記要件（１）〜（４）に則り、水平ラインｊ1に関しては、距離ｄ1，ｄ2の有効距離ブロックによって囲まれた無効距離ブロック群がライングループａとして設定される。同様に、水平ラインｊ2，ｊ3に関しては、上記要件（１）〜（４）を満たすものとして、ライングループｂ，ｃが設定される。これに対して、水平ラインｊ4に関しては、有効距離ブロックが左端に存在しないので、ライングループは設定されない。

また、隣接した上下のライングループのマージは、以下の”ライン間グルーピング規則”にしたがって行われる。以下、水平ラインｊ1，ｊ2を具体例として挙げつつ、このグルーピング規則について説明するが、それ以外の水平ラインｊ3，ｊ4，・・・についても処理の内容は同様である。

［ライン間グルーピング規則］
（５）隣接するライングループａ，ｂの左端のそれぞれに隣接した有効距離ブロックの距離ｄ1，ｄ3の差（絶対値）が所定のしきい値ｄth3以下であること（｜ｄ1−ｄ3｜≦ｄth3）
（６）隣接するライングループａ，ｂの右端のそれぞれに隣接した有効距離ブロックの距離ｄ2，ｄ4の差（絶対値）が所定のしきい値ｄth3以下であること（｜ｄ2−ｄ4｜≦ｄth3）
（７）隣接するライングループａ，ｂの左端のそれぞれに隣接した有効距離ブロックのｉ座標ｉ(1)，ｉ(3)の差（絶対値）、すなわち、水平方向位置のズレ量が所定のしきい値ｉth以下であること（｜ｉ(1)−ｉ(3)｜≦ｉth）
（８）隣接するライングループａ，ｂの右端のそれぞれに隣接した有効距離ブロックのｉ座標ｉ(2)，ｉ(4)の差（絶対値）、すなわち、水平方向位置のズレ量が所定のしきい値ｉth以下であること（｜ｉ(2)−ｉ(4)｜≦ｉth）

上記要件（５）〜（８）に則り、水平ラインｊ1のライングループａと、その直下の水平ラインｊ2のライングループｂとがマージされる。また、水平ラインｊ3のライングループｃも、これらの要件のすべてを具備する限り、ライングループａ，ｂにマージされ、最終的には、これらは一つのグループとなる。このようにして、距離画像上に存在するすべてのグループが無効距離グループとして抽出される。

グループチェック部６は、グループ検出部５によってグループ化された無効距離グループの中から、個々のグループ内における無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出する。具体的には、まず、距離画像上に所定の評価範囲が設定される。その横範囲は、無効距離グループの左端ブロックから右端ブロックまでの範囲として設定される。また、その縦範囲は、地面に対するステレオカメラ１の標準設置角度、高さ、および無効距離グループの左右端の平均距離によって決められ、その距離の地面が写るであろう画面内高さを下端とし、水平線が写るであろう画面内高さを上限とする範囲として設定される。

つぎに、この評価範囲内に属するすべての無効距離グループを対象として、それぞれについて、無効距離データの集団の統計がとられ、集団としての性質・傾向が把握される。具体的には、それぞれのグループ内に存在する複数の無効距離データのうち、このグループと隣接した有効距離データとの差が所定のしきい値以下である無効距離データの個数Ｎaが算出される。そして、この算出された個数Ｎaが所定の判定しきい値Ｎth1以上の場合、すなわち、グループ内に有効距離データと同じような値が比較的多く出現している場合には、このグループの領域は、有効距離データが示す物体と同一とみなし（ただし、それが示す物体部分は異なる）、同一物体グループとして抽出される。

その際、物体検出の精度向上を図るべく、画素ブロックのテクスチャの強度を評価し、このテクスチャの強度が強いと評価された画素ブロックに関する無効距離データのみを用いて、同一物体グループの抽出を行うことが好ましい。フィルタ部３で無効とされたデータを使うとはいえ、テクスチャの強度が明らかに不足しているものは、信頼するに足り得ないからである。テクスチャの強度の算出手法は、距離データの選別で述べた通りだが、具体的な抽出手法としては、以下の２つが考えられる。第１は、テクスチャの強度が強いと評価された画素ブロックに関する無効距離データのうち、その左右端に隣接する有効距離データの平均値との差（絶対値）が所定のしきい値以下であるものの個数Ｎbを算出し、この個数Ｎbが所定のしきい値以上の無効距離グループを同一物体グループとして抽出する手法である。第２は、無効距離グループ内に存在する画素ブロックのうち、テクスチャの強度が強いと評価されたものの個数Ｎcを算出し、Ｎb／Ｎcが所定のしきい値以上の無効距離グループを同一物体グループとして抽出する手法である。

物体修正部７は、物体検出部４によって検出された複数の物体の間に、グループチェック部６によって抽出された同一物体グループが介在する場合、これら複数の物体を１つの物体とみなす。

このように、本実施形態では、物体検出部４および物体修正部７の連係により、距離画像における有効距離データのヒストグラムに基づいて検出された複数の物体の間に、同一物体グループが介在する場合、これらを１つの物体とみなしている。前段の物体検出部４は、フィルタ部３にて信頼性が高いと判定された距離データのみを使用して物体検出を行っている。しかしながら、信頼性が低い判定された距離データの中にも、実は正しい距離を示すデータが含まれていることが多い。周囲に同じ距離を示すブロックが少ないがために信頼性が低いと判定されたが、実際は、単独で正しい距離を示すブロックが孤立して存在するケースがあるからである。そこで、グループ検出部５において、有効距離データが存在する領域を分離条件として、無効距離データのグループ化を行った上で、グループチェック部６において無効距離データの統計をグループ毎にとる。これにより、無効距離データの集団としての性質・傾向、すなわち、近傍の有効距離データと同様の値がどの程度出現しているかを把握することができる。この出現頻度が高い（上述した判定しきい値Ｎth1等以上）ということは、このグループの領域内に写し出されている対象物は、有効距離データが存在する近傍領域内に写し出されている対象物と同一である可能性が高い。

図７は、一例として、先行車が走行する状況下における有効距離データの距離画像を示す図である。黒い領域（画素ブロックと同サイズ）は、有効距離データが存在する領域である。ステレオマッチングの特性上、有効距離データは、先行車の左右エッジ、テールライト、または、ピラーとリアウインドとの境界といったように、水平方向の輝度変化が大きな領域に集中する傾向がある。そして、これらを除く車体部分は無効距離データとなり、例えば、無効距離データのグループとしてＡ〜Ｃが設定される。このケースでは、グループＡ〜Ｃは、同一物体グループとされる可能性が高い。なぜなら、グループＡ〜Ｃのそれぞれには、先行車が写し出されており、先行車の左右エッジ等と同様の距離がそれなりの頻度で出現するからである。

一方、図８は、一例として、歩行者が併走する状況下における有効距離データの距離画像を示す図である。有効距離データは、歩行者の左右エッジに集中する傾向がある。そして、これらを除く部分は無効距離データとなり、例えば、無効距離データのグループとしてＤ〜Ｇが設定される。このケースでは、グループＤ，Ｅのみが同一物体グループとされる可能性が高い。なぜなら、グループＤ，Ｅには、歩行者が写し出されており、歩行者の左右エッジ等と同様の距離がそれなりの頻度で出現するからである。これに対して、グループＦ，Ｇには、背景が写し出されており（歩行者は存在しない）、歩行者の左右エッジ等と同様の距離は殆ど出現しないので、これらが同一物体グループとされる可能性は低い。

このような知得に基づき、この統計結果を用いて、実際に同一物体として連続であるとの確証が得られる無効距離グループのみを同一物体グループとして抽出し、これを用いて物体検出部４の検出結果を修正すれば、本来、単一の物体（例えば１台の先行車）として検出すべき状況を、分裂した複数の小物体（例えば２人の歩行者）とみなしてしまうといった誤検出を抑制できる。その結果、物体の検出精度の向上を図ることができる。

なお、上述した実施形態では、距離画像を縦短冊状に分割した区分Ｓ1〜Ｓnを用いた二次元ヒストグラムにて物体検出を行っているが、これに代えて、距離画像を縦横のマトリクス状に分割した三次元ヒストグラムにて物体検出を行うことも可能である。

本実施形態に係る物体検出装置のブロック構成図 画像平面上に設定される画素ブロックの説明図 区分設定の説明図 距離値ヒストグラムの説明図 区分グループ化の説明図 距離画像上における無効距離データのグループ化の説明図 先行車が走行する状況下における有効距離データによる距離画像を示す図 歩行者が併走する状況下における有効距離データによる距離画像を示す図

符号の説明

１ ステレオカメラ
２ 距離画像生成部
３ フィルタ部
４ 物体検出部
５ グループ検出部
６ グループチェック部
７ 物体修正部

Claims (7)

1. ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出装置において、
   前記距離画像を構成する前記距離データのそれぞれの信頼性を評価し、当該評価された信頼性に基づいて前記距離データから有効距離データと無効距離データとを抽出するフィルタ部と、
   前記距離画像における前記有効距離データのヒストグラムに基づいて、検出対象となる物体を検出する物体検出部と、
   前記距離画像上において、前記有効距離データが存在する領域を分離条件とした上で、互いに隣接した前記無効距離データをグループ化するグループ検出部と、
   前記グループ検出部によってグループ化されたグループの中から、個々のグループ内における前記無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出するグループチェック部と、
   前記物体検出部によって検出された複数の物体の間に、前記グループチェック部によって抽出された前記同一物体グループが介在する場合、当該複数の物体を１つの物体とみなす物体修正部と
   を有することを特徴とする物体検出装置。
2. ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出装置において、
   前記距離画像を構成する前記距離データのそれぞれの信頼性を評価し、当該評価された信頼性に基づいて前記距離データから有効距離データと無効距離データとを抽出するフィルタ部と、
   前記距離画像上において、前記有効距離データが存在する領域を分離条件とした上で、互いに隣接した前記無効距離データをグループ化するグループ検出部と、
   前記グループ検出部によってグループ化されたグループの中から、個々のグループ内における前記無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出するグループチェック部と、
   前記距離画像における前記有効距離データのヒストグラムに基づいて検出された複数の物体の間に、前記グループチェック部によって抽出された前記同一物体グループが介在する場合、当該複数の物体を１つの物体とみなす物体検出手段と
   を有することを特徴とする物体検出装置。
3. 前記グループ検出部は、同一値とみなせる複数の前記有効距離データによって囲まれた複数の前記無効距離データを一グループとしてまとめることを特徴とする請求項１または２に記載された物体検出装置。
4. 前記グループチェック部は、前記グループ内に存在する複数の前記無効距離データのうち、前記グループと隣接した前記有効距離データとの差が所定のしきい値以下である前記無効距離データの個数を算出するとともに、当該算出された個数を所定の判定しきい値と比較することによって、前記同一物体グループを抽出することを特徴とする請求項１から３のいずれかに記載された物体検出装置。
5. 前記グループチェック部は、前記距離データの算出単位となる画素ブロックのテクスチャの強度を評価するとともに、当該テクスチャの強度が強いと評価された前記画素ブロックに関する前記無効距離データのみを用いて、前記同一物体グループの抽出を行うことを特徴とする請求項４に記載された物体検出装置。
6. ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出方法において、
   前記距離画像を構成する前記距離データのそれぞれの信頼性を評価し、当該評価された信頼性に基づいて前記距離データから有効距離データと無効距離データとを抽出するステップと、
   前記距離画像における前記有効距離データのヒストグラムに基づいて、検出対象となる物体を検出するステップと、
   前記距離画像上において、前記有効距離データが存在する領域を分離条件とした上で、互いに隣接した前記無効距離データをグループ化するステップと、
   前記グループ化されたグループの中から、個々のグループ内における前記無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出するステップと、
   前記検出対象となる物体が複数検出された際、当該複数の物体の間に前記同一物体グループが介在する場合、前記複数の物体を１つの物体とみなすステップと
   を有することを特徴とする物体検出方法。
7. ステレオ画像処理によって生成された距離画像を用いて、物体を検出する物体検出方法において、
   前記距離画像を構成する前記距離データのそれぞれの信頼性を評価し、当該評価された信頼性に基づいて前記距離データから有効距離データと無効距離データとを抽出するステップと、
   前記距離画像上において、前記有効距離データが存在する領域を分離条件とした上で、互いに隣接した前記無効距離データをグループ化するステップと、
   前記グループ化されたグループの中から、個々のグループ内における前記無効距離データの統計結果を用いて、同一物体の一部分とみなすことができる同一物体グループを抽出するステップと、
   前記距離画像における前記有効距離データのヒストグラムに基づいて検出された複数の物体の間に、前記同一物体グループが介在する場合、当該複数の物体を１つの物体とみなすステップと
   を有することを特徴とする物体検出方法。

Images