JP2005022429A

JP2005022429A - 物体検出装置

Info

Publication number: JP2005022429A
Application number: JP2003186639A
Authority: JP
Inventors: Takeo Kato; 武男加藤; Yoshiki Ninomiya; 芳樹二宮
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2003-06-30
Filing date: 2003-06-30
Publication date: 2005-01-27
Anticipated expiration: 2023-06-30
Also published as: JP4479174B2

Abstract

【課題】物体の認識（画像解析処理）に必要となる演算処理の量を大幅に削減することにより、物体検出装置の検出精度や信頼性を大きく向上させること。
【解決手段】時刻ｔｋ（ｋ＝１，２）に撮像された全体画像を図８に示す。ここで、Ｚｋは各時刻における前方車両までの距離、Ｈｋは各時刻の水平境界候補ヒストグラム、Ｒｋは各ヒストグラムの定義域であり、（ｘ０ｋ，ｙ０ｋ）は撮像された各画像内の部分画像である解析対象領域の左上座標である。また、Ｈ２と直接照合すべき水平境界ヒストグラムＨ１′は、上記のＨ１を次式（９）に基づいて縮尺調整することにより得られる。この式（９）は、２時刻間における極めて基本的な幾何学的関係に基づいて設計されたものである。
ｘ０Ｒ１′＝ｘ０Ｒ１・Ｚ１／Ｚ２
ＷＲ１′＝ＷＲ１・Ｚ１／Ｚ２ …（９）
【選択図】図８

Description

【０００１】
【発明の属する技術分野】
本発明は、車両等の移動体の前方監視等に有用で、その移動体に積載可能な物体検出装置に関する。
本発明の物体検出装置は、レーンキーピング機能や前方車両追従機能などの機能を車両に持たせる場合などに、効果的に利用することができる。
【０００２】
【従来の技術】
【特許文献１】
特開平７−２５２８６号公報
【特許文献２】
特開平８−１８８１０４号公報
【特許文献３】
特開平１１−５３６９２号公報
【特許文献４】
特開平８−３２９３９３号公報
【特許文献５】
特開２００２−２７７５４０号公報
【０００３】
車両を撮像した画像に関する所謂エッジヒストグラムによって車両検出する従来技法（信頼性向上技術）としては、例えば以下のものがある。
（１）上記の特許文献１によるもの。領域の重心の移動量と領域の縦横比を検証する。
（２）上記の特許文献２によるもの。境界候補の移動量を検証する。
（３）上記の特許文献３によるもの。候補領域内のオプティカルフローとの整合性を検証する。
【０００４】
また、その他の関連技術としては、例えば以下の様なものがある。
（４）上記の特許文献４に記載されているもの。画像解析結果として得られた物体存在領域と、レーザレーダで検出した領域とが互いに重なるかを評価・検証する。
（５）上記の特許文献５に記載されているもの。異なる時刻の画像を評価する際に物体までの距離の測定値（又は推定値）を利用する。
【０００５】
【発明が解決しようとする課題】
エッジヒストグラムによって車両を検出する方法では、背景のエッジの影響を受けてしまい、その結果、誤検出を生じることがある。特に、鉛直方向のエッジとして検出され易い、例えば電柱、路傍灯、道路標識、ガードレール等の柱や、その他の建物等が背景に写っている場合などには、この様な誤検出がしばしば見受けられる。
また、操舵等で自車が大きく運動した場合には、特許文献１や特許文献２の方法では、物体の認識（画像解析処理）が困難である。
また、操舵等で自車が大きく運動した場合には、その他の従来技術においても、オプティカルフローを求めるのが困難になる場合が少なくない。
【０００６】
本発明は、上記の課題を解決するために成されたものであり、その目的は、走行車両の前方監視などに有用な物体検出装置の検出精度や信頼性を大きく向上させることである。
また、本発明の更なる目的は、物体の認識（画像解析処理）に必要となる演算処理の量を大幅に削減することにより、物体検出装置におけるＣＰＵネックを緩和、軽減、或いは解消することである。
ただし、上記の個々の目的は、本発明の個々の手段の内の少なくとも何れか１つによって、個々に達成されれば十分なのであって、本願の個々の発明は、上記の全ての課題を同時に解決し得る手段が存在することを必ずしも保証するものではない。
【０００７】
【課題を解決するための手段、並びに、作用及び発明の効果】
上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、車両等の移動体の前方監視等に用いられる移動体に積載可能な物体検出装置において、検出されるべき物体までの距離を測定する距離測定手段と、想定される検出対象範囲の全体画像を撮像する画像撮像手段と、その距離の分布状態に基づいて全体画像内の解析対象領域を限定する解析対象領域限定手段と、解析対象領域を構成する部分画像から物体の輪郭候補を抽出する輪郭候補抽出手段と、同一時刻における少なくとも部分画像または輪郭候補と距離とを有して成る同一時刻情報を複数の時刻に渡って保持する複数時刻情報保持手段と、各輪郭候補が物体の輪郭に一致する信頼度を算定する信頼度算定手段と、信頼度に基づいて物体の輪郭を推定する輪郭推定手段とを備え、上記の信頼度算定手段において、複数時刻情報保持手段が保持する複数の同一時刻情報間で満たされるべき距離と大きさの対応関係に照らして信頼度を算定することである。
【０００８】
上記の構成に従えば、物体の検出を画像中の全ての位置で行わず、まず、距離測定手段を使って物体の候補を検出し、解析対象領域限定手段によって、その候補を基に候補領域（：解析対象領域）を生成することができる。このため、物体の認識（画像解析処理）に必要となる演算処理量を大幅に削減することができる。また、評価の際に、複数時刻情報保持手段を用いて異なる時間での解析対象領域内の画像を比較したりすることにより、物体検出の信頼性を向上できる。
【０００９】
したがって、上記の構成に従えば、画像中から物体の境界を高速に信頼性高く検出することができる。
また、上記の構成に従えば、演算（画像解析処理）の合理化によりＣＰＵオーバーヘッドを大幅に削減することができるので、物体検出装置におけるＣＰＵネックを緩和、軽減、或いは解消することができる。
特に、ＣＰＵオーバーヘッドを削減するという観点から言えば、上記の距離測定手段としては、ミリ波レーダやレーザレーダなどの波動センサを用いることが望ましい。
【００１０】
また、本発明の第２の手段は、上記の第１の手段の輪郭候補抽出手段において、部分画像の画素情報に対する特定方向の微分処理等を用いて、部分画像のエッジ画像を作成するエッジ画像作成手段と、そのエッジ画像から、特定方向のエッジ分布に関する１次元ヒストグラムを少なくとも１方向について作成するヒストグラム作成手段と、その１次元ヒストグラムから、輪郭候補の少なくとも１方向における位置座標を特定する輪郭候補座標特定手段とを備えることである。
【００１１】
例えば前方車両に追従する場合などには、その前方車両までの距離の他にも、水平方向（：特に左右方向）におけるその前方車両の位置や幅が、前方車両を認識する上で非常に重要になる。例えばこの様な場合などには、上記のヒストグラム作成手段を用いて上記の１次元ヒストグラムを少なくとも水平方向について作成し、その１次元ヒストグラムに基づいて、少なくとも水平方向における前方車両の輪郭候補の位置座標を高速に特定することができる。したがって、このような方式によれば、解析対象領域が狭く限定されている上に、１次元ヒストグラムを作成するための演算は比較的簡単であるため、非常に高速に前方車両の水平方向の位置や幅を特定することができる。
勿論、水平方向に限らず、任意の方向に対してこの様な１次元ヒストグラムに基づく、物体の輪郭座標の算定を実施しても良い。
【００１２】
また、本発明の第３の手段は、上記の第１又は第２の手段において、同一時刻情報が有する物体までの距離に基づいて、距離に対して略垂直な任意の方向の長さの縮尺比を調整する縮尺比調整手段を設け、更に、上記の信頼度算定手段において、縮尺比調整手段により縮尺比調整された画像処理データを用いた複数時刻間におけるデータ照合処理に基づいて信頼度を算定することである。
【００１３】
ただし、この「画像処理データ」としては、上記の１次元ヒストグラムを用いても良いし、上記の輪郭候補を用いても良いし、或いは上記の部分画像（解析対象領域の画像）をそのまま用いても良い。
この様な構成に従えば、物体検出装置と披検体（検出対象）との間の距離が動的に変動した場合においても、縮尺比調整手段によりその変動の画像処理データに対する悪影響（：スケールの不整合）を打ち消すことができるため、複数時刻間における上記のデータ照合処理を高速、簡単かつ正確に実施することができる。
【００１４】
また、第４の手段は、上記の第１乃至第３の何れか１つの手段の信頼度算定手段において、物体が水平方向において左右対称性を有することを前提として、信頼度を算定することである。
例えば、前方走行車両に追従する場合、前方走行車両の画像は、通常左右対称形になる。したがって、この様な対称性を利用すれば、前述の様な背景による誤検出を大幅に削減することができ、よって、物体検出の信頼性を大きく向上させることができる。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。
【００１５】
【発明の実施の形態】
以下、本発明を具体的な実施例に基づいて説明する。ただし、本発明は以下に示す実施例に限定されるものではない。
（実施例）
図１は、本発明の実施例における物体検出装置１００の主要構成を例示するシステム構成図である。この物体検出装置１００は、主に、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＩＦ（入出力インターフェイス１０４）、カメラ１０７（撮像手段）、ミリ波レーダ１０８（距離検出手段）、ＥＣＵ（電子制御ユニット１１０）などから構成されている。
ただし、上記の距離検出手段（ミリ波レーダ１０８）の代替手段として例えばステレオカメラ等を使用することも可能である。
【００１６】
図２に、本発明の実施例における物体検出装置１００の基本的な制御手順を例示する。この物体検出装置１００の大きな特徴の１つは、移動ステレオ法を用いる点にあり、それを実現するための前記の複数時刻情報保持手段が、ステップ２００、ステップ２１０、ステップ２２０等によって実現される。ステップ２１０では、ステップ２２０が周期的に実行される様に同期処理（待ち処理）を実行する。この周期を以下、Δｔとする。
即ち、この物体検出装置１００は、最初にステップ２００を実行し、その後、ステップ２１０〜ステップ２９０を上記の周期Δｔで周期的に実行することにより、本発明の物体検出装置１００の各手段（距離測定手段、画像撮像手段、解析対象領域限定手段、輪郭候補抽出手段、複数時刻情報保持手段、信頼度算定手段、輪郭推定手段）が連動して効率よく機能する様に構成されている。
以下、ステップ２３０〜ステップ２９０までの各ステップに付いて、図３〜図１２を用いて詳細に説明する。
【００１７】
［１］処理境域の決定
図３は、ステップ２３０における処理領域の決定形態を模式的に表すイメージ図である。
ステップ２３０を実行する際には、まず、ミリ波レーダ等によって物体の存在・距離及び方位を検出し、検出した距離と方位から画像中での処理領域（解析対象領域）を決定する（図３）。処理領域の左上座標を（ｘ０，ｙ０）、幅と高さをそれぞれｗ、ｈとする。本実施例では、画像中の座標原点は、カメラ光軸が撮像面と交差する点に一致するものとする。
処理領域（解析対象領域）の決定は、走行車線を検出することによっても可能である。また、全画面を処理領域としても良い。以下、記号Ｉ（ｘ，ｙ）は、本実施例では、画像座標（ｘ，ｙ）における画素の明度情報（撮像された画素情報）を表すものとする。
【００１８】
［２］物体境界候補の検出
図４に、物体境界候補の検出（：ステップ２４０）を実行するサブルーチンの処理手順を例示する。
撮像された画像Ｉ（ｘ，ｙ）の処理領域内に対して、周知のＰｒｅｗｉｔｔフィルタを掛け、水平微分画像ＩＤＸ（ｘ，ｙ）、垂直微分画像ＩＤＹ（ｘ，ｙ）を作成する。該Ｐｒｅｗｉｔｔフィルタの係数を以下に示す。Ｐｒｅｗｉｔｔフィルタを掛けるとは、処理領域内の各画素位置毎に隣接する３×３画素に対して以下の係数を掛けて、それらの和を取って、その（ｘ，ｙ）座標における関数値を求めることを意味する。
【００１９】

以上の処理が、図４のステップ４１０の処理に相当する。
【００２０】
更に、以下の垂直線分・水平線分の強調処理を行う。
【数１】

【数２】

この強調処理（ステップ４２０）により、ノイズや有力な候補等を巧く効果的に選別して、有力な候補のみを際立たせることができる。
【００２１】
次に、水平微分画像Ｉｄｘの各垂直ラインに対して、同一垂直ライン上の画素の画素値の絶対値和を求め、水平境界候補ヒストグラムＨを作成する（図５（ａ））。
図５は、物体の境界ヒストグラム（Ｖ，Ｈ）の作成形態を模式的に表すイメージ図である。ここで、記号Ｉｄｘ（ｘ，ｙ）は強調処理された水平微分画像（加工された画素情報）であり、記号Ｉｄｙ（ｘ，ｙ）は強調処理された垂直微分画像（加工された画素情報）である。
【００２２】
垂直方向についても同様に、垂直微分画像Ｉｄｙの各水平ラインに対して、同一水平ライン上の画素の画素値の絶対値和を求め、垂直境界候補ヒストグラムＶを作成する（図５（ｂ））。その後、ヒストグラムＶ、Ｈにそれぞれ以下のフィルタを掛ける。
【数３】
Ｆｖ＝｛１２１｝，
Ｆｈ＝｛１４５４１｝ …（３）
【００２３】
次に各ヒストグラムの局所的なピーク位置を検出する。検出したピークの内、そのピーク値が所定の閾値以上の場合には、その位置を水平境界候補、垂直境界候補の位置とし、その各候補の座標をｘＨｉおよびｙＶｊと表す。また、各境界候補の信頼度を次式（４）で定義する。
（記号）
ｘＨｉ … 境界候補の位置（横軸方向の位置；１≦ｉ≦ｎ）
ｙＶｊ … 境界候補の位置（縦軸方向の位置；１≦ｊ≦ｍ）
【数４】
Ｃｈ（ｘＨｉ）＝α・Ｈ（ｘＨｉ），
Ｃｖ（ｙＶｊ）＝β・Ｖ（ｙＶｊ） …（４）
【００２４】
ただし、水平境界候補ヒストグラムのピーク位置を水平境界候補位置ｘＨｉとし、垂直境界候補ヒストグラムのピーク位置を垂直境界候補位置ｙＶｊとする。また、α，βはそれぞれ適当な規格化係数である。即ち、各位置の信頼度は、ヒストグラムの各値にそのまま比例するものとする。
尚、α＝β＝１となる様に、境界候補ヒストグラム（Ｖ，Ｈ）自身のスケールを予め規格化しておいても良い。また、Ｃｈ（ｘＨｉ）は、Ｈ（ｘＨｉ）に対するその他の単調増加関数として定義しておいても良い。Ｃｖ（ｙＶｊ）とＶ（ｙＶｊ）との関係についても同様である。
【００２５】
［３］水平境界の左右判定
垂直方向微分画像Ｉｄｙと垂直境界ヒストグラムＶから中間ヒストグラムＨＭを作成する。
図６は、水平境界の左右判定（：ステップ２５０）を実行するサブルーチンの処理手順を例示するフローチャートであり、図７は、物体の左右の境界に係わるヒストグラム（中間ヒストグラムＨＭ，左右判定ヒストグラムＬＲ）の作成形態を模式的に表すイメージ図である。
【００２６】
まず、ステップ６２０では、次式（５）に従って、中間ヒストグラムＨＭ（図７（ｂ））を作成する。
【数５】
ＨＭ（ｘ）＝ _ｙ＝ｙ０Σ^{ｙ０＋ｈ１−１}（Ｖ（ｙ）・Ｉｄｙ（ｘ，ｙ）） …（５）
そして、ステップ６４０では、作成した中間ヒストグラムＨＭに対して次式（６）の微分フィルタを掛け、左右判定ヒストグラムＬＲ（図７（ｃ））を作成する。
【数６】
Ｆｄｉｆ＝｛ −１ −１０１１｝ …（６）
【００２７】
次に、ステップ６６０では、次式（７）で定義される「Ｃｌ：左境界らしさ」、「Ｃｒ：右境界らしさ」を各選択基準として、次式（８）の様に、境界候補位置｛ｘＨｉ｝から、左境界候補位置｛ｘＨｉｌ｝、及び右境界候補位置｛ｘＨｉｒ｝をそれぞれ分離（選択）する。
【数７】

【数８】
｛ｘＨｉｌ｝＝｛ｘＨｉ｜Ｃｌ（ｘＨｉ）＞０｝，
｛ｘＨｉｒ｝＝｛ｘＨｉ｜Ｃｒ（ｘＨｉ）＞０｝ …（８）
【００２８】
［４］境界候補の移動ステレオによる検証
図８は、ステップ２６０の移動ステレオ法における基本的な処理概念（照合方式）を説明する概念図である。
【００２９】
時刻ｔ１（：ｔ＝ｔ１）における画像とその時の候補領域（解析対象領域）を図８（ａ）に示し、時刻ｔ２（：ｔ＝ｔ２＝ｔ１＋Δｔ）における画像と候補領域を図８（ｂ）に示す。ここで、時刻ｔ１における車両までの距離をＺ１とし、時刻ｔ２における車両までの距離をＺ２とする。
また、時刻ｔ１における水平境界候補ヒストグラムをＨ１とし、時刻ｔ２における水平境界候補ヒストグラムをＨ２とする。更に、時刻ｔ１における画像中での処理領域の左上座標を（ｘ０１，ｙ０１）とし、時刻ｔ２における処理領域の左上座標を（ｘ０２，ｙ０２）とする。
（その他の記号）
Ｒ１ … ヒストグラムＨ１の定義域
Ｒ２ … ヒストグラムＨ２の定義域
Ｈ１′ … Ｈ１を縮尺調整して得られる水平境界ヒストグラム
【００３０】
まず、水平境界候補ヒストグラムＨ２内における、水平境界候補ヒストグラムＨ１の範囲Ｒ１に対応する位置を求める。ここで領域Ｒ１の左端位置をｘ０Ｒ１、幅をｗＲ１とする。ただし、領域Ｒ１の決定方法としては、例えば以下の様な手順に従う方法などが考えられる。
（手順１）レーダで検出した距離Ｚ１を基に、２．５ｍに対応する画像中での幅ｗを決定する。
（手順２）そして、レーダで検出した方位ｘ０を中心として、左右に幅ｗ広げた領域（：定義域［ｘ０−ｗ，ｘ０＋ｗ］）をＲ１とする。
【００３１】
以下、水平方向の解析処理手順について、詳しく説明する。
図９は、移動ステレオ法に基づく照合処理（：ステップ２６０）を実行するサブルーチンの処理手順を例示するフローチャートである。
［４−１］水平方向の解析処理手順
この処理は、ステップ８１０〜ステップ８４０に対応する。
（ａ）まず最初に、ステップ８１０では、ヒストグラムＨ１をＺ１／Ｚ２倍することにより、ヒストグラムＨ１′を作成する。この時、Ｈ１の領域Ｒ１に対応する、Ｈ１′内の領域Ｒ１′の左端位置ｘ０Ｒ１′と幅ＷＲ１′は、次式（９）に基づいて決定する。
【００３２】
次式（９）の右辺で、それぞれＺ１／Ｚ２を掛けているが、これは、撮像される画像中における同一の物体の大きさ（幅など）はその物体までの距離に反比例するという、２時刻間における極めて基本的な幾何学的関係（距離と大きさの対応関係）に基づいて、設計されたものである。
【数９】
ｘ０Ｒ１′＝ｘ０Ｒ１・Ｚ１／Ｚ２
ＷＲ１′＝ＷＲ１・Ｚ１／Ｚ２ …（９）
【００３３】
（ｂ）次に、ステップ８２０では、ヒストグラムＨ２内で、ヒストグラムＨ１′内の領域Ｒ１′の最も類似している領域Ｒ２を相関演算によって求め、例えば次式（１０）に例示する様に、Ｈ１′とＨ２の対応位置を求める。相関演算は、領域Ｒ１′内の各要素毎のヒストグラム値の差分の絶対値の総和の値ＳＡＤ（ｘ）を用いて行う。
ただし、以下、ａｒｇｍｉｎは、該記号の右側に書かれた関数の関数値を最小にする引数を導出する記号とする。例えば、ａｒｇｍｉｎＳＡＤ（ｘ）とは、関数ＳＡＤに対して最小値を与える引数（独立変数）ｘのことを意味する。また、この最小値を探す際のｘの適正範囲（検索範囲）は、特段の断りが無い限りその定義域と一致するものとする。
また、ａｒｇｍａｘについても同様に、該記号の右側に書かれた関数の関数値を最大にする引数を指す記号とする。
【００３４】
【数１０】

領域Ｒ２の左端位置をｘ０Ｒ２とすると、ヒストグラムＨ２の位置ｘ２に対応するヒストグラムＨ１′での位置ｘ１′は、次式（１１）に従う。
【数１１】
ｘ１′＝ｘ２−ｘ０Ｒ２＋ｘＲ０１′ …（１１）
【００３５】
（ｃ）次に、ステップ８３０では、各要素毎の差分演算によって、ヒストグラムＨ２とヒストグラムＨ１′の差分ヒストグラムＨｄを作成する。この際、Ｈ２の位置ｘ２に対応する位置ｘ１′がＨ１′外となるときは、その要素の値は０とする。
【数１２】
Ｈｄ（ｘ２）＝｜Ｈ２（ｘ２）−Ｈ１′（ｘ１′）｜（０≦ｘ１′≦ｗＲ１′），
Ｈｄ（ｘ２）＝０（上記以外） …（１２）
【００３６】
（ｄ）次に、ステップ８４０では、位置ｘ２における移動ステレオ検証による信頼度Ｃｍｓ２（ｘＨｉ）を、式（１４）を用いて式（１３）の様に算定する。
【数１３】
Ｃｍｓ２（ｘＨｉ）＝Ｃｍｓ（ｘＨｉ−ｏｆｍｓ）（ｘＨｉ≦ｘｃ），
Ｃｍｓ２（ｘＨｉ）＝Ｃｍｓ（ｘＨｉ＋ｏｆｍｓ）（上記以外）…（１３）
【数１４】
Ｃｍｓ（ｘ２）≡Ｈ２ｍｅａｎ−〔｛Ｈ２ｍｅａｎ＋_ｉ＝ｘｃΣ^ｘ２Ｈｄ（ｉ）｝／｜ｘ２−ｘｃ｜〕，
Ｈ２ｍｅａｎ＝｛_ｘ＝０Σ^{ＷＲ２−１}Ｈ２（ｘ）｝／ＷＲ２ …（１４）
【００３７】
ここで、ｘｃは左右の境界を分離する位置であり、例えばｘｃ＝ｘ０Ｒ２＋ＷＲ２／２などと設定すれば良い。ただし、境界候補の信頼度は、次式（１３）に例示する様に、境界候補の位置ｘＨｉから内側に２画素幅分だけずらした位置（±ｏｆｍｓ＝±２）での信頼度を用いて再定義する。
【００３８】
この様な再定義を行う理由は以下の通りである。
信頼度Ｃｍｓ（ｘ２）では、範囲［ｘｃ，ｘ２］内でＨｄを積分することにより信頼度を求めているが、ｘＨｉの位置は、垂直エッジ（水平境界候補）ヒストグラムＨのピーク、すなわち値の大きな位置となる。また、Ｈｄは、Ｈ２とＨ１′の差分なので、Ｈ１′の値が大きい位置ｘＨｉでは、Ｈ１′のスケール変換の誤差の影響を受けやすく、その結果、Ｈｄの値は、不当に大きな値となるケースが発生し易い。その誤差の影響を緩和するためには、ピークより少し内側（ｏｆｍｓ＝２）となる、ヒストグラムＨ１′の値自身が比較的小さい位置（誤差の影響が比較的小さい位置）で所要の比較演算を行うことが望ましく、この様な計算技法によれば、より信頼性の高い算定結果を得ることができる。
垂直方向についても、概ね同様の傾向が見られる。
【００３９】
［４−２］垂直方向の解析処理手順
尚、垂直方向の解析処理についても、図９のステップ８６０〜ステップ８９０において、上記の水平方向の解析処理手順と略同様に実行する。ただし、垂直方向に関しても同様に、その解析処理の結果として得られる関数をＣｍｓ３（ｙＶｊ）とする。即ち、この関数Ｃｍｓ３（ｙＶｊ）は、上記の関数Ｃｍｓ２（ｘＨｉ）に対応する垂直方向側の関数である。
【００４０】
［５］対称性の検証
次に水平方向の対称性を利用した境界候補の信頼度の算出方法を説明する。まず、左境界候補位置ｘＨｉｌ、右境界候補位置ｘＨｉｒで挟まれる領域の対称性を次式（１５）で定義する。
【数１５】
Ｃｓｙｍ（ｘＨｉｌ，ｘＨｉｒ）＝ＭＡＸＦｓｙｍ（ｘＨｉｌ＋ａ，ｘＨｉｒ＋ｂ）（（ａ，ｂ）＝（０，０），（−１，０），（０，１）），
Ｆｓｙｍ（ｘ１，ｘ２）＝_ｉ＝０Σ^{（ｘ２−ｘ１）／２}｛Ｈ（ｘ１＋ｉ）×Ｈ（ｘ２−ｉ）｝ …（１５）
【００４１】
ただし、ここでは、上記の記号ＭＡＸは、上記の３通りの（ａ，ｂ）の何れかから、Ｆｓｙｍの関数値を最大にする（ａ，ｂ）を選択する記号として用いている。
尚、式（１５）の２つ目の式の右辺のΣ｛｝の中で、乗算｛Ｈ（ｘ１＋ｉ）×Ｈ（ｘ２−ｉ）｝を行っているのは、ノイズなどの不具合に効果的に対処するためであるが、その他にも例えば、右辺のΣ｛｝の中では、差分演算を実施しても良い。ただし、その場合には、ＭＡＸ演算をＭＩＮ演算に変更するなどの諸変更が必要である。
【００４２】
そして、左境界候補位置ｘＨｉｌ、右境界候補位置ｘＨｉｒの各信頼度を次式（１６）で定義する。
【数１６】
Ｃｌｓｙｍ（ｘＨｉｌ）＝ｍａｘ（Ｃｓｙｍ（ｘＨｉｌ，∀ｒ））（ｒ∈｛ｘＨｉｒ｝），
Ｃｒｓｙｍ（ｘＨｉｒ）＝ｍａｘ（Ｃｓｙｍ（∀ｌ，ｘＨｉｒ））（ｌ∈｛ｘＨｉｌ｝） …（１６）
図１０はこの式（１６）の１つ目の演算結果（Ｃｌｓｙｍ（ｘＨｉｌ））を得るためのサブルーチンの処理手順（ステップ３１０〜ステップ３７５）を例示しており、また、図１１はこの式（１６）の２つ目の演算結果（Ｃｒｓｙｍ（ｘＨｉｒ））を得るためのサブルーチンの処理手順を例示している。例えばこれらの様な処理手順に従えば、上記のステップ２７０（：左右対称性の検証処理）を効果的に実現することができる。
【００４３】
［６］信頼度の計算（図２のステップ２８０）
以上の処理で算出した各信頼度Ｃｈ，Ｃｖ，Ｃｌ，Ｃｒ，Ｃｍｓ２，Ｃｍｓ３，Ｃｌｓｙｍ，Ｃｒｓｙｍに基づいて、装置が検出すべき物体の左右上下の各輪郭座標の最終的な信頼度（Ｃｌｅｆｔ，Ｃｒｉｇｈｔ，Ｃｔｏｐ，Ｃｂｔｍ）を次式（１７）〜（２０）によって定義する。
【数１７】
Ｃｌｅｆｔ（ｘＨｉｌ）＝ａ１・Ｃｖ（ｘＨｉｌ）＋ａ２・Ｃｌ（ｘＨｉｌ）＋ａ３・Ｃｍｓ２（ｘＨｉｌ）＋ａ４・｛Ｃｌｓｙｍ（ｘＨｉｌ）｝^１／２ …（１７）
【数１８】
Ｃｒｉｇｈｔ（ｘＨｉｒ）＝ａ１・Ｃｖ（ｘＨｉｒ）＋ａ２・Ｃｒ（ｘＨｉｒ）＋ａ３・Ｃｍｓ２（ｘＨｉｒ）＋ａ４・｛Ｃｒｓｙｍ（ｘＨｉｒ）｝^１／２ …（１８）
【数１９】
Ｃｔｏｐ（ｙＶｊｔ）＝ｂ１・Ｃｈ（ｙＶｊｔ）＋ｂ２・Ｃｍｓ３（ｙＶｊｔ），
｛ｙＶｊｔ｝＝｛ｙＶｊ｜ｙ０＜ｙＶｊ＜ｙ０＋ｈ／２｝ …（１９）
【数２０】
Ｃｂｔｍ（ｙＶｊｂ）＝ｂ１・Ｃｈ（ｙＶｊｂ）＋ｂ２・Ｃｍｓ３（ｙＶｊｂ），
｛ｙＶｊｂ｝＝｛ｙＶｊ｜ｙ０＋ｈ／２＜ｙＶｊ＜ｙ０＋ｈ｝ …（２０）
【００４４】
上境界候補の位置ｙＶｊｔと下境界候補の位置ｙＶｊｂは、上記の様に候補領域（解析対象領域）の真ん中で、垂直方向の各境界候補位置｛ｙＶｊ｝を、上境界候補位置｛ｙＶｊｔ｝と下境界候補位置｛ｙＶｊｂ｝の２グループに分離したものである。
また、ａ１，ａ２，ａ３，ａ４，ｂ１，ｂ２は、何れも適当な調整係数であり、本実施例においてはそれぞれ１程度で良い。
（各調整係数の設定例）
【数２１】
ａ１＝ａ２＝１，
ａ３＝ａ４＝１，
ｂ１＝ｂ２＝１ …（２１）
【００４５】
［７］境界の決定（図２のステップ２９０）
最終的に出力されるべき物体の輪郭座標を次の様に定義する。即ち、上記の各信頼度に最大値を与える各境界候補の座標をそれぞれ、左端の輪郭座標：ｘＨｌ，右端の輪郭座標：ｘＨｒ，上端の輪郭座標：ｙＶｔ，下端の輪郭座標：ｙＶｂとする。
【数２２】
ｘＨｌ＝ａｒｇｍａｘ（Ｃｌｅｆｔ（ｘＨｉｌ）），
ｘＨｒ＝ａｒｇｍａｘ（Ｃｒｉｇｈｔ（ｘＨｉｒ）），
ｙＶｔ＝ａｒｇｍａｘ（Ｃｔｏｐ（ｙＶｊｔ）），
ｙＶｂ＝ａｒｇｍａｘ（Ｃｂｔｍ（ｙＶｊｂ）） …（２２）
【００４６】
図１２は、図１の出力情報である輪郭座標の具体例を例示するイメージ図である。本実施例の物体検出装置１００によれば、車両を用いた実際の実験結果においても、本図１２のイメージ図と同様の演算結果が得られている。
即ち、例えば以上の様な実施形態により、本発明を効果的に実現することができる。
【図面の簡単な説明】
【図１】本発明の実施例における物体検出装置１００の主要構成を例示するシステム構成図。
【図２】本発明の実施例における物体検出装置１００の基本的な制御手順を例示するゼネラルフローチャート。
【図３】ステップ２３０における処理領域の決定形態を模式的に表すイメージ図。
【図４】物体境界候補の検出（：ステップ２４０）を実行するサブルーチンの処理手順を例示するフローチャート。
【図５】物体の境界ヒストグラム（Ｖ，Ｈ）の作成形態を模式的に表すイメージ図。
【図６】水平境界の左右判定（：ステップ２５０）を実行するサブルーチンの処理手順を例示するフローチャート。
【図７】物体の左右の境界に係わるヒストグラム（ＨＭ，ＬＲ）の作成形態を模式的に表すイメージ図。
【図８】ステップ２６０の移動ステレオ法における基本的な処理概念（照合方式）を説明する概念図。
【図９】移動ステレオ法に基づく照合処理（：ステップ２６０）を実行するサブルーチンの処理手順を例示するフローチャート。
【図１０】左右対称性の検証処理（：ステップ２７０）を実行するサブルーチンの処理手順を例示するフローチャート（前半）。
【図１１】左右対称性の検証処理（：ステップ２７０）を実行するサブルーチンの処理手順を例示するフローチャート（後半）。
【図１２】図１の出力結果となる輪郭座標の具体例を例示するイメージ図。
【符号の説明】
１００ … 物体検出装置
１０１ … ＣＰＵ
１０２ … ＲＯＭ
１０３ … ＲＡＭ
１０４ … ＩＦ（入出力インターフェイス）
１０７ … カメラ（撮像手段）
１０８ … ミリ波レーダ（距離検出手段）
１１０ … ＥＣＵ（電子制御ユニット）
Ｉ（ｘ，ｙ） … 画像座標（ｘ，ｙ）における画素の明度（撮像された画素情報）
Ｉｄｘ（ｘ，ｙ） … 強調処理された水平微分画像（加工された画素情報）
Ｉｄｙ（ｘ，ｙ） … 強調処理された垂直微分画像（加工された画素情報）
Ｈ … 水平境界ヒストグラム
Ｖ … 垂直境界ヒストグラム
ＨＭ … 中間ヒストグラム
ＬＲ … 左右判定ヒストグラム
Ｚ１ … 時刻ｔ＝ｔ１の時の物体までの距離
Ｈ１ … 時刻ｔ＝ｔ１の時の水平境界ヒストグラム
Ｒ１ … ヒストグラムＨ１の定義域
Ｚ２ … 時刻ｔ＝ｔ２の時の物体までの距離
Ｈ２ … 時刻ｔ＝ｔ２の時の水平境界ヒストグラム
Ｒ２ … ヒストグラムＨ２の定義域
Ｈ１′ … Ｈ１を縮尺調整して得られる水平境界ヒストグラム
ｘＨｉ … 境界候補の位置（横軸方向の位置；１≦ｉ≦ｎ）
ｘＨｉｌ … 左境界候補の位置
ｘＨｉｒ … 右境界候補の位置
ｙＶｊ … 境界候補の位置（縦軸方向の位置；１≦ｊ≦ｍ）
ｙＶｊｔ … 上境界候補の位置
ｙＶｊｂ … 下境界候補の位置
ｘＨｌ … 輪郭座標（最終的に出力される、物体の左端の位置）
ｘＨｒ … 輪郭座標（最終的に出力される、物体の右端の位置）
ｙＶｔ … 輪郭座標（最終的に出力される、物体の上端の位置）
ｙＶｂ … 輪郭座標（最終的に出力される、物体の下端の位置）

Claims

車両等の移動体の前方監視等に有用で、前記移動体に積載可能な物体検出装置であって、
検出されるべき物体までの距離を測定する距離測定手段と、
想定される検出対象範囲の全体画像を撮像する画像撮像手段と、
前記距離の分布状態に基づいて前記全体画像内の解析対象領域を限定する解析対象領域限定手段と、
前記解析対象領域を構成する部分画像から前記物体の輪郭候補を抽出する輪郭候補抽出手段と、
同一時刻における少なくとも、前記部分画像または前記輪郭候補と、前記距離とを有して成る同一時刻情報を複数の時刻に渡って保持する複数時刻情報保持手段と、
各前記輪郭候補が前記物体の輪郭に一致する信頼度を算定する信頼度算定手段と、
前記信頼度に基づいて前記物体の輪郭を推定する輪郭推定手段とを有し、
前記信頼度算定手段は、
前記複数時刻情報保持手段が保持する複数の前記同一時刻情報間で満たされるべき距離と大きさの対応関係に照らして、前記信頼度を算定することを特徴とする物体検出装置。
前記輪郭候補抽出手段は、
前記部分画像の画素情報に対する特定方向の微分処理等を用いて、前記部分画像のエッジ画像を作成するエッジ画像作成手段と、
前記エッジ画像から、前記特定方向のエッジ分布に関する１次元ヒストグラムを少なくとも１方向について作成するヒストグラム作成手段と、
前記１次元ヒストグラムから、前記輪郭候補の少なくとも１方向における位置座標を特定する輪郭候補座標特定手段とを有することを特徴とする請求項１に記載の物体検出装置。
前記同一時刻情報が有する前記物体までの前記距離に基づいて、前記距離に対して略垂直な任意の方向の長さの縮尺比を調整する縮尺比調整手段を有し、
前記信頼度算定手段は、
前記縮尺比調整手段により縮尺比調整された画像処理データを用いた、複数時刻間におけるデータ照合処理に基づいて、前記信頼度を算定することを特徴とする請求項１又は請求項２に記載の物体検出装置。
前記信頼度算定手段は、
前記物体が水平方向において左右対称性を有することを前提として、前記信頼度を算定することを特徴とする請求項１乃至請求項３の何れか１項に記載の物体検出装置。