JP2005284410A - 車両認識装置及び車両認識方法 - Google Patents

Abstract

【課題】 カメラで撮影した自車前方の画像の中から先行車を高い確度で認識し得る車両認識装置及び車両認識方法を提供する。
【解決手段】 レーダからの検出情報に含まれている物体の位置を中心にして画像内の特定領域の画像を取り出す画像取り出し工程と、画像取り出し工程によって取り出された画像を二値化する二値化工程（Ｓ２０）と、二値化された画像内に含まれている画像内図形と所定の照合用図形とのパターンマッチングを行うマッチング工程（Ｓ２４）と、マッチング工程のマッチング結果が一致又は所定の割合以上で一致している場合に、そのマッチング対象の画像内図形を先行車の図形であると判定する判定工程（Ｓ２５）とを含み、照合用図形は、横長図形と、該横長図形の両端から下方突出する下方突出図形とを組み合わたものであることを特徴とする。
【選択図】 図５

Description

本発明は、車両認識装置及び車両認識方法に関する。詳しくは、自車前方の車両を認識するための車両認識装置及び車両認識方法に係り、車両以外の様々な物体の存在に惑わされることなく、高い確度で車両を認識することができ、たとえば、先行車追尾などの車両走行支援システムに適用した場合に、そのシステムの信頼性の向上に大きく寄与する車両認識装置及び車両認識方法に関する。

たとえば、特許文献１に記載されているように、「カメラにより自車より前方の状況を撮影して得た画像を、画像処理して先行車を認識し、この先行車を追尾しつつ走行するようにエンジン出力を制御する自動車の走行制御装置」が知られているが、カメラによって撮影された画像には、先行車以外の様々な背景画像も写し込まれているため、それらの背景画像の中から所望の目標物（すなわち先行車）のみを正しく認識することが求められる。

この要求に関して、同文献では、「まず、レーザレーダにより、レーザビームを水平面内でスキャンしつつ自車から前方に向けて出射すると共に反射してきたレーザビームを受信することにより、自車の前方に存在する物体の位置情報を取得し、次いで、画像処理装置により、レーザレーダで検出した物体の位置座標に対応して、物体までの距離が長いほど前記画像内の処理エリアを狭くするとともに、物体の位置が自車の車幅方向にずれるにつれて処理エリアを左右にシフトし、この処理エリアの画像について画像処理を行って先行車を認識する」ようにしている。

この処理は、要するに、レーザレーダの反射レーザビームによって自車前方の“物体”の存在を認識し、このレーザレーダの認識結果（物体の位置）に基づいて、カメラの画像の切り出し範囲（同文献では処理エリア）を絞り込むことにより、先行車の可能性がある物体を中心とした狭い範囲の画像だけを処理対象にして、背景等の不要な被写体像に惑わされることなく、所望の目標物（すなわち先行車）のみを正しく認識できるようにしたものということができる。

特許第３２６４０６０号公報

しかしながら、上記の従来技術にあっては、カメラで撮影した画像の全体を処理対象とせずに、狭い範囲（処理エリア）の画像、つまり、レーザレーダの認識結果（物体の位置）に基づいて絞り込まれた狭い範囲の画像だけを処理対象としているため、様々な背景画像に惑わされることなく、先行車の認識を行い得るものと解されるが、肝心の先行車の認識精度については、以下の理由から不十分であり未だ改善の余地がある。

すなわち、同文献中の〔００１６〕欄には、「（カメラで撮影された）画像の中から縦方向の直線に囲まれるエリアを抽出し、抽出したエリアのうち左右対称で、且つ、次々と取り込んでいく画像の中で位置があまり動かないものを、先行車として認識する」と記載されているが、これら二つの認識条件のうち特に前者の条件（左右対称）が大雑把すぎるため、他の物体を先行車と誤認する可能性がある。

たとえば、次の状況を想定する。今、自車は、道路の左レーンを走行しているものとする。このとき、隣の右レーンに、自車と同方向にほぼ同速度で前方を走行中の他車が存在している場合、この他車は、自車の追尾対象車（先行車）とはならない。自車と他車の走行レーンが異なるからである。しかしながら、もし、その道路が前方で左に急激にカーブしているとき、そのカーブの曲率に沿って他車の向きが変化する際に、他車の横腹が自車の方向に向くときがあり、このとき、上記の二つの条件を満たしてしまうことがあり得る。

つまり、他車の横腹の画像は（特にその他車がワンボックスカーやバスなどの箱形である場合）概ね左右対称となり得るし、且つ、自車と他車の速度もほぼ同等であるため、次々と取り込んでいく画像の中で位置があまり動かないものとなるからであり、結局、本来は先行車として認識してはならない隣接レーンの車両を先行車と誤認してしまい、その結果、先行車追尾などの車両走行支援システムの信頼性を損なうという不都合をもたらすのである。

そこで本発明は、カメラで撮影した自車前方の画像の中から先行車を高い確度で認識し得る車両認識装置及び車両認識方法を提供することを目的としている。

本発明に係る車両認識装置は、自車前方を監視するカメラからの画像と、自車前方の物体の位置及び自車と該物体までの距離を検出するレーダからの検出情報とに基づいて、前記画像に含まれている被写体の中から先行車を認識する車両認識装置において、前記レーダからの検出情報に含まれている物体の位置を中心にして前記画像内の特定領域の画像を取り出す画像取り出し手段と、前記画像取り出し手段によって取り出された画像を二値化する二値化手段と、前記二値化された画像内に含まれている画像内図形と所定の照合用図形とのパターンマッチングを行うマッチング手段と、前記マッチング手段のマッチング結果が一致又は所定の割合以上で一致している場合に、そのマッチング対象の画像内図形を先行車の図形であると判定する判定手段とを備え、前記照合用図形は、横長図形と、該横長図形の両端から下方突出する下方突出図形とを組み合わたものであることを特徴とするものである。
また、この発明の好ましい態様は、前記パターンマッチングに用いられる所定の照合用図形の大きさを、マッチング対象の画像内図形に対応する物体と自車との距離が遠くなるほど小さくすることを特徴とするものである。
又は、本発明に係る車両認識方法は、自車前方を監視するカメラからの画像と、自車前方の物体の位置及び自車と該物体までの距離を検出するレーダからの検出情報とに基づいて、前記画像に含まれている被写体の中から先行車を認識する車両認識方法において、前記レーダからの検出情報に含まれている物体の位置を中心にして前記画像内の特定領域の画像を取り出す画像取り出し工程と、前記画像取り出し工程によって取り出された画像を二値化する二値化工程と、前記二値化された画像内に含まれている画像内図形と所定の照合用図形とのパターンマッチングを行うマッチング工程と、前記マッチング工程のマッチング結果が一致又は所定の割合以上で一致している場合に、そのマッチング対象の画像内図形を先行車の図形であると判定する判定工程とを含み、前記照合用図形は、横長図形と、該横長図形の両端から下方突出する下方突出図形とを組み合わたものであることを特徴とするものである。
また、この発明の好ましい態様は、前記パターンマッチングに用いられる所定の照合用図形の大きさを、マッチング対象の画像内図形に対応する物体と自車との距離が遠くなるほど小さくすることを特徴とするものである。
これらの発明では、自車の前方を走行する先行車の後部画像が、車体後部に相当する横長図形と、左右後輪に相当する下方突出図形との組み合わせで単純化できることに着目し、その単純化図形（照合用図形）を用いて画像のパターンマッチングを行うことにより、先行車の認識を高い確度で行っている。
また、これらの発明の好ましい態様では、自車から先行車までの距離に応じて先行車の後部画像の大きさが変化することに着目し、前記の照合用図形の大きさを距離に対応させて変更することにより、一層確実なパターンマッチングを行い、先行車の認識の確度をさらに高めている。

本発明によれば、カメラで撮影した自車前方の画像の中から先行車を高い確度で認識し得る車両認識装置及び車両認識方法を提供でき、たとえば、先行車追随システムに適用した場合に、そのシステムの信頼性を向上できるという格別の効果を奏することができる。

以下、本発明の実施の形態を図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１（ａ）は、実施形態のシステム構成図である。車両（以下「自車」という。）１は、レーザレーダ２（レーダ）と、ＣＭＯＳカメラ３（カメラ）と、先行車検出部４（画像取り出し手段、二値化手段、マッチング手段、判定手段）とを備えている。

レーザレーダ２は、自車１の前方に設定された固定又は可変の監視エリアを、ペンシルビーム形状のレーザビーム２ａで満遍なく走査（水平走査と垂直走査）し、監視エリア内の物体からのレーザビーム２ａの反射波を受信した時のビーム走査角度（水平角度と垂直角度）から物体の位置（方位と仰角）を割り出すと共に、ビームの発射と反射波受信の時間差から物体までの距離を割り出すものである。なお、レーザの代わりに無線電波を用いたもの、たとえば、ミリ波レーダなどであってもよい。要は、電磁波を媒体として監視エリア内の物体の位置や距離を測定できる測距装置であればよい。

ＣＭＯＳカメラ３は、自車１の前方に設定された監視エリア（レーザレーダ２の監視エリアと同じもの、又は、レーザレーダ２の監視エリアを包含するもの）を光学的に撮影してその画像信号を出力するものであり、このＣＭＯＳカメラ３は、少なくとも、屋外撮影における所要ダイナミックレンジ（１００ｄＢ以上）を満たす性能を有しているとともに、任意領域の画像の選択的読み出し（ランダムアクセス）も可能とするものである。なお、“任意領域の画像の選択的読み出し”とは、ＣＭＯＳカメラに対して、その有効画素の任意のアドレス範囲（行アドレスと列アドレス）を指定することにより、当該アドレス範囲の画像だけを選択的に取り出すことをいう。

図１（ｂ）は、ＣＭＯＳカメラにおけるランダムアクセスの概念図である。今、有効画素数を便宜的に６４０（列）×４８０（行）画素とするＣＭＯＳカメラを例にすると、この場合、たとえば、行アドレスの１６０〜３２０の範囲と、列アドレスの１６０〜４８０の範囲とを読み出しアドレスとして指定すれば、全画面（６４０×４８０）のほぼ中央部分の画像（ハッチング部分）のみを取り出すことができる。このようなランダムアクセス（任意領域の画像の選択的読み出し）は、ＣＭＯＳカメラの特徴の一つであり、言い換えれば、フォトダイオード等の電荷結合素子に蓄積された電荷を順次に転送するＣＣＤ（電荷転送素子）カメラにはない特徴である。

先行車検出部４は、ＣＭＯＳカメラ３から出力された画像信号を所定のアルゴリズムに従って処理するものであり、そのアルゴリズムの詳細は後述するが、概略的には、ＣＭＯＳカメラ３のランダムアクセスを制御すると共に、そのランダムアクセス範囲の画像信号の中から自車前方の先行車を認識して、当該認識結果を先行車追尾システムに出力するというものである。

図２は、先行車検出部４の概念構成図である。この図において、先行車検出部４は、特にそれに限定しないが、ＣＰＵ４ａ、ＲＯＭ４ｂ、ＲＡＭ４ｃ及び入出力部４ｄなどからなるマイクロプログラム制御方式の構成を有している。このような構成の先行車検出部４は、ＲＯＭ４ｂに予め書き込まれている制御プログラム等のソフトウェアリソースをＲＡＭ４ｃにロードし、それをＣＰＵ４ａで実行することにより、当該ソフトウェアリソースと、ＣＰＵ４ａなどのハードウェアリソースとの有機的結合によって所望の機能を実現する。なお、ＲＯＭ４ｂには、上記のソフトウェアリソースと共に後述の照合用図形テーブル２８（図１０参照）も格納されている。

図３、図４及び図５は、先行車検出部４で実行されるソフトウェアリソースの概略的なフローチャートを示す図である。このフローチャートでは、まず、レーザレーダ２の検出情報（監視エリア内の物体の位置や距離等の情報）とＣＭＯＳカメラ３の画像情報（この段階では全画面の画像情報）とを取得する（ステップＳ１１及びステップＳ１２）。

図６は、レーザレーダ２の検出情報とＣＭＯＳカメラ３の画像情報とを示す図である。同図（ａ）において、画像１０は、ＣＭＯＳカメラ３の全画面の画像情報（ＣＭＯＳカメラ３のすべての有効画素で構成された画像情報）である。この画像１０には様々な被写体、たとえば、白線１１、１２、１３で仕切られた自車１の走行レーン１４とその右側の隣接レーン１５、走行レーン１４の左端に連なるガードロープ用のポール１６〜２０（物体）、林２１や山並み２２及び太陽２３等からなる背景２４、走行レーン１４や隣接レーン１５を走行中の何台かの車両２５〜２７（物体）が写し込まれている。なお、車両２５〜２７のうち自車１と同じ走行レーン１４を走行中の車両２５のことを、特にその動きに注意を払わなければならない「先行車」という。

一方、同図（ｂ）において、画像１０の上に重畳表示された複数の黒丸印（Ｐ１〜Ｐ１２）は、それぞれレーザレーダ２の検出情報を模式的に表しており、たとえば、Ｐ１〜Ｐ５は、ガードロープ用のポール１６〜２０の検出情報、Ｐ６、Ｐ７は、先行車２５の検出情報、Ｐ８〜Ｐ１２は、隣接レーン１５を走行中の車両２６、２７の検出情報である。なお、これらの検出情報（Ｐ１〜Ｐ１２）は、正確には、ガードロープ用のポール１６〜２０や車両２５〜２７の後部に取り付けられている反射板（又は反射テープ）の検出情報である。

さて、同図（ｂ）においては、画像１０の上に各々の検出情報（Ｐ１〜Ｐ１２）を重畳表示しているが、実際上は、レーザレーダ２とＣＭＯＳカメラ３の座標が同一でないため、レーザレーダ２の検出情報（Ｐ１〜Ｐ１２）とＣＭＯＳカメラ３の画像情報との対応を取るために、いずれか一方の座標を基準に他方の座標を変換する必要がある（ステップＳ１３）。同図（ｂ）に示されている検出情報（Ｐ１〜Ｐ１２）の重畳表示は、座標変換した後のものである。

このように座標変換を実行した後は、次に、検出情報（Ｐ１〜Ｐ１２）に基づく画像１０の切り出しを行う（ステップＳ１４）。ここで、“切り出し”とは、画像１０の特定部分を切り出すことをいう。この切り出しには、ＣＭＯＳカメラ３のランダムアクセスは関与しない。すなわち、画像１０はＲＡＭ４ｃに展開されているので、そのＲＡＭ４ｃの所望のアドレス範囲を読み出すことによって、かかる“切り出し”を行うことができる。

図７（ａ）は、ステップＳ１４における画像１０の切り出しの概念図である。この図において、画像１０の中に描かれている小さな矩形Ｅ１〜Ｅ１２は、それぞれレーザレーダ２の検出情報（Ｐ１〜Ｐ１２）を中心にして生成された切り出し範囲であり、それらの矩形Ｅ１〜Ｅ１２に囲まれた部分がＲＡＭ４ｃに展開された画像１０から切り出される。ここで、矩形Ｅ１〜Ｅ５は、ポール１６〜２０の検出情報Ｐ１〜Ｐ５に対応するものであり、これらの矩形Ｅ１〜Ｅ５を用いて小さく切り出された画像（以下「単位画像」という。）は、それぞれポール１６〜２０の頭部付近の画像情報を含む。また、矩形Ｅ６〜Ｅ１２は、先行車２５や隣接レーン１５を走行中の車両２６、２７の検出情報Ｐ６〜Ｐ１２に対応するものであり、これらの矩形Ｅ６〜Ｅ１２を用いて小さく切り出された単位画像は、それぞれ先行車２５や隣接レーン１５を走行中の車両２６、２７の後部の画像情報を含む。

このように単位画像の切り出しを行うと、次に、切り出された各単位画像の低明度値と高明度値を検出する（ステップＳ１５）。低明度値とは単位画像内の各画素の明度情報のうちもっとも暗い値を持つものである。また、高明度値とは単位画像内の各画素の明度情報のうちもっとも明るい値を持つものである。そして、この低明度値と高明度値の検出操作をすべての単位画像について実行すると（ステップＳ１６）、次に、それらの低明度値及び高明度値を比較して最小の低明度値と最大の高明度値とを選択し、それぞれ画像１０の代表低明度値（Ｂmin）及び代表高明度値（Ｂmax）として採用する（ステップＳ１７）。

図８は、単位画像の明度分布を示す図である。この図において、Ｇ１〜Ｇ１２は、それぞれステップＳ１４で切り出された単位画像を示している。Ｇ１〜Ｇ１２の横軸は明度値（左側に行くにつれて暗くなり、右側に行くにつれて明るくなる）であり、軸上の波形はその単位画像中の明度分布を表している。たとえば、Ｇ１やＧ３の明度はほぼ中間の明るさで分布しているが、Ｇ２の明度分布は「暗」側に偏っており、また、Ｇ１２の明度分布は「明」側に偏っている。したがって、この場合、ステップＳ１７で採用される画像１０の代表低明度値（Ｂmin）はＧ２の低明度値ａとなり、代表高明度値（Ｂmax）はＧ１２の高明度値ｂとなる。

このように、画像１０の代表低明度値（Ｂmin）及び代表高明度値（Ｂmax）とを決定すると、次に、ＣＭＯＳカメラ３をランダムアクセスして監視エリア内の所要部分の画像（以下「処理対象画像１０ａ」という。）を取り出す（ステップＳ１８：画像取り出し工程）。

図７（ｂ）は、処理対象画像１０ａの取り出し概念図である。この図において、画像１０のほぼ中央部付近、便宜的に、画像１０を６４０×４８０画素のサイズとしたときの、たとえば、行アドレスの１６０〜３２０と列アドレスの１６０〜４８０の範囲に描かれている横長の矩形Ｅ１３（特定領域）は、ランダムアクセス範囲であり、処理対象画像１０ａは、この矩形Ｅ１３の範囲でＣＭＯＳカメラ３をランダムアクセスすることによって得られた画像である。すなわち、処理対象画像１０ａは、ＣＭＯＳカメラ３に対して、矩形Ｅ１３の縦方向と横方向のサイズに対応する行アドレス（１６０〜３２０）と列アドレス（１６０〜４８０）を与えることにより、そのアドレス範囲の画素信号を読み出して得られた特定範囲の画像である。
なお、図示の例では、処理対象画像１０ａの取り出し範囲（矩形Ｅ１３）を、ＣＭＯＳカメラ３の全画面のほぼ中央部付近としているが、これは説明のための一例に過ぎない。たとえば、レーザレーダ２の検出情報に従って、その矩形Ｅ１３の位置や大きさを変更してもよいし、又は、レーザレーダ２の検出情報に加えて、先行車との相対速度も考慮して、その矩形Ｅ１３の位置や大きさを変更してもよい。

このように処理対象画像１０ａの取り出しを行うと、次に、明るさの情報量を削減するために、横長矩形Ｅ１３内の特定画素の信号からなる処理対象画像１０ａに含まれる明るさの情報のうち、前記の代表低明度値（Ｂmin）以下の情報と、前記の代表高明度値（Ｂmax）以上の情報とを不要な明度情報として切り捨てる（ステップＳ１９）。

図９は、明るさ情報の切り捨て概念図である。この図において、上段の波形は明るさ情報を切り捨てる“前”の処理対象画像１０ａの輝度分布を示している。この輝度分布はＣＭＯＳカメラ３の高ダイナミックレンジに対応して暗から明まで広範な明度情報を含み、その情報量は相当多い。一方、下段の波形は明るさ情報を切り捨てた“後”の処理対象画像１０ａ、つまり、矩形Ｅ１３内の特定画素の信号からなる処理対象画像１０ａに含まれる明るさの情報のうち、前記の代表低明度値（Ｂmin）以下の情報と、前記の代表高明度値（Ｂmax）以上の情報とを不要な明度情報として切り捨てた後の輝度分布を示しており、この輝度分布は、上段の輝度分布と比較して、明らかに明度情報の量が少なくなっている。

このように、不要な明るさ情報を切り捨てて明度情報の量を少なくした処理対象画像１０ａを生成すると、次に、本実施形態のポイントである先行車の認識に関する一連の処理を実行する。

この処理では、まず、不要な明るさ情報を切り捨てて明度情報の量を少なくした処理対象画像１０ａを白レベルと黒レベルに二値化する（ステップＳ２０：二値化工程）。次いで、その二値化画像に含まれている図形をサーチする（ステップＳ２１）。

ここで、“図形”とは、先行車の可能性がある物体の図形のことをいい、具体的には二値化画像中の黒レベル画素の集合部分のことをいう。以下、この図形のことを便宜的に「画像内図形」ということにする。たとえば、図７（ｂ）の処理対象画像１０ａを例にすると、この処理対象画像１０ａには、レーザレーダ２で検出されたいくつかの物体、すなわち、ガードロープ用のポール１８〜２０や車両２５〜２７が含まれている。これらの物体の明度と路面や背景などの明度との差が充分であるとき、上記の二値化によって、それらの物体のすべて又はいくつかが黒レベル画素の集合となる。したがって、これらのポール１８〜２０や車両２５〜２７は、画像内図形となる。

次いで、サーチされた画像内図形がレーザレーダ２の検出物体であるか否かを判定する（ステップＳ２２）。この判定は、たとえば、図６（ｂ）に示されている複数の黒丸印（Ｐ１〜Ｐ１２）との照合によって行うことができる。これらの黒丸印（Ｐ１〜Ｐ１２）は、それぞれレーザレーダ２の検出情報を便宜的に表しており、たとえば、Ｐ１〜Ｐ５は、ガードロープ用のポール１６〜２０の検出情報、Ｐ６、Ｐ７は、先行車２５の検出情報、Ｐ８〜Ｐ１２は、隣接レーン１５を走行中の車両２６、２７の検出情報であるからである。具体的には、サーチされた画像内図形の座標範囲にＰ１〜Ｐ１２のいずれかの座標が含まれていれば、「その画像内図形はレーザレーダ２の検出物体である」と判定し、そうでなければ、「その画像内図形はレーザレーダ２の検出物体でない」と判定する。

次に、「その画像内図形はレーザレーダ２の検出物体である」と判定した場合には、その検出物体までの距離に対応した大きさの照合用図形をテーブルからルックアップする（ステップＳ２３）。

図１０は、テーブル（以下「照合用図形テーブル」）２８を示す概念図である。この照合用図形テーブル２８は、ＲＯＭ４ｂに予め登録されているものである。照合用図形テーブル２８は、たとえば、距離フィールド２８ａと照合用図形フィールド２８ｂからなる距離毎の多数のレコードで構成されており、距離フィールド２８ａにはテーブル参照用の距離情報（たとえば、“１０ｍ”、“１５ｍ”、“２０ｍ”、“２５ｍ”、・・・・、“２００ｍ”）が格納され、また、照合用図形フィールド２８ｂにはそれぞれの距離に対応した大きさの照合用図形２９〜３３が格納されている。なお、言うまでもなく、上記の距離は単なる例示であり、また、照合用図形テーブル２８に格納されている照合用図形２９〜３３の大きさも一例に過ぎない。

ここで、“照合用図形”とは、自車１の前方に位置する車両の後部形状を単純化した図形であり、図示のように、横長図形の両端をそれぞれ下方に若干突出させた形状、強いて言えば、ギリシャ文字の“π”（パイ）に似た形状（本明細書では便宜的にπ型図形ということもある。）を有しているものである。

このπ型図形は、本件発明者らの実験（様々なタイプの車両の後部画像の確認実験）を通して得られたものである。すなわち、特殊用途を除く様々なタイプの車両の後部画像は、その車体部分に相当する横長図形と、その左右後輪部分に相当する二つの下方突出図形とからなるπ型図形に単純化できるという本件発明者らの知見に基づくものである。本実施形態では、この知見に加えて、さらに、そのπ型図形の大きさ（特に横方向の大きさ）は、自車１からの距離が遠くなるほど小さくなるという事実を元に、上記のπ型図形を模した照合用図形を距離毎に作成して照合用図形フィールド２８ｂに格納したものである。

本実施形態における先行車の認識アルゴリズムの重要なポイントは、この照合用図形と画像内図形とのパターンマッチングを行い（ステップＳ２４：マッチング工程）、そのマッチング結果を調べて（ステップＳ２５：判定工程）、マッチング（完全一致又は所定割合以上の一致）した場合には、その画像内図形を先行車の図形と判断（ステップＳ２６）し、マッチングしなかった場合には、その画像内図形を先行車以外の物体の図形と判断（ステップＳ２７）する点にある。

たとえば、図７（ｂ）の処理対象画像１０ａを例にすると、この処理対象画像１０ａには、レーザレーダ２で検出されたいくつかの物体、すなわち、ガードロープ用のポール１８〜２０や車両２５〜２７が含まれているが、これらの物体の図形のうち、π型図形（照合用図形）に類似（マッチング）する形を持つものは、自車１の走行レーン１４を走行中の車両２５と、隣接レーン１５を走行中の車両２６の二つだけ（隣接レーン１５を走行中の車両２７は車体の右側が矩形Ｅ１３からはみ出しているためマッチングしない。）である。

したがって、この場合は、自車１の走行レーン１４を走行中の車両２５と、隣接レーン１５を走行中の車両２６の二つの画像内図形が、先行車の図形であると判断される。但し、厳密には“先行車”は、自車１と同一のレーンを前走する車両、つまり、自車１の走行レーン１４を走行中の車両２５のことであり、隣接レーン１５を走行中の車両２６は該当しないが、たとえば、自車１の走行レーン１４の左右の白線を画像認識し、その白線内に位置する車両２５のみを先行車として認識すればよい。このようにすると、隣接レーン１５を走行中の車両２６は、自車１の走行レーン１４の左右の白線外に位置しているため、先行車として誤認されることはない。なお、白線の認識技術については、既に様々なものが知られている（たとえば、特許第３２７０２９３号公報などを参照）ため、ここでは敢えて説明を加えない。

以上のとおり、画像内図形と照合用図形のマッチングを行い、そのマッチング結果に基づいて、その画像内図形が先行車の図形であるか否かの判定を行った後は、二値化された処理対象画像１０ａに含まれるすべての画像内図形について、上記のステップＳ２１〜ステップＳ２７を繰り返して実行し、最後の画像内図形に対する処理の完了を判定（ステップＳ２８）すると、最後に、その先行車として認識された図形を先行車追尾システムに出力（ステップＳ２９）して、本フローチャートを終了する。

図１１は、ＣＭＯＳカメラ３で撮影された自車１の前方の監視エリアの画像例を示す図である。この画像３４には、自車１と同一のレーンを走行中の先行車３５が写っている。

図１２は、先行車３５を中心とした画像３４ａを示す図である。この画像３４ａは、レーザレーダ２によって先行車３５を検出し、その先行車の検出位置Ｐ１３を中心にした矩形Ｅ１４を設定して、その矩形Ｅ１４内の画像を、たとえば、ＣＭＯＳカメラ３のランダムアクセスにより、図１１の画像３４から取り出したときのものである。

図１３（ａ）は、画像３４ａの明度分布の三次元グラフを示す図である。縦軸は明度を表し、左右上下の各辺は、それぞれ画像３４ａの左右上下を表しており、グラフ内の窪みは周囲よりも暗い部分を表している。

図１３（ｂ）は、画像３４ａの要部（特にグラフ内の窪みの部分）拡大画像図である。この拡大画像は画素の大きさに対応した多数の升目で構成されており、これらの升目は先行車３５を表すと共に、先行車３５の背景３６や先行車３５の影３７なども表している。各升目の明るさに若干の差違はあるものの、とりわけ、先行車３５の部分に黒レベルないしは黒に近い中間レベルの画素が集まっており、その集まり方に特異性が見られる。

すなわち、図１３（ｃ）は、図１３（ｂ）の画像を二値化したものであり、先行車３５の部分を際立たせたものであるが、この二値化画像は、車体後部に相当する横長図形３５ａと、その横長図形３５ａの両端に位置し左右後輪に相当する下方突出図形３５ｂ、３５ｃとから構成されており、前述のπ型図形に対応した特異形状を有している。

したがって、この二値化画像と、照合用図形テーブル２８に格納されている照合用図形２９〜３３とのパターンマッチングを行うことにより、上記の特異形状（π型図形）を有する先行車３５の認識を高い確度で行うことができる。

たとえば、隣接レーンを走行中のワンボックスカー等の箱形車体の他車の横腹が自車１の方向に向いたときであっても、その他車の横腹の画像は、単なる横長図形に過ぎず、しかも、その横長図形に加えて前後車輪の形が写っていたとしても、それらの前後車輪の位置は、横長図形の両端よりも内側に相当量入っているから、強いて言えば、二枚歯の下駄を横から見た形になるので、到底、図１０に示すような照合用図形２９〜３３とマッチングしない。

以上のとおりであるから、本実施形態によれば、車両以外の様々な物体はもちろんのこと、隣接レーンの車両も先行車と誤認することはなく、自車レーンを走行中の車両のみを高い確度で先行車として認識することができ、たとえば、先行車追尾などの車両走行支援システムに適用した場合に、当該システムの信頼性を向上できるという格別有益な効果を奏することができるのである。

実施形態のシステム構成図及びＣＭＯＳカメラにおけるランダムアクセスの概念図である。 先行車検出部４の概念構成図である。 先行車検出部４で実行されるソフトウェアリソースの概略的なフローチャートを示す図（１／３）である。 先行車検出部４で実行されるソフトウェアリソースの概略的なフローチャートを示す図（２／３）である。 先行車検出部４で実行されるソフトウェアリソースの概略的なフローチャートを示す図（３／３）である。 レーザレーダ２の検出情報とＣＭＯＳカメラ３の画像情報とを示す図である。 ステップＳ１４における画像１０の切り出しの概念図及び処理対象画像１０ａの取り出し概念図である。 各単位画像の明度分布を示す図である。 明るさ情報の切り捨て概念図である。 照合用図形テーブル２８を示す概念図である。 ＣＭＯＳカメラ３で撮影された自車１の前方の監視エリアの画像例を示す図である。 先行車３５を中心とした画像３４ａを示す図である。 画像３４ａの要部（特にグラフ内の窪みの部分）拡大画像図及び画像３４ａの明度分布の三次元グラフを示す図である。

符号の説明

Ｅ１３ 矩形（特定領域）
Ｅ１４ 矩形（特定領域）
Ｓ１８ ステップ（画像取り出し工程）
Ｓ２０ ステップ（二値化工程）
Ｓ２４ ステップ（マッチング工程）
Ｓ２５ ステップ（判定工程）
１ 自車
２ レーザレーダ（レーダ）
３ ＣＭＯＳカメラ（カメラ）
４ 先行車検出部（画像取り出し手段、二値化手段、マッチング手段、判定手段）
１８ ポール（画像内図形）
１９ ポール（画像内図形）
２０ ポール（画像内図形）
２５ 車両（画像内図形）
２６ 車両（画像内図形）
２７ 車両（画像内図形）
２９ 照合用図形
３０ 照合用図形
３１ 照合用図形
３２ 照合用図形
３３ 照合用図形
３５ａ 横長図形
３５ｂ 下方突出図形
３５ｃ 下方突出図形

Claims (4)

1. 自車前方を監視するカメラからの画像と、自車前方の物体の位置及び自車と該物体までの距離を検出するレーダからの検出情報とに基づいて、前記画像に含まれている被写体の中から先行車を認識する車両認識装置において、
   前記レーダからの検出情報に含まれている物体の位置を中心にして前記画像内の特定領域の画像を取り出す画像取り出し手段と、
   前記画像取り出し手段によって取り出された画像を二値化する二値化手段と、
   前記二値化された画像内に含まれている画像内図形と所定の照合用図形とのパターンマッチングを行うマッチング手段と、
   前記マッチング手段のマッチング結果が一致又は所定の割合以上で一致している場合に、そのマッチング対象の画像内図形を先行車の図形であると判定する判定手段とを備え、
   前記照合用図形は、横長図形と、該横長図形の両端から下方突出する下方突出図形とを組み合わたものであることを特徴とする車両認識装置。
2. 前記パターンマッチングに用いられる所定の照合用図形の大きさを、マッチング対象の画像内図形に対応する物体と自車との距離が遠くなるほど小さくすることを特徴とする請求項１記載の車両認識装置。
3. 自車前方を監視するカメラからの画像と、自車前方の物体の位置及び自車と該物体までの距離を検出するレーダからの検出情報とに基づいて、前記画像に含まれている被写体の中から先行車を認識する車両認識方法において、
   前記レーダからの検出情報に含まれている物体の位置を中心にして前記画像内の特定領域の画像を取り出す画像取り出し工程と、
   前記画像取り出し工程によって取り出された画像を二値化する二値化工程と、
   前記二値化された画像内に含まれている画像内図形と所定の照合用図形とのパターンマッチングを行うマッチング工程と、
   前記マッチング工程のマッチング結果が一致又は所定の割合以上で一致している場合に、そのマッチング対象の画像内図形を先行車の図形であると判定する判定工程とを含み、
   前記照合用図形は、横長図形と、該横長図形の両端から下方突出する下方突出図形とを組み合わたものであることを特徴とする車両認識方法。
4. 前記パターンマッチングに用いられる所定の照合用図形の大きさを、マッチング対象の画像内図形に対応する物体と自車との距離が遠くなるほど小さくすることを特徴とする請求項３記載の車両認識方法。
   

Images