JP2017052498A - 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】正認識でない物体をトラッキングすることを抑制する画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置であって、対象画像を入力する入力手段と、前記対象画像が第１物体を示す画像であるか否かを認識する第１認識手段と、前記第１認識手段により、前記対象画像が前記第１物体を示す画像であると認識された場合、該対象画像に、該第１物体とは異なる第２物体を示す部分画像の少なくとも一部が重複しているか否かを認識する第２認識手段と、前記第２認識手段により前記対象画像に前記部分画像の少なくとも一部が重複していると認識され、かつ、前記画像処理装置を搭載した車両、前記部分画像、または前記対象画像の少なくともいずれかに関する所定の条件を満たす場合、前記部分画像に対して棄却と判定する判定手段と、を備える。
【選択図】図１０

Description

本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、ステレオカメラによる測距等が実用化されている。車載用の物体認識技術を実用化するには、上記の技術で測距された情報に基づき、画面上に写る物体を認識し、物体ごとに制御を行う必要がある。

しかし、走行中に撮像された画像中には、歩行者または車両等の認識対象とは別に、認識対象とならない物体が写り込むことが多い。これらの物体を誤って認識してしまうと、誤制御の原因となり、急ブレーキまたは急発進等の危険行為が発生するおそれがある。例えば、視差値に基づいてクラスタリング処理を行った場合、車両を認識した認識画像内で、車両のテールランプのように、局所的に視差値が集まる画素群を部分的にクラスタリング（以下、「部分認識」という場合がある）してしまう場合がある。部分認識が生じると、車両が正しく認識されていたとしても、部分認識された画像（以下、「部分認識画像」という）を誤って追跡してしまう可能性がある。したがって、このように車両の認識画像内に重複して出現する部分認識画像は、車両の自動制御に用いられないように棄却することが望ましい。ただし、車両の手前側に人が立っているような状況も想定され、歩行者の部分認識画像は、人に対する車両の自動制御に用いられることが望まれるので、棄却すべきではない。ここで、上述のように、車両の自動制御のために利用される他の車両および人の認識画像について、その他の車両および人を認識することを「正認識」という場合がある。

このような、撮像画像の物体が正認識であるか否かを判定する技術として、正認識の候補を抽出し、事前に用意した様々なモデル（テンプレート）に基づいて識別値を算出し、識別値が明らかに正認識の対象ではない範囲に入っている場合、棄却する方法が開示されている（特許文献１）。

しかしながら、特許文献１に記載された技術は、事前に用意したモデル（テンプレート）に棄却の精度が依存するという問題があり、テンプレートと大きく異なる物体の画像については、棄却すべき画像であっても棄却ができないおそれがあり、正認識でない物体を誤ってトラッキングしてしまう可能性があるという問題がある。特に、人のモデル（テンプレート）を事前に用意する場合、着ている洋服の模様、または、帽子あるいは携行品等によってエッジの出方が変わってくるため、万能なモデルを構築することが難しい。

本発明は、上記に鑑みてなされたものであって、正認識でない物体をトラッキングすることを抑制する画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、対象画像を入力する入力手段と、前記対象画像が第１物体を示す画像であるか否かを認識する第１認識手段と、前記第１認識手段により、前記対象画像が前記第１物体を示す画像であると認識された場合、該対象画像に、該第１物体とは異なる第２物体を示す部分画像の少なくとも一部が重複しているか否かを認識する第２認識手段と、前記第２認識手段により前記対象画像に前記部分画像の少なくとも一部が重複していると認識され、かつ、前記画像処理装置を搭載した車両、前記部分画像、または前記対象画像の少なくともいずれかに関する所定の条件を満たす場合、前記部分画像に対して棄却と判定する判定手段と、を備えたことを特徴とする。

本発明によれば、正認識でない物体をトラッキングすることを抑制することができる。

図１は、撮像部から物体までの距離を導き出す原理を説明する図である。 図２は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図３は、マッチング処理結果のグラフの一例を示す図である。 図４は、物体認識装置の動作の概要を説明する図である。 図５は、第１の実施の形態に係る機器制御システムを車両に搭載した例を示す図である。 図６は、第１の実施の形態に係る物体認識装置の外観の一例を示す図である。 図７は、第１の実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。 図８は、第１の実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。 図９は、第１の実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。 図１０は、第１の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。 図１１は、第１の実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。 図１２は、第１の実施の形態に係る認識処理部のクラスタリング部のクラスタリング処理の動作を説明する図である。 図１３は、第１の実施の形態に係る認識処理部のクラスタリング部のクラスタリング処理の動作を説明する図である。 図１４は、クラスタリング処理により抽出された認識画像の例を示す図である。 図１５は、第１の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。 図１６は、第２の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。 図１７は、第２の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。 図１８は、第２の実施の形態の棄却部の第１照合部のテンプレートマッチングの動作を説明する図である。 図１９は、第３の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。 図２０は、第３の実施の形態の棄却部の第２照合部の車両を探索する動作を説明する図である。 図２１は、第３の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。

［ブロックマッチング処理を用いた測距方法の概略］
まず、図１〜３を用いて、ブロックマッチング処理による測距方法の概略について説明する。

（測距の原理）
図１は、撮像部から物体までの距離を導き出す原理を説明する図である。図１を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。

図１に示す撮像システムは、平行等位に配置された撮像部１０ａ（第１撮像手段）と撮像部１０ｂ（第２撮像手段）とを有するものとする。撮像部１０ａ、１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子である画像センサに結像させる撮像レンズ１１ａ、１１ｂを有する。撮像部１０ａおよび撮像部１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａ（第１撮像画像）および比較画像Ｉｂ（第２撮像画像）とする。図１において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）と比較画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、以下の（式１）のように表される。

ｄｐ＝Ｘ−ｘ （式１）

また、図１において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

次に、視差値ｄｐを用いることにより、撮像部１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図１に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／ｄｐ （式２）

この（式２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。

（ブロックマッチング処理）
次に、図２および３を用いて、ブロックマッチング処理による測距方法について説明する。

図２は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図３は、マッチング処理結果のグラフの一例を示す図である。

図２および３を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図２のうち、図２（ａ）は、基準画像Ｉａにおける基準画素ｐおよび基準領域ｐｂを示す概念図を示し、図２（ｂ）は、図２（ａ）に示す基準画素ｐに対応する比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、コスト値Ｃを算出する際の概念図である。ここで、対応画素とは、基準画像Ｉａにおける基準画素ｐに最も類似する比較画像Ｉｂにおける画素を示す。また、コスト値Ｃとは、基準画像Ｉａにおける基準画素ｐに対する、比較画像Ｉｂにおける各画素の類似度または非類似度を表す評価値（一致度）である。以下に示すコスト値Ｃは、値が小さいほど、比較画像Ｉｂにおける画素が基準画素ｐと類似していることを示す非類似度を表す評価値であるものとして説明する。

図２（ａ）に示すように、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。また、基準画素ｐの対応画素を求めるためマッチング処理として、本実施の形態ではブロックマッチング（テンプレートマッチング）処理を行う。ブロックマッチング処理では、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度を求める。基準領域ｐｂと候補領域ｑｂとの非類似度を示すコスト値Ｃとしては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、または、ＳＳＤの値から各ブロックの平均値を減算したＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ−Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等が用いられる。これらの評価値は、相関が高い（類似の度合いが高い）ほど、値が小さくなるので非類似度を示す。

なお、上述のように、撮像部１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図２に紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。

このようなブロックマッチング処理で算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、例えば、図３に示すグラフにより表される。図３の例では、コスト値Ｃは、シフト量ｄ＝７の場合が最小値となるため、視差値ｄｐ＝７として導出される。

以下に、図４〜２１を参照しながら、本発明に係る画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［第１の実施の形態］
以下、図４〜１５を用いて、第１の実施の形態の具体的な説明をする。ここでは、ブロックマッチング処理を行う物体認識装置１が自動車に搭載される場合を例に説明する。

（物体認識装置の動作の概要）
図４は、物体認識装置の動作の概要を説明する図である。図４を参照しながら、まず、本実施の形態に係る物体認識装置１において、車両の認識画像上で部分認識された部分認識画像を棄却するか否かの動作の概要について説明する。

本実施の形態に係る物体認識装置１は、正認識された車両の認識画像（対象画像）上で部分認識された部分認識画像（部分画像）を棄却するか否かを判定する。本実施の形態では、例えば、図４（ａ）に示すように、物体認識装置１により正認識された車両の認識画像７００上で部分認識された部分認識画像８００が、正認識でない、すなわち、人と認識した画像ではない場合を想定する。この場合、正認識ではない部分認識画像８００をトラッキング（追跡）処理の対象としてしまうと、認識画像７００の車両に対してトラッキング処理を行うことができなくなる。そのため、認識画像７００の車両に対してトラッキング処理を行うことができるように、図４（ａ）に示す部分認識画像８００は、誤認識であるものとして棄却する必要がある。

また、本実施の形態では、図４（ｂ）に示すように、物体認識装置１により正認識された車両の認識画像７０１上で部分認識された部分認識画像８０１が、正認識である、すなわち、人を認識した画像である場合を想定する。この場合、部分認識画像８０１は、人を認識した画像、すなわち、正認識した画像なので、部分認識画像８０１の人に対してトラッキング処理を行う必要があり、棄却されるべきではない。なお、図４（ｂ）に示す場面において、部分認識画像８０１の人のみをトラッキング処理の対象としてもよく、または、認識画像７０１および部分認識画像８０１はいずれも正認識であるので、認識画像７０１の車両、および部分認識画像８０１の人のいずれもトラッキング処理の対象としてもよい。

なお、図４においては、車両の認識画像に、部分認識画像が完全に含まれる例を示したが、これに限定されるものではなく、車両の認識画像に、少なくとも一部が重複した認識画像についても部分認識画像として扱うものとする。

（物体認識装置を備えた車両の概略構成）
図５は、第１の実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図５を参照しながら、本実施の形態に機器制御システム６０を搭載した車両７０について説明する。図５のうち、図５（ａ）は、機器制御システム６０を搭載した車両７０の側面図であり、図５（ｂ）は、車両７０の正面図である。

図５に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。

車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、認識した物体のトラッキング動作等を行うことにより各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。

このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。

なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

（物体認識装置の構成）
図６は、第１の実施の形態に係る物体認識装置の外観の一例を示す図である。図６に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図６に示す撮像部１０ａを「右」のカメラと称し、撮像部１０ｂを「左」のカメラと称するものとする。

＜物体認識装置のハードウェア構成＞
図７は、第１の実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図７を参照しながら、物体認識装置１のハードウェア構成について説明する。

図７に示すように、物体認識装置１は、本体部２内に視差値導出部３および認識処理部５を備えている。

視差値導出部３は、物体Ｅを撮像して得られた複数の画像から、物体Ｅに対する視差を示す視差値ｄｐを導出し、各画素における視差値ｄｐを示す視差画像を出力する。認識処理部５は、視差値導出部３から出力された視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の認識処理等を行い、認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する。

図７に示すように、視差値導出部３は、撮像部１０ａと、撮像部１０ｂと、信号変換部２０ａと、信号変換部２０ｂと、画像処理部３０と、を備えている。

撮像部１０ａは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、を備えている。

撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに入力する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａに入射し、絞り１２ａを通過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。

撮像部１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、を備えている。なお、撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれのレンズ面が互いに同一平面上にあるように設置されている。

信号変換部２０ａは、撮像部１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ａは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａと、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。

ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、または縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

信号変換部２０ｂは、撮像部１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。

画像処理部３０は、信号変換部２０ａおよび信号変換部２０ｂによって変換された画像データに対して画像処理をする装置である。画像処理部３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、バスライン３９と、を備えている。

ＦＰＧＡ３１は、集積回路であり、ここでは、画像データに基づく画像における視差値ｄｐを導出する処理を行う。ＣＰＵ３２は、視差値導出部３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出部３の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、認識処理部５におけるＩ／Ｆ５５と、通信線４とを介して通信するためのインターフェースである。バスライン３９は、図７に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４およびＩ／Ｆ３５が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

なお、画像処理部３０は、視差値ｄｐを導出する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路であってもよい。

図７に示すように、認識処理部５は、ＦＰＧＡ５１と、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、Ｉ／Ｆ５５と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）Ｉ／Ｆ５８と、バスライン５９と、を備えている。

ＦＰＧＡ５１は、集積回路であり、ここでは、画像処理部３０から受信した視差画像に基づいて、物体に対する認識処理を行う。ＣＰＵ５２は、認識処理部５の各機能を制御する。ＲＯＭ５３は、ＣＰＵ５２が認識処理部５の認識処理を実行する認識処理用プログラムを記憶している。ＲＡＭ５４は、ＣＰＵ５２のワークエリアとして使用される。Ｉ／Ｆ５５は、画像処理部３０のＩ／Ｆ３５と、通信線４とを介してデータ通信するためのインターフェースである。ＣＡＮＩ／Ｆ５８は、外部コントローラ（例えば、図７に示す車両制御装置６）と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されるバスライン５９は、図７に示すように、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５およびＣＡＮＩ／Ｆ５８が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

このような構成により、画像処理部３０のＩ／Ｆ３５から通信線４を介して認識処理部５に視差画像が送信されると、認識処理部５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の認識処理等を実行する。

なお、上述の各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード等である。

＜物体認識装置の機能ブロックの構成および動作＞
図８は、第１の実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図９は、第１の実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図１０は、第１の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。図８〜１０を参照しながら、物体認識装置１の要部の機能ブロックの構成および動作について説明する。

図７でも上述したが、図８に示すように、物体認識装置１は、視差値導出部３と、認識処理部５と、を備えている。このうち、視差値導出部３は、画像取得部１００と、変換部２００と、視差値演算処理部３００（生成手段）と、を有する。

画像取得部１００は、左右２台のカメラにより前方の被写体を撮像して、それぞれアナログの画像信号を生成し、各画像信号に基づく画像である２つの輝度画像を得る機能部である。画像取得部１００は、図７に示す撮像部１０ａおよび撮像部１０ｂによって実現される。

変換部２００は、画像取得部１００により得られた２つの輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。ここで、変換部２００が出力する２つの輝度画像の画像データ（以下、単に、輝度画像と称する）のうち、画像取得部１００の右のカメラ（撮像部１０ａ）により撮像された基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）とし、左のカメラ（撮像部１０ｂ）により撮像された比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）とする。すなわち、変換部２００は、画像取得部１００から出力された２つの輝度画像に基づいて、基準画像Ｉａおよび比較画像Ｉｂを出力する。変換部２００は、図７に示す信号変換部２０ａ、２０ｂによって実現される。

視差値演算処理部３００は、変換部２００から受信した基準画像Ｉａおよび比較画像Ｉｂに基づいて、基準画像Ｉａの各画素についての視差値を導出し、基準画像Ｉａの各画素に視差値を対応させた視差画像を生成する機能部である。視差値演算処理部３００は、生成した視差画像を、認識処理部５に出力する。

認識処理部５は、クラスタリング部４００（抽出手段）と、棄却部５００と、トラッキング判定部５５０と、を有する。

クラスタリング部４００は、視差値導出部３から出力された視差画像および基準画像Ｉａに基づいて、基準画像から、人および車等の物体を認識して、これらの物体を含む認識画像を抽出するクラスタリング処理を行う機能部である。なお、クラスタリング処理の詳細については、後述する。クラスタリング部４００は、図７に示すＦＰＧＡ５１によって実現される。

なお、クラスタリング部４００は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。また、クラスタリング処理の対象となるのは基準画像Ｉａに限定されるものではなく、比較画像Ｉｂを対象とするものとしてもよい。

棄却部５００は、視差値導出部３から出力された基準画像Ｉａ、およびクラスタリング部４００から出力された認識画像を示す情報（例えば、基準画像Ｉａでの位置を示す座標、およびサイズ等）（以下、単に「認識画像情報」という）に基づいて、認識画像情報で示される認識画像について棄却判定処理を実行する機能部である。なお、棄却判定処理については、後述する。

トラッキング判定部５５０は、棄却部５００からの棄却判定処理結果に基づいて、認識画像の物体に対してトラッキングを行うか否かを判定する機能部である。例えば、トラッキング判定部５５０は、棄却部５００で棄却と判定されなかった物体に対してトラッキングを行うものと判定し、その物体の認識画像情報にトラッキングを行う旨の情報を含め、認識情報として車両制御装置６に出力する。トラッキング判定部５５０は、図７に示すＦＰＧＡ５１によって実現される。

なお、トラッキング判定部５５０は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、図８に示す視差値導出部３の画像取得部１００、変換部２００および視差値演算処理部３００、ならびに認識処理部５のクラスタリング部４００、棄却部５００およびトラッキング判定部５５０は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図８に示す視差値導出部３および認識処理部５で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図８に示す視差値導出部３および認識処理部５で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

図９に示すように、視差値演算処理部３００は、コスト算出部３０１と、決定部３０２と、生成部３０３と、を有する。

コスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する機能部である。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。

決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する機能部である。

生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像を生成する機能部である。

図９に示すコスト算出部３０１、決定部３０２および生成部３０３は、それぞれ図７に示すＦＰＧＡ３１によって実現される。なお、コスト算出部３０１、決定部３０２および生成部３０３の一部または全部は、ハードウェア回路であるＦＰＧＡ３１ではなく、ＲＯＭ３３に記憶されているプログラムがＣＰＵ３２によって実行されることによって実現されるものとしてもよい。

なお、図９に示す視差値演算処理部３００のコスト算出部３０１、決定部３０２および生成部３０３は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図９に示す視差値演算処理部３００で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図９に示す視差値演算処理部３００で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

図１０に示すように、棄却部５００は、入力部５０１（入力手段）と、画像認識部５０２と、棄却判定部５０３（判定手段）と、出力部５０４（出力手段）と、を有する。

入力部５０１は、視差値導出部３から出力された基準画像Ｉａ、およびクラスタリング部４００から出力された認識画像情報を入力する機能部である。なお、入力部５０１は、視差値導出部３およびクラスタリング部４００から、それぞれ基準画像Ｉａおよび認識画像情報を入力することに限定されず、例えば、図７に示すＲＡＭ３４、ＲＡＭ５４、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）もしくはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶メディア、またはネットワークストレージに記憶されている基準画像Ｉａまたは認識画像情報を読み出して入力するものとしてもよい。また、入力部５０１は、認識画像情報を入力する代わりに、クラスタリング部４００から認識画像そのものを入力するものとしてもよい。

画像認識部５０２は、入力部５０１により入力された入力情報（基準画像Ｉａおよび認識画像情報）に基づいて、認識画像情報により特定される基準画像Ｉａ上での認識画像の物体が車両であるか否かを認識し、さらに、その車両の認識画像上で部分認識が発生しているか否かを認識する機能部である。画像認識部５０２は、図１０に示すように、車両認識部５０２ａ（第１認識手段）と、部分認識部５０２ｂ（第２認識手段）と、を有する。

車両認識部５０２ａは、入力部５０１より入力された認識画像情報が示す認識画像が、認識された物体が車両であるか否かを認識（以下、「車両認識」という場合がある）する機能部である。車両認識の方法として、車両であるか否かを認識できる方法であれば、任意の方法を使用することができる。例えば、車両用のテンプレートを事前に用意しておき、対象の認識画像に対してテンプレートマッチングさせることで認識する方法が一例として挙げられる。また、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の局所特徴量を量子化したベクトルを用いて認識に利用するＢａｇ−ｏｆ−Ｖｉｓｕａｌ−Ｗｏｒｄｓ法、または、ニューラルネットを多層化した「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ」を用いる方法等も例として挙げられる。車両認識部５０２ａは、認識画像が車両を示すと認識した場合、その旨、およびその認識画像情報を部分認識部５０２ｂに送る。

部分認識部５０２ｂは、車両認識部５０２ａにより車両と認識された認識画像上で部分認識が発生しているか否か、すなわち、認識画像上に部分認識画像が重複しているか否かを認識する機能部である。部分認識部５０２ｂは、車両の認識画像上で部分認識が発生しているか否かの結果と、認識画像情報（車両の認識画像、およびそれに重複している部分認識画像を示す情報）とを認識結果として棄却判定部５０３に送る。なお、部分認識部５０２ｂは、車両の認識画像上で重複する部分認識画像は１つとは限られず、複数の部分認識画像が認識される場合もある。

なお、基準画像Ｉａは、グレースケールの画像であっても、ＲＧＢ等のカラー画像であってもよい。カラー画像である場合、特定の成分のみを車両認識および部分認識の対象としてもよく、成分ごとにそれぞれ車両認識および部分認識を行い、最後にその結果を統合するものとしてもよい。また、ＲＧＢ形式をＹＩＱ形式などの異なる表色系に変換して、明度成分（Ｙチャネル）等の特定の成分を車両認識および部分認識の対象とするものとしてもよい。以下では、画像認識部５０２の車両認識および部分認識の対象とする基準画像Ｉａは、例えば、８ビットのグレースケールの輝度値の画素で構成されているものとして説明する。

棄却判定部５０３は、画像認識部５０２から出力された認識結果から、以下に示す所定の条件を満たすか否かに基づいて、認識結果に含まれる認識画像情報が示す部分認識画像を棄却するか否かを判定する機能部である。具体的には、棄却判定部５０３は、認識画像上に部分認識画像が重複している場合、車両７０（図５参照）の速度（以下、「自車速度」という場合がある）の情報（車速情報）を、例えば、ＣＡＮＩ／Ｆ５８経由で取得し、所定の条件として自車速度が所定速度以上である場合、車両７０が高速道路を走行中であると判断（すなわち、人が歩行中の状態ではないと予測）し、その部分認識画像を棄却する。この場合、車両７０が高速道路を走行中であると判断するためには、上述の所定速度を高めに設定しておくことが望ましい。一方、棄却判定部５０３は、自車速度が所定速度未満である場合、車両７０が高速道路を走行中でないと判断（すなわち、人が歩行中の状態である可能性があると予測）し、その部分認識画像を棄却しない。棄却判定部５０３は、棄却の判定結果を出力部５０４に出力する。

なお、棄却判定部５０３は、車両の認識画像上に部分認識画像が複数重複している場合、すべての部分認識画像に対して棄却の判定をしてもよく、一部の部分認識画像に対して棄却の判定をしてもよい。例えば、棄却の判定の対象とする部分認識画像は、サイズ、または認識画像上における相対位置等に基づいて決定するものとしてもよい。また、棄却判定部５０３は、棄却判定部５０３の棄却の判定のタイミングで計測された自車速度を取得してもよく、クラスタリング部４００のクラスタリング処理により対象の部分認識画像が抽出されたタイミングで計測された自車速度を取得してもよく、または、画像取得部１００により輝度画像が取得されたタイミングで計測された自車速度を取得してもよい。また、棄却判定部５０３は、例えば、ＣＡＮＩ／Ｆ５８経由で自車速度を取得し、取得した自車速度に基づいて車両７０が高速道路を走行中であると判断するものとしているが、これに限定されるものではなく、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって車両７０の現在位置の状態を示す情報を取得し、取得した情報に基づいて高速道路を走行中であるか否かを判断するものとしてもよい。

出力部５０４は、棄却判定部５０３から出力された棄却の判定結果、すなわち、その部分認識画像を棄却するか否かを示す棄却フラグを認識画像情報に含めて、トラッキング判定部５５０に送る。この棄却フラグを含む認識画像情報は、図８では認識処理部５の認識情報として示されている。なお、出力部５０４は、部分認識画像を棄却するか否かを示す棄却フラグを含む認識画像情報と、部分認識画像が重複した車両の認識画像を棄却するか否かを示す棄却フラグを含む認識画像情報と、を別々に送るものとしてもよい。上述のように、部分認識画像が棄却される場合、車両の認識画像は棄却すべきではないので、部分認識画像の棄却フラグはＯＮとし、車両の認識画像の棄却フラグはＯＦＦとする。一方、部分認識画像が棄却されない場合、部分認識画像および車両の認識画像のいずれの棄却フラグもＯＦＦとする。ただし、物体認識装置１に求められる仕様によっては、部分認識画像が棄却されない場合（すなわち、部分認識画像が人を示す場合）、部分認識画像に対する処理（例えば、トラッキング処理）を優先し、部分認識画像の棄却フラグのみをＯＦＦとし、車両の認識画像の棄却フラグはＯＮとするものとしてもよい。

なお、本発明に係る「画像処理装置」は、棄却部５００であってもよく、棄却部５００を含む認識処理部５であってもよい。

図１０に示す入力部５０１、画像認識部５０２、棄却判定部５０３および出力部５０４は、それぞれ図７に示すＦＰＧＡ５１によって実現される。なお、入力部５０１、画像認識部５０２、棄却判定部５０３および出力部５０４の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、図１０に示す棄却部５００の入力部５０１、画像認識部５０２、棄却判定部５０３および出力部５０４は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１０に示す棄却部５００で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１０に示す棄却部５００で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（視差値導出部のブロックマッチング処理）
図１１は、第１の実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図１１を参照しながら、物体認識装置１の視差値導出部３のブロックマッチング処理の動作の流れについて説明する。

＜ステップＳ１−１＞
視差値導出部３の画像取得部１００は、左のカメラ（撮像部１０ｂ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−１へ移行する。

＜ステップＳ１−２＞
視差値導出部３の画像取得部１００は、右のカメラ（撮像部１０ａ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−２へ移行する。

＜ステップＳ２−１＞
視差値導出部３の変換部２００は、撮像部１０ｂにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−１へ移行する。

＜ステップＳ２−２＞
視差値導出部３の変換部２００は、撮像部１０ａにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−２へ移行する。

＜ステップＳ３−１＞
変換部２００は、ステップＳ２−１において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ｉｂとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ３−２＞
変換部２００は、ステップＳ２−２において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Ｉａとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ４＞
視差値導出部３の視差値演算処理部３００のコスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出することにより取得する。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。そして、ステップＳ５へ進む。

＜ステップＳ５＞
視差値導出部３の視差値演算処理部３００の決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する。そして、視差値導出部３の視差値演算処理部３００の生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像を生成する。生成部３０３は、生成した視差画像を、認識処理部５に出力する。

なお、上述のステレオマッチング処理は、ブロックマッチング処理を例として説明したが、これに限定されるものではなく、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いた処理であってもよい。

（認識処理部のクラスタリング処理）
図１２は、第１の実施の形態に係る認識処理部のクラスタリング部のクラスタリング処理の動作を説明する図である。図１３は、第１の実施の形態に係る認識処理部のクラスタリング部のクラスタリング処理の動作を説明する図である。図１４は、クラスタリング処理により抽出された認識画像の例を示す図である。図１２〜１４を参照しながら、認識処理部５のクラスタリング部４００におけるクラスタリング処理の動作について説明する。

クラスタリング部４００は、まず、視差値導出部３から出力された視差画像および基準画像Ｉａ（例えば、図１２（ａ）に示す基準画像Ｉａ、または図１３（ａ）に示す基準画像Ｉａ）を受信する。図１２（ａ）に示す基準画像Ｉａには、例えば、路面６００と、電柱６０１と、車６０２とが写り込んでいる。クラスタリング部４００は、クラスタリング処理として、基準画像Ｉａから路面を検出するために、図１２（ｂ）に示すＶ−ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを作成する。ここで、Ｖ−Ｄｉｓｐａｒｉｔｙマップとは、縦軸を基準画像Ｉａのｙ軸とし、横軸を視差画像の視差値ｄｐとした二次元ヒストグラムである。図１２（ａ）に示す基準画像Ｉａの路面６００は、ＶマップＶＭにおいては路面部６００ａに対応し、電柱６０１は、電柱部６０１ａに対応し、車６０２は、車部６０２ａに対応する。

クラスタリング部４００は、作成したＶマップＶＭから、路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、勾配が変わる路面の場合は、ＶマップＶＭの区間を分割して精度よく直線近似する必要がある。直線近似としては、公知技術であるハフ変換または最小二乗法等が利用できる。ＶマップＶＭにおいて、検出された路面部６００ａより上方に位置する塊である電柱部６０１ａおよび車部６０２ａは、それぞれ路面上の物体である電柱６０１および車６０２に相当する。クラスタリング部４００は、後述するＵ−Ｄｉｓｐａｒｉｔｙマップを作成する際に、ノイズ除去のため路面より上方の情報のみを用いる。

次に、クラスタリング部４００は、クラスタリング処理として、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１３（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４の情報を利用して、ガードレール、壁および車等の物体の存在を推定するために、図１３（ｂ）に示すＵ−ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭを作成する。ここで、Ｕ−Ｄｉｓｐａｒｉｔｙマップとは、横軸を基準画像Ｉａのｘ軸として、縦軸を視差画像の視差値ｄｐとした二次元ヒストグラムである。図１３（ａ）に示す基準画像Ｉａの左ガードレール６１１は、ＵマップＵＭにおいては左ガードレール部６１１ａに対応し、右ガードレール６１２は、右ガードレール部６１２ａに対応し、車６１３は、車部６１３ａに対応し、車６１４は、車部６１４ａに対応する。

また、クラスタリング部４００は、クラスタリング処理として、作成したＵマップＵＭから、物体の視差画像におけるｘ軸方向の位置および幅（ｘｍｉｎ，ｘｍａｘ）を特定できる。また、クラスタリング部４００は、作成したＵマップＵＭでの物体の高さの情報（ｄｍｉｎ，ｄｍａｘ）から物体の実際の奥行きを特定できる。また、クラスタリング部４００は、作成したＶマップＶＭから、物体の視差画像におけるｙ軸方向の位置および高さ（ｙｍｉｎ＝「最大視差値の路面からの最大高さに相当するｙ座標」，ｙｍａｘ＝「最大視差値から得られる路面の高さを示すｙ座標」）を特定できる。また、クラスタリング部４００は、視差画像において特定した物体のｘ軸方向の幅（ｘｍｉｎ，ｘｍａｘ）、ｙ軸方向の高さ（ｙｍｉｎ，ｙｍａｘ）およびそれぞれに対応する視差値ｄｐから、物体の実際のｘ軸方向およびｙ軸方向のサイズが特定できる。以上のように、クラスタリング部４００は、ＶマップＶＭおよびＵマップＵＭを利用して、基準画像Ｉａでの物体の位置、ならびに実際の幅、高さおよび奥行きを特定することができる。また、クラスタリング部４００は、基準画像Ｉａでの物体の位置が特定されるので、視差画像における位置も定まり、物体までの距離も特定できる。

そして、クラスタリング部４００は、クラスタリング処理として、物体について特定した実際のサイズ（幅、高さ、奥行き）から、下記の（表１）を用いて、物体が何であるかを特定することができる。例えば、物体の幅が９００［ｍｍ］、高さが１８００［ｍｍ］、奥行きが５００［ｍｍ］である場合、物体は「歩行者」であると特定できる。なお、（表１）のような幅、高さおよび奥行きと、物体の種類（物体タイプ）とを関連付ける情報をテーブルとして、ＲＡＭ５４等に記憶させておくものとすればよい。ただし、（表１）により物体のタイプを特定するのは、あくまでクラスタリング処理で抽出した認識画像の物体のサイズから特定するだけであって、実際に認識画像が、例えば、車両を示すか否かを認識するには、上述の車両認識部５０２ａの動作で説明したように、別のアルゴリズムによる処理が必要である。

そして、クラスタリング部４００は、クラスタリング処理として、特定した物体の実際のサイズ（幅、高さ、奥行き）、物体の種類、ならびに、基準画像Ｉａでの特定した物体を含む矩形状の部分画像の位置（例えば、左上の座標）、幅および高さ等を含む情報を、認識画像情報として生成して棄却部５００に出力する。なお、認識画像は矩形状に限定されず、円形、楕円形、またはその他多角形であってもよい。

以上のように、クラスタリング部４００によるクラスタリング処理は、基準画像Ｉａから写り込んでいる物体を特定して、その物体を含む画像である認識画像を抽出する処理である。クラスタリング部４００によるクラスタリング処理によって抽出された認識画像の例を、図１４に示す。図１４（ａ）は、車両の認識画像の例であり、図１４（ｂ）は、人の認識画像の例であり、図１４（ｃ）は、道路の脇に沿って設置されたガードレールの認識画像の例である。また、図１４（ｄ）は、車両の認識画像上に人の認識画像（部分認識画像）が重複した例である。

図１４（ａ）および（ｂ）のように、人および他の車両の認識画像は、衝突を回避するための車両の自動制御のために用いられるべき認識画像であるので、車両制御装置６における自動制御の対象とするために棄却するべきではない。図１４（ｄ）に示す車両の後方に歩行者が写り込んだ状態で抽出された認識画像についても、同様に、人が含まれるので、棄却するべきではないということになる。このように、車両の認識画像上に、他の物体（図１４（ｄ）の例では人）の部分認識画像が重複して抽出された場合に、この部分認識画像を棄却するか否かを判定する棄却判定処理を、次の図１５で説明する。

なお、図１２および１３で上述した処理は、クラスタリング処理の一例であり、基準画像から物体を含む認識画像を抽出できる処理であれば、どのようなクラスタリング処理であってもよい。

（棄却部の棄却判定処理）
図１５は、第１の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図１５を参照しながら、認識処理部５の棄却部５００の棄却判定処理の動作の一例の流れについて説明する。

＜ステップＳ１１＞
入力部５０１は、視差値導出部３から出力された基準画像Ｉａ、およびクラスタリング部４００から出力された認識画像情報を入力する。そして、入力部５０１は、基準画像Ｉａから認識画像情報が示す認識画像を特定する（読み込む）。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
画像認識部５０２は、入力部５０１により特定された基準画像Ｉａ上での認識画像の物体が車両であるか否かを認識し、さらに、その車両の認識画像上で部分認識が発生しているか否かを認識する。なお、基準画像Ｉａから認識画像情報が示す認識画像を特定するのは、画像認識部５０２により行われてもよい。具体的には、まず、画像認識部５０２の車両認識部５０２ａが、認識画像で認識された物体が車両であるか否かを車両認識する。車両認識の結果、認識画像で認識された物体が車両でない場合、棄却判定処理を終了する。そして、画像認識部５０２の部分認識部５０２ｂは、車両認識部５０２ａにより対象の認識画像が車両であると認識された場合、認識画像上で部分認識が発生しているか否か、すなわち、認識画像上に部分認識画像が重複しているか否かを認識する。認識画像上に部分認識画像が重複していない場合、棄却判定処理を終了する。一方、部分画像が重複している場合、部分認識部５０２ｂは、車両の認識画像上で部分認識が発生しているか否かの結果と、認識画像情報（車両の認識画像、およびそれに重複している部分認識画像を示す情報）とを認識結果として棄却判定部５０３に送り、ステップＳ１３へ移行する。

＜ステップＳ１３＞
棄却判定部５０３は、画像認識部５０２から出力された認識結果に基づいて、認識結果に含まれる認識画像情報が示す部分認識画像を棄却するか否かを判定する。具体的には、棄却判定部５０３は、認識画像上に部分認識画像が重複している場合、自車速度の情報（車速情報）を取得し、自車速度が所定速度以上である場合、車両７０が高速道路を走行中であると判断（すなわち、人が歩行中の状態ではないと予測）し、その部分認識画像を棄却するものと判定する。一方、棄却判定部５０３は、自車速度が所定速度未満である場合、車両７０が高速道路を走行中でないと判断（すなわち、人が歩行中の状態である可能性があると予測）し、その部分認識画像を棄却しないものと判定する。棄却判定部５０３は、棄却の判定結果を出力部５０４に出力する。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
出力部５０４は、棄却判定部５０３から出力された棄却の判定結果、すなわち、その部分認識画像を棄却するか否かを示す棄却フラグを認識画像情報に含めて、トラッキング判定部５５０に送る。なお、出力部５０４は、部分認識画像を棄却することを示す認識画像情報をトラッキング判定部５５０に出力するものとしているが、これに限定されるものでない。例えば、棄却判定部５０３の棄却判定処理の結果、棄却しない認識画像（部分認識画像を含む）の認識画像情報のみをトラッキング判定部５５０に送り、棄却する認識画像の認識画像情報を送信しないものとしてもよい。この場合、車両制御装置６では、棄却する認識画像の認識画像情報は受信しないので、この認識画像（部分認識画像を含む）が各種車両制御に利用されないようにすることができる。

以上のステップＳ１１〜Ｓ１４の処理を、クラスタリング部４００により抽出された認識画像ごとに実行する。

以上のように、棄却判定部５０３は、画像認識部５０２により、車両の認識画像上で部分認識画像が発生していると認識された場合に、自車速度を取得し、自車速度が所定速度以上である場合、車両７０が高速道路を走行中であると判断し、その部分認識画像を棄却判定するものとしている。これによって、人を認識したものではない部分認識画像の物体をトラッキングすることを抑制することができ、かつ、正認識（ここでは、車両の認識）された認識画像の物体（車両）のトラッキングをすることができる。また、部分認識画像が人を認識した場合は、棄却することなく、その部分認識画像に基づいて人をトラッキングすることができる。

［第２の実施の形態］
第２の実施の形態に係る物体認識装置について、第１の実施の形態に係る物体認識装置１と相違する点を中心に説明する。本実施の形態では、認識画像上で部分認識が発生している場合に、部分認識画像をテンプレートとして、認識画像内で部分認識画像と類似する画像が見つかった場合、その部分認識画像を棄却する動作について説明する。なお、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、および、視差値演算処理部３００の機能ブロック構成は、第１の実施の形態で説明した構成と同様である。また、本実施の形態に係る視差値導出部３のブロックマッチング処理、および、クラスタリング部４００におけるクラスタリング処理も、第１の実施の形態で説明した動作と同様である。

（物体認識装置の機能ブロックの構成および動作）
図１６は、第２の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。図１６を参照しながら、本実施の形態の認識処理部５の棄却部５００ａの機能ブロックの構成および動作について説明する。

本実施の形態の認識処理部５は、第１の実施の形態の認識処理部５が有する棄却部５００の代わりに、棄却部５００ａを有する。図１６に示すように、棄却部５００ａは、入力部５０１（入力手段）と、画像認識部５０２と、第１照合部５０５（第１照合手段）と、棄却判定部５０３ａ（判定手段）と、出力部５０４（出力手段）と、を有する。なお、本実施の形態の入力部５０１、画像認識部５０２および出力部５０４の動作は、第１の実施の形態で説明した動作と同様である。

第１照合部５０５は、画像認識部５０２から出力された認識結果に基づいて、認識結果に含まれる認識画像情報が示す部分認識画像をテンプレートとして、部分認識画像と類似する画像が、その部分認識画像が重複する認識画像に含まれるか否かを照合するテンプレートマッチングを行う機能部である。例えば、車両の認識画像に重複する部分認識画像が、車両の一部を認識した画像である場合、車両の認識画像内に、部分認識画像と類似する画像が見つかる可能性が高い。例えば、車両の一方のテールランプ近傍の領域が認識されて部分認識画像として抽出された場合、他方のテールランプ近傍の領域の画像が、その部分認識画像と類似する可能性が高い。一方、人を認識して部分認識画像として抽出された場合、車両の認識画像内に、人の部分認識画像と類似する画像が見つかる可能性は低い。そして、第１照合部５０５は、テンプレートマッチングによる照合の結果と、認識画像情報（車両の認識画像、およびそれに重複している部分認識画像を示す情報）とを照合結果として棄却判定部５０３ａに送る。例えば、第１照合部５０５は、テンプレートマッチングによる照合の結果として、テンプレートである部分認識画像と最も類似している画像の類似度を、照合結果に含める。

棄却判定部５０３ａは、第１照合部５０５から出力された照合結果から、以下に示す所定の条件を満たすか否かに基づいて、照合結果に含まれる認識画像情報が示す部分画像情報を棄却するか否かを判定する機能部である。具体的には、棄却判定部５０３ａは、所定の条件として、第１照合部５０５によるテンプレートマッチングの結果、照合結果に、部分認識画像と類似する画像が認識画像に含まれる旨を示す情報が含まれている場合、その部分認識画像を棄却する。例えば、棄却判定部５０３ａは、照合結果に含まれる類似度が所定値以上である場合、部分認識画像と類似する画像が認識画像に含まれていると判断し、すなわち、部分認識画像は車両の一部を認識した画像であると判断し、その部分認識画像を棄却する。一方、棄却判定部５０３ａは、照合結果に、部分認識画像と類似する画像が認識画像に含まれない旨を示す情報が含まれている場合、その部分認識画像を棄却しない。例えば、棄却判定部５０３ａは、照合結果に含まれる類似度が所定値未満である場合、部分認識画像と類似する画像は認識画像に含まれていないと判断し、すなわち、部分認識画像は人を認識した画像であると判断し、その部分認識画像を棄却しない。そして、棄却判定部５０３ａは、棄却の判定結果を出力部５０４に出力する。

図１６に示す入力部５０１、画像認識部５０２、第１照合部５０５、棄却判定部５０３ａおよび出力部５０４は、それぞれ図７に示すＦＰＧＡ５１によって実現される。なお、入力部５０１、画像認識部５０２、第１照合部５０５、棄却判定部５０３ａおよび出力部５０４の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、図１６に示す棄却部５００ａの入力部５０１、画像認識部５０２、第１照合部５０５、棄却判定部５０３ａおよび出力部５０４は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１６に示す棄却部５００ａで独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１６に示す棄却部５００ａで１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（棄却部の棄却判定処理）
図１７は、第２の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図１８は、第２の実施の形態の棄却部の第１照合部のテンプレートマッチングの動作を説明する図である。図１７および１８を参照しながら、認識処理部５の棄却部５００ａの棄却判定処理の動作の一例の流れについて説明する。

＜ステップＳ２１、Ｓ２２＞
図１５に示すステップＳ１１、Ｓ１２と同様である。そして、ステップＳ２３へ移行する。

＜ステップＳ２３＞
第１照合部５０５は、画像認識部５０２から出力された認識結果に基づいて、認識結果に含まれる認識画像情報が示す部分認識画像をテンプレートとして、部分認識画像と類似する画像が、その部分認識画像が重複する認識画像に含まれるか否かを照合するテンプレートマッチングを行う。具体的には、第１照合部５０５は、部分認識画像であるテンプレートを、認識画像内でスライドさせながらテンプレートマッチングを行う。例えば、図１８に示すように、第１照合部５０５は、車両の認識画像７０２内で、認識画像７０２に重複する部分認識画像８０２に類似する画像が含まれるか否かを照合する。この場合、図１８に示すように、第１照合部５０５は、認識画像７０２内で右方向にテンプレート（部分認識画像８０２）をスライドさせながら照合してもよく、または、上下左右の任意の方向、または、任意の間隔（１画素以上）でスライドさせながら照合してもよい。

なお、テンプレートマッチングとしては、テンプレートの輝度値と、比較対象となる領域の画像の輝度値との差を合算する方法、ユークリッド距離を算出する方法、または、任意の特徴量を抽出して照合する方法等のいずれの方式を使用するものとしてもよい。また、輝度画像ではなく、画素ごとに視差値を格納している視差画像を使って同様の処理を行ってもよく、または、双方の結果を平均等して統合してもよい。

そして、第１照合部５０５は、テンプレートマッチングによる照合の結果と、認識画像情報（車両の認識画像、およびそれに重複している部分認識画像を示す情報）とを照合結果として棄却判定部５０３ａに送る。

次に、棄却判定部５０３ａは、第１照合部５０５から出力された照合結果に基づいて、照合結果に含まれる認識画像情報が示す部分画像情報を棄却するか否かを判定する。具体的には、棄却判定部５０３ａは、第１照合部５０５によるテンプレートマッチングの結果、照合結果に、部分認識画像と類似する画像が認識画像に含まれる旨を示す情報が含まれている場合、その部分認識画像を棄却する。一方、棄却判定部５０３ａは、照合結果に、部分認識画像と類似する画像が認識画像に含まれない旨を示す情報が含まれている場合、その部分認識画像を棄却しない。棄却判定部５０３ａは、棄却の判定結果を出力部５０４に出力する。そして、ステップＳ２４へ移行する。

＜ステップＳ２４＞
図１５に示すステップＳ１４と同様である。

以上のステップＳ２１〜Ｓ２４の処理を、クラスタリング部４００により抽出された認識画像ごとに実行する。

以上のように、第１照合部５０５は、部分認識画像をテンプレートとして、部分認識画像と類似する画像が、その部分認識画像が重複する認識画像に含まれるか否か照合するテンプレートマッチングを行う。そして、棄却判定部５０３ａは、第１照合部５０５によるテンプレートマッチングの結果、部分認識画像と類似する画像が認識画像に含まれる場合、その部分認識画像を棄却判定するものとしている。これによって、第１の実施の形態と同様、人を認識したものではない部分認識画像の物体をトラッキングすることを抑制することができ、かつ、正認識（ここでは、車両の認識）された認識画像の物体（車両）のトラッキングをすることができる。また、部分認識画像が人を認識した場合は、棄却することなく、その部分認識画像に基づいて人をトラッキングすることができる。さらに、自車速度に関わらず、例えば、低速時においても、人を認識したものではない部分認識画像を棄却することができる。

［第３の実施の形態］
第３の実施の形態に係る物体認識装置について、第１の実施の形態に係る物体認識装置１と相違する点を中心に説明する。本実施の形態では、対象フレーム（基準画像）の中心位置に対応する１つ前のフレーム（以下、単に「前フレーム」という）の位置を中心とした所定の領域（探索範囲）に、対象フレームの車両の認識画像が存在する場合、その認識画像に重複する部分認識画像を棄却する動作について説明する。なお、本実施の形態に係る物体認識装置のハードウェア構成および機能ブロック構成、および、視差値演算処理部３００の機能ブロック構成は、第１の実施の形態で説明した構成と同様である。また、本実施の形態に係る視差値導出部３のブロックマッチング処理、および、クラスタリング部４００におけるクラスタリング処理も、第１の実施の形態で説明した動作と同様である。

（物体認識装置の機能ブロックの構成および動作）
図１９は、第３の実施の形態に係る物体認識装置の棄却部の機能ブロック構成の一例を示す図である。図２０は、第３の実施の形態の棄却部の第２照合部の車両を探索する動作を説明する図である。図１９および２０を参照しながら、本実施の形態の認識処理部５の棄却部５００ｂの機能ブロックの構成および動作について説明する。

本実施の形態の認識処理部５は、第１の実施の形態の認識処理部５が有する棄却部５００の代わりに、棄却部５００ｂを有する。図１９に示すように、棄却部５００ｂは、入力部５０１（入力手段）と、画像認識部５０２と、第２照合部５０６（第２照合手段）と、前フレーム記憶部５０７（記憶手段）と、棄却判定部５０３ｂ（判定手段）と、出力部５０４（出力手段）と、を有する。なお、本実施の形態の入力部５０１、画像認識部５０２および出力部５０４の動作は、第１の実施の形態で説明した動作と同様である。

第２照合部５０６は、前フレーム記憶部５０７に記憶されている前フレーム（１つ前の基準画像）（前画像）を読み出し、前フレーム上の特定した探索範囲内に、対象フレーム上で認識された車両の認識画像と類似する画像が含まれるか否かを照合するテンプレートマッチングを行う機能部である。ここで、第２照合部５０６は、図２０に示すように、対象フレームＩ１上で認識された車両の認識画像の中心位置に対応する前フレームＩ０上の位置を中心とする所定の範囲を探索範囲ＳＡとして特定する。例えば、自車よりも前方を走行している他の車両が相対的に自車の速度と近い速度で走行している場合、前フレームＩ０上の他の車両の認識画像と、対象フレームＩ１上の他の車両の認識画像とは近い位置に出現する可能性が高い。すなわち、前フレームＩ０の探索範囲ＳＡ内で、対象フレームＩ１の車両の認識画像と類似した画像が見つかる可能性が高い。一方、自車よりも前方を走行している他の車両が相対的に自車の車両と大きく異なる速度で走行している場合、前フレームＩ０上の他の車両の認識画像と、対象フレームＩ１上の他の車両の認識画像とは離れた位置に出現する可能性が高い。すなわち、前フレームＩ０の探索範囲ＳＡ内で、対象フレームＩ１の車両の認識画像と類似した画像が見つからない可能性が高い。そして、第２照合部５０６は、テンプレートマッチングによる照合の結果と、認識画像情報（車両の認識画像、およびそれに重複している部分認識画像を示す情報）とを照合結果として棄却判定部５０３ｂに送る。例えば、第２照合部５０６は、テンプレートマッチングによる照合の結果として、テンプレートである車両の認識画像と最も類似している画像の類似度を、照合結果に含める。また、第２照合部５０６は、対象フレームを前フレーム記憶部５０７に記憶させる。この前フレーム記憶部５０７に記憶された対象フレームは、次のフレームに対する照合処理で前フレームとして使用される。

なお、第２照合部５０６は、対象フレーム上で認識された車両の認識画像の中心位置に対応する前フレーム上の位置を中心とする所定の範囲を探索範囲として特定するものとしたが、これに限定されるものではなく、対象フレームで認識された車両の認識画像の任意の位置に対応する前フレーム上の位置を中心とする所定の範囲を探索範囲として特定するものとしてもよい。

前フレーム記憶部５０７は、第２照合部５０６が画像認識部５０２から受けた基準画像（フレーム）を記憶する機能部である。前フレーム記憶部５０７は、図７に示すＲＡＭ５４によって実現される。

棄却判定部５０３ｂは、第２照合部５０６から出力された照合結果から、以下に示す所定の条件を満たすか否かに基づいて、照合結果に含まれる認識画像情報が示す部分認識画像を棄却するか否かを判定する機能部である。具体的には、棄却判定部５０３ｂは、所定の条件として、第２照合部５０６によるテンプレートマッチングの結果、照合結果に、車両の認識画像と類似する画像が前フレームの探索範囲に含まれる旨を示す情報が含まれている場合、その認識画像上の部分認識画像を棄却する。例えば、棄却判定部５０３ｂは、照合結果に含まれる類似度が所定値以上である場合、前フレームの探索範囲に、対象フレームの車両の認識画像が含まれていると判断し、すなわち、認識画像の他の車両が自車と近い速度で走行し、部分認識画像も一緒に移動していて、車両の一部を認識した画像であると判断し、その部分認識画像を棄却する。一方、棄却判定部５０３ｂは、照合結果に、車両の認識画像と類似する画像が前フレームの探索範囲に含まれない旨を示す情報が含まれている場合、その認識画像上の部分認識画像を棄却しない。例えば、棄却判定部５０３ｂは、照合結果に含まれる類似度が所定値以上である場合、前フレームの探索範囲に、対象フレームの車両の認識画像が含まれていないと判断し、すなわち、認識画像の他の車両が自車と大きく異なる速度で走行し、車両の一部を認識した画像でない可能性があると判断し、その部分認識画像を棄却しない。そして、棄却判定部５０３ｂは、棄却の判定結果を出力部５０４に出力する。

なお、上述の前フレーム上の探索範囲（例えば、図２０に示す探索範囲ＳＡ）は、所定値を設定しておいてもよいし、または、自車速度もしくはフレームレートから動的に算出して設定してもよい。例えば、自車速度が速い場合、自車と前方の他の車両との相対速度が少し異なるだけでもフレーム間で連続して現れる車両が探索範囲内に入らなくなる可能性が高い。したがって、探索範囲を大きく設定する必要がある。一方、自車速度が遅い場合、探索範囲を広く設定していると、停止している車両であっても探索範囲に入ってしまう可能性があり、この場合、停止している車両の前にいる人の部分認識画像を誤って棄却してしまうおそれがある。したがって、探索範囲を狭く設定する必要がある。

また、探索範囲は、上述のように輝度画像（フレーム）上に設定しているが、これに限定されるものではなく、例えば、視差画像が存在する場合は、物体までの実距離を用いて、実距離に基づく探索範囲を設定し、奥行方向の距離を使用するものとしてもよい。なお、テンプレートマッチングではなく、視差画像（または、輝度画像）の認識画像に対応する領域の画素値（視差値）の中央値または平均値等を使用して、前フレームに対応する視差画像に、その中央値または平均値等を基準にした所定の範囲に含まれる値が存在するか否かを判定するものとしてもよい。これによって、テンプレートマッチングを行う場合よりも高速に処理が可能となる。

また、第２照合部５０６は、対象フレームの車両の認識画像を照合する対象として前フレームを使用するものとしたが、対象フレームより前の複数のフレームを照合する対象として用いるものとしてもよい。この場合、前フレーム記憶部５０７には、複数のフレーム分の情報を記憶させておく必要がある。

図１９に示す入力部５０１、画像認識部５０２、第２照合部５０６、棄却判定部５０３ｂおよび出力部５０４は、それぞれ図７に示すＦＰＧＡ５１によって実現される。なお、入力部５０１、画像認識部５０２、第２照合部５０６、棄却判定部５０３ｂおよび出力部５０４の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、図１９に示す棄却部５００ｂの入力部５０１、画像認識部５０２、第２照合部５０６、前フレーム記憶部５０７、棄却判定部５０３ｂおよび出力部５０４は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１９に示す棄却部５００ｂで独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１９に示す棄却部５００ｂで１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（棄却部の棄却判定処理）
図２１は、第３の実施の形態に係る認識処理部の棄却部の棄却判定処理の動作の一例を示すフローチャートである。図２１を参照しながら、認識処理部５の棄却部５００ｂの棄却判定処理の動作の一例の流れについて説明する。

＜ステップＳ３１、Ｓ３２＞
図１５に示すステップＳ１１、Ｓ１２と同様である。そして、ステップＳ３３へ移行する。

＜ステップＳ３３＞
第２照合部５０６は、前フレーム記憶部５０７に記憶されている前フレームを読み出し、前フレーム上の特定した探索範囲内に、対象フレーム上で認識された車両の認識画像と類似する画像が含まれるか否かを照合するテンプレートマッチングを行う。ここで、第２照合部５０６は、対象フレーム上で認識された車両の認識画像の中心位置に対応する前フレーム上の位置を中心とする所定の範囲を探索範囲として特定する。そして、第２照合部５０６は、テンプレートマッチングによる照合の結果と、認識画像情報（車両の認識画像、およびそれに重複している部分認識画像を示す情報）とを照合結果として棄却判定部５０３ｂに送る。また、第２照合部５０６は、対象フレームを前フレーム記憶部５０７に記憶させる。この前フレーム記憶部５０７に記憶された対象フレームは、次のフレームに対する照合処理で前フレームとして使用される。

次に、棄却判定部５０３ｂは、第２照合部５０６から出力された照合結果に基づいて、照合結果に含まれる認識画像情報が示す部分認識画像を棄却するか否かを判定する。具体的には、棄却判定部５０３ｂは、第２照合部５０６によるテンプレートマッチングの結果、照合結果に、車両の認識画像と類似する画像が前フレームの探索範囲に含まれる旨を示す情報が含まれている場合、その認識画像上の部分認識画像を棄却する。一方、棄却判定部５０３ｂは、照合結果に、車両の認識画像と類似する画像が前フレームの探索範囲に含まれない旨を示す情報が含まれている場合、その認識画像上の部分認識画像を棄却しない。そして、棄却判定部５０３ｂは、棄却の判定結果を出力部５０４に出力する。そして、ステップＳ３４へ移行する。

＜ステップＳ３４＞
図１５に示すステップＳ１４と同様である。

以上のステップＳ３１〜Ｓ３４の処理を、クラスタリング部４００により抽出された認識画像ごとに実行する。

以上のように、第２照合部５０６は、前フレーム記憶部５０７に記憶されている前フレームを読み出し、前フレーム上の特定した探索範囲内に、対象フレーム上で認識された車両の認識画像と類似する画像が含まれるか否かを照合するテンプレートマッチングを行う。そして、棄却判定部５０３ｂは、第２照合部５０６によるテンプレートマッチングの結果、車両の認識画像と類似する画像が前フレームの探索範囲に含まれる旨を示す情報が含まれている場合、その認識画像上の部分認識画像を棄却判定するものとしている。これによって、第１の実施の形態と同様、人を認識したものではない部分認識画像の物体をトラッキングすることを抑制することができ、かつ、正認識（ここでは、車両の認識）された認識画像の物体（車両）のトラッキングをすることができる。また、自車速度に関わらず、例えば、低速時においても、人を認識したものではない部分認識画像を棄却することができる。

なお、上述の各実施の形態では、コスト値Ｃは非類似度を表す評価値としているが、類似度を表す評価値であってもよい。この場合、類似度であるコスト値Ｃが最大（極値）となるシフト量ｄが視差値ｄｐとなる。

また、上述の各実施の形態では、車両７０としての自動車に搭載される物体認識装置について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

さらに、ロボットは、移動体だけでなく、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラ等であってもよい。

また、上述の各実施の形態において、物体認識装置の棄却部５００、５００ａ、５００ｂの各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の各実施の形態に係る物体認識装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の各実施の形態の物体認識装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施の形態の物体認識装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の各実施の形態の物体認識装置で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５２が上述のＲＯＭ５３からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ５４等）上にロードされて生成されるようになっている。

１ 物体認識装置
２ 本体部
３ 視差値導出部
４ 通信線
５ 認識処理部
６ 車両制御装置
７ ステアリングホイール
８ ブレーキペダル
１０ａ、１０ｂ 撮像部
１１ａ、１１ｂ 撮像レンズ
１２ａ、１２ｂ 絞り
１３ａ、１３ｂ 画像センサ
２０ａ、２０ｂ 信号変換部
２１ａ、２１ｂ ＣＤＳ
２２ａ、２２ｂ ＡＧＣ
２３ａ、２３ｂ ＡＤＣ
２４ａ、２４ｂ フレームメモリ
３０ 画像処理部
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ Ｉ／Ｆ
３９ バスライン
５１ ＦＰＧＡ
５２ ＣＰＵ
５３ ＲＯＭ
５４ ＲＡＭ
５５ Ｉ／Ｆ
５８ ＣＡＮＩ／Ｆ
５９ バスライン
６０ 機器制御システム
７０ 車両
１００ 画像取得部
２００ 変換部
３００ 視差値演算処理部
３０１ コスト算出部
３０２ 決定部
３０３ 生成部
４００ クラスタリング部
５００、５００ａ、５００ｂ 棄却部
５０１ 入力部
５０２ 画像認識部
５０２ａ 車両認識部
５０２ｂ 部分認識部
５０３、５０３ａ、５０３ｂ 棄却判定部
５０４ 出力部
５０５ 第１照合部
５０６ 第２照合部
５０７ 前フレーム記憶部
５５０ トラッキング判定部
６００ 路面
６００ａ 路面部
６０１ 電柱
６０１ａ 電柱部
６０２ 車
６０２ａ 車部
６１１ 左ガードレール
６１１ａ 左ガードレール部
６１２ 右ガードレール
６１２ａ 右ガードレール部
６１３、６１４ 車
６１３ａ、６１４ａ 車部
７００〜７０２ 認識画像
８００〜８０２ 部分認識画像
Ｂ 基線長
Ｃ コスト値
ｄ シフト量
ｄｐ 視差値
Ｅ 物体
ＥＬ エピポーラ線
ｆ 焦点距離
Ｉ０ 前フレーム
Ｉ１ 対象フレーム
Ｉａ 基準画像
Ｉｂ 比較画像
ｐ 基準画素
ｐｂ 基準領域
ｑ 候補画素
ｑｂ 候補領域
Ｓ、Ｓａ、Ｓｂ 点
ＳＡ 探索範囲
ＵＭ Ｕマップ
ＶＭ Ｖマップ
Ｚ 距離

特開２００５−３１１６９１号公報

Claims (13)

1. 画像処理装置であって、
   対象画像を入力する入力手段と、
   前記対象画像が第１物体を示す画像であるか否かを認識する第１認識手段と、
   前記第１認識手段により、前記対象画像が前記第１物体を示す画像であると認識された場合、該対象画像に、該第１物体とは異なる第２物体を示す部分画像の少なくとも一部が重複しているか否かを認識する第２認識手段と、
   前記第２認識手段により前記対象画像に前記部分画像の少なくとも一部が重複していると認識され、かつ、前記画像処理装置を搭載した車両、前記部分画像、または前記対象画像の少なくともいずれかに関する所定の条件を満たす場合、前記部分画像に対して棄却と判定する判定手段と、
   を備えた画像処理装置。
2. 前記判定手段により前記部分画像に対して棄却と判定された場合、前記部分画像を棄却する旨を示す情報を出力する出力手段を、さらに備えた請求項１に記載の画像処理装置。
3. 前記第１物体は、車両である請求項１に記載の画像処理装置。
4. 前記判定手段は、前記所定の条件として、前記画像処理装置を搭載した車両の状態に基づいて、前記部分画像に対して棄却とするか否かを判定する請求項１に記載の画像処理装置。
5. 前記判定手段は、前記所定の条件として、前記画像処理装置を搭載した車両の速度が所定速度以上である場合、前記部分画像に対して棄却と判定する請求項４に記載の画像処理装置。
6. 前記判定手段は、前記所定の条件として、前記画像処理装置を搭載した車両が所定の場所に存在することを検出した場合、前記部分画像に対して棄却と判定する請求項４に記載の画像処理装置。
7. 前記対象画像内に、前記部分画像に類似する画像が含まれるか否かを照合する第１照合手段を、さらに備え、
   前記判定手段は、前記所定の条件として、前記第１照合手段による照合の結果、前記対象画像内に前記部分画像に類似する画像が含まれる場合、該部分画像に対して棄却と判定する請求項１に記載の画像処理装置。
8. 前記入力手段は、第１撮像手段が被写体を撮像した第１撮像画像から得られた前記対象画像を入力し、
   前記第１撮像画像を前画像として記憶する記憶手段と、
   前記記憶手段に記憶された前記前画像の次に前記第１撮像手段により撮像された第１撮像画像に含まれる前記対象画像を含む所定範囲に対応する前記前画像の範囲を探索範囲として、前記探索範囲内に前記対象画像に類似する画像が含まれるか否かを照合する第２照合手段と、
   をさらに備え、
   前記判定手段は、前記所定の条件として、前記第２照合手段による照合の結果、前記探索範囲内に前記対象画像に類似する画像が含まれる場合、前記部分画像に対して棄却と判定する請求項１に記載の画像処理装置。
9. 前記入力手段は、第１撮像手段が被写体を撮像した第１撮像画像から得られた前記対象画像を入力する請求項１〜７のいずれか一項に記載の画像処理装置。
10. 前記第１撮像手段と、
    前記第１撮像手段の位置とは異なる位置に配置され、前記被写体を撮像することにより第２撮像画像を得る第２撮像手段と、
    前記第１撮像画像および前記第２撮像画像から前記被写体に対して求めた視差値に基づいて、視差画像を生成する生成手段と、
    前記視差画像を用いて、前記第１撮像画像に写り込んでいる物体を認識して前記物体を含む前記対象画像および前記部分画像を抽出する抽出手段と、
    請求項７または８に記載の画像処理装置と、
    を備えた物体認識装置。
11. 請求項１０に記載の物体認識装置と、
    前記判定手段による前記部分画像に対する棄却の判定結果に基づいて、制御対象を制御する制御装置と、
    を備えた機器制御システム。
12. 対象画像を入力する入力ステップと、
    前記対象画像が第１物体を示す画像であるか否かを認識する第１認識ステップと、
    前記対象画像が前記第１物体を示す画像であると認識した場合、該対象画像に、該第１物体とは異なる第２物体を示す部分画像の少なくとも一部が重複しているか否かを認識する第２認識ステップと、
    前記対象画像に前記部分画像の少なくとも一部が重複していると認識し、かつ、所定の条件を満たす場合、前記部分画像に対して棄却と判定する判定ステップと、
    を有する画像処理方法。
13. コンピュータを、
    対象画像を入力する入力手段と、
    前記対象画像が第１物体を示す画像であるか否かを認識する第１認識手段と、
    前記第１認識手段により、前記対象画像が前記第１物体を示す画像であると認識された場合、該対象画像に、該第１物体とは異なる第２物体を示す部分画像の少なくとも一部が重複しているか否かを認識する第２認識手段と、
    前記第２認識手段により前記対象画像に前記部分画像の少なくとも一部が重複していると認識され、かつ、所定の条件を満たす場合、前記部分画像に対して棄却と判定する判定手段と、
    して機能させるためのプログラム。

Images