JP2013161187A - 物体認識装置 - Google Patents

Abstract

【課題】遠方側の領域における物体認識精度を高めることができる物体認識装置の提供。
【解決手段】 物体認識装置１は、ステレオカメラ１７と、ステレオカメラにより取得した画像を処理する処理装置２０とを含み、処理装置は、前記ステレオカメラにより取得した画像から視差を算出し、算出した視差が所定値以下の画素領域において、パターンマッチングにより物体検出を行うことを特徴とする。
【選択図】図２

Description

本発明は、ステレオカメラを用いる物体認識装置に関する。

従来から、ステレオカメラで取得した画像を、距離に応じて遠方側の領域と近傍側の領域に分割し、遠方側の領域に対しては低解像度画像における対応付けによって得られた視差が所定の視差以上の場合に高解像度画像における対応付けを行う技術が知られている（例えば、特許文献１参照）。

特開２００６−３８５７８号公報

ところで、ステレオカメラで取得した画像における遠方側の領域では立体物であっても十分な視差が得られない場合がある。従って、視差に基づく物体認識の場合、遠方側の領域における物体認識精度に難点がある。

そこで、本発明は、遠方側の領域における物体認識精度を高めることができる物体認識装置の提供を目的とする。

上記目的を達成するため、本発明の一局面によれば、ステレオカメラと、
前記ステレオカメラにより取得した画像を処理する処理装置とを含み、
前記処理装置は、前記ステレオカメラにより取得した画像から視差を算出し、算出した視差が所定値以下の画素領域において、パターンマッチングにより物体検出を行うことを特徴とする、物体認識装置が提供される。

本発明によれば、遠方側の領域における物体認識精度を高めることができる物体認識装置が得られる。

本発明の一実施例による物体認識装置１の要部構成を示した図である。 本実施例のステレオＥＣＵ２０により実現される主要処理の一例を示すフローチャートである。 図２に示す処理によるパターン認識対象領域の設定例を示す図である。 図２に示す処理によるパターン認識対象領域の設定例を示す図である。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の一実施例による物体認識装置１の要部構成を示した図である。物体認識装置１は、撮像装置１０とステレオＥＣＵ（Electric Control Unit）２０を備える。ＥＣＵは、中央処理演算装置（ＣＰＵ）、プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、入力インターフェース、出力インターフェースなどの複数の回路要素が一ユニットとして構成されたものである。

撮像装置１０は、撮像素子１１，１２やレンズ１５，１６を備えるステレオカメラ１７を含む。また、撮像装置１０は、カメラＣＰＵ１３、画像出力部１４等を有する。撮像素子１１，１２は、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。カメラＣＰＵ１３は、ステレオＥＣＵ２０からの制御信号に基づいてカメラ側の露出等の制御を行う。カメラＣＰＵ１３は、出力インターフェースである画像出力部１４を介して、撮像素子１１，１２による撮像画像を画像信号としてステレオＥＣＵ２０に送信する。なお、撮像素子は２個に限らず、それ以上の数を有してもよい。また、撮像素子１１，１２やレンズ１５，１６は、必ずしも同一のカメラユニット内に配置される必要はなく、車両横方向に離間して配置されていればよい。

ステレオＥＣＵ２０は、入力インターフェースである画像入力部２１、幾何変換ＬＳＩ２２、画像処理ＬＳＩ２４、各処理部を監督するＳＶ−ＣＰＵ２３等を有する。

撮像装置１０の画像出力部１４から出力された画像信号は、ステレオＥＣＵ２０の入力インターフェースである画像入力部２１に送られる。画像出力部１４と画像入力部２１は、所定のデジタル伝送方式のインターフェースである。

画像信号を受けた画像入力部２１は、画像信号の画像データを幾何変換ＬＳＩ２２に送る。幾何変換ＬＳＩ２２は、キャリブレーションデータを用いて、ステレオ演算処理等に使用されるステレオカメラ１７の撮像画像から、撮像素子１１，１２やレンズ１５，１６等によるハード的な内部誤差要因（レンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等）の影響を取り除き、エピポーラ線を画像水平線にあわせる周知の処理を行う。幾何変換ＬＳＩ２２は、メモリ２５に記憶された幾何変換用のＬＵＴ（Look Up Table）に基づき入力画像を変換する。

画像処理ＬＳＩ２４は、幾何変換ＬＳＩ２２からの幾何変換された画像データに基づいて画像認識処理を行う。画像処理プログラムや処理すべき画像はメモリ２６に記録され、画像処理ＬＳＩ２４は、それらを読み込んで画像認識処理を行う。画像認識処理は、視差画像（視差情報）に基づく物体認識処理と、パターンマッチングによる物体認識処理とを含む。

視差画像に基づく物体認識処理は、例えば左右に配置された撮像素子１１，１２により撮像された一対の画像の相関を求め、同一物体に対する視差に基づいて三角測量の要領でその物体までの距離を算出するものである。つまり、画像処理ＬＳＩ２４は、撮像素子１１，１２により撮像された一組のステレオ画像から同一の撮像対象物が写っている部分を抽出し、一組のステレオ画像同士でその撮像対象物の同一点を対応づけ、対応づけられた点（対応点）のずれ量（視差）を求めることによって撮像対象物までの距離を算出する。撮像対象物が前方にある場合、撮像素子１１による画像と撮像素子１２による画像とを重ね合わせると、撮像対象物が左右横方向にずれる。そして、片方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、撮像対象物までの距離Ｌは、Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）という関係式が成立する。この（ｎ・ｄ）の項が視差である。

パターンマッチングによる物体認識処理は、例えば左右に配置された撮像素子１１，１２により撮像されたいずれかの画像（基準画像）を用いて実行されてもよい。パターンマッチングの手法は任意であってよい。例えば、パターンマッチングは、マスタパターンを用いた残差マッチング、正規化相関法等や、幾何マッチングやベクトル相関を利用したものであってもよい。例えば、残差マッチングでは、画像処理ＬＳＩ２４は、メモリ２６に記録されたマスタパターンを読み出し、マスタパターンをターゲットパターン（撮像素子１１又は１２による基準画像）に対し位置を上下左右に移動させながら、重ね合わせの残差が最小になる点を求める。マスタパターンは、例えば各種車両や各種障害物に関するものであってよく、所定距離毎に用意されてもよい。

ＳＶ−ＣＰＵ２３は、各処理部を監督（supervisor）するＣＰＵである。画像処理ＬＳＩ２４が兼ねても可である。ＳＶ−ＣＰＵ２３は、画像処理ＬＳＩ２４の処理画像に基づいて算出されたカメラ制御値（例えば、露出調整のパラメータであるシャッタスピード情報）を撮像装置１０内のカメラＣＰＵ１３に送信・指示する。

このような撮像装置１０やステレオＥＣＵ２０を車両に搭載することによって、路上の障害物等の画像認識情報を利用する制御に使用することが可能である。例えば、ＳＶ−ＣＰＵ２３が、車内ＬＡＮを介して、画像認識処理結果（障害物認識結果）を必要とする他のＥＣＵにその結果を送信すればよい。他のＥＣＵとは、例えば、ACC(オートクルーズコントロール）等の先行車追従システム、衝突回避・衝突軽減システムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。

図２は、本実施例のステレオＥＣＵ２０により実現される主要処理の一例を示すフローチャートである。図２に示す処理ルーチンは、車両のイグニッションスイッチがオンの間、所定周期毎に繰り返し実行されてもよい。

ステップ２００では、ステレオカメラ１７の左右の画素の水平方向のずれ量（即ち視差）が算出される。即ち、ステレオカメラ１７の撮像素子１１，１２による各画像間の各対応点の視差が算出され、視差画像が生成される。

ステップ２０２では、上記ステップ２００で算出した視差が一定値以下であるか否かが判定される。一定値は、視差情報に基づく障害物認識処理によって障害物を精度良く認識することができる視差の下限値に対応してよい。この一定値は、ステレオカメラ１７の撮像素子１１，１２の性能や要求される精度等に応じて変化し、実験等により適合されてよい。上記ステップ２００で算出した視差が一定値以下である場合は、ステップ２０８に進み、上記ステップ２００で算出した視差が一定値より大きい場合は、ステップ２０４に進む。尚、一般的には、上記ステップ２００で算出した各対応点の視差の中には、一定値以下のものもあれば、一定値より大きいものもある。従って、この場合は、ステップ２０４及びステップ２０８の処理は並列的に実行される。

ステップ２０４では、視差量が十分に大きい集合を用いて、視差が略同じ画素でグループ化した領域が作成される。即ち、上記ステップ２００で算出した視差が一定値より大きい画素集合のうち、視差が略同じ画素同士をグループ化し、それぞれのグループ毎の領域を作成する。

ステップ２０６では、上記ステップ２００で算出された視差情報に基づいて障害物認識処理が実行される。この処理には、ステレオカメラによる障害物認識の一般的な手法が利用されてもよい。例えば、グループ毎の各領域の実（３次元）空間上での距離、高さ等の情報、及び画像（２次元）空間上での重心位置等が障害物情報として算出される。

ステップ２０８では、視差が一定値以下となった集合、即ち視差量が小さく誤差のばらつきが大きい画素を連結することで、パターン認識対象領域が作成（設定）される。パターン認識対象領域は、所定のROI(Region of Interest)内で形成されてもよい。即ち、パターン認識対象領域は、障害物が存在し得ない固定領域（例えば、水平面より十分上方の領域）を除いて設定されてよい。この場合、車両のピッチ情報等に応じてROIが可変されてもよい。

ステップ２１０では、上記ステップ２０８で作成されたパターン認識対象領域内でパターンマッチング処理により障害物認識処理（パターン認識）が実行される。この際、パターン認識に用いられるマスタパターンは、規定距離以上遠方に位置する障害物認識用のパターンが使用される。即ち、マスタパターンは、距離毎に用意されうるが、本ステップ２１０で使用されるマスタパターンは、そのうちの、規定距離以上遠く離れた障害物認識用のパターンである。尚、規定距離は、上記ステップ２０２で使用される一定値の視差に対応する距離である。

ステップ２１２では、上記ステップ２０６及びステップ２１０で実行された障害物認識結果が結合（マージ）される。

ステップ２１４では、上記ステップ２１２で結合された障害物認識結果が出力される。障害物認識結果は、上述の如く例えば先行車追従システム等に利用されてよい。

このように図２に示す処理によれば、規定距離より近い障害物はステレオカメラ１７の視差情報に基づいて認識され、規定距離より遠い障害物はパターン認識を用いて認識される。このように、視差量が十分得られない遠方領域のみパターン認識を行うことで、遠方領域での障害物の認識精度を高めつつ、パターン認識による処理負荷を最小限に抑えることができる。

特に、パターン認識対象領域に対するパターン認識では、規定距離以上遠方に位置する障害物認識用のパターンが使用されるので、距離毎の各パターンの全てを使用する場合に比べて、処理負荷を低減することができる。

また、図２に示す処理によれば、パターン認識対象領域は、視差量が一定値よりも大きい画素を除いて生成される。ここで、視差量が一定値よりも大きい画素は、典型的には、近距離に位置する前方車両である。従って、パターン認識対象領域は、近距離に位置する前方車両が存在しない画素領域として精度良く設定することができる。この点、単に画像の上下方向の上側領域（遠距離領域）の全体にパターン認識対象領域を設定する比較構成の場合、自車前方の近距離に前方車両が存在すると、かかる前方車両の像がパターン認識対象領域内に含まれてしまい、パターン認識を精度良く行うことができない。

図３及び図４は、図２に示す処理によるパターン認識対象領域の設定例を示す図であり、図３（Ａ）及び図４（Ａ）は、各シーンにおける入力画像を示し、図３（Ｂ）及び図４（Ｂ）は、同各シーンにおける視差画像を示す。図３及び図４に示す各シーンは、道路上を走行する先行車を撮影したものである。図３（Ｂ）及び図４（Ｂ）には、パターン認識対象領域が、符合７０が付された白い枠内に示されている。図面の明瞭化のための都合上、図３（Ｂ）及び図４（Ｂ）においては、視差が一定値よりも大きい画素、即ち距離が規定距離よりも近い画素が白色で表示されている。実際には、視差画像は、視差に応じたグレースケール値を持つ画像であってよい。

図３に示す例では、左手前を走行しているトラックは、距離が近いため、視差点が算出できている。従って、このトラックに関する情報は、図２のステップ２０４，２０６の処理による得られる。他方、トラックの前を走る前方車両ないし自走行路を走る前方車両は、距離が遠いため、視差点が算出できていない。図２に示す処理によれば、視差点を算出できていない画素を連結してパターン認識対象領域が生成される（図２のステップ２０８）。生成されたパターン認識対象領域は、図３（Ｂ）に符合７０にて示される。これにより、パターン認識対象領域内でパターン認識処理が実行され（図２のステップ２１０）、トラックの前を走る前方車両ないし自走行路を走る前方車両は、パターン認識により認識されることができる。

図４に示す例では、自走行路を走る前方車両は、距離が近いため、視差点が算出できている。従って、この前方車両に関する情報は、図２のステップ２０４，２０６の処理による得られる。他方、前方車両の左側の領域（左側車線内の領域）は、視差点が算出できておらず、遠い距離に前方車両が存在する可能性がある。図２に示す処理によれば、視差点を算出できていない画素を連結してパターン認識対象領域が生成される（図２のステップ２０８）。生成されたパターン認識対象領域は、図４（Ｂ）に符合７０にて示される。これにより、パターン認識対象領域内でパターン認識処理が実行される（図２のステップ２１０）。図４に示す例では、左車線に前方車両が存在しないため、パターン認識対象領域内で前方車両が検出されない。

以上説明した本実施例の物体認識装置１によれば、とりわけ、以下のような優れた効果が奏される。

本実施例によれば、上述の如く、視差量が十分得られない遠方領域においてパターン認識対象領域が設定され、パターン認識対象領域内でのみパターン認識が実行されるので、視差量が十分得られない遠方領域でのみパターン認識を行うことが可能となる。これにより、遠方領域での障害物の認識精度を高めつつ、パターン認識による処理負荷を最小限に抑えることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、図１には、特定のハードウェア構成を備える物体認識装置１が開示されているが、物体認識装置１のハードウェア構成は任意であってよい。また、図１に示すハードウェア構成において、カメラＣＰＵ１３及びステレオＥＣＵ２０の機能分担も任意であり、一方の機能の一部又は全部が他方により実現されてもよい。

また、上述した実施例では、パターン認識対象領域は、矩形であったが、パターン認識対象領域の形状は任意である。

また、上述した実施例では、パターン認識される対象は車両であったが、パターン認識される対象は任意であり、他の物体（歩行者や標識、ガードレール、縁石等）であってもよい。

１ 物体認識装置
１０ 撮像装置
１１，１２ 撮像素子
１３ カメラＣＰＵ
１４ 画像出力部
１５，１６ レンズ
１７ ステレオカメラ
２０ ステレオＥＣＵ
２１ 画像入力部
２２ 幾何変換ＬＳＩ
２３ ＳＶ−ＣＰＵ
２４ 画像処理ＬＳＩ
２５，２６ メモリ
２８ ＥＥＰＲＯＭ
７０ パターン認識対象領域

Claims (2)

1. ステレオカメラと、
   前記ステレオカメラにより取得した画像を処理する処理装置とを含み、
   前記処理装置は、前記ステレオカメラにより取得した画像から視差を算出し、算出した視差が所定値以下の画素領域において、パターンマッチングにより物体検出を行うことを特徴とする、物体認識装置。
2. 前記処理装置は、前記算出した視差が所定値より大きい画素領域においては、前記算出した視差に基づいて物体検出を行う、請求項１に記載の物体認識装置。