JP2008243111A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】
より正確に撮像対象の移動ベクトルを検出する画像処理技術を提供する。
【解決手段】
複数の撮像素子から入力した画像を記憶する画像処理バッファ１０５と、画像処理バッファ１０５に記憶された第１の画像と、第１の画像を撮像した撮像素子に対応する他の前記撮像素子によって同時期に撮像された第２の画像との間の視差画像を求める距離画像算出用画像処理部１０９と、第１の画像と、第１の画像を撮像した撮像素子によって時間差をもって撮像された第３の画像との間の移動ベクトル画像を求める移動ベクトル算出用画像処理部１１０と、を有する画像処理装置。
【選択図】図１

Description

本発明は、移動ベクトルを検出する画像処理装置および画像処理方法に関する。

昨今では様々な分野において、カメラで撮像した画像を処理し、オプティカルフローの算出などにより、撮像した対象の移動ベクトル検出を行う技術が開発されている。

このような画像処理による移動ベクトル検出において、高いリアルタイム性を得ることは、当該分野におけるより安全性や利便性を高めるために重要であるが、オプティカルフロー算出処理は計算が複雑で、処理が膨大な時間がかかり、処理装置の能力によってはリアルタイム性を阻害するという問題があった。

そこで、ステレオカメラにおいて視差画像を用いて対象を認識し、その認識結果によって対象物のある場所を特定し、その付近のみ移動ベクトルを算出する技術が知られている（例えば特許文献１参照）。

特開２００５−２１４９１４号公報

従来においては、画像認識結果をベースに移動ベクトルを算出する範囲を狭めているため、画像認識を行う際の誤認識および未認識に、さらに移動ベクトル算出時の誤認識／未認識が加わり、充分な正確性のある対象の移動ベクトルの算出が困難であった。

本発明は、より正確に撮像対象の移動ベクトルを検出する画像処理技術を提供することを目的とする。

複数の撮像素子から入力した画像を記憶し、互いに異なる撮像素子によって同時期に撮像された２つの画像との間の視差画像を求めるとともに、記憶された画像を用いて時間差をもって撮像された２つの画像との間の移動ベクトル画像を求め、視差画像と移動ベクトル画像に基づいて画像内に撮像された対象物を認識する。

より正確に撮像対象の移動ベクトルを検出することができる。

以下、本発明の実施形態を、図面を用いて説明する。以下、自動車のステレオカメラを例にとって説明するが、本発明は自動車に限らず、障害物を検知する必要のある全てものへの適用が可能である。

従来においては、画像認識結果をベースに移動ベクトルを算出する範囲を狭めているため、画像認識を行う際の誤認識および未認識に、さらに移動ベクトル算出時の誤認識／未認識が加わり、充分な正確性のある対象の移動ベクトルの算出が困難であった。さらに、探索範囲は検出可能最大速度を表し、探索範囲を狭めることで、想定した範囲以上の速度を持った障害物の検知は不可能となる。また、画像認識の後に対象の移動ベクトルを算出しており、画像認識の際に使えるのは前回処理単位において算出した移動ベクトルである。例えば相対速度１８０km／ｈの対象物では、画像処理周期が１００msecであるとすると、５ｍ近づいてしまう。

これらに鑑み、本実施形態による移動ベクトル算出機能付ステレオカメラは、画像認識結果を必要とせず、今回処理単位に取り込んだ画像を、視差画像の算出と同時に、もしくは同じ処理単位において僅かにだけ遅れて移動ベクトルを算出しながら、かつ誤認識及び未認識を低減した認識対象物の移動ベクトル算出方法を提供する。

ここで生画像とは、画像の各ピクセルが、撮像素子から入手する輝度値によって構成されるものである。

視差画像とは、画像の各ピクセルが、複数の撮像素子から得た画像上の位置の差によって構成されるものである。当該位置の差と撮像素子同士の相対位置関係に基づいて、カメラと画像上の対象物との距離を算出する。

移動ベクトル画像とは、画像の各ピクセルが、複数の時系列に撮像した画像上の位置の差によって構成される。当該位置の差と撮像時間差とに基づいて、対象物の移動速度及び移動方向、すなわち移動ベクトルを算出する。

すなわち、複数画像上の位置の差を「視差」とすれば、複数枚の画像が同時に撮像されたものにおける同一の対象物の視差は距離を表し、複数枚の画像が時間差をもって撮像されたものにおける同一の対象物の視差は移動ベクトルを表す。しかし、便宜上、距離をあらわすものを視差画像と呼び、移動ベクトルを表すものを移動ベクトル画像と以下では呼称する。

図１は、本発明の一実施形態をなす画像処理装置のブロック構成図を示す。

複数枚の画像から視差画像および移動ベクトル画像を算出するには、基準画像と探索対象画像における画像の一致度を判定する必要がある。この判定にはＳＡＤ（Sum of
Absolute Difference：差分絶対値和）を用いる。ＳＡＤは、画像をブロックと呼ばれる複数のピクセルで構成される単位で切り出し、基準画像と探索対象画像のブロックの各ピクセルで輝度値の差分の絶対値を和算し、この値が一番小さいものをマッチングしたブロックとして算出する手法である。このＳＡＤ回路に左右の画像を入力することで視差画像を得、現在と過去の画像を入力することで移動ベクトル画像を得ることができる。

左右２つの撮像素子１０１，１０２からのアナログ信号は、ＡＤコンバータ１０３でディジタル信号に変換される。ＡＤコンバータ１０３の出力信号は、第１画像補正回路104で画像の左右における輝度値の差などが吸収される。第１画像補正回路１０４から出力された画像は、ＲＡＭなどによって構成される画像処理バッファ１０５に保存される。撮像を開始してから、この画像処理バッファ１０５に画像が保存されるまでには、露光時間などのハード的な遅延が発生するため、バッファを用意してタイミングの同期を取る。

その後、第２画像補正回路１０６でカメラのレンズによる画像のゆがみが補正され、ノイズ除去フィルタ１０７を通して画像ノイズが除去され、処理画像ブロック切り出し部
１０８によって画像が処理単位に切り出される。

切り出された画像ブロックは３つの用途に使用される。一つは、左右の画像から視差画像を得るために、ＳＡＤ回路である距離画像算出用画像処理部１０９に転送される。もう一つは、現在画像を過去画像とを照会して移動ベクトル画像を得るために、ＳＡＤ回路である移動ベクトル算出用画像処理部１１０に転送される。さらに一つは、次回の移動ベクトル画像算出のために、画像処理バッファ１０５に書き戻され、一時的に画像が保管される。

尚、ここで入力または書き戻される画像は、第２画像補正回路１０６，ノイズ除去フィルタ１０７で処理された画像であるが、これらを全て備えている必要はない。処理画像ブロック１０８を含め、これらの処理部は、処理画像に要求されるクオリティに応じて選択的に具備されても良いが、距離画像算出用画像処理部１０９，移動ベクトル算出用画像処理部１１０，画像処理バッファ１０５に入力される画像で共通する処理は、入力前に一括して行っておくことが、処理時間の観点からも好ましい。特に処理画像ブロック１０８を共通化することは、各画像処理部の処理対象範囲を互いに共有化することであり、高速な画像処理に寄与する。また、距離画像算出用画像処理部１０９及び移動ベクトル算出用画像処理部１１０は、視差画像算出と移動ベクトル算出を別々に行うために複数存在しても良いし、同一の回路を使って両方の算出を行ってもよい。

距離画像算出用画像処理部１０９及び移動ベクトル算出用画像処理部１１０の出力結果である視差画像及び移動ベクトル画像は、ＲＡＭなどによって構成される画像処理バッファ１１１に格納される。

尚、バス負荷，処理負荷等により移動ベクトル画像出力の可否を制御する出力スイッチング機構１１３をさらに設けることが好ましい。これにより、バス負荷，処理負荷が高い場合に移動ベクトル画像からの入力信号をカットする、または移動ベクトル算出用画像処理部１１０の動作を一時的に中止することにより、負荷が低減され、システムの安全性を高まる。この出力スイッチング機構１１３は、バス負荷監視回路１１４が監視，制御を行い、出力の有無を画像認識部１１２に通知する。または画像認識部１１２自体が出力の有無を制御しても良い。

画像認識部１１２では視差画像及び移動ベクトル画像から画像認識を行う。必要に応じて生画像を入力して画像処理を行っても良い。

ここで回路やフィルタはハードウェア回路によって構成することも可能だが、ソフトウェアで処理しても良い。また、上記した処理部やバッファ，回路などは、一つの筐体の中に収められている必要はなく、別の筐体内に収められて、通信手段を介して互いの信号を授受しても良い。その一方で、撮像素子を含む全ての処理部やバッファ，回路を一体化した装置であっても良い。

図２〜図４は、図１で示した回路で移動ベクトル画像を算出する際の処理フローチャートを示す。

ここでは処理単位ブロック切り出し部１０８で基準サイズに切り出された現在生画像
３１８，過去生画像３１９、及び視差画像３２０を取得する。これらの画像は同じブロックサイズで切り出されているため、再度画像から切り出す処理がなく、メモリフェッチ等の処理を必要とせず高速に処理ができる。また、バースト転送が可能なため、処理速度の向上が得られる。

ステップ３００では、処理単位ブロック切り出し部１０８で基準サイズに切り出された現在生画像３１８を取得する。

ステップ３０１では、ステップ３００で取得した現在画像ブロックについて、視差画像上で同じブロックに視差が求まっているかどうか、すなわち所定値以上の視差があるかどうか確認する。現在画像ブロックと視差画像上で同じブロックに視差の求まっていない場所は、画像上特徴のない若しくは特徴の少ないブロックであるため、移動ベクトルを算出しても信頼性の低いものとなる。そこで、ステップ３０２に示すように処理をスルーすることで移動ベクトル算出の高速化及び高信頼化が得られる。

ステップ３０２では、過去生画像を取得する。基準とする画像ブロックと基準とした画像ブロックとの一致度の高い（ＳＡＤの低い）ブロックを探す探索画像で、ステップ305に示す通り各基準ブロックに対する一致度を探索画像の全ブロックにおいて算出する。基準画像とするのは現在と過去の画像どちらでもよいが、本実施例では現在画像を基準画像とした。ここでは基準画像でない方が探索対象画像である。本実施例では基準が現在画像のため、過去画像となる。次に、ステップ３０３で示すように、ステップ３０１と同様に視差画像の求まっていないブロックは処理をスルーする。このように、視差画像との照合により、誤認識が低減され、認識性能が向上する。

次に、ステップ３０６で探索画像の全てのブロックにおいて一致度が計算されたか否かを評価する。全てのブロックについて計算していなければ、ステップ３０２に戻り次のブロックについて同様の処理を行う。

ステップ３０６で全てのブロックについて一致度が計算されたと判断された場合には、各ブロックの移動ベクトルの算出を行う。ステップ３０７で信頼度の計算を行う。信頼度は、探索画像上のブロックが、どの程度、基準画像ブロックの移動ベクトルである可能性があるかどうかを示し、例えば一致度の比較によって求めても良い。ステップ３０８で、信頼度が非常に近いブロックが複数あるかどうかが評価され、複数ある場合は、ステップ３０９で視差画像上における対象ブロックの近くに視差の似通ったデータがあるかどうかが判断される。同じような視差を持った画素があった場合、対象となる探索画像上のブロックの信頼度を上げる。近くに似通った視差データが無い場合は、ステップ３１１に示すように、ノイズや認識するには小さすぎる障害物である可能性が高く、対象とする探索画像上のブロックが基準画像ブロックの移動ベクトルであるという信頼度を下げる。これにより、誤認識の発生を低減することが可能である。

ステップ３１０で、探索画像上の信頼度の最も高いブロックを基準画像上ブロックの移動ベクトル算出対象ブロックとして選出する。

次に、ステップ３１２で現在画像の全てのブロックにおいて処理が行われたか否かを評価する。全てのブロックについて処理が行われていなければ、ステップ３００に戻り次のブロックについて同様の処理を行う。

ステップ３１３で、算出した移動ベクトル画像を出力する。前述した出力スイッチング機構１１３は、このステップ３１３の出力可否を決定するように構成しても良い。

ステップ３１４で、移動ベクトル画像から実際の認識対象の移動ベクトルを求める際に、グルーピングを行う。グルーピングとは、近くの似通った移動ベクトルを一まとめにすることにより、明らかに周囲と異なる移動ベクトルを無視することで誤認識を低減しながら認識対象物の移動ベクトルを決定する。

図５，図６は、実際の事象と移動ベクトル画像との関係を示す。

図５で示すように、自車両５００が交差点において左折しようとする際に、左側の植込み５０２の向こうから自転車５０１が自車両に向かって来ているような場合を想定する。この場合の移動ベクトル画像は図６のようになる。自車両５００が左折しているため、植込みの移動ベクトル５１１は移動ベクトル画像上では右向きの移動ベクトルを持っている。自転車５０１は自車両５００に向かって来ているため、図に示すように右より少し下向きの移動ベクトル５１０を持つ。これらの移動ベクトルをグルーピングする際に、誤って自転車５０１の移動ベクトル５１０まで植え込み５０２の移動ベクトル５１１としてしまい、移動ベクトル算出システムが自転車５０１を未認識としてしまう危険がある。しかし、本実施形態では、移動ベクトル画像と視差画像の照合が容易なため、ステップ３１５で示すように、対象ブロックが周囲の移動ベクトルと比べて特異な移動ベクトル（すなわち大きさまたは方向が異なる）を持つ場合、ステップ３１６で示すように視差データと比較し、周囲と異なれば別の物体である可能性が高いとしてグルーピングを行わず、自転車
５０１と植込み５０２の自車両５００からの距離を見ることによって未認識を防ぐことが可能である。ステップ３１７で示すように、周囲のブロックと視差データの差が大きくない場合は、誤認識として周囲の移動ベクトルデータとグルーピングを行い、誤認識の低減を行う。

以上の処理は、移動ベクトル算出用画像処理部１１０で行っても良いし、画像認識部
１１２で行っても良い。以上の処理によって、高速に、かつ誤認識，未認識の少なく移動ベクトル画像の生成することが可能となる。

図７は、図１の実施形態における移動ベクトル算出処理のデータフローを示す。

ここでは、移動ベクトル算出用に現在の処理単位と過去の処理単位を上下に分けて書く。便宜上過去の処理単位で取得した画像を過去画像（過去生画像，過去視差画像），現在の処理単位で取得した画像を現在画像（現在生画像，現在視差画像）と呼ぶ。過去の画像に関しては、バッファに保存しない限り現在の処理に使うことは不可能なため、過去の画像に対してバッファを介さないで現在の処理に使うことはない。過去画像のデータフローは上段４００に、現在画像のデータフローは下段４０１に示す。

まず、過去の処理単位で入手した、複数の撮像手段で得られた過去生画像４２２に対して、ステップ４０２でノイズの除去とブロックサイズの切り出しを行う。ステップ４０３で、この切り出した後の画像を順次画像バッファに詰めていき、次回移動ベクトル算出に備える。切り出し後の画像を用いているため、切り出しを再度行う必要がなく、切り出しを再度行う場合に比べ高速な画像データの入手が可能である。

ステップ４０４で、視差画像算出のため、左右の過去生画像から過去視差画像を生成する。ステップ４０５で、この過去視差画像を順次画像バッファに詰めていき、次回移動ベクトル算出に備える。この視差画像は、切り出した画像と同じブロックサイズとなるため、視差画像と移動ベクトル画像は画像上で同じとなる。よって視差画像と移動ベクトル画像を高速に照合することが可能となる。次にステップ４１３で、過去の画像に対する認識処理を行い、過去の処理単位の画像処理を終了する。

次に、現在の処理に移る。まず、現在の処理単位で入手した、複数の撮像手段で得られた現在生画像４２３に対して、ステップ４０６でノイズの除去とブロックサイズの切り出しを行う。切り出した後のデータを移動ベクトル算出回路に送る。次に、ステップ４０８で、現在画像に対して現在視差画像を生成する。このとき、現在視差画像が求まったブロックから順次移動し、ベクトル算出回路に現在視差データを転送する。

ステップ４０９で、過去生画像，現在生画像を探索対象画像及び基準画像とし、過去生画像に対しては過去視差画像，現在生画像に対しては現在視差画像を参照しながら、移動ベクトルを算出する。視差画像を参照することにより、高速でかつ信頼性の高い移動ベクトルの算出が可能である。

移動ベクトル画像転送の際に、バス負荷が高い場合は移動ベクトル画像の出力を行わない等のスイッチングを行い、システムの安全性を高めても良い。

認識処理４１２の前に、視差画像と照合しながら移動ベクトルのグルーピングを行い、認識対象の移動ベクトルを求める。

以上の操作により、現在生画像から現在生画像及び現在視差画像に対する認識処理を行うまでに移動ベクトルを生成するというリアルタイム性を保持しながら、かつまた誤認識，未認識の少ない移動ベクトルの算出が可能となる。

本発明の実施形態によれば、画像認識結果ではなく、視差画像を用いて移動ベクトルの算出を行うため、画像認識による誤認識及び未認識を含まず、さらに今回入手した視差画像及び生画像を用いた画像認識を行う前に移動ベクトル画像を提供することができる。

また、画像の処理単位ブロック切り出し、ノイズ低減フィルタの後の画像を移動ベクトル算出回路と視差画像算出回路に入力するため、同じ処理を行う必要がない。

また、切り出した後の画像データを順次保存していくため、バースト転送を行うことができ、メモリフェッチにかかる時間を大幅に削減して高速な過去画像転送処理が可能になる。

また、上記画像処理装置に代表される画像一致度判定回路は、移動ベクトル算出の際に、視差画像において、判定対象周囲に似通った視差データがあるかを識別し、一致度判定の確からしさを向上して、誤認識を低減することが可能である。

さらに、視差画像との整合性を取りやすく移動ベクトル画像の処理単位を視差画像と同じくすることにより、移動ベクトル画像のグルーピングの際に、視差画像との照会により、隠れている他の対象と重なって見える対象を、隠している対象の移動ベクトルと誤ってグルーピングすることを防ぎ、未認識を低減することを容易とする。

尚、本発明の実施形態の機能が有効に動作していることの確認は、画像一時保存バッファ及び距離情報への、距離情報及び移動情報抽出機構からのアクセスを解析することで可能である。生画像から距離情報を抽出するだけの場合は、画像一時保存バッファ及び距離情報保存バッファへは処理単位毎にライト１回，リード１回である。しかし、生画像から距離情報を抽出した後に、さらに生画像及び距離情報から移動情報を抽出するという特徴は、画像一時保存バッファへのアクセスが処理単位毎にライト２回，リード２回に増えることにある。このアクセスを解析することに依り、本実施形態の機能が正常に動作していることを確認できる。

図８は、本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。以下、特に説明する事項以外は、実施例１と同様であり、説明を省略する。

図８に示す回路は、図１に示す回路から移動ベクトル算出用画像一致度判定回路への生画像の入力及び生画像の過去画像書き戻し回路を省いたものである。実施例１との相違は、システムに対する入力は過去及び現在の視差画像のみとなる点である。また、生画像の輝度情報を使ってブロックの一致度を算出することが不可能なため、視差画像上での視差データの配置、及び視差データの値によって一致度を算出する。具体的には、実施例１ではブロックの各画素での輝度値の差分で一致度を出したのに対し、本実施例ではブロックの視差のみを用いて行う。さらに、周囲のブロックをさらに大きなブロックとみなすことで、視差データの配置も見ることができ、信頼度を増すことも可能である。実施例１の場合は最小計算単位が画素であったのに対し、本実施例では最小計算単位がブロックであるため、実施例１に比べて本実施例の移動ベクトル算出処理は、詳細さにおいては劣るものの、非常に高速な算出が可能である。本実施例では、実施例１と比べて、過去生画像保存処理及び生画像の移動ベクトル算出回路への転送処理がなくなっており、システムとしての転送負荷も大幅に軽減されており、実施例１と比べて高速なシステム構成となっている。

図９は、本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。以下、特に説明する事項以外は、実施例１と同様であり、説明を省略する。

図９に示す回路は、図１に示す回路のうち、視差画像の次回移動ベクトル算出用書き戻し回路を省いたものである。生画像を使って移動ベクトル算出を行うため、非常に信頼度の高い移動ベクトルを算出しながら、さらに現在視差画像の情報を用いることで、移動ベクトル情報の高信頼化，高速化を行っている。実施例１のステップ３０３に示した視差データの有無による処理のスルーがなくなり、計算量は増えるが、実施例１でステップ405に示した過去視差画像のバッファリング及び転送処理がなくなるため、データ転送負荷は低減される。よってシステムとして、移動ベクトル算出処理の際の処理負荷よりも、データ転送負荷が大きいときに本実施例は有効である。生画像をベースに移動ベクトルを算出しているため、高精細な移動ベクトルが算出でき、かつ現在視差画像を用いているため、信頼度、及び移動ベクトル算出処理時間共に高速化されている例である。

図１０は、本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。以下、特に説明する事項以外は、実施例１と同様であり、説明を省略する。

図１０に示す回路は、図１に示す回路から現在視差画像の移動ベクトル算出回路への入力を省いたものである。実施例１に比べて、３０１で示した現在視差画像を用いたスルー処理がなくなっているため、計算量は増大するが、現在視差画像を用いていないため、現在視差画像生成処理と全く独立して移動ベクトルの算出が可能となる。本実施例では、生画像を用いて移動ベクトルを算出しているため、高精細な移動ベクトルを生成しながら、過去視差画像を用いて信頼性を保ち、かつ処理の高速化を行っている。よってシステムとして、視差画像と同時にもしくはそれよりも早く、実施例１と比べて高速に高精細な移動ベクトルの算出が可能となるシステムである。

図１１は、本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。以下、特に説明する事項以外は、実施例１と同様であり、説明を省略する。

図１１に示す回路は、図１に示す回路から、視差画像の書き戻し及び移動ベクトル算出回路への入力を省いたものである。実施例１と比べて、ステップ３０１及びステップ303で示したスルー処理がないため、処理量は増大している。また、ステップ３０８に示した視差画像を用いた信頼性評価も行えないため、実施例１に比べて移動ベクトルの信頼性という点で劣る。しかし、視差画像算出と移動ベクトル算出が完全に分離しているため、非常に高精細な移動ベクトルの算出が可能であり、視差画像算出の際の誤差等を含まない。また、移動ベクトル画像は視差画像と同じブロックサイズで構成されており、ステップ
３１５で示した移動ベクトル画像算出後の視差画像との照合により、高信頼性を保ち得る回路である。また、ステップ４０５で示した過去視差画像及びステップ４０９に示した視差画像の転送がないため、転送負荷が軽くなり、システムとしての負荷が軽減する。

図１２は、本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。以下、特に説明する事項以外は、実施例１と同様であり、説明を省略する。

図１２に示す回路は、図１に示す回路に、過去画像保存用バッファＲＡＭ１５０を追加したものである。このように、回路条件や視差画像，移動ベクトル画像算出ロジックの変更などによって、回路構成を換えても、過去画像一時保存バッファがあればシステムとして提案機能を満たすことが可能である。

図１３は、本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。以下、特に説明する事項以外は、実施例１と同様であり、説明を省略する。

図１３に示す回路は、図１に示す回路で、距離画像算出用画像処理部１０９及び移動ベクトル算出用画像処理部１１０を、画像処理部１５３として一体化したものである。視差画像生成用入力及び移動ベクトル画像生成用入力のスイッチングのため、１５１及び152で示した入力スイッチング機構及び入力スイッチング制御機構が付加されている。複数の撮像手段から得た現在生画像を入力すれば、視差画像が生成され、実施例１〜６のように、過去，現在画像を入力すれば移動ベクトル画像が生成される。システムとしての出力は一意に定まるため、出力スイッチング機構１１３，バス負荷監視回路１１４は必要ない。このように、画像一致度判定と言う面ではＳＡＤの計算という、視差画像と移動ベクトル画像で全く差異がないことを利用し、画像一致度判定回路の処理能力が十分ある場合であれば、一体化しても提案機能は実現可能である。

本発明の一実施形態をなす画像処理装置のブロック構成図を示す。 図１で示した回路で移動ベクトル画像を算出する際の処理フローチャートを示す。 図１で示した回路で移動ベクトル画像を算出する際の処理フローチャートを示す。 図１で示した回路で移動ベクトル画像を算出する際の処理フローチャートを示す。 実際の事象を示す。 図５に対応する移動ベクトル画像を示す。 図１の実施形態における移動ベクトル算出処理のデータフローを示す。 本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。 本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。 本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。 本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。 本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。 本発明の他の実施形態をなす、画像処理装置のブロック構成図を示す。

符号の説明

１０１，１０２ 撮像素子
１０５ 画像処理バッファ
１０９ 距離画像算出用画像処理部
１１０ 移動ベクトル算出用画像処理部
１１２ 画像認識部

Claims (13)

1. 複数の撮像素子から入力した画像を記憶する画像処理バッファと、
   前記画像処理バッファに記憶された第１の画像と、前記第１の画像を撮像した前記撮像素子に対応する他の前記撮像素子によって同時期に撮像された第２の画像との間の視差画像を求める第１画像処理部と、
   前記第１の画像と、前記第１の画像を撮像した前記撮像素子によって時間差をもって撮像された第３の画像との間の移動ベクトル画像を求める第２画像処理部と、
   を有する画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記第１画像処理部による前記視差画像と前記第２画像処理部による前記移動ベクトル画像とを入力し、前記視差画像と前記移動ベクトル画像に基づいて前記画像内に撮像された対象物を認識する画像認識部を有する画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記画像認識部は、前記視差画像と前記移動ベクトル画像に加え、前記画像処理バッファに記憶された生画像に基づいて前記画像内に撮像された対象物を認識する画像処理装置。
4. 請求項１記載の画像処理装置であって、
   前記撮像素子から入力した画像の輝度値の差を吸収する第１画像補正部を有する画像処理装置。
5. 請求項１記載の画像処理装置であって、
   前記第１画像処理部及び前記第２画像処理部に入力される画像は、カメラのレンズによる画像の歪みを補正する第２画像補正部、または画像ノイズを除去する画像ノイズ除去部の少なくともいずれか一つを介して入力される画像処理装置。
6. 請求項１記載の画像処理装置であって、
   画像を処理単位である画像ブロックに切り出す処理画像ブロック切り出し部を有し、
   前記第１画像処理部及び前記第２画像処理部には、前記処理画像ブロック切り出し部を介した画像が入力されるとともに、前記処理画像ブロック切り出し部を介した画像が前記画像処理バッファに書き戻され、書き戻された当該画像は、前記第３の画像として前記第２画像処理部に入力される画像処理装置。
7. 請求項１記載の画像処理装置であって、
   前記第２画像処理部の前記移動ベクトル画像の出力可否を制御する出力スイッチング部を有する画像処理装置。
8. 請求項１記載の画像処理装置であって、
   前記第１画像処理部及び前記第２画像処理部は、処理対象画像範囲を同一とする画像処理装置。
9. 請求項１記載の画像処理装置であって、
   画像を処理単位である画像ブロックに切り出す処理画像ブロック切り出し部を有し、
   前記第２画像処理部は、処理画像ブロック切り出し部によって切り出された画像ブロックに所定値以上の視差がない場合は、当該画像ブロックに関する前記移動ベクトル画像算出をスキップする画像処理装置。
10. 請求項１記載の画像処理装置であって、
    画像を処理単位である画像ブロックに切り出す処理画像ブロック切り出し部を有し、
    前記第２画像処理部は、前記第３の画像の各画像ブロックについて、前記第１の画像の所定の画像ブロックの移動ベクトル算出対象であるかどうかの可能性を示す信頼度を求め、当該信頼度の最も高い画像ブロックを移動ベクトル算出対象として前記移動ベクトル画像を求める画像処理装置。
11. 請求項１０記載の画像処理装置であって、
    前記第２画像処理部は、前記信頼度を求める際に前記視差画像を用いる画像処理装置。
12. 請求項２記載の画像処理装置であって、
    前記画像認識部は、前記移動ベクトル画像の移動ベクトルのグルーピングを行い、特定の移動ベクトルが周囲の移動ベクトルと大きさまたは方向が異なる場合、前記視差画像を用いて前記特定の移動ベクトルと前記周囲の移動ベクトルが異なる物体の移動ベクトルか否かを判断する画像処理装置。
13. 複数の撮像素子から入力した画像を記憶し、
    記憶された第１の画像と、前記第１の画像を撮像した前記撮像素子に対応する他の前記撮像素子によって同時期に撮像された第２の画像との間の視差画像を求め、
    前記第１の画像と、前記第１の画像を撮像した前記撮像素子によって時間差をもって撮像された第３の画像との間の移動ベクトル画像を求め、
    前記視差画像と前記移動ベクトル画像とを入力し、前記視差画像と前記移動ベクトル画像に基づいて前記画像内に撮像された対象物を認識する画像処理方法。

Images