JP2007172500A - データ処理装置 - Google Patents

Abstract

【課題】より少ない計算量でマッチング精度の向上を図る。
【解決手段】本ステレオ画像処理装置では、１フレームの基準画像において、処理対象とする４×４の相関元領域から左右に１画素分ずらした２つの参照領域につきそれぞれ相関演算が行われ、相関値Ｓ_n-1，Ｓ_n+1が算出され、これら相関値のうち相関のより弱いことを示すものが評価値とされる（ステップ２）。この評価値が所定のしきい値と比較されることによって、処理対象としている相関元領域について自己相関が強いか否かが判定される（ステップ３）。この判定の結果自己相関が強い場合に（ステップ３にてＮｏ）、マッチングサイズを拡大させるよう設定される（ステップ５）。
【選択図】図２

Description

本発明は、互いに関連性を有する一対のデータを用いて、一方のデータによって規定される領域の一部を構成する相関元領域の相関先を、他方のデータによって規定される領域内において特定するデータ処理装置に関する。

従来より、一方のデータによって規定される領域の一部を構成する相関元領域の相関先を、他方のデータによって規定される領域内において特定するマッチング処理が知られている。周知のように、このようなマッチング処理は、互いに関連性を有する一対のデータに対して広く行われている。例えば、ステレオカメラから得られる一対の画像データは、同一の撮像タイミングでほぼ同様の景色を撮像するという点で互いに関連性を有する。このようなステレオ画像データに対しては、撮像された対象物の三次元的な位置を検出すべくステレオマッチングが行われる。また、異なるタイミングでの撮像によって単眼カメラから得られる複数フレームの画像データは、時間軸上において互いに関連性を有する。このような画像データに対しては、オプティカルフローを検出すべくマッチング処理が行われる。さらに、マッチング処理は、上述したような輝度情報に基づく画像データに限定されるものではなく、距離情報に基づく距離画像やレーダ画像、或いは、温度情報に基づく温度分布画像等であっても同様に行われ得る。

例えば、特許文献１には、マッチング処理に用いられるテンプレート画像のサイズを変え、マッチング画像を探索する画像処理装置が開示されている。この画像処理装置では、テンプレート画像のランダム性（模様の複雑さ、輝度変化の激しさ等と同義）を指標値化した特徴量、具体的にはテンプレート画像に含まれる画素の縦横方向への平均輝度変化率が算出され、この特徴量が小さい場合にテンプレート画像が拡大される。テンプレート画像の拡大により、処理の対象とされる画素の数が増加されてマッチング処理が行われるため、特徴の少ない被写部分につきミスマッチングの発生がより抑えられる。
特開２００１−１９４１２６号公報

しかしながら、このような従来の画像処理装置におけるテンプレート画像のサイズ変更は、その特徴量の算出のために膨大な計算量を要する。

また、このような画像処理装置で当初の輝度変化の乏しい部分に輝度変化の激しい部分が加えられるようにテンプレート画像が拡大されると、後段での対象物の識別が適正に行われない可能性が生ずる。例えば、対象物の輪郭を含まないもののこれに近い、輝度変化の乏しい部分が、テンプレート画像として処理対象となった際には、その特徴量は小さいためそのサイズが拡大される。これに伴い、拡大されたテンプレート画像には、対象物の輪郭部分を含む輝度変化の激しい部分が含まれることがある。このテンプレート画像には、輝度変化の激しい拡大部分についての視差値が対応付けられるため、その視差値は、対象物の背景となる、拡大部分以外の輝度変化の乏しい部分の視差値として不適正である。すなわち、このような拡大によって、対象物の輪郭が不明確となり、後段での対象物の識別処理が害される可能性が生ずる。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像処理を含む各種のデータ処理において、より少ない計算量でマッチング精度の向上を図ることである。

また、本発明の別の目的は、マッチングサイズを拡大してマッチング精度の向上を図りつつ、対象物の輪郭部分を正確に識別することである。

かかる課題を解決するために、第１の発明は、互いに関連性を有する一対のデータを用いて、一方のデータによって規定される第１の領域の一部を構成する相関元領域の相関先を、他方のデータによって規定される第２の領域内において特定するデータ処理装置を提供する。このデータ処理装置は、次に示す自己相関値算出部とマッチングサイズ設定部と可変マッチング処理部とを有する。自己相関値算出部では、相関元領域と、この相関元領域を基準に第１の領域において所定の方向に所定のオフセット量分ずらした参照領域とに関する相関演算を、ある設定されたマッチングサイズで行うことによって、上記相関元領域と上記参照領域との間の相関の度合いを示す相関値が算出される。マッチングサイズ設定部では、相関値に応じて、マッチングサイズの再設定が行われる。可変マッチング処理部では、相関元領域と、第２の領域における複数の相関先候補のそれぞれとに関する相関演算を、上記再設定されたマッチングサイズで行うことによって、相関元領域の相関先を第２の領域内において特定する。

第１の発明においては、上記所定の方向は、複数の相関先候補が並んでいる配列方向と一致していてよい。また、第１の発明において、上記の自己相関値算出部とマッチングサイズ設定部とは次の通りとすることが好ましい。自己相関値算出部では、相関元領域と、相関元領域を基準に第１の領域において第１の方向に所定のオフセット量分ずらした第１の参照領域とに関する相関演算を、上記設定されたマッチングサイズで行うことによって、相関元領域と第１の参照領域との間の相関の度合いを示す第１の相関値が算出される。さらに、自己相関値算出部では、相関元領域と、相関元領域を基準に第１の領域において第１の方向とは反対の第２の方向に上記オフセット量分ずらした第２の参照領域とに関する相関演算を、上記の設定されたマッチングサイズで行うことによって、相関元領域と第２の参照領域との間の相関の度合いを示す第２の相関値が算出される。マッチングサイズ設定部では、第１の相関値および第２の相関値のうちで相関の弱い方が相関値として選択される。

第１の発明において、マッチングサイズ設定部は次の通りとしてよい。マッチングサイズ設定部では、相関値が第１の値の場合には再設定すべきマッチングサイズとして第１のサイズが設定されるとともに、相関値が第１の値よりも相関が強いことを示す第２の値の場合には再設定すべきマッチングサイズとして第１のサイズよりも大きい第２のサイズが設定される。この第１の発明において、第１の値は所定のしきい値よりも大きく、第２の値はこのしきい値以下であることが好ましい。さらに、第１の発明において、自己相関値算出部によって行われる相関演算および可変マッチング処理部によって行われる相関演算は、同一の演算式に基づいて行われることが望ましい。

第１の発明において、次のステレオカメラを有し、可変マッチング処理部は次の通りとすることが好ましい。ステレオカメラによって、一方のデータとしての画像データによって規定される第１の領域としての基準画像と、他方のデータとしての画像データによって規定される第２の領域としての比較画像とが得られる。可変マッチング処理部では、基準画像における相関元領域と、相関元領域の相関先として比較画像において特定された領域との間のずれ量に基づいて、視差値が算出される。

この第１の発明において、マッチングサイズ設定部において再設定されたマッチングサイズに応じて、可変マッチング処理部において算出された視差値に関する補正を行う視差値補正部をさらに有することが望ましい。

第２の発明は、互いに関連性を有する一対のデータを用いて、一方のデータによって規定される第１の領域の一部を構成する相関元領域に対応する相関先領域を、マッチングサイズの変更を許容しつつ、他方のデータによって規定される第２の領域内において特定するデータ処理装置を提供する。このデータ処理装置は、次に示す可変マッチング処理部とずれ値補正部とを有する。可変マッチング処理部では、相関元領域と、第２の領域における複数の相関先候補のそれぞれとに関する相関演算を、上記変更を許容しつつ設定されたマッチングサイズで行うことによって、相関先領域が第２の領域内において特定される。さらに、可変マッチング処理部では、第１の領域における相関元領域と、第２の領域において特定された相関先領域との間のずれ量に基づいて、ずれ値が算出される。ずれ値補正部では、相関元領域に関するずれ値が、前記相関元領域の近傍に位置する複数の近傍領域について設定されたマッチングサイズと、当該複数の近傍領域に関して算出されたずれ値とに基づいて補正される。

この第２の発明において、次のステレオカメラをさらに有し、ずれ値、ずれ値補正部は次の通りとすることが好ましい。ステレオカメラによって、一方のデータとしての画像データにより規定される第１の領域としての基準画像と、他方のデータとしての画像データにより規定される第２の領域としての比較画像とが得られる。ずれ値は、基準画像における相関元領域と比較画像における相関先領域との間の視差値である。第１の相関元領域に対する第１のマッチングサイズが所定の方向に順に隣接する少なくとも３つの相関元領域を含むように、上記マッチングサイズが変更されており、この３つの相関元領域の一端となる第２の相関元領域、３つの相関元領域から第１の相関元領域および第２の相関元領域を除いた残りとなる第３の相関元領域に対して、それぞれ、第２のマッチングサイズ、当該第２のマッチングサイズよりも大きい第３のマッチングサイズが設定されており、かつ、可変マッチング処理部において第１の相関元領域および第２の相関元領域に対し等しい視差値が算出されている場合に、ずれ値補正部では、第１の相関元領域に対し可変マッチング処理部において算出された上記視差値に関する補正（第１の相関元領域に対する視差値を第３の相関元領域に対する視差値に置き換える補正、第１の相関元領域に対する視差値についての信頼性の程度を表す信頼値を低くする補正など）が行われる。

本発明に係るデータ処理装置によると、一対のデータのうちの一方によって規定される領域における相関元領域と、この相関元領域を所定のオフセット量分ずらした参照領域との相関の度合いに基づいて、マッチングサイズ（各相関元領域についてのマッチングの際の大きさ）が、拡大、維持、縮小等されるように再設定される。また、データ処理装置の具体例としての画像処理装置でも、同様に、基準画像における相関元領域の参照領域との相関の度合いに基づいて、マッチングサイズが再設定される。このため、本発明のデータ処理装置また画像処理装置では、マッチングサイズを再設定するか否かの判断に、従来のような膨大な計算量を要することがない。すなわち、より少ない計算量で、マッチングサイズが再設定されており、このようなマッチングサイズの再設定によりマッチング精度の向上が図られている。

また、本発明のデータ処理装置では、相関元領域と当該相関元領域に対応する相関先領域とのずれ値がマッチングサイズに基づいて補正されるため、ずれ値は適切になる。特に、画像処理装置においては、基準画像における、参照領域との相関（自己相関）の強い相関元領域に、自己相関の弱い領域を付加してマッチングサイズを拡大する際、付加された部分が相関元領域の視差値に対して及ぼす影響（視差値がこの付加部分をもとに算出されるという影響）を除外できるよう、当該相関元領域についての視差値に関する補正が行われる。通常、マッチングサイズが大きくなるほど、本来異なる視差値が対応付けられるべき複数の相関元領域が１つのマッチングサイズに含まれ、そのマッチングサイズに対応する領域内の相関元領域について適切な視差値が対応付けられないことがある。これによると、さらに、後段の処理における対象物の輪郭部分の識別、輪郭部分と視差値との対応付けが困難となる。ところが、本画像処理装置での補正によって、後段の処理でのそれら輪郭部分の識別等を正確に行うことができる。

（第１の実施形態）
図１は、第１の実施形態に係るステレオ画像処理装置１の主な構成を示すブロック図である。車両に搭載されるこのステレオ画像処理装置１は、ステレオ画像法に基づく画像処理を行うことに基づいて、車両前方の車外監視情報を得、この情報（必要に応じて他の運転支援情報を含む）をドライバに伝達する。ステレオ画像処理装置１は、必要に応じ車両の動きを制御する。

ステレオカメラ２は、例えばルームミラー近傍に取り付けられており、車両前方の道路状況や障害物を監視する。このステレオカメラ２はメインカメラ２ａ、サブカメラ２ｂにより構成されており、これら一対のカメラ２ａ，２ｂのそれぞれにはＣＣＤ（Charge-Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等のイメージセンサが内蔵されている。進行方向右側に配置されるメインカメラ２ａは、ステレオ画像処理を行う際の基準画像を撮像するのに対し、進行方向左側に配置されるサブカメラ２ｂは、メインカメラ２ａと同期して比較画像を撮像する。メインカメラ２ａから出力されたアナログ信号は、Ａ／Ｄコンバータ３ａによって所定の輝度階調（例えば、256階調のグレースケール）のデジタルデータに変換された後、基準画像データとして画像補正部４に出力される。また、サブカメラ２ｂから出力されたアナログ信号は、Ａ／Ｄコンバータ３ｂによって同様にデジタルデータに変換された後、比較画像データとして画像補正部４に出力される。

画像補正部４は、基準画像データおよび比較画像データに対し、輝度の補正や画像の幾何学的変換などの画像補正を行う。カメラ２ａ，２ｂの取付位置には、通常、ボディのゆがみ等に起因する誤差が存在するため、撮像された画像にもずれが生じている。アフィン変換等の幾何学的変換は、このずれを補正するために行われる。このような処理を経た後、１フレーム分の基準画像データおよび比較画像データは後段の可変マッチング処理部５および画像データメモリ６に出力され、また、同じ１フレーム分の基準画像がマッチングサイズ制御部７に出力される。

可変マッチング処理部５は、基準画像における相関元領域（相関元となる画素領域）について、後述のマッチングサイズ制御部７において設定されたマッチングサイズで、輝度の相関が最も強い、比較画像における相関先領域（マッチング領域）を探索する。この可変マッチング処理部５は、内部に、４×４画素、８×４画素、１２×４画素のマッチング処理をそれぞれ行うための４×４マッチング処理部５ａ、８×４マッチング処理部５ｂ、１２×４マッチング処理部５ｃを有する。これら各部５ａ〜５ｃがマッチングサイズに応じて選択的に用いられる。

より詳細には、ここで処理対象とされる基準画像における相関元領域は、１フレームが例えば４８０×２４０の画素からなる基準画像を縦横４画素毎に区画化して得られる４×４の画素領域である。この相関元領域は、処理順に、左端から右端へと至る水平線(エピポーラライン)上で順次選択され、下方から上方へともしくは上方から下方へと異なるエピポーララインについて、相関元領域の選択が繰り返される。

また、周知のように、ステレオカメラ２から、(車、標識、建物、歩行者、道路上の標示などを含む)対象物までの距離は基準画像と比較画像との間における水平方向のその見え方のずれとして表れる。このため、比較画像における相関先領域の探索は、基準画像において処理対象とする相関元領域の位置に対応するエピポーラライン上で行われる。基準画像における相関元領域と比較画像における相関先領域の候補との２つの画素領域の相関の度合いはシティブロック距離（後に示す数式１と同様にして基準画像と比較画像との間で求められる）を算出することにより評価することができ、その値が最小となる相関先候補が相関先領域と判断される。相関元領域は上記のように基準画像において順次選択され、各相関元領域には比較画像で探索された相関先領域が対応付けられる。

さらに、この可変マッチング処理部５では、基準画像における相関元領域の位置（基準画像における、適宜変更されるマッチングサイズに応じ相関元領域に基づいて構成される領域の位置）とこれに対応する比較画像における相関先領域の位置とからそのずれ量を示す視差値（視差に対応するずれ値）ｄが算出される。これら視差値は可変マッチング処理部５から視差値補正部８に出力される。

マッチングサイズ制御部７、視差値補正部８および対象物識別監視処理部１０は、１または複数のマイクロコンピュータで実行されるプログラムとして構成され、各マイクロコンピュータはＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェースなどを含んでいる。

マッチングサイズ制御部７は、処理対象としている相関元領域について、その自己相関に応じてマッチングサイズを(再）設定する。先述のように、可変マッチング処理部５においては、ここで設定されたマッチングサイズでマッチング処理が行われる。マッチングサイズ制御部７は、詳細を図２、３により説明する処理を行うが、機能的には、主に、次のような自己相関値算出部７ａとマッチングサイズ設定部７ｂとを有している。

自己相関値算出部７ａでは、基準画像中の相関元領域につき２つの相関値Ｓ_n-1，Ｓ_n+1が演算される。マッチングサイズ設定部７ｂでは、この算出された相関値Ｓ_n-1，Ｓ_n+1に基づいて、相関元領域における（自己）相関が強いか否かが判定される。自己相関が強いと判定された場合、相関元領域についてのマッチングサイズが拡大される。このマッチングサイズの初期設定値は縦横４×４画素であるが、自己相関が強ければ、マッチングサイズが８×４また１２×４に順次変更されていく。そのマッチングサイズの大きさを示すデータは、処理対象とした４×４の相関元領域に対応付けられて記憶され、可変マッチング処理部５での処理に際して適宜参照される。

視差値補正部８は、可変マッチング処理部５で生成された視差値のうちマッチングサイズの拡大に伴い不適切となったものを、詳細を図６に示すようにして補正し、距離データとして距離データメモリ９に格納する。対象物識別監視処理部１０は、この距離データに基づいて、また適宜画像データメモリ６に格納された画像データを参照しながら、自車両前方に存在する先行車や歩行者を識別・監視する。対象物識別監視処理部１０は、例えば、表示装置を通じて、識別された対象物の挙動や自車両までの距離等の運転者に伝達すべき情報（運転支援情報）をドライバに伝え、必要に応じてブレーキ、自動変速機またはエンジンを通じた車両の走行制御を行う。

以上のような本ステレオ画像処理装置１は、特にマッチングサイズ制御部７での処理および視差値補正部８での処理に特徴を有するものであり、以下これらについて詳述する。

マッチングサイズ制御部７での処理についてまず説明する。図２はマッチングサイズ制御部７におけるマッチングサイズ設定処理の手順を示すフローチャートであり、図３は図２のステップ２の処理として行われる評価値算出処理の手順の詳細を示すフローチャートである。また図４は評価値算出処理に用いられる自画像内マッチングを説明するための図である。マッチングサイズ設定処理では、上述のように、基準画像を区画化して得られるすべての画素領域が、相関元領域として順次処理の対象とされる。

図２のマッチングサイズ設定処理において、まず、基準画像で処理対象とする１つの相関元領域のマッチングサイズが、初期値である４×４に設定され（ステップ１）、続いて、次に図３を用いて説明する評価値算出処理によりこの相関元領域に関する評価値が算出される（ステップ２）。

評価値算出処理では、図３に示すように、まず、自画像内マッチングによって２つの相関値が算出される（ステップ２１）。すなわち、図４に示すように、４×４の画素領域Ａ[n]をその左右に１画素ずつずらした画素領域である参照領域Ａ[n-1]，Ａ[n+1]について、それぞれ、画素領域Ａ[n]との輝度の相関を評価することによって、相関値Ｓ_n-1，Ｓ_n+1が算出される。ここでの相関値の算出は次の数式１による。

画素領域Ａ[n]を構成する画素は、それぞれ、輝度値f_n(i,j)(i,jはそれぞれ水平方向、垂直方向の画素の並びを特定する０〜３の整数のいずれかである。)を有し、相関値Ｓ_n-1は画素領域Ａ[n]とこの左側の参照領域Ａ[n-1]との対応する位置の画素同士の輝度の相関を表している。

これら相関値Ｓ_n-1，Ｓ_n+1によると、比較的少ない演算量で輝度の相関が良好に評価される。相関が強いほど相関値が小さくなり、また、相関が弱いほどその値が大きくなる。

評価値算出処理のステップ２２では、相関値Ｓ_n+1と相関値Ｓ_n-1との大小が比較され、より大きい値のものが評価値として選択されて（ステップ２３，２４）、本処理は終了する。すなわち、より計算量を少なく抑えるため、輝度の相関がより弱いことを示す相関値が、評価値として設定される。

次に、図２のマッチングサイズ設定処理のステップ３に移り、このようにして設定された評価値が所定のしきい値よりも大きいか否かが判定される。マッチングサイズが大きくなれば要素(数式１の|f_n(i,j)-f_n-1(i,j)|)の加算数が多くなるため、このしきい値には、マッチングサイズが大きくなるほど大きな値が設定される。

評価値がしきい値よりも大きい（自己相関が弱い）と判定された場合には（ステップ３にてＹｅｓ）、現在のマッチングサイズが維持されるように本処理は終了し、このマッチングサイズで後段の可変マッチング処理部５（図１）での処理が行われる。評価値がしきい値以下である（自己相関が強い）と判定された場合には（ステップ３にてＮｏ）、画素領域のマッチングサイズが予め設定されている最大の１２×４であるか否かが判定される（ステップ４）。

最大の１２×４であると判定された場合には（ステップ４にてＹｅｓ）、本処理は終了し、また、最大の１２×４でないと判定された場合には（ステップ４にてＮｏ）、続くステップ５，６での処理によってマッチングサイズが再設定される。ステップ５では、処理対象としている相関元領域についてのマッチングサイズが拡大され、ステップ６では、ステップ３での判定のためのしきい値がこのサイズに応じて更新される。相関元領域のマッチングサイズが４×４であれば８×４に拡大され、また相関元領域のマッチングサイズが８×４であれば１２×４に拡大され、これらのサイズに応じた判定しきい値が設定される。

この拡大の方向は、例えば４×４の画素からなる相関元領域については、隣接する２つの相関元領域のうち、第１段階で８×４とするときには左側の相関元領域を含むような向きに、第２段階で１２×４とするときには続けて右側の相関元領域を含むような向きに設定することができる。第１段階、第２段階、…で左右のいずれかの相関元領域をランダムに選択するよう設定することもできる。さらに、ここでのマッチングサイズの拡大は、第１段階で左右両側に隣接する２つの相関元領域を含むように１２×４とし、第２段階でさらにその外側に隣接する２つの相関元領域を含むように２０×４とするよう行うことができる。

これらステップ５，６で拡大されたマッチングサイズの相関元領域についてステップ２〜６での処理が繰り返される。すなわち、処理対象とする相関元領域の自己相関についての評価値がしきい値よりも大きい（相関が弱い）と判定されるまで、または、そのマッチングサイズが最大値になるまで、相関元領域は左右方向に拡大され続ける。

つまり、相関元領域についての自己相関が強い（相関値が小さい）場合には、適宜マッチングサイズが拡大される。その結果、探索される領域の画素数が増加されるため、マッチング処理がより確実に行われることになる。

これらのようにして、基準画像に含まれるすべての４×４の相関元となる画素領域に対しマッチングサイズが設定される。設定されたマッチングサイズでのマッチング処理が、各相関元領域につき順次可変マッチング処理部５にて行われる。

次に、視差値補正部８での処理について説明する。図５は視差値補正処理による効果の概略を説明するための図であり、図６は視差値補正部８での視差値補正処理の手順を示すフローチャートである。ここでの視差値の補正（フィルタリング）は、主として、基準画像において、対象物の輪郭（境界、エッジ）を含むようマッチングサイズが拡大された相関元の画素領域のために行われる。

すなわち、図５に示すように、画素領域Ｂ［n］（またはＢ［n-1］）のマッチングサイズは、上述のマッチングサイズ設定処理によって拡大され、マッチングサイズの拡大に対応する領域は、領域１１のように対象物１２に係る自己相関の弱い画素領域Ｂ［n+1］を含むように拡大される可能性がある。このようにマッチングサイズが拡大されると、この後の可変マッチング処理部５でのマッチング処理によって、画素領域Ｂ［n］には対象物１２に対する視差値が対応付けられることになる。つまり、画素領域Ｂ［n］には、本来、背景領域に対する視差値が対応付けられるべきであるのに、不適切な値が対応付けられることになる。これにより、後段の処理において、距離データと画像データとからは対象物の境界が識別しにくくなる恐れがある。

ここでの視差値補正処理は、少なくとも３つの相関元領域分にマッチングサイズが拡大された相関元領域につき、その視差値を、隣接する２つの相関元領域のマッチングサイズおよび視差値に基づいて補正して、上述のような問題点を解消する。

視差値補正処理は、上述のマッチングサイズ設定処理と同様に、基準画像内のすべての相関元領域について行われる。図６に示すように、まず、その処理対象とする相関元領域についてのマッチングサイズが１２×４であるか否か（所定の大きさまで拡大されているか否か）が判定される（ステップ３１）。マッチングサイズが１２×４でなければ（ステップ３１にてＮｏ）、この相関元領域については視差値を補正しないまま、本処理は終了する。

マッチングサイズが１２×４であれば（ステップ３１にてＹｅｓ）、処理対象としている相関元領域の左右に隣接する左端および右端の相関元領域のマッチングサイズについて、その一方が初期設定値のまま４×４であり、他方が拡大され８×４または１２×４である場合に（ステップ３２にてＹｅｓかつステップ３３にてＮｏ、または、ステップ３２にてＮｏかつステップ３６にてＹｅｓ）、相関元領域における視差値およびその視差値に対する信頼値が補正される（ステップ３５，３８）。信頼値は、視差値に対する重み付けのための、その信頼性の程度を表す係数であり、０から１の範囲で設定される。ある相関元領域についての視差の信頼値が０であれば、その相関元領域に関する視差値は、後段の対象物識別監視処理部１０（図１）での対象物識別処理等に使用されないことになる。

詳細には、左端の相関元領域についてのマッチングサイズが４×４であり（ステップ３２にてＹｅｓ）、かつ、右端の相関元領域についてのマッチングサイズが４×４でない（ステップ３３にてＮｏ）場合に、処理対象としている中央の相関元領域の視差値と左端領域の視差値とが等しいか否かが判定される（ステップ３４）。視差値が等しくなければ（ステップ３４にてＮｏ）、本処理は終了する。これら２つの視差値が等しければ（ステップ３４にてＹｅｓ）、中央の相関元領域の視差値が、対応するマッチングサイズが最小でない右端領域の視差値に置き換えられ、その信頼値が０に設定され（ステップ３５）、本処理は終了する。

これらとは反対に、左端領域のマッチングサイズが４×４でなく（ステップ３２にてＮｏ）、かつ、右端領域のマッチングサイズが４×４である（ステップ３６にてＹｅｓ）場合には、処理対象としている中央の相関元領域の視差値と右端領域の視差値とが等しいか否かが判定される（ステップ３７）。視差値が等しくなければ（ステップ３７にてＮｏ）、本処理は終了する。また、２つの視差値が等しければ（ステップ３７にてＹｅｓ）、中央の相関元領域の視差値が、左端領域の視差値に置き換えられ、その信頼値が０に設定され（ステップ３８）、本処理は終了する。

左端領域および右端領域についてのマッチングサイズがいずれも４×４でない場合には（ステップ３２にてＮｏ、かつ、ステップ３６にてＮｏ）、処理対象とした（中央の）相関元領域につきここでの補正は行われることなく、本処理は終了する。

これら視差値補正処理によると、ある相関元領域のマッチングサイズが自己相関が強いために左右の隣接する相関元領域を含むように拡大され、そのマッチングサイズが少なくとも３つの相関元領域を含んでおり、その中央の相関元領域についての視差値が、隣接する２つの相関元領域のうち、マッチングサイズが４×４である一端の相関元領域についての視差値と等しい場合、マッチングサイズが４×４でない他端の相関元領域についての視差値（中央の相関元領域および上記一端の相関元領域よりも大きいであろう視差値）に置き換えられ、またこの中央の相関元領域の視差値についての信頼値が０とされる。これによって、１２×４のマッチングサイズへの左右への拡大に伴い不適切な視差値が算出されることなった相関元領域について、その視差値が適切なものとなるように補正され、また適切な信頼値が設定される。

ここでの視差値補正処理は、対象とされる相関元領域について左方、右方へと１２×４のマッチングサイズに拡大されたこと（画素領域が図５のＢ[n]の位置にあること）を想定した。相関元領域について左右の一方へと１２×４のマッチングサイズに拡大されたこと（画素領域がＢ[n-1]の位置にあること）を想定して、同様の視差値補正処理を構成することができる。

以上のように、本ステレオ画像処理装置１では、１フレームの基準画像において、４×４の相関元領域を左右にそれぞれ１画素分ずつずらした２つの参照領域につき相関演算が行われ、相関値Ｓ_n-1，Ｓ_n+1が算出される。これら相関値のうち、相関のより弱いことを示すものを、評価値として、所定のしきい値と比較することに基づき、上記相関元領域に関する自己相関が強いか否かが判定される。この判定の結果、自己相関が強い場合には、相関元領域についてのマッチングサイズを拡大するよう設定され、さらに、この拡大は、８×４，１２×４，…と数段階に、相関値の再算出および判定結果に応じて適宜続けて行われる。この後、比較画像において、各相関元領域に基づきこの拡大されたマッチングサイズに対応して構成される領域との相関の強い相関先領域が探索されて、その位置が特定される。基準画像での相関元領域（に基づいてマッチングサイズに対応して構成される領域）の位置と比較画像での相関先領域の位置とからは、上記相関元領域に関する視差値が算出される。

ここで用いられる２つの相関値は、相関先候補となる領域との相関演算を行う際と同様の簡便に計算できるものであるため、より少ない計算量で、より有効に、マッチングサイズ拡大の要否を判定することがことができる。

加えて、本ステレオ画像処理装置１では、これらマッチング処理の後、１２×４と最大にまでマッチングサイズが拡大された相関元領域の視差値およびその信頼値が、このマッチングサイズに対応する３つの相関元領域のうち、自己相関の弱い、その一端に位置する相関元領域の視差値、および、自己相関の強い、３つのうちの残りの相関元領域の視差値に基づいて補正される。

この補正は、マッチングサイズの拡大に伴い含まれることになった自己相関の弱い領域からの、自己相関の強い相関元領域についての視差値への影響を除外するためのものである。この補正によって、対象物の輪郭部分が適切に区分けされ、後段の処理における対象物の輪郭部分等の識別が適切に行われる。

なお、本実施形態のステレオ画像処理装置１では、各相関元領域に対して、４×４，８×４，１２×４のいずれかのサイズで(ステレオ)マッチング処理が行われることを想定したが、これに限られず、５×５，６×６，７×７，…等、任意の整数を初期設定値とする正方形状の相関元領域のマッチングサイズを、所定の条件に応じまた所定の規則に則って、水平方向、垂直方向、または、水平および垂直の方向に、初期値の整数倍拡大されるように設定することが可能である。さらに、マッチングサイズの拡大は、矩形状の領域単位で行われるものとしたが、任意の形状に行ってもよい。

本ステレオ画像処理装置１では、ステレオカメラ２が車両前方を撮像することを想定し、撮像される対象物が先行車、歩行者、建造物、標識等であるため、ステレオマッチング（および自画像内マッチング）を、画像の水平方向において行ったが、垂直方向、斜め方向に実行してもよい。

また、本ステレオ画像処理装置１のマッチングサイズ制御部７（図１）および視差値補正部８は、マイクロコンピュータの制御プログラムとして構成されることを想定したが、ＡＳＩＣ（Application Specific Integrated Circuit）などの技術によってこれら各処理部をハードウェア化することが可能である。

本実施形態のステレオ画像処理装置１では、ステレオカメラ２を用いたステレオ画像処理について説明した。本発明はこれに限定されるものではなく、互いに関連性を有する一対のデータを用いて、一方のデータによって規定される第１の領域の一部を構成する相関元領域についての相関先領域を、他方のデータによって規定される第２の領域内において特定するデータ処理装置に適用することができる。具体的に、輝度に関する画像データを処理するものに限られず、距離情報に基づく距離画像やレーダ画像、さらには温度情報に基づく温度分布画像を処理するものに対しても適用することができる。これらの場合において、自己相関の度合いは、データ値の変化の激しさを意味し、特に画像に関しては輝度変化の激しさを表す。２値画像においてはエッジの存在を意味する。距離画像やレーダ画像においては、自己相関の度合いは距離を示す値の変化の激しさを意味し、遠赤外線画像においては温度変化の激しさを意味する。

また、例えば、１台のカメラを用いた、複数の画像間での同一の対象物についてのオプティカルフローの検出にも適用することもできる。この場合、所定の時間間隔で対象物が繰り返し撮像され、撮像画像が生成される。あるタイミングで撮られた一方の画像（基準画像）と、それとは異なるタイミングで撮られた他方の画像（比較画像）とに基づき、上述と同様のマッチングに関わる処理が行われる。ここで得られる対象物についてのずれ量は、この対象物に関する移動量や速度に対応する。

本ステレオ画像処理装置１では、自己相関の強弱に応じて相関元領域を拡大、維持等したが、自己相関の強弱に応じて相関元領域を維持、縮小等してもよい。

本ステレオ画像処理装置１では、相関値Ｓ_n-1，Ｓ_n+1のうちより大きなものを評価値として用いているが、これらのいずれかのみを算出して評価値と設定してもよい。また、これら相関値Ｓ_n-1，Ｓ_n+1の相加平均、相乗平均をとる等他の所定の演算により求めた値を評価値としてもよい。

（第２の実施形態）
図７は、第２の実施形態に係るステレオ画像処理装置にて行われるマッチングサイズ設定処理の手順を示すフローチャートである。本実施形態のステレオ画像処理装置は、マッチングサイズを適宜拡大させながら、視差値を補正するのと同様の効果を得ていくもので、図１において、視差値補正部８をマッチングサイズ制御部７に取り込んだような構成となる。これら以外の構成、動作、効果等については、第１の実施形態に係るステレオ画像処理装置１に準ずる。

本マッチングサイズ設定処理において、まず、上述の図２での処理と同様に、基準画像で処理対象とする相関元領域についてのマッチングサイズが初期値である４×４に設定され（ステップ４１）、評価値算出処理（図３と同様）により、この相関元領域に関する評価値が算出され（ステップ４２）、また図２での処理と同様に、この評価値が、所定のしきい値よりも大きか否かが判定される（ステップ４３）。

評価値がしきい値よりも大きいと判定された場合には（ステップ４３にてＹｅｓ）、処理対象とする相関元領域についての自己相関が弱いものとして、初期設定のマッチングサイズ４×４のまま本処理は終了する。評価値がしきい値以下であると判定された場合には（ステップ４３にてＮｏ）、この相関元領域についての自己相関が強いものと設定される（ステップ４４）。

続いて、処理対象としている相関元領域と同一のエピポーラライン上の左側に隣接する相関元領域についての自己相関が強いか否かが判定される（ステップ４５）。この左側の領域の自己相関が弱いと判定された場合には（ステップ４５にてＮｏ）、本処理は終了し、左側領域の自己相関が強いと判定された場合には（ステップ４５にてＹｅｓ）、この左側領域のマッチングサイズが１２×４であるか否かが判定される（ステップ４６）。このマッチングサイズが１２×４である場合には（ステップ４６にてＹｅｓ）、本処理は終了する。また、このマッチングサイズが１２×４でない場合には（ステップ４６にてＮｏ）、処理対象としている相関元領域とその左側の領域とがグループ化（連結）されて含まれるように、処理対象としている相関元領域についてのマッチングサイズが拡大され（ステップ４７）、本処理は終了する。

すなわち、これらのような処理によって、３つの相関元領域がその自己相関をそれぞれ強・強・強とするよう水平方向に並んでいる場合には、これらの相関元領域を連結して含むように、対応する３つの相関元領域についてのマッチングサイズを拡大することができる。また、４つの相関元領域がその自己相関をそれぞれ弱・強・強・弱とするように並んでいる場合には、強・強に対応する２つの相関元領域を連結して含むように、その対応する２つの相関元領域についてのマッチングサイズを拡大することができる。

本マッチングサイズ設定処理によると、自己相関が強いと判定された、処理対象としている相関元領域が、自己相関が強い他の相関元領域に隣接する場合に、これらを含むように拡大されたマッチングサイズでマッチング処理が行われる。すなわち、可変マッチング処理部５（図１）においては、この相関元領域について相関先領域が検索され、マッチングサイズが拡大された相関元領域に関する視差値が求められる。自己相関が強かったとしても、マッチングに用いられる画素が増加される分、その処理の精度が向上されている。特に、自己相関の強弱の判定に、数式１の自己相関値が用いられ、適宜、視差値の補正等が不要な必要最小限の拡大が行われるため、処理精度の向上がより少ない計算量で有効に達成される。

第１の実施形態に係るステレオ画像処理装置１の主な構成を示すブロック図 マッチングサイズ制御部７におけるマッチングサイズ設定処理の手順を示すフローチャート 図２のステップ２の処理として行われる評価値算出処理の手順を示すフローチャート 評価値算出処理に用いられる自画像内マッチングの説明図 視差値補正処理による効果の概略の説明図 視差値補正部８による視差値補正処理の手順を示したフローチャート 第２の実施形態に係るステレオ画像処理装置のマッチングサイズ設定処理の手順を示すフローチャート

符号の説明

１ ステレオ画像処理装置
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３ａ，３ｂ Ａ／Ｄコンバータ
４ 画像補正部
５ 可変マッチング処理部
５ａ ４×４マッチング処理部
５ｂ ８×４マッチング処理部
５ｃ １２×４マッチング処理部
６ 画像データメモリ
７ マッチングサイズ制御部
７ａ 自己相関値算出部
７ｂ マッチングサイズ設定部
８ 視差値補正部
９ 距離データメモリ
１０ 対象物識別監視処理部
１１ マッチングサイズの拡大に対応する領域
１２ 対象物

Claims (10)

1. 互いに関連性を有する一対のデータを用いて、一方のデータによって規定される第１の領域の一部を構成する相関元領域の相関先を、他方のデータによって規定される第２の領域内において特定するデータ処理装置において、
   前記相関元領域と、前記相関元領域を基準に前記第１の領域において所定の方向に所定のオフセット量分ずらした参照領域とに関する相関演算を、ある設定されたマッチングサイズで行うことによって、前記相関元領域と前記参照領域との間の相関の度合いを示す相関値を算出する自己相関値算出部と、
   前記相関値に応じて、前記マッチングサイズの再設定を行うマッチングサイズ設定部と、
   前記相関元領域と、前記第２の領域における複数の相関先候補のそれぞれとに関する相関演算を、前記再設定されたマッチングサイズで行うことによって、前記相関元領域の相関先を前記第２の領域内において特定する可変マッチング処理部と
   を有することを特徴とするデータ処理装置。
2. 前記所定の方向は、前記複数の相関先候補が並んでいる配列方向と一致していることを特徴とする請求項１に記載されたデータ処理装置。
3. 前記自己相関値算出部は、前記相関元領域と、前記相関元領域を基準に前記第１の領域において第１の方向に前記オフセット量分ずらした第１の参照領域とに関する相関演算を、前記設定されたマッチングサイズで行うことによって、前記相関元領域と前記第１の参照領域との間の相関の度合いを示す第１の相関値を算出するとともに、前記相関元領域と、前記相関元領域を基準に前記第１の領域において前記第１の方向とは反対の第２の方向に前記オフセット量分ずらした第２の参照領域とに関する相関演算を、前記設定されたマッチングサイズで行うことによって、前記相関元領域と前記第２の参照領域との間の相関の度合いを示す第２の相関値を算出し、
   前記マッチングサイズ設定部は、前記第１の相関値および前記第２の相関値のうちで相関の弱い方を前記相関値として選択することを特徴とする請求項１または２に記載されたデータ処理装置。
4. 前記マッチングサイズ設定部は、前記相関値が第１の値の場合には前記再設定すべきマッチングサイズとして第１のサイズを設定するとともに、前記相関値が前記第１の値よりも相関が強いことを示す第２の値の場合には前記再設定すべきマッチングサイズとして前記第１のサイズよりも大きい第２のサイズを設定することを特徴とする請求項１から３のいずれかに記載されたデータ処理装置。
5. 前記第１の値は所定のしきい値よりも大きく、前記第２の値は前記所定のしきい値以下であることを特徴とする請求項４に記載されたデータ処理装置。
6. 前記自己相関値算出部によって行われる前記相関演算および前記可変マッチング処理部によって行われる前記相関演算は、同一の演算式に基づいて行われることを特徴とする請求項１から５のいずれかに記載されたデータ処理装置。
7. 前記一方のデータとしての画像データによって規定される前記第１の領域としての基準画像と、前記他方のデータとしての画像データによって規定される前記第２の領域としての比較画像とを得るステレオカメラをさらに有し、
   前記可変マッチング処理部は、前記基準画像における前記相関元領域と、当該相関元領域の相関先として前記比較画像において特定された領域との間のずれ量に基づいて、視差値を算出することを特徴とする請求項１から６のいずれかに記載されたデータ処理装置。
8. 前記マッチングサイズ設定部において再設定されたマッチングサイズに応じて、前記可変マッチング処理部において算出された視差値に関する補正を行う視差値補正部をさらに有することを特徴とする請求項７に記載されたデータ処理装置。
9. 互いに関連性を有する一対のデータを用いて、一方のデータによって規定される第１の領域の一部を構成する相関元領域に対応する相関先領域を、マッチングサイズの変更を許容しつつ、他方のデータによって規定される第２の領域内において特定するデータ処理装置において、
   前記相関元領域と、前記第２の領域における複数の相関先候補のそれぞれとに関する相関演算を、前記変更を許容しつつ設定されたマッチングサイズで行うことによって、前記相関先領域を前記第２の領域内において特定するとともに、前記第１の領域における前記相関元領域と、前記第２の領域において特定された前記相関先領域との間のずれ量に基づいて、ずれ値を算出する可変マッチング処理部と、
   前記相関元領域に関する前記ずれ値を、前記相関元領域の近傍に位置する複数の近傍領域について設定されたマッチングサイズと、当該複数の近傍領域に関して算出された前記ずれ値とに基づいて補正するずれ値補正部と
   を有することを特徴とするデータ処理装置。
10. 前記一方のデータとしての画像データによって規定される前記第１の領域としての基準画像と、前記他方のデータとしての画像データによって規定される前記第２の領域としての比較画像とを得るステレオカメラをさらに有し、
    前記ずれ値は、前記基準画像における相関元領域と前記比較画像における相関先領域との間の視差値であり、
    第１の相関元領域に対する第１のマッチングサイズが所定の方向に順に隣接する少なくとも３つの相関元領域を含むように、前記マッチングサイズが変更されており、前記３つの相関元領域の一端となる第２の相関元領域、前記３つの相関元領域から前記第１の相関元領域および前記第２の相関元領域を除いた残りとなる第３の相関元領域に対して、それぞれ、第２のマッチングサイズ、当該第２のマッチングサイズよりも大きい第３のマッチングサイズが設定されており、かつ、前記可変マッチング処理部において前記第１の相関元領域および第２の相関元領域に対し等しい視差値が算出されている場合に、前記ずれ値補正部は、前記第１の相関元領域に対し前記可変マッチング処理部において算出された前記視差値に関する補正を行うことを特徴とする請求項９に記載されたデータ処理装置。

Images