JP2012527026A

JP2012527026A - ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法

Info

Publication number: JP2012527026A
Application number: JP2012510232A
Authority: JP
Inventors: フォンツィツェヴィツヘニング; ニーゼンヴォルフガング; ヴェントアクセル
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2009-05-14
Filing date: 2010-05-07
Publication date: 2012-11-01
Also published as: DE102009003110A1; EP2430837A1; WO2010130657A1; US20120127275A1; CN102422644A

Abstract

本発明は、ステレオカメラシステム（１０）を用いて撮影された少なくとも二つの入力画像（A1，A2）から深度情報を検出するための画像処理方法に関し、所定の演算子を用いて、前記入力画像（A1，A2）をサイン画像（B1，B2）に変換するステップと、少なくとも二つの前記入力画像（A1，A2）の内の少なくとも一つの入力画像に関する所定の視差レベルについての費用空間を求めるために、ノンパラメトリックな統計的な順位相関基準を用いて、前記サイン画像（B1，B2）に基づき費用を算出するステップ（C）と、前記所定の視差レベルに関する前記費用空間の各点についての対応分析を実行するステップ（D）と、事前に検出された前記視差（d）から視差マップを求めるステップを有する。

Description

本発明は、ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法に関する。本発明による画像処理方法では、深度情報は、ステレオカメラシステムの幾何学的な特性を含めた視差マップから算出される。更に本発明は、その種の方法を実施又は実行するための、コンピュータプログラム、コンピュータプログラム製品及び装置に関する。

二つのステレオ画像を基礎とした深度の算出は画像処理において一般的に問題であり、この問題を解決するために多数のアルゴリズムが既知である。ステレオ評価法により、時間的に同期しており、且つ、矯正ないし修正されたステレオ画像ペアないしステレオビデオ画像ペア間の視差dが検出される。図１から見て取れるように、視差dは画像ラインの方向における一次元のシフトベクトルとして規定されており、また、左側の画像A1におけるピクセルないし画素xiから出発した、右側の画像A2における相応の画素xjを表す。d = xj - xi'を有する全ての視差dの量は視差マップとも称される。ここで、xi'は左側の画像A1から右側の画像A2に投影された画素を表す。続いて、ステレオ画像の深度情報を、ステレオカメラシステムの幾何学的な特性を含めた視差マップを用いて算出することができる。視差dを検出する際に重要なことは、複数のステレオ画像内の複数の画素の対応を求めることである。視差dを検出するために、指標ベースの方法又はアルゴリズムがしばしば提案される。それらの方法の概要及び対比は、M. Z. Brown，D.Burschka及びG. D. Hagerの「Advances in computational Stereo」，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol. 25，Nr. 8，pp. 993 - 1008，August 2003（以下では刊行物[1]と記す）、並びに、D. Scharstein及びR. Szeliskiの「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms」，International Journal of Computer Vision，Vol. 47，pp. 7 - 42，April 2002（以下では刊行物[2]と記す）から見て取れる。

視差マップを算出するために、一般的には、図２に示されているアルゴリズムによるステップV，S1からS3（破線の枠内），Nが実行される。選択されたステレオ方式に関する前処理ステップVによって、オリジナルの画像データを処理することができる（例えばメディアンフィルタリング、順位変換）。第１のステップS1においては、距離尺度の算出が行われる。距離尺度又は相関ベースの尺度が頻繁に使用される。その都度使用される距離尺度に依存して、ステップS2においては、費用の集合をピクセル毎に直接的に行うことができるか、窓を使用して行うことができる。特に後者の場合には、ステップS3における対応検索において、視差の平坦性又は一義性に関する仮定、もしくは、視差の等級（オーダ）に関する仮定が二次的な条件として考慮される。ステップS3における対応検索において掛かる手間は、結果の密度、ロバスト性及び信頼性にとって決定的なものであることが多く、使用される最適化技術によって規定されている。従来技術からは、最適化技術として、例えば、動的プログラミング（Dynamic Programming）、スキャンライン最適化（Scan-Line Optimization）、グラフベースの技術（Graph-Based Technique）、シミュレーテッドアニーリング（Simulated Annealing）及び古典的な局所的手法が公知である。続いて、ステップNにおいては、事後処理ないし後処理が実行され、特に、例えば覆いによって生じる可能性がある、明白なエラーのある領域を視差マップから除去するため、又は、事前に求められた費用空間における内挿によって視差評価のサブピクセル精度を達成するために実行される。

公知のステレオ方式ないしステレオ評価方式の核は、ステレオカメラシステムの時間的に同期して撮影された画像ペアに由来する画像ブロック間の差を量子化する費用関数の最小化を基礎としている（刊行物[2]を参照されたい）。このために、差分絶対値和（Sum of Absolute Differences/SAD）、差分二乗和（Sum of Squared Differences/SSD）及び相互相関係数（Cross Correlation Coefficient/CCC）のような距離尺度が頻繁に使用され、また、画像データの適切な変換及び量子化後の符号語間の簡単なハミング距離も使用される（刊行物[1]及び[2]を参照されたい）。距離尺度は非類似性ないし相違性に関する尺度を表す。実際の画像シーケンスデータにおけるステレオ視差を評価するためのそれらの方法の決定的な欠点は、不変性ないしロバスト性が不十分な点にある。つまり、SAD判定基準及びSSD判定基準は暗黙的にデータの平均値の定常性を前提としているが、これは実際の条件下では一般的に満たされていない。それらの判定基準の平均値を用いないバージョンは確かにこの欠点を有していない。それでもやはり不変性は依然として不十分である。何故ならば、例えば広範な照明変化によって惹起される可能性がある、データの簡単なスケーリングは既に補償されないからである。そのような不変性は、かなり計算の手間が掛かる、前述のCCC判定基準を使用することによって漸く達成されるが、このCCC判定基準も、例えば局所的な照明変化によって惹起される可能性があるデータの非線形の障害時にはやはり機能しない。変換及び量子化されたデータの符号語間のハミング距離を基礎とする方法は、一般的に、発見的なアプローチを基礎としているので、相応の不変性を分析によって検出することができない。刊行物[1]において言及されているノンパラメトリック手法の順位変換も発見的手法を表しているに過ぎない。

したがって、ステレオカメラシステムないしステレオビデオシステムを基礎とする深度情報を検出するため、もしくは3D再構成のための公知のステレオ評価方式は、実施のヴァリエーションに応じて以下の一つ又は複数の欠点を有している：
- 計算の複雑性は使用される組み込みシステム（Embedded System）の計算能力を１オーダ又は数オーダ分上回っている。
- 視差評価は画素の一部分、例えば画素の１０％未満の部分についてしか行われていない。
- 視差評価は、大まかなエラー測定の相当な割合を示している。
- 視差評価の精度が不十分であり、例えば、数視差レベルのオーダにある標準偏差を有する。

一般的な従来技術に関してはDE 102 19 788 C1に記載されている。

発明の概要
本発明によれば、特に少なくとも二つの画像センサを有している、ステレオカメラシステムを用いて、特に立体撮影された、とりわけ時間的に同期された、及び／又は、矯正された少なくとも二つの入力画像に基づき、ステレオカメラシステムの幾何学的な特性を含めた視差マップから深度情報を検出する画像処理方法が提案され、この画像処理方法では、視差マップを求めるために以下のステップが実行されることを特徴としている：
- 所定の演算子を用いた入力画像のサイン画像への変換。
- 少なくとも二つの入力画像のうちの少なくとも一つの入力画像に関して、所定の視差レベルに関する費用空間を求めるために、パラメータを用いない手法、もしくは、ノンパラメトリック手法の統計的な順位相関尺度を用いた、サイン画像の費用計算。
- 所定の視差レベルに関する費用空間の各点についての対応分析の実行。この際に、その都度検出すべき視差は最小費用との対応を有している。
- 事前に検出された視差から視差マップを求める。

有利には、冒頭で述べたような公知の方法の欠点は、本発明による画像処理方法によって完全に排除される。統計的な順位相関尺度を基礎とした視差ないしステレオビデオ視差を求めるための本発明による画像処理方法には上述の制限は課されない。パラメータを用いない、もしくは、ノンパラメトリックである、使用されるデータの統計量は、単調な非線形の変換に比べて不変である。パラメータを用いない統計量は、パラメータを用いない統計的なモデル及びパラメータを用いない統計的なテストを扱う。その他のものは、ノンパラメトリックな統計量又は分散の無い統計量である。この場合、モデル構造は事前に規定されていない。検査された変数の確立分布に関する仮定は行われない。したがって、順位相関係数ないし順位相関尺度は相関に関するパラメータを用いない尺度を表しているので、これによって、確率的な二つの変数はどの程度良好に一致しているかを測定することができ、この際に、変数の確率分布のパラメータ的な構造の仮定は行われない。本発明による方法により、最新の組み込みシステム、例えばプログラミング可能な集積回路（Field Programmable Gate Arrays/FPGA）における実施、関連する画素の一般的に９０％を上回る画素に関する視差の密な評価、一般的に１％を下回る異常値を有する視差のロバストな評価、及び、サブピクセルの範囲の精度での視差評価が実現される。本発明による画像処理方法においては、統計的な尺度もしくは統計的なメトリクスが決定性の距離尺度の代わりに使用される。本発明による方法は正規化された相関係数を基礎とすることができるので、統計的な順位相関の使用は、算術的に強い機付けを与えることができる。

入力画像は、矯正できるものであるか、部分的に矯正できるものであるか、矯正できるものである。矯正ないし訂正とは、一般的に、画像データにおける幾何学的な歪み、例えば、光学系の理想的でない結像特性によって、もしくは、撮像系の僅かな幾何学的な製造公差によって惹起される歪みを除去することを意味する。

ノンパラメトリックな統計的な順位相関尺度として、ケンドールの順位相関係数（Kendall tau rank correlation coefficient）又はこの係数のヴァリエーションが使用される場合には非常に有利である。ケンドールの順位相関尺度は例えば、N. J. Salkind (Ed.)：「Encyclopedia of Measurement and Statistics」，Thousand Oaks (CA), 2007におけるH. Abdi，Kendall rank correlation（以下では刊行物[3]と記す）に記載されており、これは既に1938年には算術的な統計量に導入されていたものである。しかしながら、高次データに関する計算に比較的大きな手間が掛かることに起因して、本発明による方法は、信号処理の分野における実際の実施に関して、これまでは使用されることはなかった。現在の組み込みシステムの能力ならびに本発明による画像処理方法の特定用途向けの構成によって、漸く、ここで説明する適用分野ないし類似する適用分野が開かれた。

サイン画像とは、所定の演算子を用いて変換された入力画像と解される。所定の演算子として符号演算子を使用することができる。

符号演算子を用いて、入力画像の任意に選択可能な部分領域におけるそれぞれの入力画像の種々の画素の画像データの差、特にグレー値の差の符号を検出し、サイン画像に記憶することができる。

更に本発明によれば、第１の入力画像及び第２の入力画像の任意に選択な部分領域における、第１の入力画像及び第２の入力画像の相応の位置における第１の画素の画像データと、第１の入力画像及び第２の入力画像の相応の位置における第２の画素の第２の画像データとを有する、観察対象の画像データペアは、第１の入力画像における第１の画素の画像データと、第１の入力画像における第２の画素の画像データとの差の符号と、第２の入力画像における第１の画素の画像データと第２の入力画像における第２の画素の画像データとの差の符号とが一致する場合、もしくは、第１の入力画像のサイン画像における第１の画素の相応の位置における符号と、第２の入力画像のサイン画像における第２の画素の相応の位置における符号とが一致する場合には、合致しているか、又は対応している。

本発明による画像処理方法の実施の形態では、任意に選択可能な部分領域においては、ケンドールの順位相関係数が、
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られる。ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは任意に選択可能な部分領域の考察すべき画像データペアの総数である。

従って、ケンドールの順位相関基準を以下のように使用することができる。ステレオビデオ画像ペアの画像A1及びA2の任意に選択可能な部分領域における画素の観察対象のデータ、例えば、グレー値のペア（A1i, A2i），（A1j, A2j）が得られる。重要な算術演算として、差分sign (A1j - A1i)，sign (A2j - A2i)の符号を検出するだけでよい。これらの符号が一致する場合には、考察されるデータペアは合致し、一致しない場合には、考察されるデータペアは合致しない。ここで、fは合致するデータペアの数を表し、gは合致しないデータペアの数をあらわしているので、
t = 2・s/n・(n-1) ; s = f - g 但し- 1 < t < 1
によって、ケンドールの順位相関基準が定義され、この順位相関基準を本発明によるロバストな画像処理方法を実現するために使用することができる。差分が無くなるケースを明示的に処理する、本発明による方法のヴァリエーションはやはり前述のステレオ方式の実施に適しているが、ここでは詳細に検討しない。

ステレオカメラシステムをステレオビデオシステムとして実施することができ、また入力画像を入力ビデオ画像として実施することができる。それに応じて、画像センサとしてもちろんCCDカメラ又はCMOSカメラも考えられる。更には、別の波長領域、例えば赤外線領域の画像センサを使用すること、したがってサーモグラフィックカメラを使用することも可能である。

本発明によれば、本発明による画像処理方法を実施するためにコンピュータ読み取り可能なデータ担体に記憶されている、プログラムコード手段を有するコンピュータプログラム又はプログラムコード手段を有するコンピュータプログラム製品が提供される。

更に、本発明による画像処理方法を実施するため、又は、相応のコンピュータプログラムを実行するために設計されている画像処理装置を有している、少なくとも一つのステレオカメラシステム又はステレオビデオシステムを備えている自動車の装置、特に、ドライバ情報システム又はドライバアシスタントシステムが提供される。

有利には、本発明による画像処理方法は、特に、自動車のドライバ情報システム又はドライバアシスタントシステムの枠内でのステレオカメラシステム又はステレオビデオシステムの画像処理装置におけるコンピュータプログラムとして実現されているが、もちろん別の手段も考えられる。このために、コンピュータプログラムを画像処理装置の記憶媒体（例えばROM，EEPROMなど）に記憶することができる。画像処理装置における処理によって、画像処理方法が実施される。画像処理装置は、マイクロプロセッサを備えているマイクロコンピュータ、プログラミング可能な集積回路（Field Programmable Gate Array/FPGA）、特定用途向け集積回路（Application Specific Integrated Circuit/ASIC）、ディジタルシグナルプロセッサ（DSP）などを有することができる。コンピュータプログラムは、コンピュータ読み取り可能なデータ担体（ディスク、CD、DVD、ハードディスク、USBメモリスティック、メモリカードなど）又はインターネットサーバ上にコンピュータプログラム製品として記憶することができ、また、そこから画像処理装置の記憶媒体に伝送される。

本発明の有利な実施の形態及び発展形態は従属請求項に記載されている。以下では、本発明の実施例の原理を図面を参照しながら説明する。

従来技術による視差を説明するためのステレオ画像ペアの概略図を示す。従来技術によるステレオ評価方式における視差評価の経過を表す簡略化されたフローチャートを示す。ステレオビデオシステムを備えているドライバ情報システムの簡略化された概略的なブロック図を示す。本発明による画像処理方法の簡略化された概略的なフローチャートを示す。

図３には、二つの画像センサ１１，１２と、二つの画像センサ信号線１３，１４と、評価ユニット又は画像処理装置１５と、出力信号線１６と、後続のシステム１７とを備えている、ステレオビデオシステム１０として構成されているステレオカメラシステムが示されている。画像センサ１１，１２として、例えばCCDカメラ又はCMOSカメラを使用することができるが、サーモグラフィック機器なども使用することができる。二つの画像センサ１１，１２は、それらが同一の光景を撮影するが、僅かに異なる視野角で撮影するように配置されている。画像センサ１１，１２は観察した光景を画像処理装置１５へと伝送する。画像処理装置１５は出力信号線１６に出力信号を供給し、この出力信号は、表示、情報通知、及び／又は、記憶のために電気的、ディジタル的、音響的、及び／又は、視覚的に後続のシステム１７に伝送される。この実施例においては、後続のシステムは、ステレオビデオシステム１０を有している、ここでは図示していない自動車のドライバ情報システム１７である。別の実施例においては、後続のシステム１７が自動車のドライバアシスタントシステムなどであっても良い。

図４には、二つの画像センサ１１，１２を備えているステレオカメラシステム１０を用いて立体撮影された、有利には時間的に同期され、且つ、矯正された、少なくとも二つの入力画像A1，A2から深度情報を検出するための本発明による画像処理方法が示されている。本発明による画像処理方法においては、深度情報が、ステレオカメラシステム１０の幾何学的な特性（特に、二つの画像センサ１１，１２の間の基線長）を含めた視差マップから検出ないし算出される。本発明による画像処理方法は、統計的な順位相関方式を基礎とした、リアルタイムステレオビデオシステムのシーケンスに使用される。視差マップをリアルタイム処理するための入力データとして、矯正されたステレオビデオ画像ないし入力ビデオ画像A1，A2が存在する。本発明による画像処理方法は、視差マップを求めるための以下のステップを有することを特徴とする。

第１のステップにおいては、所定の演算子を用いた入力画像A1，A2のサイン画像B1，B2への変換が行なわれる。第１のステップにおいては、いわば、ビデオ画像A1，A2のグレー値がサイン画像B1，B2に変換される。このために、所定の演算子として、符号演算子が使用される。簡単な符号演算子の他に、図示していない別の実施例においては、複雑な演算子を使用することもできる。そのような複雑な演算子は、例えば、零点のε近傍を別個に符号化し、このε近傍についてのそれぞれの閾値を局所的な画像情報に適応させる、及び／又は、例えば計算時間の理由からサインの適切な部分のみを検出する。

第２のステップCにおいては、少なくとも二つの入力画像A1，A2の内の少なくとも一つの入力画像に関する所定の視差レベルについての費用空間を求めるために、ノンパラメトリックな統計的な順位相関基準を用いて、サイン画像B1，B2に基づく費用算出が実施される。このようにして引き続き行なわれる、サイン画像B1，B2についての費用算出は、統計的な順位相関基準を基礎としているか、もしくは、例えば、別の実施例では計算時間の理由から使用可能なサインの一部しか評価できない、このメトリクスに類似するヴァリエーションを基礎としている。結果として得られる費用空間（視差空間画像（Disparity Space Image/DSI）とも称する）が、個々の視差レベルに関して、例えば左側の出力画像A1に関して層毎に求められる。ノンパラメトリックな統計的な順位関数基準として、ケンドールの順位相関係数、又はそのヴァリエーションが使用される。

続いて、第３のステップDにおいては、所定の視差レベルについての費用空間の各点に関する対応分析が実施される。その都度検出すべき視差dは最小費用との対応を有している。続く第４のステップにおいては、事前に検出された視差dから視差マップが求められる。対応分析又は対応検索は視差次元の方向における各点に関する費用空間内で実行される。求められた視差dは最小費用との対応に相当し、いわば最適なものである。異常値を回避するために、費用最小値の一義性又は費用関数の局所的な発生のような二次的な条件を考慮することができる。本発明による画像処理方法は、差し当たり、ピクセル通りの視差dを供給し、この視差dを、サブピクセル通りの視差マップを検出するための事後処理としての更なる処理ステップにおいて洗練させることができる。

符号演算子を用いることにより、入力ビデオ画像の任意に選択可能な部分領域におけるそれぞれの入力ビデオ画像A1，A2の異なる画素の画像データの差の符号、特にグレー値の差の符号を検出し、サイン画像B1，B2に記憶することができる。

第１の入力ビデオ画像A1及び第２の入力ビデオ画像A2の任意に選択な部分領域における、第１の入力ビデオ画像A1及び第２の入力ビデオ画像A2の相応の位置における第１の画素の画像データと、第１の入力ビデオ画像A1及び第２のビデオ入力画像A2の相応の位置における第２の画素の第２の画像データとを有する、観察対象の画像データペアは、第１の入力ビデオ画像A1における第１の画素の画像データと、第１の入力ビデオ画像A1における第２の画素の画像データとの差の符号と、第２の入力ビデオ画像A2における第１の画素の画像データと第２の入力ビデオ画像A2における第２の画素の画像データとの差の符号とが一致する場合、もしくは、第１の入力ビデオ画像A1のサイン画像B1における第１の画素の相応の位置における符号と、第２の入力ビデオ画像A2のサイン画像B2における第２の画素の相応の位置における符号とが一致する場合には、合致しているか、又は対応している。

任意に選択可能な部分領域においては、ケンドールの順位相関係数が、
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られる。ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは任意に選択可能な部分領域の考察すべき画像データペアの総数である。

有利には、本発明による画像処理方法は、特に、自動車のドライバ情報システム１７の枠内でのステレオビデオシステム１０の画像処理装置１５におけるコンピュータプログラムとして実現されているが、もちろん別の手段も考えられる。このために、コンピュータプログラムを画像処理装置１５の記憶媒体（例えばROM，EEPROMなど）に記憶することができる。画像処理装置１５における処理によって、画像処理方法が実施される。画像処理装置１５は、マイクロプロセッサを備えているマイクロコンピュータ、プログラミング可能な集積回路（Field Programmable Gate Array/FPGA）、特定用途向け集積回路（Application Specific Integrated Circuit/ASIC）、ディジタルシグナルプロセッサ（DSP）などを有することができる。コンピュータプログラムは、コンピュータ読み取り可能なデータ担体（ディスク、CD、DVD、ハードディスク、USBメモリスティック、メモリカードなど）又はインターネットサーバ上にコンピュータプログラム製品として記憶することができ、また、そこから画像処理装置１５の記憶媒体に伝送される。

非特許文献リスト：
[1] M. Z. Brown, D. Burschka及びG. D. Hager "Advances in computational stereo", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, Nr. 8, 993 - 1008pp, August 2003
[2] D. Scharstein及びR. Szeliski "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, Vol. 47, 7 - 42pp, April 2002
[3] H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): "Encyclopedia of Measurement and Statistics" Thousand Oaks (CA), 2007

Claims

ステレオカメラシステム（１０）を用いて撮影された少なくとも二つの入力画像（A1，A2）から深度情報を検出するための画像処理方法であって、
前記深度情報を前記ステレオカメラシステム（１０）の幾何学的な特性を含めた視差マップから検出する、画像処理方法において、
1.1 所定の演算子を用いて、前記入力画像（A1，A2）をサイン画像（B1，B2）に変換するステップと、
1.2 少なくとも二つの前記入力画像（A1，A2）の内の少なくとも一つの入力画像に関する所定の視差レベルについての費用空間を求めるために、ノンパラメトリックな統計的な順位相関基準を用いて、前記サイン画像（B1，B2）に基づき費用を算出するステップ（C）と、
1.3 前記所定の視差レベルに関する前記費用空間の各点についての対応分析を実行するステップ（D）であって、その都度検出すべき視差（d）は最小費用との対応を有している、ステップと、
1.4 事前に検出された前記視差（d）から視差マップを求めるステップと、
を含むことを特徴とする、画像処理方法。
ノンパラメトリックな統計的な順位関数基準として、ケンドールの順位相関係数を使用するか、又は、該ケンドールの順位相関係数のヴァリエーションを使用する、請求項１に記載の画像処理方法。
所定の演算子として符号演算子を使用する、請求項１又は２に記載の画像処理方法。
前記符号演算子を用いて、前記入力ビデオ画像（A1，A2）の任意に選択可能な部分領域におけるそれぞれの入力ビデオ画像（A1，A2）の異なる画素の画像データの差の符号、特にグレー値の差の符号を検出し、前記サイン画像（B1，B2）に記憶する、請求項３に記載の画像処理方法。
第１の入力画像（A1）及び第２の入力画像（A2）の任意に選択な部分領域における、第１の入力画像（A1）及び第２の入力画像（A2）の相応の位置における第１の画素の画像データと、第１の入力画像（A1）及び第２の入力画像（A2）の相応の位置における第２の画素の第２の画像データとを有する、観察対象の画像データペアは、第１の入力画像（A1）における第１の画素の画像データと、第１の入力画像（A1）における第２の画素の画像データとの差の符号と、第２の入力画像（A2）における第１の画素の画像データと第２の入力画像（A2）における第２の画素の画像データとの差の符号とが一致する場合、もしくは、第１の入力画像（A1）のサイン画像(B1)における第１の画素の相応の位置における符号と、第２の入力画像（A2）のサイン画像（B2）における第２の画素の相応の位置における符号とが一致する場合には、合致しているか、又は対応している、請求項４に記載の画像処理方法。
前記任意に選択可能な部分領域においては、ケンドールの順位相関係数が、
t = 2・(f-g)/n・(n-1) 但し-1 < t < 1
によって得られ、ここで、fは合致する画像データペアの数であり、gは合致しない画像データペアの数であり、nは前記任意に選択可能な部分領域の考察すべき画像データペアの総数である、請求項５に記載の画像処理方法。
前記ステレオカメラシステムはステレオビデオシステム（１０）として実施されており、且つ、前記入力画像は入力ビデオ画像（A1，A2）として実施されている、請求項１乃至６のいずれか１項に記載の画像処理方法。
プログラムがステレオカメラシステム（１０）の画像処理装置（１５）、特に、マイクロコンピュータのマイクロプロセッサ、プログラミング可能な集積回路、特定用途向け集積回路又はディジタルシグナルプロセッサにおいて実行される場合に、請求項１乃至７のいずれか１項に記載の画像処理方法を実施するためのプログラムコード手段を有していることを特徴とする、コンピュータプログラム。
プログラムがステレオカメラシステム（１０）の画像処理装置（１５）、特にマイクロコンピュータのマイクロプロセッサ、プログラミング可能な集積回路、特定用途向け集積回路又はディジタルシグナルプロセッサにおいて実行される場合に、請求項１乃至７のいずれか１項に記載の画像処理方法を実施するために、コンピュータ読み取り可能なデータ担体上に記憶されているプログラムコード手段を有していることを特徴とする、コンピュータプログラム製品。
請求項８に記載のコンピュータプログラムを実行するよう構成されている画像処理装置（１５）を有している少なくとも一つのステレオカメラシステム（１０）を備えている自動車の装置、例えばドライバ情報システム（１７）。