JP2006113832A

JP2006113832A - ステレオ画像処理装置およびプログラム

Info

Publication number: JP2006113832A
Application number: JP2004300921A
Authority: JP
Inventors: Hidetoshi Tsubaki; 秀敏椿
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-10-15
Filing date: 2004-10-15
Publication date: 2006-04-27

Abstract

【課題】利用者の意向に沿ったより適切な対応点探索範囲が設定できるステレオ画像処理装置およびプログラムを提供する。
【解決手段】異なる視点で撮影された第１および第２の画像間の対応を示す対応情報を入力する第１の入力手段（入力ステップ）と、第１の画像中の特定点に対応する第２の対応点を第２の画像中で探索する探索処理を行う処理手段（処理ステップ）とを有する。そして、該処理手段は、該対応情報に基づいて第２の画像における探索処理を行う範囲を設定する。
【選択図】図１

Description

本発明は、ステレオ画像処理装置に関し、詳しくは対応点探索を行う際の探索範囲の設定に関するものである。

ステレオ画像は、いわゆる多眼カメラで一度に撮影した複数の視点画像や、１つのスチルカメラの視点（撮影位置）を順次移動して撮影した複数の視点画像や、ビデオカメラで撮影したビデオ映像からサンプリングされて作成された複数の視点画像により構成される。そして、これらの視点画像中に含まれる対象物までの距離情報を算出したり撮影を行っていない視点を含む任意の視点の画像を生成したりする場合には、視点間隔に対応した視差情報が必要となる。

そしてこのようなステレオ画像から視差情報を抽出するために、一群の視点画像の中から任意に選択された２画像における個々の画素の対応情報を得るステレオ処理装置が提案されている。

このステレオ処理装置においては、一方の撮像画像上のある画素（注目点）に関して、他方の撮像画像上において対応する画素（対応点）を特定する。そしてこれらの画素についての視差、すなわち一方の画像中での注目点の位置とそれに対応する他方の画像上における対応点の位置とのずれ量を視差として算出する。

ここで、２つの画像間において一方の画像上の注目点に対する他方の画像上での対応点を特定するための処理（マッチング）には、一方の画像上において注目点を含む複数の画素により構成される画素ブロックをテンプレートとし、該テンプレートと他方の画像上の各領域との相関を求めて対応点を特定するエリアベースの手法や、一方の画像における注目点を含んだ特徴を抽出し、その特徴に基づいて他方の画像における対応点を特定する特徴ベースの手法がある。

これらエリアベース、特徴ベースのどちらの手法においても、他方の画像上では、一方の画像上の注目点の座標に基づいて探索範囲が設定され、該探索範囲内における対応点の候補についてそれぞれ相関度を求め、最も相関度の高い画素が対応点として選択される。

ところで、ステレオ画像間での対応点特定処理（マッチング）においては、対応点の探索範囲はエピポーラ幾何や複数の視点位置でのカメラの相対的な姿勢情報や経験則等に基づいて任意の広さに設定される。但し、探索範囲が広すぎると、マッチングに要する演算量が増大するため、処理速度の低下を招く。また、探索範囲が広がる分、対応点の誤検出の可能性が高くなる。

図１４において、ステレオ法の原理から、一方の画像上における注目点８０３とそれに対応する他方の画像上での対応点８０４は、空間点８０９及びそれぞれの画像についての視点を含むある平面上に存在する。図１４において、８０１は相対的に左視点にあり、注目点８０３を含む左画像、８０２は相対的に右視点にあり、対応点８０４を含む右画像である。８０７は左画像の視点、８０８は右画像の視点であり、８０９は空間中の被写体上の点であり、注目点８０３および対応点８０４は該空間点８０９の射影像である。

そして、上記「ある平面」は、左視点８０７、右視点８０８および空間点８０９により定義される。このような幾何関係は、エピポーラ幾何と呼ばれる。従って、左画像８０１上における注目点８０３に対する右画像８０２上での対応点８０４は、この右画像８０２上のある直線（エピポーラ線）８１２上に必ず存在する。

さらに、このエピポーラ線８１２上における対応点８０４の存在し得る範囲は、図１４より、両画像８０１，８０２についての視点８０７，８０８を結んだ直線である基線８１１と該画像面との交点であるエピポール８０５、および基線位置から遥かに遠く離れた空間点である無限遠点８１０の像８０６との間に含まれる。

従来、このエピポーラ幾何の特別な関係として、図１５に示すように、左画像４０１と右画像４０２とがいわゆる平行視配置されたカメラにより撮影されたものであることを前提としたものが知られている。４０３は空間中の対象物（空間点）である。４０４は該空間点４０３の左画像４０１上への射影像点であり、４０５は左画像４０２上への射影像点である。

そして、例えば左画像４０１中の像点４０４を対応点探索の注目点とした場合、参照画像となる右画像４０２中において対応するエピポーラ線は４０６で表される。左画像４０１を撮影するカメラと右画像４０２を撮影するカメラ（以下、両方をまとめてステレオカメラという）が平行視配置をとる場合、エピポーラ幾何により拘束される関係が非常に簡単な幾何関係となる。具体的には、左画像４０１上の注目点４０４に対し、右画像４０５上の対応点４０５を探索する範囲を、左画像４０１上で注目点４０４と同じＹ座標を持つラインとしてのエピポーラ線４０６上に限定することができる（特許文献１参照）。

一方、ステレオカメラがこのような平行視配置をとらない場合、ステレオカメラ間のエピポーラ幾何を利用して幾何学変換を行い、平行視配置で撮影したようなステレオ画像を作成して、平行視配置ステレオカメラを用いた場合と同じように対応点探索を行ったり、変換を行わずにエピポーラ幾何から求まるエピポーラ線上に対応点探索の探索範囲を設定したりする。

エピポーラ幾何は、ステレオカメラの撮影パラメータを取得し、その撮影パラメータを用いて計算したり、画像間の対応点を７点以上取得することにより計算したりすることができる。エピポーラ幾何が算出できた場合には、前述のようにそれぞれの画像に幾何学変換を行い、平行視配置で撮影したような画像に変換して、平行視配置の場合と同じように対応点探索を行うことができる。また、幾何学変換を行わない場合には、一方の画像上の複数の注目点に対し、エピポーラ幾何関係から他方の画像上でのエピポーラ線を計算し、エピポーラ線上およびその近傍を探索範囲に設定して対応点探索を行うことができる。この場合、さらに無限遠点の像が得られる場合若しくは無限遠点の位置が特定できる場合には、探索範囲はエピポールと無限遠点との間に制限することができる。
特開２００４−２３４４２３号公報（段落００１７〜００１８、図２等）

しかしながら、ここまでで述べた従来の手法では、少なくとも無限遠点から画像間を結ぶエピポール、つまり画像間の基線を基準とした深さ方向の距離を考えた場合の距離が無限遠から０の空間点までの範囲を対象とした、非常に広い対応点探索の探索範囲を設定しているといえる。

実際のアプリケーションにおいては、無限遠点から距離０の空間上にある点を対象に探索範囲を設定して対応点を求める必要はなく、画像中に存在する注目点に対応する空間点についての対応点が得られればよい。つまり、画像中の注目点に対応する空間点は、基線を基準とした深さ方向の距離について、無限縁から距離０の範囲に比べて非常に狭い深さ範囲に分布しているといえる。さらに、利用者が対応点を求めたい深さ方向の範囲はそれよりも狭い場合も考えられることから、従来の手法においては必要以上に広い探索範囲を設定しているといえる。このような必要以上に広い探索範囲を設定することは、対応点探索性能の低下と処理時間の増大に繋がる。

したがって、ステレオ画像間において該ステレオ画像中に存在する実際の対応点の存在範囲をカバーし、対応点の探索にかかる所要時間を節約し、余分な探索を行うことによって生じ得る誤検出を抑制できるような対応点探索範囲を煩雑な手順を経ることなく設定する必要がある。

特に、形状抽出や視差マップ作成等を目的とする場合、画像中のより多くの画素についての対応を調べる必要があるため、無駄な対応点探索範囲の削減は処理時間の削減には大きな影響を与える。

このような問題を解決する手法として従来考えられているものとしては、最初に大きめの探索範囲を設定して対応点探索を行い、次に最初に行った探索結果に基づいて次回以降のマッチングの探索範囲を設定する手法が挙げられる。

しかし、このような手法では、最初に設定した探索範囲が実際の対応点の存在範囲よりも狭く設定された場合には、真の対応点を得ることができない。また、最初に設定された探索範囲が実際の対応点の存在範囲を含むように広く設定された場合でも、設定された探索範囲内で、かつ実際の対応点の存在範囲外である範囲で誤検出をする場合が多く、探索範囲の限定および縮小が効果的に作用せず、期待した効果が得られない場合も多い。

本発明は、利用者の意向に沿ったより適切な対応点探索範囲が設定できるステレオ画像処理装置およびプログラムを提供することを目的の１つとする。

１つの観点としての本発明のステレオ画像処理装置（又はプログラム）は、異なる視点で撮影された第１および第２の画像間の対応を示す対応情報を入力する第１の入力手段（入力ステップ）と、第１の画像中の特定点に対応する第２の対応点を第２の画像中で探索する探索処理を行う処理手段（処理ステップ）とを有する。そして、該処理手段は、該対応情報に基づいて第２の画像における探索処理を行う範囲を設定する。

本発明によれば、第１の画像中の特定点に対応する対応点を第２の画像中で探索する場合に必要な情報である探索範囲を、利用者が入力した第１および第２の画像間の対応情報に基づいて適切に設定するので、対応点探索処理に係る演算負荷や演算時間を短縮することができる。また、探索範囲が適切に限定されることによって、誤った対応点検出を抑制し、対応点探索処理の信頼性を向上させることができる。

以下、本発明の実施例について図面を参照しながら説明する。

図１は本発明の実施例１に係るステレオ画像処理装置の構成を示すブロック図である。１０１は画像入力装置であり、ＣＦカード（登録商標）やスマートメディア（登録商標）等の固定記録メディアに記録された画像ファイルを読み込む入出力装置が設けられ、ステレオ画像群に相当する画像群をステレオ画像処理装置１０２に入力する。なお、この入出力装置は、入出力インターフェースを持つデジタルカメラ等の撮像装置、スキャナ、フィルムスキャナ等のアナログメディアから画像情報をデジタル化して読み込みを行う画像入力機器で構成することも可能である。また、画像入力装置１０１はネットワークと接続し、遠隔地の撮像装置により撮像され、ネットワーク上に存在するステレオ画像群を入力することもできる。

１０２はステレオ画像処理装置であり、入力された少なくとも２枚のステレオ画像群の中から少なくとも１対画像対を任意に選択し、画像対間の画素の対応情報を生成する装置で、例えば汎用のパーソナルコンピュータにより構成される。

ここで本実施例のステレオ画像群とは、少なくとも２枚以上の同一物体について視点を替えて撮影した画像である。該ステレオ画像群はステレオカメラやステレオアダプタを装着したカメラを用いて撮影したり、通常のカメラを図１４や図１５のように数台並べて撮影することにより取得することができる。

そして、ステレオ画像群から任意の一対を選択したとしても、図１５に示されるような平行視配置されたカメラによりステレオ画像を撮影したもの、若しくは選択される１対のステレオ画像は幾何学的画像変換により、ステレオ画像処理装置１０２への入力以前に平行視配置のカメラにより撮影されたものとみなせる。なお平行視配置とは、視線方向が基線に垂直でかつ互いに平行で、各画像の焦点距離が同一で画像面が同一平面上にあり、同時に基線の方向がそれぞれの画像の水平座標軸に平行である撮像装置の配置構成のことである。また、平行視配置カメラで撮影された画像を本実施例では簡単に平行視画像という。

１０３はＣＲＴディスプレイ等により構成されるディスプレイであり、コンピュータ若しくはこの対応点探索を目的とする表示部である。そして、対応点座標の入力を容易にするために図３のようにこのディスプレイ１０３にステレオ画像を並べて表示し、探索範囲の決定に用いるのに有用な対応点情報を取得する手順を対話的に行って補助したり、処理状況、メニュー及び探索結果情報等を表示する。

１０４はマウスまたはキーボード、ジョイスティック等の操作入力部であり、ディスプレイ１０３上に表示されたステレオ画像を見ながら、探索範囲の決定する際の有用な対応点をポインティング（位置決め）したり、対応点探索処理のメニューを選択したりする。

１０５は外部機器との入出力部であり、ネットワークにつながれたイーサーネット等のネットワークポート、若しくはフロッピー(登録商標)ディスク、ＭＯ（登録商標）、ＺＩＰ（登録商標）、ＣＤ−ＲＯＭ等の固定記録メディアが該入出力部を介して設けられる。そして探索した対応点情報等を出力したり、対応点を手動入力する代わりにファイルとして入力したり、ステレオ画像処理装置１０２の内部、外部パラメータや画像間のエピポーラ幾何情報等の対応点探索処理及び対応点探索範囲の計算に有用な画像以外の情報が存在する場合には、これらを入力したりする。

したがって、画像入力装置１０１に設けられた外部機器との入力部をステレオ画像処理装置１０２の入力部として共用することも可能であり、また、キーボード、マウス、ジョイスティック等の入力手段からカメラの向き、位置等の撮像パラメータを入力したり、またディスプレイの出力手段を用いて対応点探索の結果をビジュアル的に表示したりすることも可能である。

次にステレオ画像処理装置１０２の内部ブロック構成を説明する。１０２１は本実施例のステレオ画像処理装置１０２の全体の制御を司る中央演算装置（ＣＰＵ）である。１０２２はハードディスク等の大容量記憶装置であり、画像入力装置１０１等により読み込まれたステレオ画像群を保存したり、対応点探索により探索された対応点情報を保存する記憶装置である。

１０２３はＲＡＭ等の主記憶装置であり、大容量記憶装置１０２２に保存されたステレオ画像群から画像対を任意に選択し、対応点探索処理の対象となるステレオ画像対のみを主記憶領域上に読み出したり、操作入力部１０４よりディスプレイ１０３上に表示されたステレオ画像を見ながらポインティングされた対応点情報を記憶したり、算出された対応点探索範囲のパラメータを保存したり、対応点探索により算出された対応点情報を大容量記憶装置１０２２に記憶したりして、入出力部１０５から出力する以前に一次記憶する。

図２は、本実施例１のステレオ画像装置の処理フローを説明するためのフローチャート図である。ステップ２０１のステレオ画像の入力処理では、まず、一対若しくは複数枚の画像により構成されたステレオ画像を画像入力装置１０１から入力し、大容量記憶装置１０２２に記憶する。そして、ステップ２０２以降の処理を適用する対象として、大容量記憶装置１０２２に蓄積されたステレオ画像群の中から、１対のステレオ画像対を選択し、主記憶装置１０２３上に読み出す。

また、ステレオ画像を大容量記憶装置１０２２から主記憶装置１０２３上にロードする際に、一対のステレオ画像に対してカメラの配置間隔若しくは撮像のタイミングの違いにより生じる機器的性能差や、露出、ホワイトバランスの相違によって生じる色調の誤差の補正を行ったり、カメラ間の配置誤差により生じる平行視配置からのずれや、カメラの放射歪みにより生じる幾何学的な誤差の補正を行うことにより、対応点探索処理における誤差を補正して理想的な平行視配置での処理が行われるように前処理を実施してもよい。

なお、これら前処理は入出力部１０５若しくは操作入力部１０４から、露出、ホワイトバランス、レンズの歪パラメータ等の撮影パラメータ情報や、カメラに取り付けられたセンサから得られるカメラ間の相対的な姿勢の情報等を取得することにより適切に実行される。

次に、ステップ２０２のステレオ画像の表示処理では、次のステップ２０３の少数対応座標の入力処理における対応座標のポインティング及び座標入力を行うため、大容量記録装置１０２２から主記憶装置１０２３に読み出された一対のステレオ画像を図１５に示すように整列させて表示させる。

そして、このステップ２０３の少数対応座標の入力で、探索範囲の決定するための対応点をマウス若しくはジョイスティックでポインティングし、またはキーボードで対応点座標値の直接入力を行う。本実施例では理想的な平行視の状態を想定しているので、最遠点と最近点の少なくともどちらか１点、若しくは両２点を入力することが望ましい。

なお、最遠点とは画像に含まれるシーン内の点において、それぞれの画像の視点間を結んだ基線を基準に、対応点を求めたい深さ方向の範囲で最も離れた空間点を写像した画像中の点とする。また、最近点とは、画像に含まれるシーン内の点において、同様に基線を基準に、対応点を求めたい深さ方向の範囲で最も近い空間点を写像した画像中の点とする。近似的には、一方のカメラ視点からシーン中において対応点を求めたい深さ方向の範囲で最も遠い点が最遠点、最も近い点が最近点とみなせる。

図３は対応点（特定点）の入力時の各々の画像構成を示しており、図４は一対の画像によりの構成されるステレオ画像構成（シーン構成）を示している。図３の５０１は図４のシーン構成例において相対的に左視点に対応するカメラにより撮影された左視点画像であり、５０２は相対的に右視点に対応するカメラにより撮影された右視点画像である。

５０３はシーン構成において任意に視差を算出する対象となる最近接距離のオブジェクト（最近点）で、あるオブジェクト上に存在する空間点６０３の画像点である。５０４はシーン構成中において任意に視差を算出する対象となる最遠距離のオブジェクト（最遠点）で、あるオブジェクト上に存在する空間点６０４の画像点である。なお、最遠点、最近点は任意に設定可能であり、例えば、最近点を空間点６０３ではなく、空間点６０５として選択してステレオ画像上より手前の地面（最近点５０５）等に設定してもよい。

次に、ステップ２０４の対応点探索範囲の計算処理では、ステップ２０３の少数対応座標の入力により得られた最近点、最遠点の情報を用いて対応点探索範囲を計算する。ステップ２０５の対応点探索を行う際に最近点及び最遠点により区切られた、すなわち図４に示すシーン構成中の領域６０６に含まれる空間点を写像した画像５０１及び５０２上の画像点について、一方の画像中の画素を注目点（特定点）とした場合、対になって存在する対応点が適切に探索範囲に含まれるようにする。

そして、ステップ２０３で得られた最近点{ベクトルｍ_N，ベクトルｍ´_N}及び最遠点{ベクトルｍ_T，ベクトルｍ´_T}の対応点から、変位ベクトル量をそれぞれ求める。

但し、ベクトルｍ_ｌ=（ｘ_ｌ，ｙ_ｌ）^T（ｌ=Ｎ、Ｔ）とする。また、注目点（特定点）が存在する方を右画像、ない方を左画像とする。

これらを基準に対応点の探索範囲を参照画像中に設定する。探索範囲は、

により示される線分上となる（但し、ｔ_TT≦ｔ≦ｔ_NT、ｍ´_T=ｍ+ｔ_TTｖ_T ，ｍ´_N=ｍ+ｔ_NTｖ_T）。若しくは、

としてもよい(但し、ｔ_TN≦ｔ≦ｔ_NN、ｍ´_T=ｍ+ｔ_TNｖ_N ，ｍ´_N=ｍ+ｔ_NNｖ_N)。

ここで、図５（ｂ）に上記方法により得られた探索範囲を示す。また、図５（ａ）は平行視条件のみを考慮した従来の手法により設定される探索範囲である。本実施例ではカメラの平行視配置を想定していることから、エピポール及び無限遠点は無限遠点となり、画像内には存在していない。このため、図５（ａ）に示すようにエピポーラ線は画像境界により区切られる直線となる。

そして、図５（ｂ）に示される本実施例の探索範囲は、従来の手法（図５（ａ））で設定される探索範囲よりも、注目する空間領域の対応点を探索領域に必ず含みながら、狭い対応点探索領域を設定することができる。左画像１１０１を基準画像（第１の画像）、右画像１１０２を参照画像（第２の画像）として対応点探索を行う場合、左画像１１０１中の注目画素（特定点）１１０３に対応する右画像１１０２中の対応点１１０４の探索範囲は、注目画素１１０３と同一座標の基準点１１０５を基準に、ベクトルｖ_ｔ１１０６およびベクトルｖ_N １１０７を用いて定義される線分上に設定する。すなわち、基準画像である左画像１１０１と参照画像である右画像のずれ（注目画素１１０３と対応点１１０４とのずれ）量に基づいて探索範囲を設定する。

また、ステレオ画像間の視点配置（カメラ配置）について平行視配置からの位置ずれが見込まれる場合には、探索範囲として求められた線分に対し、垂直方向に拡大して拡張領域（マージン）を設けるようにしてもよい。例えば、ベクトルｖ_ｔ１１０６およびベクトルｖ_N １１０７を用いて定義されるライン（線分）を含むある程度の領域を探索するように設定するとよい。

また、対応点が１点の場合は、入力された対応点が最近点であるのか、最遠点であるかは明らかであるので、入力対応点が最近点であり、さらに、ステップ２０３の少数対応座標の入力において、３点以上の対応点を入力した際には、

から、上記式(4)が最も大きな対応点の組を最近点、式(4)が最も小さな組を最遠点とする。

そして、ステップ２０５の対応点探索処理では、ステレオ画像間の密な対応点情報を生成するとともに、ステップ２０４の対応点探索範囲の計算処理により算出された探索範囲の情報を基に、入力ステレオ画像に対して対応点探索処理を行う。この対応点探索では、入力された視差画像間で同一な被写体部分が写像された、点対点、画素対画素の対応点（右画像の特定点に対する左画像の対応点を）を探索する。画像間の各画素の対応を探索する方法としては特徴ベースの手法と、領域ベースの手法がよく知られた代表例として挙げられる。

本実施例においては領域ベースの一手法を採用しており、図６を用いて、差分和を用いた単純なテンプレートマッチング手法を用いた対応点探索処理について説明する。２つの画像データのうち撮影した視点位置が左側に相当する左画像（同様に撮影した視点位置が右側に相当する画像を右画像とする。）を基準画像１００１とし、視点位置が右側に相当する右画像を参照画像１００２として、左画像を基準としてテンプレートマッチングを行う。

まず、左画像１００１から注目点（特定点）１００４を中心とした所定サイズの部分領域をテンプレート１００３として抽出する。なお、この注目点１００４のサンプリングを精密に行い、画像中の全点について対応点を求めても良いが、画像サイズが大きい場合は処理時間が長くなるため、注目点１００４のサンプリングは任意の画素間隔で行う。

次に、探索領域の算出により求められた右画像１００２中の所定の対応点探索領域１００７において、順次対応点探索領域内で注目点１００４に対応する対応画素（対応点）１００５を選択し、対応画素１００５を中心としたテンプレートと同一サイズの領域１００６について、左画像１００１のテンプレート１００３との相関値を求める。例えば、理想的な平行視が成立していると想定される本実施例の場合、探索領域は画像座標の水平方向に平行な線分として与えられる。このとき相関演算の結果は、右画像１００２中に設定された所定の対応点探索領域と同一サイズの一次元の相関値分布として求めることができ、この一次元の相関値分布から対応点位置が決定する。

対応点位置は、差分和の最も小さい位置に決定されるが、対応点位置での差分和が所定の値より大きい場合、対応点位置での差分和と２番目に小さい差分和との差が所定の値より小さい場合、あるいは対応点位置近傍での差分和の変化が所定の値より小さい場合では、対応点探索処理に関して信頼性が低いと考えられるので、その点に対しては未対応の点として処理する。

これらの対応点探索処理により、左画像基準のテンプレートマッチングにより対応情報が求められる。逆に右画像を基準画像とし、左画像を参照画像と入れ替えて同様な処理を行ってもよい。対応点は式(５)で表されるような、それぞれの画像で対応する画素の座標の組で表される。

また、ステップ２０６の対応点情報の保存処理では、ステップ２０５の対応点探索で探索され主記憶領域に保存されている（（ｘ_l，ｙ_l），（ｘ_ｒ，ｙ_ｒ））_i（ｉ=１，２，…，ｎ）で表される対応情報を、大容量記憶装置１０２２にファイルとして保存し、形状抽出や視差マップ作成等のステレオ画像間の対応情報を使用する他のアプリケーションで利用できるようにする。

このように本実施例では、ステレオ画像間の対応情報を求めるステレオ画像処理装置１０２において、手動により入力する対応点を効果的に用いることにより、従来の手法によって設定される探索範囲よりも小さな適切な探索範囲を簡単に、かつ安定して設定できるようになる。

このため、注目点（特定点）に対する対応点を探索する時間の大幅な短縮が可能になり、また、探索範囲を小さく限定することにより、その範囲外に対応点が存在するような誤った対応処理が行われないため、誤処理を未然に防ぐことができ、信頼性が向上する。

次に本発明の実施例２におけるステレオ画像処理装置について説明する。上記実施例１は、対応点抽出処理の対象となるステレオ画像が平行視配置若しくはレクティフィケーション処理により平行視配置の画像に変換された状態で行っていたが、実際のカメラの配置が平行視配置とならない場合があり、レクティフィケーション処理をせずに対応点探索処理を行う場合も存在する。そこで、本実施例では、ステレオ画像の配置が非平行視配置の場合においても、それぞれの画像に対する内部パラメータが既知であり、かつカメラ間の相対的な姿勢変化が取得可能であったり、エピポーラ幾何情報が取得可能であったりする場合には上記実施例１のようにＧＵＩから最遠点及び最近点を得て効果的な探索範囲の設定を行う実施形態について説明する。

本実施例の装置構成は、上記実施例１と同様であり、説明を省略する。図７は本実施例の処理フローを示すフローチャート図である。図７におけるステップ２０１〜２０３、及び２０６は上記実施例１における図２のステップ２０１〜２０３、及び２０６と同様な処理を行うため、異なる処理について以下に説明する。

ステップ１２０１では、カメラの姿勢情報取得処理を行う。本実施例では姿勢情報として画像間の姿勢の変化の情報を取得する。この画像間の姿勢情報は、画像の視点の相対的な並進ベクトルｔと相対的な回転Ｒにより表される。画像間の姿勢の変化情報は例えば、センサつきのサーボモータ等によりカメラが制御される特殊なステレオ撮像装置においては直接取得することができ、対応点探索範囲の設定にはそれぞれのカメラの内部パラメータＫ及びＫ´も必要となる。なお、この内部パラメータＫ、Ｋ´は、焦点距離、画像中心座標、画像サイズ、レンズひずみ係数等である。

また、姿勢情報及びカメラの内部パラメータは、ステレオ画像間の７点以上の対応情報等から算出可能なエピポーラ幾何情報を外部機器との入出力部１０５から入力し、

を用いて解析することにより任意スケールのエピポーラ幾何及びカメラの内部パラメータのとして取得し、画像間の姿勢の変化情報ベクトルｔ、Ｒ及びカメラの内部パラメータＫ及びＫ´として用いてもよい。

ここで、Ｋ及びＫ´はそれぞれカメラの内部パラメータ、Ｆは対応点の組から計算された基礎行列、[ｔ]_ｘは画像視点間の並進ベクトル、Ｒは画像視点間の相対的な回転項である。なお、Ｒは相似変換に関する項を含んでもよい。

次に、ステップ１２０４の対応点探索範囲の計算処理では、ステップ１２０１の姿勢情報取得処理により得られた画像間の姿勢の変化情報と、ステップ２０３の少数対応点の入力により得られた最近点及び最遠点を用いて、対応点探索範囲を計算する。

ここで、一方のカメラ座標を世界座標としたとき、それぞれのカメラの内部パラメータおよび画像間の姿勢の変化情報が既に得られている場合の画像間の対応点座標の位置は、幾何学的関係から、

で表すことができる。Ｚは基準となった一方のカメラから物体までの距離を表す。

図８に、カメラの内部パラメータおよび画像間の姿勢の変化情報が既知の場合における画像間の対応点座標の位置関係を示す。但し、図８の関係は左画像７０１のカメラ座標を世界座標とし、右画像７０２が相対的な姿勢変化を行った座標系についての関係である。

７０３は左画像中の注目点（特定点）であり、７０６は上記式（７）の第１項により求められる座標である。７０７は上記式（７）の第２項により求まる変位ベクトル、７０４は注目点７０３に対応する対応点、７０５は内部パラメータ及び姿勢情報から求まる対応点の存在範囲のもう一つの端点であるエピポールである。

また、各カメラの内部パラメータが同じであり、並進ベクトル、空間点の深さ距離Ｚが内部パラメータのスケールにより正規化された場合、上記式（７)は、

となる。

そして、ステップ２０３において得られた最近点{ベクトルｍ_N，ベクトルｍ´_N}及び最遠点{ベクトルｍ_T，ベクトルｍ´_T}から、変位ベクトル量をそれぞれ求める。

その結果、探索範囲は、

により示される線分上となる（但し、ｔ_TT≦ｔ≦ｔ_NT、ｍ´_T=ｍ+ｔ_TTｖ_T ，ｍ´_N=ｍ+ｔ_NTｖ_T）。

上記式（１０）により得られる探索範囲を図９（ｂ）に示す。左画像１３０１１を基準画像、右画像１３０１２を参照画像として対応点探索を行う場合、左画像１３０１１中の注目画素（特定点）１３０１３に対応する右画像１３０１２中の対応点１３０１４の存在範囲は、注目画素１３０１３の座標に回転項を乗じることにより得られる基準点３０１５を基準に、ベクトルｖ_T１３０２７、およびベクトルｖ_N１３０２８を用いて定義される線分上の探索範囲１３０２９に設定する。

図９(ａ)の１３０１９はエピポールと無限遠点を端点にしたときの最近点及び最遠点の情報とを用いない場合の最適な探索範囲である。図９(ｂ)の１３０２９は最近点及び最遠点により限定される探索範囲である。このように最近点及び最遠点により限定される探索範囲１３０２９は、入力されるステレオ画像のシーン構成によっては無限遠点およびエピポールにより限定される線分として得られる最近点及び最遠点を探索範囲の算出に用いない場合における最適な探索範囲１３０１９に比べ、大幅に探索範囲を狭めることが可能である。図９(ａ)において、１３０１５は無限遠点、１３０１６はエピポールであり、これらの座標はエピポーラ幾何を算出することにより求められる。

図１０は非平行視の場合の空間点とステレオ画像及び最近点、最遠点の入力から得られた探索範囲の関係を示す図である。最近点及び最遠点の座標を入力することにより、例えば左画像８０１中のある注目画素８０３に対応する右画像８０２中の探索範囲が計算される。これはエピポール８０５と無限遠点８０６で規定される線分上で式(１０)により規定される端点である、最近接の画像点の候補９１４及び最遠の画像点の候補９１３で示される。９１６は最近接の空間点の候補、９１５は最遠の空間点の候補であり、これらの射像が９１４、９１３である。他の要素は図１４と同様である。したがって、基線からの深さ方向の距離がＺ_Nより小さい距離に存在する空間点の候補及び、Ｚ_Tよりも大きな距離に存在する空間点の候補の射像は探索範囲に含まれなくなる。つまり、画像全体に対しては、基準画像のそれぞれの画素に対し、横線ハッチで示される基線からの深さ方向の距離の範囲に含まれる空間点のみ、その対応点が最近接点９１６及び最遠の点９１５によって規定される探索範囲内となるような関係となる。

左画像８０１中の注目点で示される空間点が最近点、及び最遠点で規定された深さ方向の距離Ｚ_NからＺ_Tに含まれない場合には、対応する空間点の射像点である右画像８０２内の対応点は探索範囲内には含まれない。その結果、探索範囲内で最高の相関値を示す位置が擬似的に対応位置となるが、相関値が閾値よりも低過ぎたり、他に同様な相関値を有する対応位置が存在したりするため、多くの場合は誤対応除去により除去される。したがってこのような関係を考慮すれば、最近点及び最遠点は任意に設定しても差し支えない。例えば、図４において、最近点を空間点６０５ではなく空間点６０３、つまり図３においては５０５ではなく５０３の画像点としてステレオ画像上のより手前の地面から、最近接のオブジェクト上に設定して選択し、探索範囲を狭くしてもよい。通常、地面のような繰り返しのテクスチャ間の対応付けは信頼度が低く、誤った対応処理が多く発生してしまうので、このような距離範囲の対応付けを放棄することにより、誤った対応処理の割合が相対的に低くし、かつ探索範囲を削減することで短時間での対応点探索が可能になる。

エピポーラ幾何の算出値や画像間の姿勢変化情報の取得値に誤差が見込まれる場合には、探索範囲を示す線分に対し、その垂直方向に拡大して誤差範囲を含む拡張範囲を設けるようにしてもよい。

次に、ステップ１２０５において対応点探索を行う。この対応点検索では、ステップ１２０４で求められた画像の水平軸に平行でない探索範囲について対応点探索を行う。このとき、ステップ１２０３の姿勢情報取得処理により求められた画像間の姿勢の変化情報に基づいて、参照画像におけるテンプレート１００６に射影変換を行ってテンプレートの射影像の形状の変化を考慮して画像間の相関を求めてもよい。

このように本実施例では、それぞれの画像に対する内部パラメータが既知であり、かつカメラ間の相対的な姿勢変化が取得可能であったり、エピポーラ幾何情報が取得可能である場合に、ＧＵＩ（ディスプレイ等）から手動により入力する対応点を効果的に用いることにより、従来の手法によって設定される探索範囲よりも、より特定（限定）された適切な探索範囲を容易かつ安定して設定できる。このため、対応点を探索する時間の大幅な短縮が可能になる。また、探索範囲を小さく限定することにより、その範囲外に対応点が存在するような誤った対応処理が行われないため、誤処理を未然に防ぐことができ、信頼性が向上する。

次に、本発明の実施例３に係るステレオ画像処理装置について説明する。本実施例では上記実施例２において画像間のエピポーラ幾何を考慮したレクティフィケーション処理を行って対応点探索する場合の実施例である。つまり、ステレオ画像の配置が非平行視配置の場合においても、それぞれの画像に対する内部パラメータが既知であり、かつカメラ間の相対的な姿勢変化が取得可能であったり、エピポーラ幾何情報が取得可能である場合に、画像間のエピポーラ幾何、若しくは撮像パラメータを利用してレクティフィケーション処理を行い、更にステレオ画像についてＧＵＩ（ディスプレイ１０３からの操作入力）から最遠点及び最近点を得ることにより、上記実施例１のように効果的な探索範囲の設定をすることができる。

本実施例の装置構成は、上記実施例１と同様であり、説明を省略する。図１１は本実施例の処理フローを示すフローチャート図である。図１１におけるステップ２０１〜２０３、及び２０６は上記実施例１における図２のステップ２０１〜２０３、及び２０６と同様な処理を行うため、異なる処理について以下に説明する。また、ステップ１２０１の姿勢情報取得処理についても上記実施例２における図７のステップ１２０１の姿勢情報取得処理と同様な処理を行い、画像の姿勢情報及びカメラの内部パラメータを取得する。

まず、ステップ３０１のレクティフィケーション処理は、ステップ１２０１の姿勢情報取得処理により得られたエピポーラ幾何情報に基づいてステレオ画像対を平行視配置に変換するためのホモグラフィを計算し、各画像にレクティフィケーション処理を行い、ステレオ画像対を平行視配置の視線方向に変換する。その後のステップ２０４の探索範囲の計算処理からステップ２０６の対応点情報の保存処理は上記実施例１の図２のステップ２０４〜ステップ２０６と同様な処理を行う。

なお、ステップ２０６の対応点情報の保存処理では、ステップ２０５の対応点探索で抽出され主記憶領域に保存されている（（ｘ_l，ｙ_l），（ｘ_ｒ，ｙ_ｒ））_iの対応情報を、大容量記憶装置１０２２にファイルとして保存し、形状抽出や視差マップ作成等のステレオ画像間の対応情報を使用する他のアプリケーションで利用できるようにする必要があるが、その際、レクティフィケーション処理後のステレオ画像間の対応点情報として保存する場合、上記実施例１の場合と同様にそのまま保存する。また、レクティフィケーション処理前のステレオ画像間の対応点情報が用いる場合には、ステップ１４０４のレクティフィケーション処理で求めた変換ホモグラフィＨ_ｌ、Ｈ_ｒの逆行列を、

のように積算して、レクティフィケーション処理前のステレオ画像間の対応点情報に変換して、対応点情報を保存する。

このように本実施例では処理不フローの変更により、ステレオ画像の配置が非平行視配置の場合においても、それぞれの画像に対する内部パラメータが既知であり、かつカメラ間の相対的な姿勢変化が取得可能であったり、エピポーラ幾何情報が取得可能である場合に、入力ステレオ画像について手動により入力する対応点を効果的に用いることにより、ステレオ画像間にレクティフィケーション処理を行い対応点探索を行う際に、手動により入力した対応点を効果的に用いて適切な小さい探索範囲を容易にかつ安定して設定可能となる。このため、対応点を探索する時間の大幅な短縮が可能になる。また、探索範囲を小さく限定することで、その範囲外に対応点が存在するような誤った対応処理が行われないため、誤処理を未然に防ぐことができ、信頼性が向上する。

次に、本発明の実施例４に係るステレオ画像処理装置について説明する。上記実施例ではステレオ画像処理１０２の対象となるステレオ画像は平行視配置若しくは平行視配置の画像へ幾何学的に補正処理済み、又はカメラパラメータ及びエピポーラ幾何が既知な場合にレクティフィケーション処理をして平行視配置の画像へと幾何学的に補正処理を行っていたが、これらの付加情報を得ることができずに該ステレオ画像に対し幾何学的な補正処理を行うことができなかったり、情報が不十分であるために対応点抽出処理の前処理として更に幾何学的な画像補正処理が必要な場合もある。

そこで本実施例では、ステレオ画像の配置が非平行視配置である場合、入力されるステレオ画像についてＧＵＩから最遠点及び最近点の２点に加えて、幾何学的な画像補正処理のパラメータ決定に用いる数点の対応点を得ることにより幾何学的な画像補正処理を行うことで、上記実施例１のように効果的な探索範囲の設定をする。

本実施例の装置構成は、上記実施例１と同様であり、説明を省略する。図１２は本実施例の処理フローを示すフローチャート図である。図１２におけるステップ２０１、２０２及びステップ２０４〜２０６は上記実施例１における図２のスステップ２０１、２０２及びステップ２０４〜２０６と同様な処理を行う。

まず、ステップ１４０１の少数対応座標の入力処理では、レクティフィケーションパラメータ及び探索範囲の決定に用いる少数の対応点をマウス、ジョイスティック等によるポインティング（位置決め）、またはキーボードによる対応点座標値の直接入力により取得する。このとき、取得する対応点数は上記実施例における平行視配置の場合の２点よりも対応点数を増加させたほうがよりよいが、対応点数の最低数はステップ１４０２の対応点数の増加処理の内容によって異なる。

ステップ１４０２の対応点数の増加処理では、ステップ１４０１で入力された対応点数が、ステップ１４０３のエピポーラ幾何の計算において必要若しくは十分であると考えられる点数よりも少ない場合は、まず入力対応点の情報を用いて幾何学的な画像補正処理を行って画像間の被写体同士のずれ量を小さくした上で、疎で一様な対応点探索を行い、必要な数の対応点数となるように対応点の数を増加させる。

そして、ステップ１４０３のエピポーラ幾何の計算処理では、ステップ１４０１の少数対応点の入力及びステップ１４０２の対応点数の増加により得られた画像全体の画素数に比して非常に少数のステレオ画像に関する対応点からレクティフィケーション処理に必要な画像間のエピポーラ幾何を算出する。

通常、非線形にエピポーラ幾何を算出する場合、７点の対応点が最低必要となる。また、対応点数の増加を行った場合、対応点のセットに誤対応を含む可能性があるので、ＲＡＮＳＡＣ（RANdom Sample Consensus）等の手法を用いて誤対応点の除去を行い、正確にエピポーラ幾何を算出する必要がある。

また、ステップ１４０４のレクティフィケーション処理では、ステップ１４０３で求めたエピポーラ幾何情報に基づいてステレオ画像対を平行視配置に変換するためのホモグラフィを計算し、各画像に幾何学的な画像補正を行い、ステレオ画像対を平行視配置の視線方向に変換する。

このため、ステップ２０４の対応点探索範囲の計算以下の処理では、上記実施例１と同様にステップ２０４の対応点探索の計算、ステップ２０５の対応点探索処理を行う。なお、レクティフィケーション処理後の画像上におけるステップ２０４の探索範囲の計算では、ステップ１４０１の少数対応座標の入力により得られた最近点及び最遠点若しくはそれらを含む対応点群に対し、

のように画像変換ホモグラフィを乗算し、それらの対応点をレクティフィケーション後のステレオ画像上における対応点群に変換して、探索範囲の計算を行う。ここでｄはステレオ画像における左画像、若しくは右画像を区別する添字であり、ｉはある対応点の組に任意に付与された連番号である。

また、ステップ２０６の対応点情報の保存処理では、ステップ２０５の対応点探索で抽出され主記憶領域に保存されている（（ｘ_l，ｙ_l），（ｘ_ｒ，ｙ_ｒ））_iの対応情報を、大容量記憶装置１０２２にファイルとして保存し、形状抽出や視差マップ作成等のステレオ画像間の対応情報を使用する他のアプリケーションで利用できるようにする必要があるが、その際、レクティフィケーション処理後のステレオ画像間の対応点情報として保存する場合、上記実施例１の場合と同様にそのまま保存し、レクティフィケーション処理前のステレオ画像間の対応点情報が必要な場合には、ステップ１４０４のレクティフィケーション処理において求めた変換ホモグラフィＨ_ｌ、Ｈ_ｒの逆行列を、

のように積算して、レクティフィケーション前のステレオ画像間の対応点情報に変換して、対応点情報を保存する。

このように本実施例では、ステレオ画像の配置が非平行視配置の場合においても、入力ステレオ画像について最遠点及び最近点の２点に加えて、画像間のエピポーラ幾何の算出に必要な数点の対応点を追加入力することにより、エピポーラ幾何を算出し、ステレオ画像間にレクティフィケーション処理を行って対応点探索を行う際に、手動により入力した対応点を効果的に用いることで、従来の手法によって設定される探索範囲よりもより限定された適切な小さい探索範囲を容易かつ安定して設定できる。このため、対応点を探索する時間の大幅な短縮が可能になる。また、探索範囲を小さく限定することで、その範囲外に対応点が存在するような誤った対応処理が行われないため、誤処理を未然に防ぐことができ、信頼性が向上する。

次に、本発明の実施例５におけるステレオ画像処理装置について説明する。対応点探索処理の対象となるステレオ画像が非平行視配置である場合、上記実施例２ではそれぞれの画像に対するかつエピポーラ幾何情報、内部パラメータ、カメラ間の相対的な姿勢変化が取得することで、上記実施例１のようにＧＵＩから最遠点及び最近点を得て効果的な探索範囲の設定を行っている。

しかし、画像間のエピポーラ幾何やカメラ間の相対的な姿勢は、撮影視点を替えるたびに変化することからエピポーラ幾何情報、内部パラメータ、カメラ間の相対的な姿勢変化に関する情報等を画像入力時に取得することが困難な場合がある。

そこで本実施例では、エピポーラ幾何や相対的な姿勢変化が得られない場合にも、上記実施例４のステップ１４０１からステップ１４０３の処理、すなわち、入力ステレオ画像についてＧＵＩから入力された最遠点及び最近点の２点に加えて、画像間のエピポーラ幾何の算出に有用な数点の対応点を増加させてエピポーラ幾何を算出することにより、非平行視配置のステレオ画像に対しても効果的な探索範囲を設定することが可能である。

なお、本実施例の装置構成は、上記実施例１と同様であり、説明を省略する。図１３は本実施例の処理フローを示すフローチャート図である。図１３におけるステップ２０１〜２０３及びステップ１２０４、１２０５は上記実施例２における図７のステップ２０１〜２０３及びステップ１２０４、１２０５と同様な処理を行う。また、ステップ１４０１〜１４０３及びステップ１４０６は上記実施例３の図１２のステップ１４０１〜１４０３及びステップ１４０６と同様な処理を行うため、説明を省略する。

このように本実施例では、ステレオ画像の配置が非平行視配置の場合においても、最遠点及び最近点の２点に加えて、画像間のエピポーラ幾何の算出に有用な数点の対応点を増加させてエピポーラ幾何を算出し、エピポーラ幾何情報及びＧＵＩから手動により入力した対応点を効果的に用いることにより、従来の手法よりも適切な探索範囲を容易にかつ安定して小さく設定できる。このため、対応点を探索する時間の大幅な短縮が可能になる。また、探索範囲を小さく限定することで、その範囲外に対応点が存在するような誤った対応処理が行われないため、誤処理を未然に防ぐことができ、信頼性が向上する。

以上、上記実施例において、対応点（特定点）は点でなくてもよく、例えば、複数個の画素からなる領域を対応点として適用することもできる。

また、ステレオ画像処理装置１０２を複数の機器から構成されるシステムに適用しても、１つの機器から構成される装置に適用してもよい。また、上述の実施例の機能を実現するプログラムコード（ソフトウエア）を記憶した記憶媒体をシステムあるいは装置にインストールし、ＣＰＵ等が記憶媒体に格納された該プログラムコードを読み出して実行することも可能である。

なお、プログラムコードを供給するための記憶媒体としては、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、上述の実施例の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって該機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに搭載されるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに設けられたＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって該機能を実現するように構成してもよい。

本発明の実施例１に係るステレオ画像処理装置の構成を示すブロック図。本発明の実施例１に係るステレオ画像処理装置の処理フローを示すフローチャート図。本発明の実施例１に係る対応点対の入力の様子を示す図。本発明の実施例１に係るステレオ画像のシーン構成における空間配置の関係を示す図。本発明の実施例１に係る最近点及び最遠点を適用した場合の平行視配置における探索範囲を示す図。本発明の実施例１に係る対応点探索を説明する図。本発明の実施例２に係るステレオ画像処理装置の処理フローを示すフローチャート図。本発明の実施例２に係る撮像パラメータと画像間の対応点座標の位置関係を示す図。本発明の実施例２に係り、（ａ）は最近点及び最遠点を適用しない場合の非平行視配置における探索範囲を示す図、（ｂ）は（ａ）に対して最近点及び最遠点を適用した場合の非平行視配置における探索範囲を示す図。本発明の実施例２に係る最近点及び最遠点を適用した場合の空間点とステレオ画像の関係を表す図。本発明の実施例３に係るステレオ画像処理装置の処理フローを示すフローチャート図。本発明の実施例４に係るステレオ画像処理装置の処理フローを示すフローチャート図。本発明の実施例５に係るステレオ画像処理装置の処理フローを示すフローチャート図。従来の空間点とステレオ画像の関係を表す図。従来のステレオ画像の平行視配置における空間点と対応点対の関係を示す図。

符号の説明

１０１画像入力装置
１０２ステレオ画像処理装置
１０２１ＣＰＵ
１０２２大容量記憶装置
１０２３主記憶装置
１０３ディスプレイ
１０４操作入力部
１０５入出力部

Claims

異なる視点で撮影された第１および第２の画像間の対応関係を示す対応情報を入力する第１の入力手段と、
前記第１の画像中の特定点に対応する対応点を前記第２の画像中で探索する探索処理を行う処理手段とを有し、
前記処理手段は、前記対応情報に基づいて前記第２の画像における前記探索処理を行う範囲を設定することを特徴とするステレオ画像処理装置。
前記対応情報は、前記第１および第２の画像間で相互に対応する少なくとも一対の点の位置を示す情報であり、
前記処理手段は、前記対の点間の変位情報を算出し、該変位情報に基づいて前記範囲を設定することを特徴とする請求項１に記載のステレオ画像処理装置。
前記対応情報は、前記第１および第２の画像間で相互に対応し、かつ前記視点からの距離が異なる少なくとも二対の点の位置を示す情報であり、
前記処理手段は、前記各対の点間の変位情報を算出し、該変位情報に基づいて前記範囲を設定することを特徴とする請求項１に記載のステレオ画像処理装置。
前記第１および第２の画像の撮影パラメータを示すパラメータ情報を入力する第２の入力手段を有し、
前記処理手段は、前記対応情報と前記パラメータ情報とに基づいて前記範囲を設定することを特徴とする請求項１から３のいずれか１つに記載のステレオ画像処理装置。
前記処理手段は、前記パラメータ情報に基づいて前記第１および第２の画像を一対の平行視画像とする変換処理を行い、該一対の平行視画像と該変換処理において用いる変換ホモグラフィと前記対応情報とに基づいて前記範囲を設定することを特徴とする請求項４に記載のステレオ画像処理装置。
前記処理手段は、前記対応情報に基づいて前記第１および第２の画像の撮影パラメータを示すパラメータ情報を生成し、前記対応情報と前記パラメータ情報とに基づいて前記範囲を設定することを特徴とする請求項１から３のいずれか１つに記載のステレオ画像処理装置。
前記処理手段は、前記パラメータ情報に基づいて、前記第１および第２の画像を一対の平行視画像とする変換処理を行い、該一対の平行視画像と該変換処理において用いる変換ホモグラフィと前記対応情報とに基づいて前記範囲を設定することを特徴とする請求項６に記載のステレオ画像処理装置。
異なる視点で撮影された第１および第２の画像間の対応を示す対応情報を入力する入力ステップと、
前記第１の画像中の特定点に対応する第２の対応点を前記第２の画像中で探索する探索処理を行う処理ステップとを有し、
前記処理ステップにおいて、前記対応情報に基づいて前記第２の画像における前記探索処理を行う範囲を設定することを特徴とするコンピュータ上で動作するステレオ画像処理プログラム。