JP2001148012A - 対応点探索方法および装置 - Google Patents
対応点探索方法および装置Info
- Publication number
- JP2001148012A JP2001148012A JP32912899A JP32912899A JP2001148012A JP 2001148012 A JP2001148012 A JP 2001148012A JP 32912899 A JP32912899 A JP 32912899A JP 32912899 A JP32912899 A JP 32912899A JP 2001148012 A JP2001148012 A JP 2001148012A
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- point
- corresponding point
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】対応点探索における精度を向上させること。
【解決手段】２つの画像について互いの対応点を求める
方法であって、ａ）２つの画像について多重解像度画像
を作成するステップ、および、ｂ）多重解像度画像につ
いて、解像度の低い画像から順に、各解像度の画像に対
して実行した結果を次の解像度の画像に対して実行する
際に用いて、次のすべてのステップを各画像に対して実
行するステップ、（ｂ１）各画像における対応ベクトル
を勾配法により求めるステップ、（ｂ２）求められた対
応点の信頼性を判定するステップ、（ｂ３）信頼性の低
い対応点について、その周辺の対応点の対応ベクトルを
用いて修正を行うステップ、を有してなる。
方法であって、ａ）２つの画像について多重解像度画像
を作成するステップ、および、ｂ）多重解像度画像につ
いて、解像度の低い画像から順に、各解像度の画像に対
して実行した結果を次の解像度の画像に対して実行する
際に用いて、次のすべてのステップを各画像に対して実
行するステップ、（ｂ１）各画像における対応ベクトル
を勾配法により求めるステップ、（ｂ２）求められた対
応点の信頼性を判定するステップ、（ｂ３）信頼性の低
い対応点について、その周辺の対応点の対応ベクトルを
用いて修正を行うステップ、を有してなる。
Description
【０００１】
【発明の属する技術分野】本発明は、対象物についてス
テレオ撮影された２枚の画像などのように、内容の類似
する２つの画像について、勾配法または相関法などによ
って互いの対応点を求める方法および装置に関する。本
発明は、対象物までの３次元距離の計測、対象物の３次
元形状データの再構成、画像の張り合わせ、動画像解
析、または動画像からの形状復元などに利用される。
テレオ撮影された２枚の画像などのように、内容の類似
する２つの画像について、勾配法または相関法などによ
って互いの対応点を求める方法および装置に関する。本
発明は、対象物までの３次元距離の計測、対象物の３次
元形状データの再構成、画像の張り合わせ、動画像解
析、または動画像からの形状復元などに利用される。
【０００２】
【従来の技術】従来より、複数台のカメラを用いて対象
物についての複数枚の画像を取得し、それらの画像か
ら、キャリブレーション技術、対応技術、および再構成
技術を用いて３次元画像またはパノラマ画像などを得る
ようにしたステレオ画像入力システム（画像入力装置）
が知られている。
物についての複数枚の画像を取得し、それらの画像か
ら、キャリブレーション技術、対応技術、および再構成
技術を用いて３次元画像またはパノラマ画像などを得る
ようにしたステレオ画像入力システム（画像入力装置）
が知られている。
【０００３】そして、それに用いられる対応技術とし
て、相関法および勾配法（オプティカルフロー）が従来
から知られている。勾配法は、相関法と比べて計算時間
が短く、低輝度および低コントラストに強いという長所
がある。また、対象物が理想的な状態であった場合に、
サブピクセル精度で正確な対応をとることができる。そ
の反面、勾配法は輝度（濃淡）の段差やＣＣＤノイズに
弱いという短所がある。
て、相関法および勾配法（オプティカルフロー）が従来
から知られている。勾配法は、相関法と比べて計算時間
が短く、低輝度および低コントラストに強いという長所
がある。また、対象物が理想的な状態であった場合に、
サブピクセル精度で正確な対応をとることができる。そ
の反面、勾配法は輝度（濃淡）の段差やＣＣＤノイズに
弱いという短所がある。
【０００４】ステレオ画像の対応問題に勾配法を適用す
る場合に、次のような構成または処理方法が提案されて
いる。 （１）各解像度でバンドパスフィルタをかけ、周波数の
異なる多重解像度画像を作成する。 （２）ウインドウ内において対応ベクトルが一定である
と仮定する。 （３）輝度勾配と画像間の輝度差とを用いた方程式を複
数個作成し、最小二乗法で解く。 （４）多重解像度画像の低解像度の画像において計算さ
れた結果を高解像度の画像の計算に伝播する。
る場合に、次のような構成または処理方法が提案されて
いる。 （１）各解像度でバンドパスフィルタをかけ、周波数の
異なる多重解像度画像を作成する。 （２）ウインドウ内において対応ベクトルが一定である
と仮定する。 （３）輝度勾配と画像間の輝度差とを用いた方程式を複
数個作成し、最小二乗法で解く。 （４）多重解像度画像の低解像度の画像において計算さ
れた結果を高解像度の画像の計算に伝播する。
【０００５】
【発明が解決しようとする課題】さて、上に述べた方法
は、対象となる画像がアルゴリズムに適した画像の場合
には有効であるが、そうでない場合には計算がうまくい
かない。特に、上の（４）の条件があるために、低解像
度の計算結果がよくない場合に、広い範囲で間違った計
算を行ってしまう傾向がある。
は、対象となる画像がアルゴリズムに適した画像の場合
には有効であるが、そうでない場合には計算がうまくい
かない。特に、上の（４）の条件があるために、低解像
度の計算結果がよくない場合に、広い範囲で間違った計
算を行ってしまう傾向がある。
【０００６】ここで、アルゴリズムに適した画像とは、
それぞれの解像度の画像で十分にコントラストがあり、
比較する２枚の画像が十分に類似している画像を指す。
オクルージョンまたは正反射などがある場合にはこの条
件を満たさない。
それぞれの解像度の画像で十分にコントラストがあり、
比較する２枚の画像が十分に類似している画像を指す。
オクルージョンまたは正反射などがある場合にはこの条
件を満たさない。
【０００７】しかし、ステレオ画像を用いる場合に、ア
ルゴリズムに適した画像のみを対象とすることはほとん
どあり得ない。そこでアルゴリズムに適していない画像
でも、それほど悪い結果がでないようにする必要があ
る。
ルゴリズムに適した画像のみを対象とすることはほとん
どあり得ない。そこでアルゴリズムに適していない画像
でも、それほど悪い結果がでないようにする必要があ
る。
【０００８】また、対応点探索の信頼性を向上させるた
めに、２つの画像について基準画像を入れ替えて対応点
探索を行い、その一致度を信頼性の指標として用いるこ
とが提案されている（特開平６−２１５１１１号）。し
かし、この方法による場合には、対応点探索を２回行う
必要があるために処理に時間がかかるという問題があ
る。
めに、２つの画像について基準画像を入れ替えて対応点
探索を行い、その一致度を信頼性の指標として用いるこ
とが提案されている（特開平６−２１５１１１号）。し
かし、この方法による場合には、対応点探索を２回行う
必要があるために処理に時間がかかるという問題があ
る。
【０００９】本発明は、上述の問題に鑑みてなされたも
ので、対応点探索における精度を向上させることを目的
とする。
ので、対応点探索における精度を向上させることを目的
とする。
【００１０】
【課題を解決するための手段】請求項１の発明に係る方
法は、２つの画像について互いの対応点を求める方法で
あって、対応点を求めるステップ、求められた対応点の
信頼性を判定するステップ、および、信頼性の低い対応
点について、その周辺の対応点の値を用いて対応点を修
正するステップ、を有してなる。
法は、２つの画像について互いの対応点を求める方法で
あって、対応点を求めるステップ、求められた対応点の
信頼性を判定するステップ、および、信頼性の低い対応
点について、その周辺の対応点の値を用いて対応点を修
正するステップ、を有してなる。
【００１１】請求項２の発明に係る方法では、勾配法に
よって前記対応点を求める。請求項３の発明に係る方法
は、２つの画像ＦＡ，ＦＢについて互いの対応点を求め
る方法であって、対象物を３つの異なる位置から撮像し
て３つの画像ＦＡ，ＦＢ，ＦＣを取得するステップ、２
つの画像ＦＡ，ＦＢの互いの対応点ＰＡ，ＰＢを求める
ステップ、２つの画像ＦＢ，ＦＣの互いの対応点ＰＢ，
ＰＣを求めるステップ、画像ＦＡ，ＦＢの対応点ＰＡ，
ＰＢに対応する仮想３次元空間内の点ＱＰ’を画像ＦＣ
に投影し、その投影された点ＰＣ’と当該対応点ＰＢに
対応する画像ＦＣ上の点ＰＣとの誤差を求めるステッ
プ、前記誤差を評価することによって前記対応点ＰＡ，
ＰＢの信頼性を判定するステップ、および、信頼性の低
い対応点について、その周辺の対応点の値を用いて対応
点を修正するステップ、を有してなる。
よって前記対応点を求める。請求項３の発明に係る方法
は、２つの画像ＦＡ，ＦＢについて互いの対応点を求め
る方法であって、対象物を３つの異なる位置から撮像し
て３つの画像ＦＡ，ＦＢ，ＦＣを取得するステップ、２
つの画像ＦＡ，ＦＢの互いの対応点ＰＡ，ＰＢを求める
ステップ、２つの画像ＦＢ，ＦＣの互いの対応点ＰＢ，
ＰＣを求めるステップ、画像ＦＡ，ＦＢの対応点ＰＡ，
ＰＢに対応する仮想３次元空間内の点ＱＰ’を画像ＦＣ
に投影し、その投影された点ＰＣ’と当該対応点ＰＢに
対応する画像ＦＣ上の点ＰＣとの誤差を求めるステッ
プ、前記誤差を評価することによって前記対応点ＰＡ，
ＰＢの信頼性を判定するステップ、および、信頼性の低
い対応点について、その周辺の対応点の値を用いて対応
点を修正するステップ、を有してなる。
【００１２】請求項４の発明に係る方法は、２つの画像
について互いの対応点を求める方法であって、ａ）前記
２つの画像について多重解像度画像を作成するステッ
プ、および、ｂ）前記多重解像度画像について、解像度
の低い画像から順に、各解像度の画像に対して実行した
結果を次の解像度の画像に対して実行する際に用いて、
次のすべてのステップを各画像に対して実行するステッ
プ、（ｂ１）各画像における対応ベクトルを勾配法によ
り求めるステップ、（ｂ２）求められた対応点の信頼性
を判定するステップ、（ｂ３）信頼性の低い対応点につ
いて、その周辺の対応点の対応ベクトルを用いて修正を
行うステップ、を有してなる。
について互いの対応点を求める方法であって、ａ）前記
２つの画像について多重解像度画像を作成するステッ
プ、および、ｂ）前記多重解像度画像について、解像度
の低い画像から順に、各解像度の画像に対して実行した
結果を次の解像度の画像に対して実行する際に用いて、
次のすべてのステップを各画像に対して実行するステッ
プ、（ｂ１）各画像における対応ベクトルを勾配法によ
り求めるステップ、（ｂ２）求められた対応点の信頼性
を判定するステップ、（ｂ３）信頼性の低い対応点につ
いて、その周辺の対応点の対応ベクトルを用いて修正を
行うステップ、を有してなる。
【００１３】請求項５の発明に係る方法は、対応点探索
における対応点の信頼性を判定する方法であって、対象
物を３つの異なる位置から撮像して３つの画像ＦＡ，Ｆ
Ｂ，ＦＣを取得するステップ、２つの画像ＦＡ，ＦＢの
互いの対応点ＰＡ，ＰＢを求めるステップ、２つの画像
ＦＢ，ＦＣの互いの対応点ＰＢ，ＰＣを求めるステッ
プ、画像ＦＡ，ＦＢの対応点ＰＡ，ＰＢに対応する仮想
３次元空間内の点ＱＰ’を画像ＦＣに投影し、その投影
された点ＰＣ’と当該対応点ＰＢに対応する画像ＦＣ上
の点ＰＣとの誤差を求めるステップ、および、前記誤差
を評価するステップ、を有してなる。
における対応点の信頼性を判定する方法であって、対象
物を３つの異なる位置から撮像して３つの画像ＦＡ，Ｆ
Ｂ，ＦＣを取得するステップ、２つの画像ＦＡ，ＦＢの
互いの対応点ＰＡ，ＰＢを求めるステップ、２つの画像
ＦＢ，ＦＣの互いの対応点ＰＢ，ＰＣを求めるステッ
プ、画像ＦＡ，ＦＢの対応点ＰＡ，ＰＢに対応する仮想
３次元空間内の点ＱＰ’を画像ＦＣに投影し、その投影
された点ＰＣ’と当該対応点ＰＢに対応する画像ＦＣ上
の点ＰＣとの誤差を求めるステップ、および、前記誤差
を評価するステップ、を有してなる。
【００１４】請求項６の発明に係る装置は、２つの画像
について互いの対応点を求める装置であって、対応点を
求める手段と、求められた対応点の信頼性を判定する手
段と、信頼性の低い対応点について、その周辺の対応点
の値を用いて対応点を修正する手段と、を有してなる。
について互いの対応点を求める装置であって、対応点を
求める手段と、求められた対応点の信頼性を判定する手
段と、信頼性の低い対応点について、その周辺の対応点
の値を用いて対応点を修正する手段と、を有してなる。
【００１５】
【発明の実施の形態】図１は本発明に係る対応点探索方
法を用いた３次元入力システム１の構成を示すブロック
図である。
法を用いた３次元入力システム１の構成を示すブロック
図である。
【００１６】図１において、３次元入力システム１は、
ＣＰＵ１０、カメラ１１ａ、カメラ１１ｂ、カメラ１１
ｃ、ディスプレイ装置１２、キーボード１３、記憶装置
１４、メモリ１５、それぞれのインタフェース部２１な
どからなる。カメラ１１ａ、カメラ１１ｂ、およびカメ
ラ１１ｃを、それぞれカメラＡ、カメラＢ、またはカメ
ラＣと記載することがある。
ＣＰＵ１０、カメラ１１ａ、カメラ１１ｂ、カメラ１１
ｃ、ディスプレイ装置１２、キーボード１３、記憶装置
１４、メモリ１５、それぞれのインタフェース部２１な
どからなる。カメラ１１ａ、カメラ１１ｂ、およびカメ
ラ１１ｃを、それぞれカメラＡ、カメラＢ、またはカメ
ラＣと記載することがある。
【００１７】各カメラＡ，Ｂ，Ｃは、レンズ系およびイ
メージセンサを備える。カラー撮影が可能であるが、白
黒撮影であってもよい。２台のカメラＡ，Ｂ、または３
台のカメラＡ，Ｂ，Ｃを用い、対象物についての２次元
画像ＦＡ，ＦＢ，ＦＣをそれぞれ入力し、メモリ１５に
保存する。
メージセンサを備える。カラー撮影が可能であるが、白
黒撮影であってもよい。２台のカメラＡ，Ｂ、または３
台のカメラＡ，Ｂ，Ｃを用い、対象物についての２次元
画像ＦＡ，ＦＢ，ＦＣをそれぞれ入力し、メモリ１５に
保存する。
【００１８】記憶装置１４には、メモリ１５に記憶され
た２次元画像ＦＡ，ＦＢ，ＦＣから、３次元データを生
成するためのプログラム、そのために必要な種々の処理
を行うプログラム、その他のプログラムなどが記憶され
ている。
た２次元画像ＦＡ，ＦＢ，ＦＣから、３次元データを生
成するためのプログラム、そのために必要な種々の処理
を行うプログラム、その他のプログラムなどが記憶され
ている。
【００１９】ＣＰＵ１０は、記憶装置１４に記憶された
プログラムを実行し、カメラＡ，Ｂ，Ｃによる撮影、２
次元画像ＦＡ，ＦＢ，ＦＣの取り込み、および対応点の
探索などを行う。
プログラムを実行し、カメラＡ，Ｂ，Ｃによる撮影、２
次元画像ＦＡ，ＦＢ，ＦＣの取り込み、および対応点の
探索などを行う。
【００２０】例えば、２つの画像ＦＡ，ＦＢについて、
勾配法によって互いの対応点を求め、求められた対応点
の信頼性を判定し、信頼性の低い対応点について、その
周辺の対応点の値を用いて対応点を修正する。
勾配法によって互いの対応点を求め、求められた対応点
の信頼性を判定し、信頼性の低い対応点について、その
周辺の対応点の値を用いて対応点を修正する。
【００２１】つまり、信頼性の高い点はそのまま使い、
信頼性の低い点については、その周辺の計算結果などを
用いて再計算する。再計算の方法として、例えば信頼性
の高い点で補間を行う。補間の方法として、周囲の画素
との間に適当なフィルタをかける。例えば、重み付きの
メディアンフィルタまたはガウスフィルタなどを適用す
る。また、信頼性の低い点については、その周辺の対応
ベクトルを用いる。その場合に、周辺の対応ベクトルの
平均値を用いる方法、または最も信頼性の高い対応ベク
トルをそのまま用いる方法などが適用される。
信頼性の低い点については、その周辺の計算結果などを
用いて再計算する。再計算の方法として、例えば信頼性
の高い点で補間を行う。補間の方法として、周囲の画素
との間に適当なフィルタをかける。例えば、重み付きの
メディアンフィルタまたはガウスフィルタなどを適用す
る。また、信頼性の低い点については、その周辺の対応
ベクトルを用いる。その場合に、周辺の対応ベクトルの
平均値を用いる方法、または最も信頼性の高い対応ベク
トルをそのまま用いる方法などが適用される。
【００２２】また、対応点の信頼性を判定するために、
第３の画像ＦＣを用いる方法、その他の方法がある。詳
しくは後述する。そして、対応点に基づいて、３次元デ
ータの再構成などを行う。生成された３次元データはデ
ィスプレイ装置１２に表示され、記憶装置１４に記憶さ
れる。
第３の画像ＦＣを用いる方法、その他の方法がある。詳
しくは後述する。そして、対応点に基づいて、３次元デ
ータの再構成などを行う。生成された３次元データはデ
ィスプレイ装置１２に表示され、記憶装置１４に記憶さ
れる。
【００２３】次に、３次元入力システム１における勾配
法による対応点探索処理について説明する。図２は対象
物Ｑを撮影する際の様子を示す図である。
法による対応点探索処理について説明する。図２は対象
物Ｑを撮影する際の様子を示す図である。
【００２４】図２に示すように、対象物（対象人物）Ｑ
を２台のカメラＡ，Ｂで撮影し、２枚の２次元画像Ｆ
Ａ，ＦＢを得る。２台のカメラＡ，Ｂは、予めキャリブ
レーションが行われており、投影行列、レンズの収差な
どのカメラパラメータが予め分かっている。２枚の画像
ＦＡ，ＦＢ上の点の対応を求めることにより、カメラパ
ラメータを用いて３次元データを再構成することができ
る。なお、キャリブレーションを実データに基づいて行
なうことも可能である。しかしその場合には精度が低下
する。
を２台のカメラＡ，Ｂで撮影し、２枚の２次元画像Ｆ
Ａ，ＦＢを得る。２台のカメラＡ，Ｂは、予めキャリブ
レーションが行われており、投影行列、レンズの収差な
どのカメラパラメータが予め分かっている。２枚の画像
ＦＡ，ＦＢ上の点の対応を求めることにより、カメラパ
ラメータを用いて３次元データを再構成することができ
る。なお、キャリブレーションを実データに基づいて行
なうことも可能である。しかしその場合には精度が低下
する。
【００２５】３台のカメラＡ，Ｂ，Ｃで撮影する際は、
例えばカメラＢを基準カメラとし、カメラＡとカメラ
Ｂ、カメラＢとカメラＣの組み合わせとなるように配置
し撮影する。また、１台のカメラＡを移動させて２回撮
影し、３枚の２次元画像を得てもよい。得られた２つの
２次元画像ＦＡ，ＦＢによって３次元データを再構成す
るとともに、その際に、もう１つの２次元画像ＦＣを用
いて対応点探索における信頼性を評価する。また、２次
元画像ＦＣを対応点の修正に用いることも可能である。
例えばカメラＢを基準カメラとし、カメラＡとカメラ
Ｂ、カメラＢとカメラＣの組み合わせとなるように配置
し撮影する。また、１台のカメラＡを移動させて２回撮
影し、３枚の２次元画像を得てもよい。得られた２つの
２次元画像ＦＡ，ＦＢによって３次元データを再構成す
るとともに、その際に、もう１つの２次元画像ＦＣを用
いて対応点探索における信頼性を評価する。また、２次
元画像ＦＣを対応点の修正に用いることも可能である。
【００２６】図３は２枚の２次元画像ＦＡ，ＦＢの例を
示す図である。一方の２次元画像ＦＢを基準画像とし、
他方の２次元画像ＦＡを参照画像とする。
示す図である。一方の２次元画像ＦＢを基準画像とし、
他方の２次元画像ＦＡを参照画像とする。
【００２７】画像ＦＡ，ＦＢは、それぞれ対象物Ｑの画
像ＱＡ，ＱＢを含む。勾配法を用いて、対象物Ｑの画像
ＱＡ，ＱＢについての対応点を探索する。対応点探索の
目的は、基準画像内の対象物Ｑの画像ＱＢ上の全ての点
（画素）に対応する点を参照画像において見つけること
である。
像ＱＡ，ＱＢを含む。勾配法を用いて、対象物Ｑの画像
ＱＡ，ＱＢについての対応点を探索する。対応点探索の
目的は、基準画像内の対象物Ｑの画像ＱＢ上の全ての点
（画素）に対応する点を参照画像において見つけること
である。
【００２８】２枚の画像ＦＡ，ＦＢを重ね合わせた際
に、互いの対応点を結んだベクトルを対応ベクトルと呼
ぶ。対応ベクトルは、基準画像上の点を基点とし、参照
画像上の点を終点とする。
に、互いの対応点を結んだベクトルを対応ベクトルと呼
ぶ。対応ベクトルは、基準画像上の点を基点とし、参照
画像上の点を終点とする。
【００２９】画像ＦＡ，ＦＢには、それぞれ、ウインド
ウＷＡ，ＷＢが設定されている。ウインドウＷＢは、基
準画像ＦＢ内に設定した基準ウインドウであり、ウイン
ドウＷＡは参照画像ＦＡ内に設定した参照ウインドウで
ある。図３において、これらウインドウＷＡ，ＷＢは、
対象物Ｑの眼を含んだ位置にある。
ウＷＡ，ＷＢが設定されている。ウインドウＷＢは、基
準画像ＦＢ内に設定した基準ウインドウであり、ウイン
ドウＷＡは参照画像ＦＡ内に設定した参照ウインドウで
ある。図３において、これらウインドウＷＡ，ＷＢは、
対象物Ｑの眼を含んだ位置にある。
【００３０】以下において、ウインドウＷＡ，ＷＢから
勾配法を用いて対応ベクトルを求める方法を説明する。
なお、以下の説明において、基準画像と参照画像とが上
に述べた例と入れ替わることがある。
勾配法を用いて対応ベクトルを求める方法を説明する。
なお、以下の説明において、基準画像と参照画像とが上
に述べた例と入れ替わることがある。
【００３１】図４はウインドウＷＡ，ＷＢを拡大して示
す図、図５は注目画素ＧＡとその周辺の画素を示す図、
図６は輝度勾配Ｅｘと輝度差Ｅｔの関係を説明するため
の図である。
す図、図５は注目画素ＧＡとその周辺の画素を示す図、
図６は輝度勾配Ｅｘと輝度差Ｅｔの関係を説明するため
の図である。
【００３２】図４に示すように、ウインドウＷＡ，ＷＢ
は、９×９画素で構成されている。しかし、これは、３
×３画素、５×５画素、７×７画素、その他の画素構成
としてもよい。
は、９×９画素で構成されている。しかし、これは、３
×３画素、５×５画素、７×７画素、その他の画素構成
としてもよい。
【００３３】ウインドウＷＡ，ＷＢにおいて、互いに同
一の座標にある注目画素ＧＡ，ＧＢに着目する。図５を
参照して、注目画素ＧＡ，ＧＢに対して、輝度勾配Ｅ
ｘ，Ｅｙ、および輝度差Ｅｔを次のように定義する。
一の座標にある注目画素ＧＡ，ＧＢに着目する。図５を
参照して、注目画素ＧＡ，ＧＢに対して、輝度勾配Ｅ
ｘ，Ｅｙ、および輝度差Ｅｔを次のように定義する。
【００３４】 Ｅｘ＝〔（［ＧＡｃ］−［ＧＡｂ］） ＋（［ＧＢｃ］−［ＧＢｂ］）〕／２ …… （１） Ｅｙ＝〔（［ＧＡｄ］−［ＧＡａ］） ＋（［ＧＢｄ］−［ＧＢａ］）〕／２ …… （２） Ｅｔ＝［ＧＢ］−［ＧＡ］ …… （３） 但し、［ ］内は各画素の値を示す。
【００３５】これらの式の間には次の（４）式の関係が
成立する。 Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０ ……（４） 但し、ｕ、ｖは、それぞれｘ方向およびｙ方向の対応ベ
クトルである。
成立する。 Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０ ……（４） 但し、ｕ、ｖは、それぞれｘ方向およびｙ方向の対応ベ
クトルである。
【００３６】上の（４）式が成立するためには、注目画
素ＧＡ，ＧＢが互いに対象物Ｑのほぼ同じ場所に対応し
ている必要がある。ここで、上の（４）式について、図
６を参照して説明する。なお、ウインドウＷＡ，ＷＢ内
において、全ての画素についての対応ベクトルｕ，ｖが
互いに同じであるとする。また、各ウインドウＷＡ，Ｗ
Ｂ内において、輝度勾配Ｅｘ，Ｅｙが一定であるとす
る。
素ＧＡ，ＧＢが互いに対象物Ｑのほぼ同じ場所に対応し
ている必要がある。ここで、上の（４）式について、図
６を参照して説明する。なお、ウインドウＷＡ，ＷＢ内
において、全ての画素についての対応ベクトルｕ，ｖが
互いに同じであるとする。また、各ウインドウＷＡ，Ｗ
Ｂ内において、輝度勾配Ｅｘ，Ｅｙが一定であるとす
る。
【００３７】図６においては、図４および図５に示すウ
インドウＷＡ，ＷＢの横方向（ｘ方向）のみについて一
次元的に表されている。図６の縦方向は輝度の大きさを
示す。
インドウＷＡ，ＷＢの横方向（ｘ方向）のみについて一
次元的に表されている。図６の縦方向は輝度の大きさを
示す。
【００３８】図６において、注目画素ＧＡ，ＧＢのｘ座
標はｘ1 であり、注目画素ＧＡから注目画素ＧＢに向か
うベクトルが輝度差Ｅｔである。１画素離れた場合の輝
度の差、例えば画素ＧＡと画素ＧＡｃとの間の輝度の差
が、輝度勾配Ｅｘである。つまり、輝度勾配Ｅｘは、画
像ＦＡ，ＦＢの輝度を示す直線ＬＡ，ＬＢの勾配であ
る。画像ＦＡ，ＦＢの輝度変化が一定で等しいと仮定す
るので、２つの直線ＬＡ，ＬＢは平行である。
標はｘ1 であり、注目画素ＧＡから注目画素ＧＢに向か
うベクトルが輝度差Ｅｔである。１画素離れた場合の輝
度の差、例えば画素ＧＡと画素ＧＡｃとの間の輝度の差
が、輝度勾配Ｅｘである。つまり、輝度勾配Ｅｘは、画
像ＦＡ，ＦＢの輝度を示す直線ＬＡ，ＬＢの勾配であ
る。画像ＦＡ，ＦＢの輝度変化が一定で等しいと仮定す
るので、２つの直線ＬＡ，ＬＢは平行である。
【００３９】そうすると、対象物Ｑについて、同一の部
分は同一の輝度となるので、例えば注目画素ＧＡに対応
する点（対応点）は、直線ＬＡ上の注目画素ＧＡの点か
らｘ方向（横方向）に延ばして直線ＬＢと交わる点ＣＳ
である。点ＣＳのｘ座標をｘ 2 とすると、対応ベクトル
ｕは、ｕ＝ｘ2 −ｘ1となる。対応ベクトルｕの大きさ
（ｘ2 −ｘ1 の絶対値）は、通常、１画素乃至数画素で
ある。対応ベクトルｕについて、次の（５）式が成立す
る。
分は同一の輝度となるので、例えば注目画素ＧＡに対応
する点（対応点）は、直線ＬＡ上の注目画素ＧＡの点か
らｘ方向（横方向）に延ばして直線ＬＢと交わる点ＣＳ
である。点ＣＳのｘ座標をｘ 2 とすると、対応ベクトル
ｕは、ｕ＝ｘ2 −ｘ1となる。対応ベクトルｕの大きさ
（ｘ2 −ｘ1 の絶対値）は、通常、１画素乃至数画素で
ある。対応ベクトルｕについて、次の（５）式が成立す
る。
【００４０】Ｅｘ・ｕ＋Ｅｔ＝０ ……（５） この（５）式は、ウインドウＷＡ内におけるｘ方向の画
素の個数に等しい数だけ成立する。（５）式を２次元的
に拡大すると上の（４）式となる。
素の個数に等しい数だけ成立する。（５）式を２次元的
に拡大すると上の（４）式となる。
【００４１】したがって、ｕ，ｖに関する（４）式が、
ウインドウＷＡ，ＷＢ内の画素の個数だけ成立する。例
えば、図４に示す例のように９×９画素のウインドウＷ
Ａ，ＷＢを用いた場合には、ｕ，ｖに関する（４）の式
が８１個生成される。そこで、８１個の連立方程式を最
小二乗法を用いて解き、対応ベクトルｕ，ｖを求める。
ウインドウＷＡ，ＷＢ内の画素の個数だけ成立する。例
えば、図４に示す例のように９×９画素のウインドウＷ
Ａ，ＷＢを用いた場合には、ｕ，ｖに関する（４）の式
が８１個生成される。そこで、８１個の連立方程式を最
小二乗法を用いて解き、対応ベクトルｕ，ｖを求める。
【００４２】ところが、上に述べた方法で対応ベクトル
を求めた場合には、せいぜい２〜３画素以内の画像のず
れ量しか計測できない。つまり、例えば視差が大きいた
めに同一点が数画素以上もずれている場合には、正確な
対応点を求めることができない。これは、勾配法におけ
る前提条件からの制約であり、対応点を求めるためには
２つの画像ＦＡ，ＦＢが類似するものでなければならな
い。
を求めた場合には、せいぜい２〜３画素以内の画像のず
れ量しか計測できない。つまり、例えば視差が大きいた
めに同一点が数画素以上もずれている場合には、正確な
対応点を求めることができない。これは、勾配法におけ
る前提条件からの制約であり、対応点を求めるためには
２つの画像ＦＡ，ＦＢが類似するものでなければならな
い。
【００４３】そこで、対応点がより離れている場合に、
その対応点を正確に探索するための方法として、多重解
像度画像を用いる。多重解像度画像を用いる方法それ自
体は従来より公知である。
その対応点を正確に探索するための方法として、多重解
像度画像を用いる。多重解像度画像を用いる方法それ自
体は従来より公知である。
【００４４】図７は多重解像度画像を説明するための図
である。図７に示すように、多重解像度画像ＦＭは、元
の画像Ｆと、それを（１／２） 2 ，（１／４）2 ，（１
／８）2 などのようにそれぞれ圧縮して得られた、解像
度（分解能）の低い複数種類の画像Ｆ１，Ｆ２，Ｆ３か
らなる。解像度の低い画像は、解像度の高い画像よりも
サイズが小さくなる。解像度の高い画像を下方に配置し
てその上に解像度の低い画像を順に配置すると、ピラミ
ッド形になる。つまり、多重解像度画像ＦＭは画像ピラ
ミッドを形成する。
である。図７に示すように、多重解像度画像ＦＭは、元
の画像Ｆと、それを（１／２） 2 ，（１／４）2 ，（１
／８）2 などのようにそれぞれ圧縮して得られた、解像
度（分解能）の低い複数種類の画像Ｆ１，Ｆ２，Ｆ３か
らなる。解像度の低い画像は、解像度の高い画像よりも
サイズが小さくなる。解像度の高い画像を下方に配置し
てその上に解像度の低い画像を順に配置すると、ピラミ
ッド形になる。つまり、多重解像度画像ＦＭは画像ピラ
ミッドを形成する。
【００４５】多重解像度画像ＦＭによると、解像度が高
いときつまりサイズが大きいとき２つの画像ＦＡ，ＦＢ
間で遠く離れた２点であっても、解像度が低いときつま
りサイズが小さいときには近くなる。したがって、勾配
法で対応点を正確に求めることのできる範囲が広がるこ
ととなる。
いときつまりサイズが大きいとき２つの画像ＦＡ，ＦＢ
間で遠く離れた２点であっても、解像度が低いときつま
りサイズが小さいときには近くなる。したがって、勾配
法で対応点を正確に求めることのできる範囲が広がるこ
ととなる。
【００４６】このような多重解像度画像を用いる場合に
は、まず、解像度の最も低い画像で対応ベクトルを求め
る。そして、求めた対応ベクトルを初期値として、次に
解像度の低い画像で対応ベクトルを求める。このプロセ
スを繰り返していくことにより、対象物Ｑ上の同一点が
２つの画像ＦＡ，ＦＢで大きくずれている場合であって
も、最終的には高い解像度で対応ベクトルを求めること
ができる。
は、まず、解像度の最も低い画像で対応ベクトルを求め
る。そして、求めた対応ベクトルを初期値として、次に
解像度の低い画像で対応ベクトルを求める。このプロセ
スを繰り返していくことにより、対象物Ｑ上の同一点が
２つの画像ＦＡ，ＦＢで大きくずれている場合であって
も、最終的には高い解像度で対応ベクトルを求めること
ができる。
【００４７】本実施形態においては、多重解像度画像の
各解像度（各階層）の画像毎に、信頼性を評価し、信頼
性の低いデータについては各解像度毎に修正する。この
ようにすることによって、ある解像度で求められた対応
点について誤りがあった場合に、それがその解像度の中
で修正され、したがって対応点の誤りが次の解像度にお
ける対応点探索に伝搬されない。これによって、対応点
探索における精度を向上させ、より正確な３次元データ
またはパノラマ画像を得ることができる。
各解像度（各階層）の画像毎に、信頼性を評価し、信頼
性の低いデータについては各解像度毎に修正する。この
ようにすることによって、ある解像度で求められた対応
点について誤りがあった場合に、それがその解像度の中
で修正され、したがって対応点の誤りが次の解像度にお
ける対応点探索に伝搬されない。これによって、対応点
探索における精度を向上させ、より正確な３次元データ
またはパノラマ画像を得ることができる。
【００４８】因みに、信頼性の評価および修正を各解像
度毎に行わない場合には、低い階層の画像で誤った対応
を求めてしまったときに、その後の解像度の高い階層で
は対応の修正を行うことが不可能であるため、対応点探
索の精度が大幅に低下する。
度毎に行わない場合には、低い階層の画像で誤った対応
を求めてしまったときに、その後の解像度の高い階層で
は対応の修正を行うことが不可能であるため、対応点探
索の精度が大幅に低下する。
【００４９】次に、信頼性の評価の方法について説明す
る。図８は信頼性の評価の方法を説明するための図であ
る。図８において、３台のカメラＡ，Ｂ，Ｃによって得
られた３枚の画像ＦＡ，ＦＢ，ＦＣについて、それぞれ
の画像面（ｕn ，ｖn ）が示されている（ｎ＝１，２，
３）。３次元空間Ｍにある対象物Ｑ上の点ＱＰが、各画
像面上の点ＰＡ，ＰＢ，ＰＣに投影されている。
る。図８は信頼性の評価の方法を説明するための図であ
る。図８において、３台のカメラＡ，Ｂ，Ｃによって得
られた３枚の画像ＦＡ，ＦＢ，ＦＣについて、それぞれ
の画像面（ｕn ，ｖn ）が示されている（ｎ＝１，２，
３）。３次元空間Ｍにある対象物Ｑ上の点ＱＰが、各画
像面上の点ＰＡ，ＰＢ，ＰＣに投影されている。
【００５０】ここで、点ＰＡ，ＰＢ，ＰＣの対応が求ま
るとすると、それらの対応から、３次元空間Ｍ’を再構
成することができる。３次元空間Ｍ’において、点Ｐ
Ａ，ＰＢに対応する点ＱＰ’が求まる。理想的には、こ
の再構成された３次元空間Ｍ’上の点ＱＰ’を画像面
（ｕ3 ，ｖ3 ）に投影した点ＰＣ’と、元の３次元空間
Ｍ上の点ＱＰを画像面（ｕ3 ，ｖ3 ）上に投影した点Ｐ
Ｃとは、一致するはずである。
るとすると、それらの対応から、３次元空間Ｍ’を再構
成することができる。３次元空間Ｍ’において、点Ｐ
Ａ，ＰＢに対応する点ＱＰ’が求まる。理想的には、こ
の再構成された３次元空間Ｍ’上の点ＱＰ’を画像面
（ｕ3 ，ｖ3 ）に投影した点ＰＣ’と、元の３次元空間
Ｍ上の点ＱＰを画像面（ｕ3 ，ｖ3 ）上に投影した点Ｐ
Ｃとは、一致するはずである。
【００５１】しかし、投影変換を正確に求めることは難
しく、また対応を正確に求めることも難しいため、通
常、これらは一致しない。そこで、これら点ＰＣ’と点
ＰＣとの誤差を、信頼性の指標として用いる。例えば、
誤差を、予め設定したしきい値と比較し、しきい値より
も大きいときは信頼性が低いと判断し、修正または補間
を行う。
しく、また対応を正確に求めることも難しいため、通
常、これらは一致しない。そこで、これら点ＰＣ’と点
ＰＣとの誤差を、信頼性の指標として用いる。例えば、
誤差を、予め設定したしきい値と比較し、しきい値より
も大きいときは信頼性が低いと判断し、修正または補間
を行う。
【００５２】次に、フローチャートを参照して３次元入
力システム１の処理動作を説明する。図９は基本的な処
理動作を示すフローチャートである。
力システム１の処理動作を説明する。図９は基本的な処
理動作を示すフローチャートである。
【００５３】図９において、２つの画像ＦＡ，ＦＢ、ま
たは３つの画像ＦＡ，ＦＢ，ＦＣを入力する（＃１
１）。勾配法または相関法により、画像ＦＡ，ＦＢ間の
対応点を求める（＃１２）。求められた対応点の信頼性
を判定し（＃１３）、信頼性が低い場合には、その対応
点について、その周辺の対応点の値を用いて対応点を修
正する（＃１４）。
たは３つの画像ＦＡ，ＦＢ，ＦＣを入力する（＃１
１）。勾配法または相関法により、画像ＦＡ，ＦＢ間の
対応点を求める（＃１２）。求められた対応点の信頼性
を判定し（＃１３）、信頼性が低い場合には、その対応
点について、その周辺の対応点の値を用いて対応点を修
正する（＃１４）。
【００５４】図１０は特に多重解像度画像を用いて３次
元データを再構成する場合の処理動作を示すフローチャ
ートである。図１０において、２つの画像ＦＡ，ＦＢ、
または３つの画像ＦＡ，ＦＢ，ＦＣを入力する（＃２
１）。多重解像度画像（画像ピラミッド）を生成する
（＃２２）。最初に処理を行う画像として、最も解像度
の低い階層の画像が選択される（＃２３）。
元データを再構成する場合の処理動作を示すフローチャ
ートである。図１０において、２つの画像ＦＡ，ＦＢ、
または３つの画像ＦＡ，ＦＢ，ＦＣを入力する（＃２
１）。多重解像度画像（画像ピラミッド）を生成する
（＃２２）。最初に処理を行う画像として、最も解像度
の低い階層の画像が選択される（＃２３）。
【００５５】オプティカルフローの演算が行われる（＃
２４）。基準画像上の全ての点についてオプティカルフ
ローが演算されたか否かが判断される（＃２５）。ま
た、画像ＦＡと画像ＦＢ、画像ＦＢと画像ＦＣのそれぞ
れの間のオプティカルフローが演算されたか否かが判断
され、終了するまで繰り返される（＃２６）。
２４）。基準画像上の全ての点についてオプティカルフ
ローが演算されたか否かが判断される（＃２５）。ま
た、画像ＦＡと画像ＦＢ、画像ＦＢと画像ＦＣのそれぞ
れの間のオプティカルフローが演算されたか否かが判断
され、終了するまで繰り返される（＃２６）。
【００５６】信頼性が求められる（＃２７）。信頼性を
評価する際に、上に述べたように点ＰＣ’と点ＰＣとの
誤差を用いる方法、または画像ＦＡと画像ＦＢとから求
めた３次元座標と、画像ＦＢと画像ＦＣとから求めた３
次元座標との距離を信頼性の指標として用いる方法など
がある。
評価する際に、上に述べたように点ＰＣ’と点ＰＣとの
誤差を用いる方法、または画像ＦＡと画像ＦＢとから求
めた３次元座標と、画像ＦＢと画像ＦＣとから求めた３
次元座標との距離を信頼性の指標として用いる方法など
がある。
【００５７】信頼性の低い対応点がある場合に、その周
辺の信頼性の高い対応点を用いて補間を行い、対応点を
求めなおす（＃２８）。この処理は、各解像度の階層毎
に行われる。
辺の信頼性の高い対応点を用いて補間を行い、対応点を
求めなおす（＃２８）。この処理は、各解像度の階層毎
に行われる。
【００５８】そして、画像ピラミッドの底辺、つまり解
像度の最も高い階層についてのオプティカルフローが演
算されたか否かが判断され（＃２９）、それがイエスと
なるまで上の処理が繰り返される。対応点が求まると、
予めキャリブレーションされたデータとオプティカルフ
ロー演算での結果に基づいて、３次元データが再構成さ
れる（＃３０）。
像度の最も高い階層についてのオプティカルフローが演
算されたか否かが判断され（＃２９）、それがイエスと
なるまで上の処理が繰り返される。対応点が求まると、
予めキャリブレーションされたデータとオプティカルフ
ロー演算での結果に基づいて、３次元データが再構成さ
れる（＃３０）。
【００５９】図１１はオプティカルフロー演算の処理を
示すフローチャートである。図１１において、まず、基
準画像のどの画素のオプティカルフローを求めるかを決
定する（＃４１）。通常、画像の左上端の画素から順に
右に１画素ずつ計算していき、右端まで行くと１つ下の
ラインに移り、右下端の画素までくると終了する。
示すフローチャートである。図１１において、まず、基
準画像のどの画素のオプティカルフローを求めるかを決
定する（＃４１）。通常、画像の左上端の画素から順に
右に１画素ずつ計算していき、右端まで行くと１つ下の
ラインに移り、右下端の画素までくると終了する。
【００６０】上の階層、つまり解像度の低い階層から伝
播されたオプティカルフローを使って、当該階層の参照
ウインドウを決定する（＃４２）。なお、最初の階層に
おいては、初期値が設定される。初期値として例えば
「０」が設定される。
播されたオプティカルフローを使って、当該階層の参照
ウインドウを決定する（＃４２）。なお、最初の階層に
おいては、初期値が設定される。初期値として例えば
「０」が設定される。
【００６１】基準ウインドウと参照ウインドウとに基づ
いて、輝度勾配Ｅｘ，Ｅｙおよび輝度差Ｅｔを計算する
（＃４３）。ウインドウ内の全ての点について、Ｅｘ，
Ｅｙ，Ｅｔが計算されたかどうかを判断し、終了するま
で繰り返す（＃４４）。
いて、輝度勾配Ｅｘ，Ｅｙおよび輝度差Ｅｔを計算する
（＃４３）。ウインドウ内の全ての点について、Ｅｘ，
Ｅｙ，Ｅｔが計算されたかどうかを判断し、終了するま
で繰り返す（＃４４）。
【００６２】ウインドウ内の各点から求めたＥｘ，Ｅ
ｙ，Ｅｔから、上に述べた（４）式を作成する。次に、
エピポールラインの式と合わせて連立方程式を作成す
る。この連立方程式を最小二乗法を使って解くことによ
り、対応ベクトルｕ，ｖを求め、解像度の低い階層で計
算したオプティカルフローを修正する（＃４５）。
ｙ，Ｅｔから、上に述べた（４）式を作成する。次に、
エピポールラインの式と合わせて連立方程式を作成す
る。この連立方程式を最小二乗法を使って解くことによ
り、対応ベクトルｕ，ｖを求め、解像度の低い階層で計
算したオプティカルフローを修正する（＃４５）。
【００６３】上に述べた実施形態において、４つ以上の
カメラを用いることも可能である。その他、３次元入力
システム１の構成、回路、処理内容、処理順序、処理タ
イミングなどは、本発明の趣旨に沿って適宜変更するこ
とができる。
カメラを用いることも可能である。その他、３次元入力
システム１の構成、回路、処理内容、処理順序、処理タ
イミングなどは、本発明の趣旨に沿って適宜変更するこ
とができる。
【００６４】
【発明の効果】本発明によると、対応点探索における精
度を向上させることができる。請求項３および５の発明
によると、信頼性の判定を容易に確実に行うことができ
る。
度を向上させることができる。請求項３および５の発明
によると、信頼性の判定を容易に確実に行うことができ
る。
【００６５】請求項４の発明によると、多重解像度画像
の各解像度において誤った対応点の修正が行われるの
で、対応点の誤りが次の解像度における対応点探索に伝
搬されず、画像の視差が大きな場合などでも正確に対応
点を探索することができる。
の各解像度において誤った対応点の修正が行われるの
で、対応点の誤りが次の解像度における対応点探索に伝
搬されず、画像の視差が大きな場合などでも正確に対応
点を探索することができる。
【図１】本発明に係る対応点探索方法を用いた３次元入
力システムの構成を示すブロック図である。
力システムの構成を示すブロック図である。
【図２】対象物を撮影する際の様子を示す図である。
【図３】２枚の２次元画像の例を示す図である。
【図４】ウインドウを拡大して示す図である。
【図５】注目画素とその周辺の画素を示す図である。
【図６】輝度勾配Ｅｘと輝度差Ｅｔの関係を説明するた
めの図である。
めの図である。
【図７】多重解像度画像を説明するための図である。
【図８】信頼性の評価の方法を説明するための図であ
る。
る。
【図９】基本的な処理動作を示すフローチャートであ
る。
る。
【図１０】多重解像度画像を用いて３次元データを再構
成する場合の処理動作を示すフローチャートである。
成する場合の処理動作を示すフローチャートである。
【図１１】オプティカルフロー演算の処理を示すフロー
チャートである。
チャートである。
【符号の説明】 １ ３次元入力システム（対応点探索装置） １０ ＣＰＵ（対応点を求める手段、信頼性を判定する
手段、対応点を修正する手段）
手段、対応点を修正する手段）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ３３０Ｐ (72)発明者 浜口 敬行 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 川上 雄一 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 藤井 英郎 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 2F065 AA04 AA53 BB05 CC16 EE00 EE08 FF06 JJ03 QQ03 QQ13 QQ17 QQ18 QQ24 QQ25 QQ28 QQ32 QQ33 QQ36 QQ42 2F112 AC04 BA06 CA08 CA12 FA03 FA07 FA21 FA32 FA36 FA41 FA45 5B057 CA01 CA02 CA08 CA12 CA16 CB01 CB02 CB08 CB13 CB16 CB18 CC01 CD05 CD20 CH01 5C061 AB04 AB12 AB21 5L096 AA06 AA09 CA05 EA03 EA23 GA32
Claims (6)
- 【請求項１】２つの画像について互いの対応点を求める
方法であって、 対応点を求めるステップ、 求められた対応点の信頼性を判定するステップ、およ
び、 信頼性の低い対応点について、その周辺の対応点の値を
用いて対応点を修正するステップ、 を有してなることを特徴とする対応点探索方法。 - 【請求項２】勾配法によって前記対応点を求める、 請求項１記載の対応点探索方法。
- 【請求項３】２つの画像ＦＡ，ＦＢについて互いの対応
点を求める方法であって、 対象物を３つの異なる位置から撮像して３つの画像Ｆ
Ａ，ＦＢ，ＦＣを取得するステップ、 ２つの画像ＦＡ，ＦＢの互いの対応点ＰＡ，ＰＢを求め
るステップ、 ２つの画像ＦＢ，ＦＣの互いの対応点ＰＢ，ＰＣを求め
るステップ、 画像ＦＡ，ＦＢの対応点ＰＡ，ＰＢに対応する仮想３次
元空間内の点ＱＰ’を画像ＦＣに投影し、その投影され
た点ＰＣ’と当該対応点ＰＢに対応する画像ＦＣ上の点
ＰＣとの誤差を求めるステップ、 前記誤差を評価することによって前記対応点ＰＡ，ＰＢ
の信頼性を判定するステップ、および、 信頼性の低い対応点について、その周辺の対応点の値を
用いて対応点を修正するステップ、 を有してなることを特徴とする対応点探索方法。 - 【請求項４】２つの画像について互いの対応点を求める
方法であって、 ａ）前記２つの画像について多重解像度画像を作成する
ステップ、および、 ｂ）前記多重解像度画像について、解像度の低い画像か
ら順に、各解像度の画像に対して実行した結果を次の解
像度の画像に対して実行する際に用いて、次のすべての
ステップを各画像に対して実行するステップ、 （ｂ１）各画像における対応ベクトルを勾配法により求
めるステップ、（ｂ２）求められた対応点の信頼性を判
定するステップ、（ｂ３）信頼性の低い対応点につい
て、その周辺の対応点の対応ベクトルを用いて修正を行
うステップ、 を有してなることを特徴とする対応点探索方法。 - 【請求項５】対応点探索における対応点の信頼性を判定
する方法であって、 対象物を３つの異なる位置から撮像して３つの画像Ｆ
Ａ，ＦＢ，ＦＣを取得するステップ、 ２つの画像ＦＡ，ＦＢの互いの対応点ＰＡ，ＰＢを求め
るステップ、 ２つの画像ＦＢ，ＦＣの互いの対応点ＰＢ，ＰＣを求め
るステップ、 画像ＦＡ，ＦＢの対応点ＰＡ，ＰＢに対応する仮想３次
元空間内の点ＱＰ’を画像ＦＣに投影し、その投影され
た点ＰＣ’と当該対応点ＰＢに対応する画像ＦＣ上の点
ＰＣとの誤差を求めるステップ、および、 前記誤差を評価するステップ、 を有してなることを特徴とする対応点探索における信頼
性の判定方法。 - 【請求項６】２つの画像について互いの対応点を求める
装置であって、 対応点を求める手段と、 求められた対応点の信頼性を判定する手段と、 信頼性の低い対応点について、その周辺の対応点の値を
用いて対応点を修正する手段と、 を有してなることを特徴とする対応点探索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32912899A JP2001148012A (ja) | 1999-11-19 | 1999-11-19 | 対応点探索方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32912899A JP2001148012A (ja) | 1999-11-19 | 1999-11-19 | 対応点探索方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001148012A true JP2001148012A (ja) | 2001-05-29 |
Family
ID=18217945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32912899A Pending JP2001148012A (ja) | 1999-11-19 | 1999-11-19 | 対応点探索方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001148012A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004280462A (ja) * | 2003-03-14 | 2004-10-07 | Tokyo Institute Of Technology | 画像変化抽出方法、およびその画像処理プログラム |
| JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
| JP2007278844A (ja) * | 2006-04-06 | 2007-10-25 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2009282762A (ja) * | 2008-05-22 | 2009-12-03 | Konica Minolta Holdings Inc | 対応点探索装置 |
| JP2010286302A (ja) * | 2009-06-10 | 2010-12-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法、およびプログラム |
| JP2011013066A (ja) * | 2009-07-01 | 2011-01-20 | Konica Minolta Holdings Inc | 画像処理装置 |
| JP2011048416A (ja) * | 2009-08-25 | 2011-03-10 | Konica Minolta Holdings Inc | 画像処理装置および画像処理方法 |
| JP2011198378A (ja) * | 2011-05-18 | 2011-10-06 | Konica Minolta Holdings Inc | 対応点探索装置 |
| JP2013061204A (ja) * | 2011-09-13 | 2013-04-04 | Asia Air Survey Co Ltd | 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム |
| JP2014212519A (ja) * | 2013-04-16 | 2014-11-13 | ディズニー エンタープライゼス インコーポレイテッド | 立体パノラマ |
| JP2017003281A (ja) * | 2015-06-04 | 2017-01-05 | 株式会社日本自動車部品総合研究所 | 対応点探索方法および距離測定装置 |
| US10419669B2 (en) | 2017-01-17 | 2019-09-17 | Disney Enterprises, Inc. | Omnistereoscopic panoramic video |
| CN110352431A (zh) * | 2017-03-27 | 2019-10-18 | 株式会社日立高新技术 | 图像处理系统和用于进行图像处理的计算机程序 |
| US10818018B2 (en) | 2016-11-24 | 2020-10-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
-
1999
- 1999-11-19 JP JP32912899A patent/JP2001148012A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004280462A (ja) * | 2003-03-14 | 2004-10-07 | Tokyo Institute Of Technology | 画像変化抽出方法、およびその画像処理プログラム |
| JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
| JP4554316B2 (ja) * | 2004-09-24 | 2010-09-29 | 富士重工業株式会社 | ステレオ画像処理装置 |
| JP2007278844A (ja) * | 2006-04-06 | 2007-10-25 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2009282762A (ja) * | 2008-05-22 | 2009-12-03 | Konica Minolta Holdings Inc | 対応点探索装置 |
| JP2010286302A (ja) * | 2009-06-10 | 2010-12-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法、およびプログラム |
| JP2011013066A (ja) * | 2009-07-01 | 2011-01-20 | Konica Minolta Holdings Inc | 画像処理装置 |
| JP2011048416A (ja) * | 2009-08-25 | 2011-03-10 | Konica Minolta Holdings Inc | 画像処理装置および画像処理方法 |
| JP2011198378A (ja) * | 2011-05-18 | 2011-10-06 | Konica Minolta Holdings Inc | 対応点探索装置 |
| JP2013061204A (ja) * | 2011-09-13 | 2013-04-04 | Asia Air Survey Co Ltd | 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム |
| JP2014212519A (ja) * | 2013-04-16 | 2014-11-13 | ディズニー エンタープライゼス インコーポレイテッド | 立体パノラマ |
| JP2017003281A (ja) * | 2015-06-04 | 2017-01-05 | 株式会社日本自動車部品総合研究所 | 対応点探索方法および距離測定装置 |
| US10818018B2 (en) | 2016-11-24 | 2020-10-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
| US10419669B2 (en) | 2017-01-17 | 2019-09-17 | Disney Enterprises, Inc. | Omnistereoscopic panoramic video |
| CN110352431A (zh) * | 2017-03-27 | 2019-10-18 | 株式会社日立高新技术 | 图像处理系统和用于进行图像处理的计算机程序 |
| CN110352431B (zh) * | 2017-03-27 | 2023-07-18 | 株式会社日立高新技术 | 图像处理系统、计算机可读存储介质以及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021115071A1 (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| JP6244407B2 (ja) | 深度測定の品質の向上 | |
| CN104685513B (zh) | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 | |
| US8326025B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| JPH11509946A (ja) | 視差依存技法を用いた画像結合のための方法とシステム | |
| JP2008082870A (ja) | 画像処理プログラム及びこれを用いた路面状態計測システム | |
| JP2001148012A (ja) | 対応点探索方法および装置 | |
| JP6071257B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP2013005258A (ja) | ブレ補正装置、ブレ補正方法及び帳票 | |
| GB2565354A (en) | Method and corresponding device for generating a point cloud representing a 3D object | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| JP2016024052A (ja) | ３次元計測システム、３次元計測方法及びプログラム | |
| JP4193342B2 (ja) | ３次元データ生成装置 | |
| JP2001194126A (ja) | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 | |
| JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
| JP2001338280A (ja) | ３次元空間情報入力装置 | |
| JP5728399B2 (ja) | 計測装置、方法及びプログラム | |
| JP2003050110A (ja) | ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体 | |
| JP6671589B2 (ja) | ３次元計測システム、３次元計測方法及び３次元計測プログラム | |
| CN112288817B (zh) | 基于图像的三维重建处理方法及装置 | |
| JP6991700B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2001235819A (ja) | カメラのキャリブレーション方法および装置ならびに対応点探索方法 | |
| JP2001148020A (ja) | 対応点探索における信頼性の判定方法および装置 | |
| JP2018049396A (ja) | 形状推定方法、形状推定装置および形状推定プログラム | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |