JP2000155831A - 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 - Google Patents
画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体Info
- Publication number
- JP2000155831A JP2000155831A JP25617999A JP25617999A JP2000155831A JP 2000155831 A JP2000155831 A JP 2000155831A JP 25617999 A JP25617999 A JP 25617999A JP 25617999 A JP25617999 A JP 25617999A JP 2000155831 A JP2000155831 A JP 2000155831A
- Authority
- JP
- Japan
- Prior art keywords
- image
- triangular patch
- transformation matrix
- synthesizing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 この発明の目的は、奥行きの深いシーンを合
成する際においても、精度の高い位置合わせが行える画
像合成方法を提供することにある。 【解決手段】 第２画像および第２画像を、隣接する３
つの特徴点を頂点とする３角パッチ毎に分割し、この３
角パッチ毎に第２画像上の点に対応する第１画像上の位
置を求めるための変換式を求める第１ステップ、第２画
像における各３角パッチ内の各画素に対応する第１画像
上の座標値を、当該３角パッチに対して算出された変換
式を用いて求める第２ステップ、ならびに第２ステップ
によって求められた第２画像の各画素に対応する第１画
像上の座標値を用いて、第１画像と第２画像と合成する
第３ステップを備えている。
成する際においても、精度の高い位置合わせが行える画
像合成方法を提供することにある。 【解決手段】 第２画像および第２画像を、隣接する３
つの特徴点を頂点とする３角パッチ毎に分割し、この３
角パッチ毎に第２画像上の点に対応する第１画像上の位
置を求めるための変換式を求める第１ステップ、第２画
像における各３角パッチ内の各画素に対応する第１画像
上の座標値を、当該３角パッチに対して算出された変換
式を用いて求める第２ステップ、ならびに第２ステップ
によって求められた第２画像の各画素に対応する第１画
像上の座標値を用いて、第１画像と第２画像と合成する
第３ステップを備えている。
Description
【０００１】
【発明の属する技術分野】この発明は、画像合成方法、
画像合成装置、画像合成プログラムを記録した記録媒体
に関する。
画像合成装置、画像合成プログラムを記録した記録媒体
に関する。
【０００２】
【従来の技術】２枚の画像からオプティカルフローを計
算し、得られたオプティカルフローに基づいて、２枚の
画像間での位置合わせを行う技術が知られている。従来
のオプティカルフローの算出方法について説明する。
算し、得られたオプティカルフローに基づいて、２枚の
画像間での位置合わせを行う技術が知られている。従来
のオプティカルフローの算出方法について説明する。
【０００３】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【０００４】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【０００５】以下に、Lucas-Kanade法の概要を述べる。
【０００６】ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃
淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δ
ｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を
一定に保ったまま移動した時、次のオプティカルフロー
拘束式１が成り立つ。
淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δ
ｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を
一定に保ったまま移動した時、次のオプティカルフロー
拘束式１が成り立つ。
【０００７】
【数１】
【０００８】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【０００９】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
【００１２】
【数３】
【００１３】ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微
分である。
分である。
【００１４】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。
微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】故にオプティカルフローｖは次式５で求め
られる。
られる。
【００１７】
【数５】
【００１８】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
ラフソン的な反復演算によって精度良く求めることがで
きる。
【００１９】
【数６】
【００２０】（２）階層的推定法
【００２１】Lucas-Kanade法を含む勾配法の最も大きな
問題点は、良好な初期値が必要なために、大きな動きに
対しては適用できないことである。そこで、従来からピ
ラミッド階層構造型に数段回の解像度の異なる画像を作
成して解決する方法が提案されている。
問題点は、良好な初期値が必要なために、大きな動きに
対しては適用できないことである。そこで、従来からピ
ラミッド階層構造型に数段回の解像度の異なる画像を作
成して解決する方法が提案されている。
【００２２】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【００２３】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
【００２４】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【００２５】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【００２６】ところで、複数の画像を貼り合わせて、視
野が広く解像度の高い画像を継目なく合成する技術（イ
メージモザイキング）が従来から活発に研究されてい
る。古典的な応用には、航空写真、衛星写真の合成があ
る。最近では、複数枚のデジタル画像から継目のないパ
ノラマ画像を合成し、臨場感の高い仮想現実環境を構築
する手法が注目されている。
野が広く解像度の高い画像を継目なく合成する技術（イ
メージモザイキング）が従来から活発に研究されてい
る。古典的な応用には、航空写真、衛星写真の合成があ
る。最近では、複数枚のデジタル画像から継目のないパ
ノラマ画像を合成し、臨場感の高い仮想現実環境を構築
する手法が注目されている。
【００２７】パノラマ画像を合成する技術としては、次
の２つの方法が知られている。
の２つの方法が知られている。
【００２８】第１の方法は、まず、カメラを並進移動さ
せて複数枚の画像を予め撮像しておく。得られた複数枚
の画像をパーソナルコンピュータによって同時にモニタ
に表示させる。２つの画像間において対応点をユーザが
指定することにより、２つの画像が合成される。
せて複数枚の画像を予め撮像しておく。得られた複数枚
の画像をパーソナルコンピュータによって同時にモニタ
に表示させる。２つの画像間において対応点をユーザが
指定することにより、２つの画像が合成される。
【００２９】第１の方法では、カメラの運動が並進運動
に限定される。また、第１の方法では、ユーザが対応点
を指定する必要がある。
に限定される。また、第１の方法では、ユーザが対応点
を指定する必要がある。
【００３０】第２の方法は、カメラを三脚に固定し、カ
メラの動きを水平面での回転だけに制限して、複数枚の
画像を撮像する。得られた複数枚の画像を円筒面に投影
して、合成する（USP 5,396,583 参照) 。
メラの動きを水平面での回転だけに制限して、複数枚の
画像を撮像する。得られた複数枚の画像を円筒面に投影
して、合成する（USP 5,396,583 参照) 。
【００３１】第２の方法では、カメラの動きを水平面で
の回転だけに制限する必要がある。また、カメラの焦点
距離または画角を測定する必要がある。
の回転だけに制限する必要がある。また、カメラの焦点
距離または画角を測定する必要がある。
【００３２】
【発明が解決しようとする課題】この発明の目的は、奥
行きの深いシーンを合成する際においても、精度の高い
位置合わせが行える画像合成方法、画像合成装置、画像
合成プログラムを記録した記録媒体を提供することにあ
る。
行きの深いシーンを合成する際においても、精度の高い
位置合わせが行える画像合成方法、画像合成装置、画像
合成プログラムを記録した記録媒体を提供することにあ
る。
【００３３】この発明の他の目的は、複数の画像から継
目のないパノラマ画像を得ることができ、しかも複数の
画像を撮像するためのカメラに自由な運動を許容し、焦
点距離の測定が不要な画像合成方法、画像合成装置、画
像合成プログラムを記録した記録媒体を提供することに
ある。
目のないパノラマ画像を得ることができ、しかも複数の
画像を撮像するためのカメラに自由な運動を許容し、焦
点距離の測定が不要な画像合成方法、画像合成装置、画
像合成プログラムを記録した記録媒体を提供することに
ある。
【００３４】
【課題を解決するための手段】この発明による第１の画
像合成方法は、第１画像における第２画像と重なってい
る部分内に設定された複数の特徴点に対する第１画像上
の座標値と、各特徴点に対応する第２画像上の位置の第
２画像上の座標値とに基づいて、第１画像と第２画像と
を継ぎ目なく合成する画像合成方法であって、両画像
を、隣接する３つの特徴点を頂点とする３角パッチ毎に
分割し、この３角パッチ毎に第２画像上の点に対応する
第１画像上の位置を求めるための変換式を求める第１ス
テップ、第２画像における各３角パッチ内の各画素に対
応する第１画像上の座標値を、当該３角パッチに対して
算出された変換式を用いて求める第２ステップ、ならび
に第２ステップによって求められた第２画像の各画素に
対応する第１画像上の座標値を用いて、第１画像と第２
画像とを合成する第３ステップを備えていることを特徴
とする。
像合成方法は、第１画像における第２画像と重なってい
る部分内に設定された複数の特徴点に対する第１画像上
の座標値と、各特徴点に対応する第２画像上の位置の第
２画像上の座標値とに基づいて、第１画像と第２画像と
を継ぎ目なく合成する画像合成方法であって、両画像
を、隣接する３つの特徴点を頂点とする３角パッチ毎に
分割し、この３角パッチ毎に第２画像上の点に対応する
第１画像上の位置を求めるための変換式を求める第１ス
テップ、第２画像における各３角パッチ内の各画素に対
応する第１画像上の座標値を、当該３角パッチに対して
算出された変換式を用いて求める第２ステップ、ならび
に第２ステップによって求められた第２画像の各画素に
対応する第１画像上の座標値を用いて、第１画像と第２
画像とを合成する第３ステップを備えていることを特徴
とする。
【００３５】３角パッチ毎に求められる変換式として
は、たとえば、平面射影変換行列が用いられる。平面射
影変換行列は、たとえば、３角パッチにおける３つの頂
点の対応点と、第１画像と第２画像との間のエピポーラ
拘束条件を示す基礎行列とに基づいて求められる。平面
射影変換行列を、３角パッチにおける３つの頂点の対応
点と、第１画像と第２画像との間のエピポーラ拘束条件
を示すエピポールの対応とに基づいて求めてもよい。
は、たとえば、平面射影変換行列が用いられる。平面射
影変換行列は、たとえば、３角パッチにおける３つの頂
点の対応点と、第１画像と第２画像との間のエピポーラ
拘束条件を示す基礎行列とに基づいて求められる。平面
射影変換行列を、３角パッチにおける３つの頂点の対応
点と、第１画像と第２画像との間のエピポーラ拘束条件
を示すエピポールの対応とに基づいて求めてもよい。
【００３６】３角パッチ毎に求められる変換式として
は、たとえば、アフィン変換行列が用いられる。アフィ
ン変換行列は、３角パッチにおける３つの頂点の対応点
に基づいて求められる。
は、たとえば、アフィン変換行列が用いられる。アフィ
ン変換行列は、３角パッチにおける３つの頂点の対応点
に基づいて求められる。
【００３７】この発明による画像合成装置は、第１画像
における第２画像と重なっている部分内に設定された複
数の特徴点に対する第１画像上の座標値と、各特徴点に
対応する第２画像上の位置の第２画像上の座標値とに基
づいて、第１画像と第２画像とを継ぎ目なく合成する画
像合成装置であって、両画像を、隣接する３つの特徴点
を頂点とする３角パッチ毎に分割し、この３角パッチ毎
に第２画像上の点に対応する第１画像上の位置を求める
ための変換式を求める第１手段、第２画像における各３
角パッチ内の各画素に対応する第１画像上の座標値を、
当該３角パッチに対して算出された変換式を用いて求め
る第２手段、ならびに第２手段によって求められた第２
画像の各画素に対応する第１画像上の座標値を用いて、
第１画像と第２画像とを合成する第３手段を備えている
ことを特徴とする。
における第２画像と重なっている部分内に設定された複
数の特徴点に対する第１画像上の座標値と、各特徴点に
対応する第２画像上の位置の第２画像上の座標値とに基
づいて、第１画像と第２画像とを継ぎ目なく合成する画
像合成装置であって、両画像を、隣接する３つの特徴点
を頂点とする３角パッチ毎に分割し、この３角パッチ毎
に第２画像上の点に対応する第１画像上の位置を求める
ための変換式を求める第１手段、第２画像における各３
角パッチ内の各画素に対応する第１画像上の座標値を、
当該３角パッチに対して算出された変換式を用いて求め
る第２手段、ならびに第２手段によって求められた第２
画像の各画素に対応する第１画像上の座標値を用いて、
第１画像と第２画像とを合成する第３手段を備えている
ことを特徴とする。
【００３８】この発明による画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体は、第１画像
における第２画像と重なっている部分内に設定された複
数の特徴点に対する第１画像上の座標値と、各特徴点に
対応する第２画像上の位置の第２画像上の座標値とに基
づいて、第１画像と第２画像とを継ぎ目なく合成する画
像合成プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、両画像を、隣接する３つの特徴点
を頂点とする３角パッチ毎に分割し、この３角パッチ毎
に第２画像上の点に対応する第１画像上の位置を求める
ための変換式を求める第１ステップ、第２画像における
各３角パッチ内の各画素に対応する第１画像上の座標値
を、当該３角パッチに対して算出された変換式を用いて
求める第２ステップ、ならびに第２ステップによって求
められた第２画像の各画素に対応する第１画像上の座標
値を用いて、第１画像と第２画像とを合成する第３ステ
ップを備えた画像合成プログラムを記録していることを
特徴とする。
したコンピュータ読み取り可能な記録媒体は、第１画像
における第２画像と重なっている部分内に設定された複
数の特徴点に対する第１画像上の座標値と、各特徴点に
対応する第２画像上の位置の第２画像上の座標値とに基
づいて、第１画像と第２画像とを継ぎ目なく合成する画
像合成プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、両画像を、隣接する３つの特徴点
を頂点とする３角パッチ毎に分割し、この３角パッチ毎
に第２画像上の点に対応する第１画像上の位置を求める
ための変換式を求める第１ステップ、第２画像における
各３角パッチ内の各画素に対応する第１画像上の座標値
を、当該３角パッチに対して算出された変換式を用いて
求める第２ステップ、ならびに第２ステップによって求
められた第２画像の各画素に対応する第１画像上の座標
値を用いて、第１画像と第２画像とを合成する第３ステ
ップを備えた画像合成プログラムを記録していることを
特徴とする。
【００３９】この発明による第２の画像合成方法は、第
１画像と第２画像とを合成する画像合成方法において、
第１画像から、第１画像と第２画像との間のオプティカ
ルフローによる追跡に有効な複数の部分画像を特徴点と
して抽出する第１ステップ、第１画像の各特徴点に対応
する第２画像上の点を、両画像間のオプティカルフロー
に基づいて追跡する第２ステップ、第１画像の各特徴点
と第２ステップによって求められた第２画像上の対応点
とに基づいて、第２画像の各画素に対応する第１画像上
の座標値を求める第３ステップ、および第３ステップで
得られた第２画像の各画素に対応する第１画像上の座標
値に基づいて、第１画像と第２画像とを合成する第４ス
テップを備えており、第３ステップは、両画像を、隣接
する３つの特徴点を頂点とする３角パッチ毎に分割し、
この３角パッチ毎に第２画像上の点に対応する第１画像
上の位置を求めるための変換式を求めるステップ、およ
び第２画像における各３角パッチ内の各画素に対応する
第１画像上の座標値を、当該３角パッチに対して算出さ
れた変換式を用いて求めるステップを備えていることを
特徴とする。
１画像と第２画像とを合成する画像合成方法において、
第１画像から、第１画像と第２画像との間のオプティカ
ルフローによる追跡に有効な複数の部分画像を特徴点と
して抽出する第１ステップ、第１画像の各特徴点に対応
する第２画像上の点を、両画像間のオプティカルフロー
に基づいて追跡する第２ステップ、第１画像の各特徴点
と第２ステップによって求められた第２画像上の対応点
とに基づいて、第２画像の各画素に対応する第１画像上
の座標値を求める第３ステップ、および第３ステップで
得られた第２画像の各画素に対応する第１画像上の座標
値に基づいて、第１画像と第２画像とを合成する第４ス
テップを備えており、第３ステップは、両画像を、隣接
する３つの特徴点を頂点とする３角パッチ毎に分割し、
この３角パッチ毎に第２画像上の点に対応する第１画像
上の位置を求めるための変換式を求めるステップ、およ
び第２画像における各３角パッチ内の各画素に対応する
第１画像上の座標値を、当該３角パッチに対して算出さ
れた変換式を用いて求めるステップを備えていることを
特徴とする。
【００４０】第１ステップとしては、たとえば、第１画
像と第２画像との重なり部を抽出するステップ、および
第１画像における第２画像との重なり部分から、両画像
間のオプティカルフローによる追跡に有効な複数の部分
画像を特徴点として抽出するステップを備えているもの
が用いられる。
像と第２画像との重なり部を抽出するステップ、および
第１画像における第２画像との重なり部分から、両画像
間のオプティカルフローによる追跡に有効な複数の部分
画像を特徴点として抽出するステップを備えているもの
が用いられる。
【００４１】第１画像と第２画像との重なり部を抽出す
るステップでは、たとえば、ＳＳＤ法および正規化相互
相関法のうちのいずれかに基づいて第１画像と第２画像
との重なり部が抽出される。
るステップでは、たとえば、ＳＳＤ法および正規化相互
相関法のうちのいずれかに基づいて第１画像と第２画像
との重なり部が抽出される。
【００４２】第２ステップとしては、たとえば、階層構
造化したLucas-Kanade法によるオプティカルフロー推定
法の各段階において得られるオプティカルフローのう
ち、信頼度の低いものを、その周囲の領域のオプティカ
ルフローを用いて補完する、といったオプティカルフロ
ー推定方法に基づいて、第１画像と第２画像とからオプ
ティカルフローを求めるステップ、および第１画像の各
特徴点に対応する第２画像上の点を、得られたオプティ
カルフローに基づいて追跡するステップからなるものが
用いられる。
造化したLucas-Kanade法によるオプティカルフロー推定
法の各段階において得られるオプティカルフローのう
ち、信頼度の低いものを、その周囲の領域のオプティカ
ルフローを用いて補完する、といったオプティカルフロ
ー推定方法に基づいて、第１画像と第２画像とからオプ
ティカルフローを求めるステップ、および第１画像の各
特徴点に対応する第２画像上の点を、得られたオプティ
カルフローに基づいて追跡するステップからなるものが
用いられる。
【００４３】
【発明の実施の形態】以下、この発明をパノラマ画像合
成装置に適用した場合の実施の形態について説明する。
成装置に適用した場合の実施の形態について説明する。
【００４４】パノラマ画像合成装置を説明する前に、パ
ノラマ画像合成装置において採用されるオプティカルフ
ロー推定方法について説明しておく。
ノラマ画像合成装置において採用されるオプティカルフ
ロー推定方法について説明しておく。
【００４５】〔１〕オプティカルフロー推定方法につい
ての説明。
ての説明。
【００４６】この実施の形態で採用されるオプティカル
フロー推定方法は、ピラミッド階層型に数段回の解像度
の異なる画像を作成して、オプティカルフローを段階的
に計算する階層的推定を前提としている。オプティカル
フローの計算方法は、Lucas-Kanade法等の勾配法に従
う。つまり、階層構造化した勾配法によるオプティカル
フロー推定法を前提としている。ここでは、勾配法とし
てLucas-Kanade法が用いられている。
フロー推定方法は、ピラミッド階層型に数段回の解像度
の異なる画像を作成して、オプティカルフローを段階的
に計算する階層的推定を前提としている。オプティカル
フローの計算方法は、Lucas-Kanade法等の勾配法に従
う。つまり、階層構造化した勾配法によるオプティカル
フロー推定法を前提としている。ここでは、勾配法とし
てLucas-Kanade法が用いられている。
【００４７】この実施の形態で採用されるオプティカル
フロー推定方法の特徴は、階層構造化したLucas-Kanade
法によるオプティカルフロー推定法の各段階において得
られたオプティカルフローを、膨張処理によって補完す
ることにある。以下、これについて詳しく説明する。
フロー推定方法の特徴は、階層構造化したLucas-Kanade
法によるオプティカルフロー推定法の各段階において得
られたオプティカルフローを、膨張処理によって補完す
ることにある。以下、これについて詳しく説明する。
【００４８】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and Kanade,"Shape and
Motion from Image Streams:a Factorization Method-P
art 3 Detection and Tracking of Point Features,"CM
U-CS-91-132, Carnegie Mellon University, 1991.) 。
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and Kanade,"Shape and
Motion from Image Streams:a Factorization Method-P
art 3 Detection and Tracking of Point Features,"CM
U-CS-91-132, Carnegie Mellon University, 1991.) 。
【００４９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【００５０】
【数７】
【００５１】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
【００５２】
【数８】
【００５３】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【００５４】図５にフローベクトルの膨張処理の様子を
示す。
示す。
【００５５】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【００５６】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【００５７】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
【００５８】
【数９】
【００５９】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【００６０】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【００６１】〔２〕パノラマ画像合成装置の説明
【００６２】以下、複数の画像から継目のないパノラマ
画像を得るためのパノラマ画像合成装置について説明す
る。
画像を得るためのパノラマ画像合成装置について説明す
る。
【００６３】図７は、パノラマ画像合成装置の構成を示
している。
している。
【００６４】パーソナルコンピュータ１０には、ディス
プレイ２１、マウス２２およびキーボード２３が接続さ
れている。パーソナルコンピュータ１０は、ＣＰＵ１
１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭの
ようなリムーバブルディスクのドライブ（ディスクドラ
イブ）１４を備えている。
プレイ２１、マウス２２およびキーボード２３が接続さ
れている。パーソナルコンピュータ１０は、ＣＰＵ１
１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭの
ようなリムーバブルディスクのドライブ（ディスクドラ
イブ）１４を備えている。
【００６５】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、パノラマ画像合成プログラ
ムが格納されている。パノラマ画像合成プログラムは、
それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードデ
ィスク１３にインストールされる。また、ハードディス
ク１３には、デジタルカメラによって撮像された複数の
画像が予め格納されているものとする。
ティングシステム）等の他、パノラマ画像合成プログラ
ムが格納されている。パノラマ画像合成プログラムは、
それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードデ
ィスク１３にインストールされる。また、ハードディス
ク１３には、デジタルカメラによって撮像された複数の
画像が予め格納されているものとする。
【００６６】図８は、パノラマ画像合成ソフトが起動せ
しめられた場合にＣＰＵ１１によって行われるパノラマ
画像合成処理手順を示している。
しめられた場合にＣＰＵ１１によって行われるパノラマ
画像合成処理手順を示している。
【００６７】ここでは、説明の便宜上、２枚の画像を合
成する場合について説明する。
成する場合について説明する。
【００６８】(i) まず、ユーザによって指定された２
枚の画像（第１画像及び第 2画像）がメモリ１２に読み
込まれる（ステップ１）。
枚の画像（第１画像及び第 2画像）がメモリ１２に読み
込まれる（ステップ１）。
【００６９】(ii) 次に、２枚の画像の重なり部の抽出
処理が行われる（ステップ２）。この重なり部の抽出処
理は、たとえば、ＳＳＤ法（Sum of Squared Differenc
e)、正規化相互相関法に基づいて行われる。なお、ビデ
オカメラで撮像された連続する２枚の画像のように、２
枚の画像間での変化が小さい場合には、重なり部の抽出
処理を省略することができる。
処理が行われる（ステップ２）。この重なり部の抽出処
理は、たとえば、ＳＳＤ法（Sum of Squared Differenc
e)、正規化相互相関法に基づいて行われる。なお、ビデ
オカメラで撮像された連続する２枚の画像のように、２
枚の画像間での変化が小さい場合には、重なり部の抽出
処理を省略することができる。
【００７０】（ａ）ＳＳＤ法の説明
【００７１】ＳＳＤ法では、まず、2 枚の画像それぞれ
について、原画像より解像度の低い画像Ｉ1 ，Ｉ2 が生
成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重なり部分
ω（サイズ：Ｍ×Ｎ）が、次式１０に示すように画素あ
たりの２乗誤差Ｅを用いて求められる。画像間の移動量
（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい
移動量（ｄ）から、重なり部が抽出される。
について、原画像より解像度の低い画像Ｉ1 ，Ｉ2 が生
成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重なり部分
ω（サイズ：Ｍ×Ｎ）が、次式１０に示すように画素あ
たりの２乗誤差Ｅを用いて求められる。画像間の移動量
（ｄ）が可能な範囲で変化せしめられ、Ｅが最も小さい
移動量（ｄ）から、重なり部が抽出される。
【００７２】
【数１０】
【００７３】（ｂ）正規化相互相関法の説明
【００７４】正規化相互相関法では、まず、2 枚の画像
それぞれについて、原画像より解像度の低い画像Ｉ1 ，
Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重
なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に示すよう
に正規化相互相関係数Ｃを用いて求められる。画像間の
移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も
大きな移動量（ｄ）から、重なり部が抽出される。
それぞれについて、原画像より解像度の低い画像Ｉ1 ，
Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重
なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に示すよう
に正規化相互相関係数Ｃを用いて求められる。画像間の
移動量（ｄ）が可能な範囲で変化せしめられ、Ｃが最も
大きな移動量（ｄ）から、重なり部が抽出される。
【００７５】
【数１１】
【００７６】式１１において、Ｉ1 ￣、Ｉ2 ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【００７７】(iii) 次に、特徴点抽出が行われる（ステ
ップ３）。つまり、第１画像の重なり部分から、追跡に
有効な複数の部分画像（矩形領域）が特徴点として抽出
される。ただし、各特徴点は互いに重ならないように抽
出される。具体的には、上述した固有値λmin （式８参
照）の高い部分が特徴点として抽出される。
ップ３）。つまり、第１画像の重なり部分から、追跡に
有効な複数の部分画像（矩形領域）が特徴点として抽出
される。ただし、各特徴点は互いに重ならないように抽
出される。具体的には、上述した固有値λmin （式８参
照）の高い部分が特徴点として抽出される。
【００７８】(iv)次に、特徴点追跡処理が行われる（ス
テップ４）。つまり、抽出された第１画像の特徴点の第
２画像上の位置が追跡される。
テップ４）。つまり、抽出された第１画像の特徴点の第
２画像上の位置が追跡される。
【００７９】具体的には、まず、〔１〕で説明したオプ
ティカルフロー推定方法で、適当なサイズ（例えば、１
３×１３）のパッチ毎のオプティカルフローベクトルが
求められる。第１画像の特徴点に対応する第２画像上の
位置は、第１画像の特徴点の４近傍のパッチのフローベ
クトルから線形補間により画素単位以下で求められる。
ティカルフロー推定方法で、適当なサイズ（例えば、１
３×１３）のパッチ毎のオプティカルフローベクトルが
求められる。第１画像の特徴点に対応する第２画像上の
位置は、第１画像の特徴点の４近傍のパッチのフローベ
クトルから線形補間により画素単位以下で求められる。
【００８０】(v) 次に、３角パッチ毎の平面射影変換行
列が算出される（ステップ５）。
列が算出される（ステップ５）。
【００８１】まず、シーンを単一平面と仮定した場合の
平面射影変換行列の求め方について述べる。
平面射影変換行列の求め方について述べる。
【００８２】図９に示すように３次元空間中の単一平面
の点Ｍを２つの異なる視点Ｃ、Ｃ’から観察した時、こ
れらの各画像面での座標ｍ、ｍ’の間の変換は、線形で
あることが射影幾何学において知られており、homograp
hy と呼ばれている(O.Faugeras,"Three-Dimention Com
puter Vision: a Geometric Viewpoint",MIT press,199
3.)。
の点Ｍを２つの異なる視点Ｃ、Ｃ’から観察した時、こ
れらの各画像面での座標ｍ、ｍ’の間の変換は、線形で
あることが射影幾何学において知られており、homograp
hy と呼ばれている(O.Faugeras,"Three-Dimention Com
puter Vision: a Geometric Viewpoint",MIT press,199
3.)。
【００８３】すなわち、画像座標を斉次座標で表した第
１画像の点ｍ＝（ｘ, ｙ, １）t は、第２画像上で対応
する点ｍ’＝（ｘ’ ,ｙ’, １）t を持ち、それらの関
係は次式１２、より詳しくは次式１３で定義される。
１画像の点ｍ＝（ｘ, ｙ, １）t は、第２画像上で対応
する点ｍ’＝（ｘ’ ,ｙ’, １）t を持ち、それらの関
係は次式１２、より詳しくは次式１３で定義される。
【００８４】
【数１２】
【００８５】
【数１３】
【００８６】この変換行列は、次式１４のように書き換
えることができる。
えることができる。
【００８７】
【数１４】
【００８８】また、式１４は、次式１５のように書き換
えることができる。
えることができる。
【００８９】
【数１５】
【００９０】平面射影変換行列Ｈの未知パラメータ数
は、８個であり、一組の対応点は、式１５に示すよう
に、２つの式を与える。したがって、４組以上の対応点
があれば、最小２乗法によりこの行列Ｈを求めることが
できる。
は、８個であり、一組の対応点は、式１５に示すよう
に、２つの式を与える。したがって、４組以上の対応点
があれば、最小２乗法によりこの行列Ｈを求めることが
できる。
【００９１】上記は、シーンを単一平面と仮定した場合
の平面射影変換行列Ｈの求め方について説明したが、室
内などのシーンの場合には、シーンを単一平面で近似す
るには誤差が大きすぎる。なぜなら、カメラから対象物
までの距離に対して、シーンの奥行きの方が深いからで
ある。この結果、第１画像と第２画像とを合成した場合
に、両画像の重なり部分において、重なるべき線が２重
になったり、ぼけたりするという問題がある。
の平面射影変換行列Ｈの求め方について説明したが、室
内などのシーンの場合には、シーンを単一平面で近似す
るには誤差が大きすぎる。なぜなら、カメラから対象物
までの距離に対して、シーンの奥行きの方が深いからで
ある。この結果、第１画像と第２画像とを合成した場合
に、両画像の重なり部分において、重なるべき線が２重
になったり、ぼけたりするという問題がある。
【００９２】そこで、この実施の形態では、奥行きの深
いシーンを合成する場合に適した平面射影変換行列Ｈを
獲得するようにした。
いシーンを合成する場合に適した平面射影変換行列Ｈを
獲得するようにした。
【００９３】つまり、図１０に示すように、シーンを、
第１画像１００と第２画像２００との対応する画像特徴
点ｍ1 〜ｍ8 に基づいて３角パッチに分割し、各パッチ
毎に平面射影変換行列を算出するようにした。各３角パ
ッチは、隣接する３つの特徴点を頂点とする領域であ
る。
第１画像１００と第２画像２００との対応する画像特徴
点ｍ1 〜ｍ8 に基づいて３角パッチに分割し、各パッチ
毎に平面射影変換行列を算出するようにした。各３角パ
ッチは、隣接する３つの特徴点を頂点とする領域であ
る。
【００９４】各パッチ毎に平面射影変換行列を算出する
には、エピポーラ拘束条件が利用される。各パッチ毎に
平面射影変換行列を算出する方法には、エピポーラ拘束
条件を示す基礎行列を利用する方法と、エピポーラ拘束
条件を示すエピポール（エピ極）の対応を利用する方法
とがある。
には、エピポーラ拘束条件が利用される。各パッチ毎に
平面射影変換行列を算出する方法には、エピポーラ拘束
条件を示す基礎行列を利用する方法と、エピポーラ拘束
条件を示すエピポール（エピ極）の対応を利用する方法
とがある。
【００９５】（ａ）基礎行列を利用する方法
【００９６】カメラ間のエピポーラ拘束条件を示す基礎
行列を利用する方法について説明する。平面射影変換行
列の自由度は８であるので、４組の対応点の組が必要で
ある。しかし、３角パッチの頂点は３つしかないので、
一般では解けない。
行列を利用する方法について説明する。平面射影変換行
列の自由度は８であるので、４組の対応点の組が必要で
ある。しかし、３角パッチの頂点は３つしかないので、
一般では解けない。
【００９７】そこで、本発明者は、カメラ間のエピポー
ラ拘束を示す基礎行列Ｆと、３組の対応点を用いて、各
３角パッチ毎の平面射影変換行列を算出することを開発
した。
ラ拘束を示す基礎行列Ｆと、３組の対応点を用いて、各
３角パッチ毎の平面射影変換行列を算出することを開発
した。
【００９８】以下、３角パッチ毎の平面射影変換行列を
算出する方法について詳述する。
算出する方法について詳述する。
【００９９】図１１は、エピポーラ拘束条件を示してい
る。
る。
【０１００】３次元の空間の点Ｍを異なる視点Ｃ1 およ
びＣ2 から観察したとき、それぞれのカメラの撮像面Ｓ
1 、Ｓ2 上の座標ｍ1 およびｍ2 は、Ｍ、Ｃ1 およびＣ
2 で構成される平面上にある必要がある。これは、エピ
ポーラ拘束条件と呼ばれる。また、視点Ｃ1 とＣ2 とを
結ぶ直線と、各撮像面Ｓ1 、Ｓ2 との交点ｅ1 、ｅ
2は、エピポールと呼ばれる。このエピポーラ拘束条件
を示す基礎行列Ｆおよび対応するエピポールｅ1 、ｅ2
は、２画像間で７組以上の対応点があれば、計算するこ
とができることが知られている。
びＣ2 から観察したとき、それぞれのカメラの撮像面Ｓ
1 、Ｓ2 上の座標ｍ1 およびｍ2 は、Ｍ、Ｃ1 およびＣ
2 で構成される平面上にある必要がある。これは、エピ
ポーラ拘束条件と呼ばれる。また、視点Ｃ1 とＣ2 とを
結ぶ直線と、各撮像面Ｓ1 、Ｓ2 との交点ｅ1 、ｅ
2は、エピポールと呼ばれる。このエピポーラ拘束条件
を示す基礎行列Ｆおよび対応するエピポールｅ1 、ｅ2
は、２画像間で７組以上の対応点があれば、計算するこ
とができることが知られている。
【０１０１】２画像間のエピポーラ拘束条件は、基礎行
列Ｆと、対応点ｍ、ｍ’を用いて次式１６で表される。
列Ｆと、対応点ｍ、ｍ’を用いて次式１６で表される。
【０１０２】
【数１６】
【０１０３】この基礎行列Ｆを７組以上、たとえば、８
組の対応点から求める。基礎行列Ｆの求め方は、良く知
られているのでその説明を省略する（たとえば、１９９
８年４月２０日 共立出版発行の「３次元ビジョン」参
照）。なお、最近では、キャリブレーションされていな
いステレオカメラの基礎行列を、対応づけられた特徴点
対から、良好に獲得する手法が提案されているので、そ
の手法を用いることが好ましい（Z.Zhang, "Determinin
g the Epipolar Geometry and its Uncertainty; A Rev
iew", Int. Journal of Comuter Vision, Vol.27, No.
2, pp. 161-195.,1988 ) 。
組の対応点から求める。基礎行列Ｆの求め方は、良く知
られているのでその説明を省略する（たとえば、１９９
８年４月２０日 共立出版発行の「３次元ビジョン」参
照）。なお、最近では、キャリブレーションされていな
いステレオカメラの基礎行列を、対応づけられた特徴点
対から、良好に獲得する手法が提案されているので、そ
の手法を用いることが好ましい（Z.Zhang, "Determinin
g the Epipolar Geometry and its Uncertainty; A Rev
iew", Int. Journal of Comuter Vision, Vol.27, No.
2, pp. 161-195.,1988 ) 。
【０１０４】上記式１２に示すように、ｍ’＝Ｈｍであ
るので、式１２を式１６に代入することにより、次式１
７が得られる。
るので、式１２を式１６に代入することにより、次式１
７が得られる。
【０１０５】
【数１７】
【０１０６】上記式１７における行列ＨT Ｆは、ベクト
ルｍの外積であることを表すので、次式１８に示すよう
に非対称行列である必要がある。
ルｍの外積であることを表すので、次式１８に示すよう
に非対称行列である必要がある。
【０１０７】
【数１８】
【０１０８】３組の対応点に基づいて上記式１５から６
個の方程式が得られる。また、上記式１８から６個の方
程式が得られる。つまり、１２個の方程式が得られる。
平面射影変換行列Ｈの未知数は、８個であるので、これ
らを連立させた最小２乗法により、３角パッチ毎の平面
射影変換行列Ｈを算出することができる。
個の方程式が得られる。また、上記式１８から６個の方
程式が得られる。つまり、１２個の方程式が得られる。
平面射影変換行列Ｈの未知数は、８個であるので、これ
らを連立させた最小２乗法により、３角パッチ毎の平面
射影変換行列Ｈを算出することができる。
【０１０９】つまり、３組の対応点を｛（ｍ1 ，
ｍ1'）、（ｍ2 ，ｍ2'）、（ｍ3 ，ｍ3'）とすると、上
記式１５に基づいて、次式１９で表されるように、６個
の方程式が得られる。
ｍ1'）、（ｍ2 ，ｍ2'）、（ｍ3 ，ｍ3'）とすると、上
記式１５に基づいて、次式１９で表されるように、６個
の方程式が得られる。
【０１１０】
【数１９】
【０１１１】上記式１８は、次式２０で表される。
【０１１２】
【数２０】
【０１１３】対角行列は０であるという条件から、次式
２１で表されるように３つの方程式が得られる。
２１で表されるように３つの方程式が得られる。
【０１１４】
【数２１】
【０１１５】また、上記式２０における非対称行列の−
ａ１＋ａ１＝０であるという条件から、次式２２で表さ
れるように１つの方程式が得られる。
ａ１＋ａ１＝０であるという条件から、次式２２で表さ
れるように１つの方程式が得られる。
【０１１６】
【数２２】
【０１１７】また、上記式２０における非対称行列のａ
２−ａ２＝０であるという条件から、次式２３で表され
るように１つの方程式が得られる。
２−ａ２＝０であるという条件から、次式２３で表され
るように１つの方程式が得られる。
【０１１８】
【数２３】
【０１１９】また、上記式２０における非対称行列の−
ａ３＋ａ３＝０であるという条件から、次式２４で表さ
れるように１つの方程式が得られる。
ａ３＋ａ３＝０であるという条件から、次式２４で表さ
れるように１つの方程式が得られる。
【０１２０】
【数２４】
【０１２１】上記式２１〜２４から、次式２５で表され
るように、６個の方程式が得られる。
るように、６個の方程式が得られる。
【０１２２】
【数２５】
【０１２３】上記式１９と上記式２５とを連立させる
と、次式２６で表されるように、１２個の方程式が得ら
れる。
と、次式２６で表されるように、１２個の方程式が得ら
れる。
【０１２４】
【数２６】
【０１２５】平面射影変換行列Ｈの未知数は８個である
ので、最小２乗法を用いて、３角パッチに対する平面射
影変換行列Ｈが算出される。
ので、最小２乗法を用いて、３角パッチに対する平面射
影変換行列Ｈが算出される。
【０１２６】（ｂ）エピポールの対応を利用する方法
【０１２７】エピポールの対応を利用する方法について
説明する。エピポールの対応は、基礎行列Ｆから求めら
れる。この方法は、２画像間における３角パッチの３頂
点の対応点の組と、２画像間のエピポールの対応点か
ら、３角パッチ毎の平面射影行列を求める方法である。
説明する。エピポールの対応は、基礎行列Ｆから求めら
れる。この方法は、２画像間における３角パッチの３頂
点の対応点の組と、２画像間のエピポールの対応点か
ら、３角パッチ毎の平面射影行列を求める方法である。
【０１２８】図１２は、Ｎ、Ｍ、Ｐを頂点とする３角パ
ッチと、エピポールｅ1 、ｅ2 とを示している。
ッチと、エピポールｅ1 、ｅ2 とを示している。
【０１２９】エピポールｅ1 、ｅ2 は、３角パッチの位
置および姿勢にかかわらず、常に同じである。２画像間
における３角パッチの３頂点の対応点の組（３組の対応
点）と、２画像間におけるエピポールの対応点（１組の
対応点）とから合計４組の対応点が求められる。
置および姿勢にかかわらず、常に同じである。２画像間
における３角パッチの３頂点の対応点の組（３組の対応
点）と、２画像間におけるエピポールの対応点（１組の
対応点）とから合計４組の対応点が求められる。
【０１３０】この４組の対応点（ｘi ，ｙi ）、
（ｘi ’，ｙi ’）（ｉ＝１，２，３，ｅ）と、上記式
１５とに基づいて、次式２７で表されるように、８個の
方程式が得られる。
（ｘi ’，ｙi ’）（ｉ＝１，２，３，ｅ）と、上記式
１５とに基づいて、次式２７で表されるように、８個の
方程式が得られる。
【０１３１】
【数２７】
【０１３２】平面射影行列の要素（ｈ1 〜ｈ8 ）は８つ
であるので、８個の方程式から、これらの要素ｈ1 〜ｈ
8 が求められる。
であるので、８個の方程式から、これらの要素ｈ1 〜ｈ
8 が求められる。
【０１３３】(vi) 求められた各３パッチ毎の平面射影
変換行列に基づいて、２つの画像の位置が合致するよう
に、両画像が重ね合わされた画像が生成される（ステッ
プ６）。
変換行列に基づいて、２つの画像の位置が合致するよう
に、両画像が重ね合わされた画像が生成される（ステッ
プ６）。
【０１３４】つまり、第２画像における各３角パッチ内
の各画素に対応する第１画像上の座標値が、当該３角パ
ッチに対して算出された平面射影変換行列Ｈを用いて求
められる。また、第２画像におけるいずれの３角パッチ
にも属さない各画素に対応する第１画像上の座標値が、
当該画素に最も近い３角パッチに対して算出された平面
射影変換行列Ｈを用いて求められる。なお、第２画像に
おけるいずれの３角パッチにも属さない各画素に対応す
る第１画像上の座標値を、シーンを三角形に分割せず
に、両画像の重なり部の全ての対応点を用いて計算した
平面射影変換行列を用いて求めるようにしてもよい。両
画像の重なり部の全ての対応点を用いて計算した平面射
影変換行列は、シーンを平面と仮定して算出した平面射
影変換行列であり、各三角パッチ毎の平面射影変換行列
を平均したものに相当する。
の各画素に対応する第１画像上の座標値が、当該３角パ
ッチに対して算出された平面射影変換行列Ｈを用いて求
められる。また、第２画像におけるいずれの３角パッチ
にも属さない各画素に対応する第１画像上の座標値が、
当該画素に最も近い３角パッチに対して算出された平面
射影変換行列Ｈを用いて求められる。なお、第２画像に
おけるいずれの３角パッチにも属さない各画素に対応す
る第１画像上の座標値を、シーンを三角形に分割せず
に、両画像の重なり部の全ての対応点を用いて計算した
平面射影変換行列を用いて求めるようにしてもよい。両
画像の重なり部の全ての対応点を用いて計算した平面射
影変換行列は、シーンを平面と仮定して算出した平面射
影変換行列であり、各三角パッチ毎の平面射影変換行列
を平均したものに相当する。
【０１３５】そして、第２画像の各画素に対応する第１
画像上の座標値を用いて、第１画像と第２画像とが合成
される。
画像上の座標値を用いて、第１画像と第２画像とが合成
される。
【０１３６】上記ステップ５では、第１画像上の点を第
２画像上の位置に変換するための変換行列が求められて
いるので、ここでは、第２画像を基準画像として、第１
画像と第２画像とを合成した画像が得られる。
２画像上の位置に変換するための変換行列が求められて
いるので、ここでは、第２画像を基準画像として、第１
画像と第２画像とを合成した画像が得られる。
【０１３７】上記ステップ５において、第１画像の各特
徴点に対応する第２画像上の点に基づいて、第２画像上
の点を第１画像上の位置に変換するための変換行列を求
めてもよい。第２画像上の点を第１画像上の位置に変換
するための変換行列を求めた場合には、第１画像を基準
画像として、第１画像と第２画像とを合成した画像が得
られる。
徴点に対応する第２画像上の点に基づいて、第２画像上
の点を第１画像上の位置に変換するための変換行列を求
めてもよい。第２画像上の点を第１画像上の位置に変換
するための変換行列を求めた場合には、第１画像を基準
画像として、第１画像と第２画像とを合成した画像が得
られる。
【０１３８】(vii) この後、２つの画像が互いに重なり
合っている部分（以下、重合部という）に対して画素値
調合が行われる（ステップ７）。つまり、第１画像と第
２画像とは、撮影条件が同じでないので、一方に比べて
他方が暗い場合がある。そこで、両画像の重合部におい
て、両画像の画素値が調合せしめられる。
合っている部分（以下、重合部という）に対して画素値
調合が行われる（ステップ７）。つまり、第１画像と第
２画像とは、撮影条件が同じでないので、一方に比べて
他方が暗い場合がある。そこで、両画像の重合部におい
て、両画像の画素値が調合せしめられる。
【０１３９】画素値調合方法の一例について説明する。
図１３は、ステップ６において生成された画像を示して
いる。図１３の斜線部分は、第１画像３１と第２画像３
２とが重なり合っている部分（重合部）である。図１３
において、Ｇ１は第１画像の重心位置を、Ｇ２は第２画
像の重心位置をそれぞれ示している。
図１３は、ステップ６において生成された画像を示して
いる。図１３の斜線部分は、第１画像３１と第２画像３
２とが重なり合っている部分（重合部）である。図１３
において、Ｇ１は第１画像の重心位置を、Ｇ２は第２画
像の重心位置をそれぞれ示している。
【０１４０】重合部内の任意の点Ｐの第１画像３１の画
素値をＩ1 とし、点Ｐの第２画像３２の画素値をＩ2 と
し、点Ｐと第１画像の重心位置Ｇ1 との距離をｄ1 と
し、点Ｐと第２画像の重心位置Ｇ2 との距離をｄ2 とす
ると、点Ｐの調合後の画素値Blenは、次式２８で表され
る。
素値をＩ1 とし、点Ｐの第２画像３２の画素値をＩ2 と
し、点Ｐと第１画像の重心位置Ｇ1 との距離をｄ1 と
し、点Ｐと第２画像の重心位置Ｇ2 との距離をｄ2 とす
ると、点Ｐの調合後の画素値Blenは、次式２８で表され
る。
【０１４１】
【数２８】
【０１４２】上記実施の形態では、各３角パッチ毎に平
面射影変換行列Ｈを求め、第２画像における各３角パッ
チ内の各画素に対応する第１画像上の座標値を、当該３
角パッチに対して算出された平面射影変換行列Ｈを用い
て求めているが、各３角パッチ毎にアフィン変換行列Ａ
を求め、第２画像における各３角パッチ内の各画素に対
応する第１画像上の座標値を、当該３角パッチに対して
算出されたアフィン変換行列Ａを用いて求めるようにし
てもよい。
面射影変換行列Ｈを求め、第２画像における各３角パッ
チ内の各画素に対応する第１画像上の座標値を、当該３
角パッチに対して算出された平面射影変換行列Ｈを用い
て求めているが、各３角パッチ毎にアフィン変換行列Ａ
を求め、第２画像における各３角パッチ内の各画素に対
応する第１画像上の座標値を、当該３角パッチに対して
算出されたアフィン変換行列Ａを用いて求めるようにし
てもよい。
【０１４３】アフィン変換行列Ａは、次式２９で表され
る。アフィン変換行列Ａの要素ｈ1〜ｈ6 は６つである
ので、２画像間における３角パッチの３頂点の対応点の
みから、要素ｈ1 〜ｈ6 を算出することができる。
る。アフィン変換行列Ａの要素ｈ1〜ｈ6 は６つである
ので、２画像間における３角パッチの３頂点の対応点の
みから、要素ｈ1 〜ｈ6 を算出することができる。
【０１４４】
【数２９】
【０１４５】アフィン変換行列Ａの要素ｈ1 〜ｈ6 と、
２画像間における３角パッチの３頂点の対応点ｘi ，ｙ
i ）、（ｘi ’，ｙi ’）（ｉ＝１，２，３）との関係
は、次式３０で表される。
２画像間における３角パッチの３頂点の対応点ｘi ，ｙ
i ）、（ｘi ’，ｙi ’）（ｉ＝１，２，３）との関係
は、次式３０で表される。
【０１４６】
【数３０】
【０１４７】
【発明の効果】この発明によれば、奥行きの深いシーン
を合成する際においても、精度の高い位置合わせが行え
るようになる。
を合成する際においても、精度の高い位置合わせが行え
るようになる。
【０１４８】また、この発明によれば、複数の画像から
継目のないパノラマ画像を得ることができ、しかも複数
の画像を撮像するためのカメラに自由な運動を許容し、
焦点距離の測定が不要な画像合成方法、画像合成装置、
画像合成プログラムを記録した記録媒体が得られる。
継目のないパノラマ画像を得ることができ、しかも複数
の画像を撮像するためのカメラに自由な運動を許容し、
焦点距離の測定が不要な画像合成方法、画像合成装置、
画像合成プログラムを記録した記録媒体が得られる。
【図１】階層的推定法を説明するための図であって、階
層１の画像を示す模式図である。
層１の画像を示す模式図である。
【図２】階層的推定法を説明するための図であって、階
層２の画像を示す模式図である。
層２の画像を示す模式図である。
【図３】階層的推定法を説明するための図であって、階
層３の画像を示す模式図である。
層３の画像を示す模式図である。
【図４】階層的推定法を説明するための図であって、階
層４の画像を示す模式図である。
層４の画像を示す模式図である。
【図５】実施の形態で採用されたオプティカルフロー推
定方法において行われる膨張処理を説明するための模式
図である。
定方法において行われる膨張処理を説明するための模式
図である。
【図６】ある階層の画像に対してしきい値処理されたオ
プティカルフローの例と、補完後のオプティカルフロー
を示す模式図である。
プティカルフローの例と、補完後のオプティカルフロー
を示す模式図である。
【図７】パノラマ画像合成装置の構成を示すブロック図
である。
である。
【図８】パノラマ画像合成処理手順を示すフローチャー
トである。
トである。
【図９】平面射影変換行列を説明するための説明図であ
る。
る。
【図１０】３角パッチを示す模式図である。
【図１１】エピポーラ拘束条件を示す模式図である。
【図１２】Ｎ、Ｍ、Ｐを頂点とする３角パッチと、エピ
ポールｅ1 、ｅ2 とを示す模式図である。
ポールｅ1 、ｅ2 とを示す模式図である。
【図１３】画素値調合方法の一例を説明するための説明
図である。
図である。
１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ ディスクドライバ ２１ ディスプレイ ２２ マウス ２３ キーボード
Claims (19)
- 【請求項１】 第１画像における第２画像と重なってい
る部分内に設定された複数の特徴点に対する第１画像上
の座標値と、各特徴点に対応する第２画像上の位置の第
２画像上の座標値とに基づいて、第１画像と第２画像と
を継ぎ目なく合成する画像合成方法であって、 両画像を、隣接する３つの特徴点を頂点とする３角パッ
チ毎に分割し、この３角パッチ毎に第２画像上の点に対
応する第１画像上の位置を求めるための変換式を求める
第１ステップ、 第２画像における各３角パッチ内の各画素に対応する第
１画像上の座標値を、当該３角パッチに対して算出され
た変換式を用いて求める第２ステップ、ならびに第２ス
テップによって求められた第２画像の各画素に対応する
第１画像上の座標値を用いて、第１画像と第２画像とを
合成する第３ステップ、 を備えていることを特徴とする画像合成方法。 - 【請求項２】 ３角パッチ毎に求められる変換式は平面
射影変換行列であり、平面射影変換行列は、３角パッチ
における３つの頂点の対応点と、第１画像と第２画像と
の間のエピポーラ拘束条件を示す基礎行列とに基づいて
求められることを特徴とする請求項１に記載の画像合成
方法。 - 【請求項３】 ３角パッチ毎に求められる変換式は平面
射影変換行列であり、平面射影変換行列は、３角パッチ
における３つの頂点の対応点と、第１画像と第２画像と
の間のエピポーラ拘束条件を示すエピポールの対応とに
基づいて求められることを特徴とする請求項１に記載の
画像合成方法。 - 【請求項４】 ３角パッチ毎に求められる変換式はアフ
ィン変換行列であり、アフィン変換行列は、３角パッチ
における３つの頂点の対応点に基づいて求められること
を特徴とする請求項１に記載の画像合成方法。 - 【請求項５】 第１画像における第２画像と重なってい
る部分内に設定された複数の特徴点に対する第１画像上
の座標値と、各特徴点に対応する第２画像上の位置の第
２画像上の座標値とに基づいて、第１画像と第２画像と
を継ぎ目なく合成する画像合成装置であって、 両画像を、隣接する３つの特徴点を頂点とする３角パッ
チ毎に分割し、この３角パッチ毎に第２画像上の点に対
応する第１画像上の位置を求めるための変換式を求める
第１手段、 第２画像における各３角パッチ内の各画素に対応する第
１画像上の座標値を、当該３角パッチに対して算出され
た変換式を用いて求める第２手段、ならびに第２手段に
よって求められた第２画像の各画素に対応する第１画像
上の座標値を用いて、第１画像と第２画像とを合成する
第３手段、 を備えていることを特徴とする画像合成装置。 - 【請求項６】 ３角パッチ毎に求められる変換式は平面
射影変換行列であり、平面射影変換行列は、３角パッチ
における３つの頂点の対応点と、第１画像と第２画像と
の間のエピポーラ拘束条件を示す基礎行列とに基づいて
求められることを特徴とする請求項５に記載の画像合成
装置。 - 【請求項７】 ３角パッチ毎に求められる変換式は平面
射影変換行列であり、平面射影変換行列は、３角パッチ
における３つの頂点の対応点と、第１画像と第２画像と
の間のエピポーラ拘束条件を示すエピポールの対応とに
基づいて求められることを特徴とする請求項５に記載の
画像合成装置。 - 【請求項８】 ３角パッチ毎に求められる変換式はアフ
ィン変換行列であり、アフィン変換行列は、３角パッチ
における３つの頂点の対応点に基づいて求められること
を特徴とする請求項５に記載の画像合成装置。 - 【請求項９】 第１画像における第２画像と重なってい
る部分内に設定された複数の特徴点に対する第１画像上
の座標値と、各特徴点に対応する第２画像上の位置の第
２画像上の座標値とに基づいて、第１画像と第２画像と
を継ぎ目なく合成する画像合成プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、 両画像を、隣接する３つの特徴点を頂点とする３角パッ
チ毎に分割し、この３角パッチ毎に第２画像上の点に対
応する第１画像上の位置を求めるための変換式を求める
第１ステップ、 第２画像における各３角パッチ内の各画素に対応する第
１画像上の座標値を、当該３角パッチに対して算出され
た変換式を用いて求める第２ステップ、ならびに第２ス
テップによって求められた第２画像の各画素に対応する
第１画像上の座標値を用いて、第１画像と第２画像とを
合成する第３ステップ、 を備えた画像合成プログラムを記録したコンピュータ読
み取り可能な記録媒体。 - 【請求項１０】 ３角パッチ毎に求められる変換式は平
面射影変換行列であり、平面射影変換行列は、３角パッ
チにおける３つの頂点の対応点と、第１画像と第２画像
との間のエピポーラ拘束条件を示す基礎行列とに基づい
て求められることを特徴とする請求項９に記載の画像合
成プログラムを記録したコンピュータ読み取り可能な記
録媒体。 - 【請求項１１】 ３角パッチ毎に求められる変換式は平
面射影変換行列であり、平面射影変換行列は、３角パッ
チにおける３つの頂点の対応点と、第１画像と第２画像
との間のエピポーラ拘束条件を示すエピポールの対応と
に基づいて求められることを特徴とする請求項９に記載
の画像合成プログラムを記録したコンピュータ読み取り
可能な記録媒体。 - 【請求項１２】 ３角パッチ毎に求められる変換式はア
フィン変換行列であり、アフィン変換行列は、３角パッ
チにおける３つの頂点の対応点に基づいて求められるこ
とを特徴とする請求項９に記載の画像合成プログラムを
記録したコンピュータ読み取り可能な記録媒体。 - 【請求項１３】 第１画像と第２画像とを合成する画像
合成方法において、 第１画像から、第１画像と第２画像との間のオプティカ
ルフローによる追跡に有効な複数の部分画像を特徴点と
して抽出する第１ステップ、 第１画像の各特徴点に対応する第２画像上の点を、両画
像間のオプティカルフローに基づいて追跡する第２ステ
ップ、 第１画像の各特徴点と第２ステップによって求められた
第２画像上の対応点とに基づいて、第２画像の各画素に
対応する第１画像上の座標値を求める第３ステップ、お
よび第３ステップで得られた第２画像の各画素に対応す
る第１画像上の座標値に基づいて、第１画像と第２画像
とを合成する第４ステップを備えており、 第３ステップは、両画像を、隣接する３つの特徴点を頂
点とする３角パッチ毎に分割し、この３角パッチ毎に第
２画像上の点に対応する第１画像上の位置を求めるため
の変換式を求めるステップ、および第２画像における各
３角パッチ内の各画素に対応する第１画像上の座標値
を、当該３角パッチに対して算出された変換式を用いて
求めるステップを備えていることを特徴とする画像合成
方法。 - 【請求項１４】 第１ステップは、 第１画像と第２画像との重なり部を抽出するステップ、
および第１画像における第２画像との重なり部分から、
両画像間のオプティカルフローによる追跡に有効な複数
の部分画像を特徴点として抽出するステップ、 を備えていることを特徴とする請求項１３に記載の画像
合成方法。 - 【請求項１５】 第１画像と第２画像との重なり部を抽
出するステップでは、ＳＳＤ法および正規化相互相関法
のうちのいずれかに基づいて第１画像と第２画像との重
なり部が抽出される請求項１４に記載の画像合成方法。 - 【請求項１６】 第２ステップは、 階層構造化したLucas-Kanade法によるオプティカルフロ
ー推定法の各段階において得られるオプティカルフロー
のうち、信頼度の低いものを、その周囲の領域のオプテ
ィカルフローを用いて補完する、といったオプティカル
フロー推定方法に基づいて、第１画像と第２画像とから
オプティカルフローを求めるステップ、および第１画像
の各特徴点に対応する第２画像上の点を、得られたオプ
ティカルフローに基づいて追跡するステップ、からなる
請求項１３、１４および１５のいずれかに記載の画像合
成方法。 - 【請求項１７】 ３角パッチ毎に求められる変換式は平
面射影変換行列であり、平面射影変換行列は、３角パッ
チにおける３つの頂点の対応点と、第１画像と第２画像
との間のエピポーラ拘束条件を示す基礎行列とに基づい
て求められることを特徴とする請求項１３、１４、１５
および１６のいずれかに記載の画像合成方法。 - 【請求項１８】 ３角パッチ毎に求められる変換式は平
面射影変換行列であり、平面射影変換行列は、３角パッ
チにおける３つの頂点の対応点と、第１画像と第２画像
との間のエピポーラ拘束条件を示すエピポールの対応と
に基づいて求められることを特徴とする請求項１３、１
４、１５および１６のいずれかに記載の画像合成方法。 - 【請求項１９】 ３角パッチ毎に求められる変換式はア
フィン変換行列であり、アフィン変換行列は、３角パッ
チにおける３つの頂点の対応点に基づいて求められるこ
とを特徴とする請求項１３、１４、１５および１６のい
ずれかに記載の画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25617999A JP2000155831A (ja) | 1998-09-18 | 1999-09-09 | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-264223 | 1998-09-18 | ||
| JP26422398 | 1998-09-18 | ||
| JP25617999A JP2000155831A (ja) | 1998-09-18 | 1999-09-09 | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000155831A true JP2000155831A (ja) | 2000-06-06 |
Family
ID=26542610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25617999A Pending JP2000155831A (ja) | 1998-09-18 | 1999-09-09 | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000155831A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175521A (ja) * | 2000-09-12 | 2002-06-21 | Sony Corp | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 |
| WO2003032628A1 (en) * | 2001-10-08 | 2003-04-17 | Koninklijke Philips Electronics N.V. | Device and method for motion estimation |
| KR100413970B1 (ko) * | 2001-11-01 | 2004-01-13 | 한국전자통신연구원 | 영상 매칭을 위한 파라메터 변환 장치 및 그 방법 |
| KR100469623B1 (ko) * | 2002-05-22 | 2005-02-02 | (주)쎄트렉아이 | 에피폴라 기하모델의 획득방법 |
| KR100488685B1 (ko) * | 2002-08-22 | 2005-05-11 | 한국과학기술원 | 자동 영상등록 및 보정을 위한 영상 처리방법 |
| US7315643B2 (en) | 2002-03-12 | 2008-01-01 | Nec Corporation | Three-dimensional shape measurement technique |
| JP2008008907A (ja) * | 2007-08-20 | 2008-01-17 | Nec Corp | ３次元形状計測方法および装置ならびにプログラム |
| JP2010152819A (ja) * | 2008-12-26 | 2010-07-08 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| EP2247097A2 (en) | 2009-04-28 | 2010-11-03 | FUJIFILM Corporation | Image transforming apparatus and method of controlling operation of same |
| KR101124437B1 (ko) | 2011-12-26 | 2012-03-21 | 중앙항업(주) | Ｇｐｓ/ｉｎｓ 및 항공경사영상 자료를 활용한 다방향 항공경사영상의 모자이크영상 제작방법 |
| JP2016006674A (ja) * | 2015-08-19 | 2016-01-14 | 株式会社リコー | 画像処理装置、プログラム、画像処理方法および撮像システム |
| US9609212B2 (en) | 2013-08-28 | 2017-03-28 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and image system |
| KR102247288B1 (ko) * | 2019-11-29 | 2021-05-03 | 울산과학기술원 | 워핑 잔차에 기초하여 시차가 큰 이미지를 스티칭하는 방법 및 장치 |
-
1999
- 1999-09-09 JP JP25617999A patent/JP2000155831A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175521A (ja) * | 2000-09-12 | 2002-06-21 | Sony Corp | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 |
| JP4608152B2 (ja) * | 2000-09-12 | 2011-01-05 | ソニー株式会社 | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 |
| WO2003032628A1 (en) * | 2001-10-08 | 2003-04-17 | Koninklijke Philips Electronics N.V. | Device and method for motion estimation |
| KR100413970B1 (ko) * | 2001-11-01 | 2004-01-13 | 한국전자통신연구원 | 영상 매칭을 위한 파라메터 변환 장치 및 그 방법 |
| US7315643B2 (en) | 2002-03-12 | 2008-01-01 | Nec Corporation | Three-dimensional shape measurement technique |
| KR100469623B1 (ko) * | 2002-05-22 | 2005-02-02 | (주)쎄트렉아이 | 에피폴라 기하모델의 획득방법 |
| KR100488685B1 (ko) * | 2002-08-22 | 2005-05-11 | 한국과학기술원 | 자동 영상등록 및 보정을 위한 영상 처리방법 |
| JP2008008907A (ja) * | 2007-08-20 | 2008-01-17 | Nec Corp | ３次元形状計測方法および装置ならびにプログラム |
| JP2010152819A (ja) * | 2008-12-26 | 2010-07-08 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| EP2247097A2 (en) | 2009-04-28 | 2010-11-03 | FUJIFILM Corporation | Image transforming apparatus and method of controlling operation of same |
| US8279291B2 (en) | 2009-04-28 | 2012-10-02 | Fujifilm Corporation | Image transforming apparatus using plural feature points and method of controlling operation of same |
| KR101124437B1 (ko) | 2011-12-26 | 2012-03-21 | 중앙항업(주) | Ｇｐｓ/ｉｎｓ 및 항공경사영상 자료를 활용한 다방향 항공경사영상의 모자이크영상 제작방법 |
| US9609212B2 (en) | 2013-08-28 | 2017-03-28 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and image system |
| JP2016006674A (ja) * | 2015-08-19 | 2016-01-14 | 株式会社リコー | 画像処理装置、プログラム、画像処理方法および撮像システム |
| KR102247288B1 (ko) * | 2019-11-29 | 2021-05-03 | 울산과학기술원 | 워핑 잔차에 기초하여 시차가 큰 이미지를 스티칭하는 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Szeliski et al. | Creating full view panoramic image mosaics and environment maps | |
| US6788802B2 (en) | Optical flow estimation method and image synthesis method | |
| US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
| Newcombe et al. | Live dense reconstruction with a single moving camera | |
| Shum et al. | Systems and experiment paper: Construction of panoramic image mosaics with global and local alignment | |
| Shum et al. | Panoramic image mosaics | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
| JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US20020164067A1 (en) | Nearest neighbor edge selection from feature tracking | |
| WO2007133620A2 (en) | System and architecture for automatic image registration | |
| EP0842498A2 (en) | Method and system for image combination using a parallax-based technique | |
| US20030225513A1 (en) | Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context | |
| JP2000268179A (ja) | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
| Asai et al. | 3D modeling of outdoor environments by integrating omnidirectional range and color images | |
| JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Bartczak et al. | Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time | |
| JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| Lhuillier | Toward flexible 3d modeling using a catadioptric camera | |
| JP3548071B2 (ja) | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 | |
| JP2004046573A (ja) | チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2002094849A (ja) | 広視野画像撮像装置 |