JP2002170111A - 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 - Google Patents
画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体Info
- Publication number
- JP2002170111A JP2002170111A JP2000367376A JP2000367376A JP2002170111A JP 2002170111 A JP2002170111 A JP 2002170111A JP 2000367376 A JP2000367376 A JP 2000367376A JP 2000367376 A JP2000367376 A JP 2000367376A JP 2002170111 A JP2002170111 A JP 2002170111A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- straight line
- line segment
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 この発明は、画像に模様（テクスチャ）が少
なく、十分な点特徴の対応が得られない場合でも、精度
の高いパノラマ画像が得られる画像合成装置を提供する
ことを目的とする。 【構成】 重なり部分を有する２枚の画像を合成する画
像合成装置において、２枚の画像の重なり部分から、各
画像の直線セグメントを抽出する第１手段、両画像間で
の直線セグメントの対応づけを獲得する第２手段、獲得
された両画像間での直線セグメントの対応づけから、両
画像間の幾何変換パラメータを算出する第３手段、およ
び算出された幾何変換パラメータを用いて、両画像を合
成する第４手段を備えている。
なく、十分な点特徴の対応が得られない場合でも、精度
の高いパノラマ画像が得られる画像合成装置を提供する
ことを目的とする。 【構成】 重なり部分を有する２枚の画像を合成する画
像合成装置において、２枚の画像の重なり部分から、各
画像の直線セグメントを抽出する第１手段、両画像間で
の直線セグメントの対応づけを獲得する第２手段、獲得
された両画像間での直線セグメントの対応づけから、両
画像間の幾何変換パラメータを算出する第３手段、およ
び算出された幾何変換パラメータを用いて、両画像を合
成する第４手段を備えている。
Description
【０００１】
【発明の属する技術分野】この発明は、画像合成装置、
画像合成方法および画像合成プログラムを記録した記録
媒体に関する。
画像合成方法および画像合成プログラムを記録した記録
媒体に関する。
【０００２】
【従来の技術】〔１〕従来のオプティカルフローの算出
方法についての説明
方法についての説明
【０００３】２枚の画像からオプティカルフローを計算
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
【０００４】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【０００５】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【０００６】以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
【０００７】
【数１】
【０００８】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【０００９】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
【００１２】
【数３】
【００１３】ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微
分である。
分である。
【００１４】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。
微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】故にオプティカルフローｖは次式５で求め
られる。
られる。
【００１７】
【数５】
【００１８】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
ラフソン的な反復演算によって精度良く求めることがで
きる。
【００１９】
【数６】
【００２０】（２）階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
【００２１】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【００２２】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
【００２３】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【００２４】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【００２５】〔２〕本出願人が開発したオプティカルフ
ロー算出方法についての説明。
ロー算出方法についての説明。
【００２６】本出願人が開発したオプティカルフロー算
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
【００２７】本出願人が開発したオプティカルフロー推
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
【００２８】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
【００２９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【００３０】
【数７】
【００３１】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
【００３２】
【数８】
【００３３】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【００３４】図５にフローベクトルの膨張処理の様子を
示す。
示す。
【００３５】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【００３６】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【００３７】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
【００３８】
【数９】
【００３９】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【００４０】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【００４１】〔３〕従来のパノラマ画像の生成方法の説
明 広い視野の画像を獲得する方法には、魚眼レンズや鏡を
用いた全方位センサなどを用いる方法があるが、高価で
あり、解像度が低いという問題がある。
明 広い視野の画像を獲得する方法には、魚眼レンズや鏡を
用いた全方位センサなどを用いる方法があるが、高価で
あり、解像度が低いという問題がある。
【００４２】一方、通常のカメラで撮像した複数の画像
を貼りあわせてパノラマ画像を合成する手法が提案され
ている。この種の画像合成方法として、本特許出願人が
開発した方法が知られている（特開平１１−３３９０２
１号公報参照）。本特許出願人が既に開発している画像
合成方法では、画像の特徴的な小方形画像（点特徴）を
抽出し、これらの特徴点を２枚の画像間で対応づけ、そ
れらの対応関係から二枚の画像間の幾何変換パラメータ
を算出することによって、パノラマ画像を合成する。
を貼りあわせてパノラマ画像を合成する手法が提案され
ている。この種の画像合成方法として、本特許出願人が
開発した方法が知られている（特開平１１−３３９０２
１号公報参照）。本特許出願人が既に開発している画像
合成方法では、画像の特徴的な小方形画像（点特徴）を
抽出し、これらの特徴点を２枚の画像間で対応づけ、そ
れらの対応関係から二枚の画像間の幾何変換パラメータ
を算出することによって、パノラマ画像を合成する。
【００４３】しかしながら、上記従来方法では、建物の
単色の壁など、点特徴が十分に得られない場合には、精
度高く幾何変換パラメータを算出することが困難である
という問題がある。
単色の壁など、点特徴が十分に得られない場合には、精
度高く幾何変換パラメータを算出することが困難である
という問題がある。
【００４４】
【発明が解決しようとする課題】この発明は、画像に模
様（テクスチャ）が少なく、十分な点特徴の対応が得ら
れない場合でも、精度の高いパノラマ画像が得られる画
像合成装置、画像合成方法、画像合成プログラムを記録
した記録媒体を提供することを目的とする。
様（テクスチャ）が少なく、十分な点特徴の対応が得ら
れない場合でも、精度の高いパノラマ画像が得られる画
像合成装置、画像合成方法、画像合成プログラムを記録
した記録媒体を提供することを目的とする。
【００４５】
【課題を解決するための手段】この発明による画像合成
装置は、重なり部分を有する２枚の画像を合成する画像
合成装置において、２枚の画像の重なり部分から、各画
像の直線セグメントを抽出する第１手段、両画像間での
直線セグメントの対応づけを獲得する第２手段、獲得さ
れた両画像間での直線セグメントの対応づけから、両画
像間の幾何変換パラメータを算出する第３手段、および
算出された幾何変換パラメータを用いて、両画像を合成
する第４手段を備えていることを特徴とする。
装置は、重なり部分を有する２枚の画像を合成する画像
合成装置において、２枚の画像の重なり部分から、各画
像の直線セグメントを抽出する第１手段、両画像間での
直線セグメントの対応づけを獲得する第２手段、獲得さ
れた両画像間での直線セグメントの対応づけから、両画
像間の幾何変換パラメータを算出する第３手段、および
算出された幾何変換パラメータを用いて、両画像を合成
する第４手段を備えていることを特徴とする。
【００４６】第２手段としては、たとえば、両画像間の
オプティカルフローを推定する手段、得られたオプティ
カルフロー推定結果を用いて、一方の第１画像のある直
線セグメントの端点の座標から他方の第２画像での座標
を予測する手段、および予測された第２画像での端点の
座標値と最もマッチング度が高い第２画像の直線セグメ
ントを探索する手段を備えているものが用いられる。
オプティカルフローを推定する手段、得られたオプティ
カルフロー推定結果を用いて、一方の第１画像のある直
線セグメントの端点の座標から他方の第２画像での座標
を予測する手段、および予測された第２画像での端点の
座標値と最もマッチング度が高い第２画像の直線セグメ
ントを探索する手段を備えているものが用いられる。
【００４７】この発明による画像合成方法は、重なり部
分を有する２枚の画像を合成する画像合成方法におい
て、２枚の画像の重なり部分から、各画像の直線セグメ
ントを抽出する第１ステップ、両画像間での直線セグメ
ントの対応づけを獲得する第２ステップ、獲得された両
画像間での直線セグメントの対応づけから、両画像間の
幾何変換パラメータを算出する第３ステップ、および算
出された幾何変換パラメータを用いて、両画像を合成す
る第４ステップを備えていることを特徴とする。
分を有する２枚の画像を合成する画像合成方法におい
て、２枚の画像の重なり部分から、各画像の直線セグメ
ントを抽出する第１ステップ、両画像間での直線セグメ
ントの対応づけを獲得する第２ステップ、獲得された両
画像間での直線セグメントの対応づけから、両画像間の
幾何変換パラメータを算出する第３ステップ、および算
出された幾何変換パラメータを用いて、両画像を合成す
る第４ステップを備えていることを特徴とする。
【００４８】第２ステップは、たとえば、両画像間のオ
プティカルフローを推定するステップ、得られたオプテ
ィカルフロー推定結果を用いて、一方の第１画像のある
直線セグメントの端点の座標から他方の第２画像での座
標を予測するステップ、および予測された第２画像での
端点の座標値と最もマッチング度が高い第２画像の直線
セグメントを探索するステップを備えている。
プティカルフローを推定するステップ、得られたオプテ
ィカルフロー推定結果を用いて、一方の第１画像のある
直線セグメントの端点の座標から他方の第２画像での座
標を予測するステップ、および予測された第２画像での
端点の座標値と最もマッチング度が高い第２画像の直線
セグメントを探索するステップを備えている。
【００４９】この発明による画像合成処理プログラムを
記録したコンピュータ読み取り可能な記録媒体は、２枚
の画像の重なり部分から、各画像の直線セグメントを抽
出する第１ステップ、両画像間での直線セグメントの対
応づけを獲得する第２ステップ、獲得された両画像間で
の直線セグメントの対応づけから、両画像間の幾何変換
パラメータを算出する第３ステップ、および算出された
幾何変換パラメータを用いて、両画像を合成する第４ス
テップをコンピュータに実行させめるための画像合成処
理プログラムを記録していることを特徴とする。
記録したコンピュータ読み取り可能な記録媒体は、２枚
の画像の重なり部分から、各画像の直線セグメントを抽
出する第１ステップ、両画像間での直線セグメントの対
応づけを獲得する第２ステップ、獲得された両画像間で
の直線セグメントの対応づけから、両画像間の幾何変換
パラメータを算出する第３ステップ、および算出された
幾何変換パラメータを用いて、両画像を合成する第４ス
テップをコンピュータに実行させめるための画像合成処
理プログラムを記録していることを特徴とする。
【００５０】第２ステップは、たとえば、両画像間のオ
プティカルフローを推定するステップ、得られたオプテ
ィカルフロー推定結果を用いて、一方の第１画像のある
直線セグメントの端点の座標から他方の第２画像での座
標を予測するステップ、および予測された第２画像での
端点の座標値と最もマッチング度が高い第２画像の直線
セグメントを探索するステップを備えている。
プティカルフローを推定するステップ、得られたオプテ
ィカルフロー推定結果を用いて、一方の第１画像のある
直線セグメントの端点の座標から他方の第２画像での座
標を予測するステップ、および予測された第２画像での
端点の座標値と最もマッチング度が高い第２画像の直線
セグメントを探索するステップを備えている。
【００５１】
【発明の実施の形態】以下、この発明の実施の形態につ
いて説明する。
いて説明する。
【００５２】〔２〕パノラマ画像合成装置の説明
【００５３】図７は、パノラマ画像合成装置の構成を示
している。
している。
【００５４】パノラマ画像合成装置は、パーソナルコン
ピュータによって実現される。パーソナルコンピュータ
１０には、ディスプレイ２１、マウス２２およびキーボ
ード２３が接続されている。パーソナルコンピュータ１
０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、
ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ
（ディスクドライブ）１４を備えている。
ピュータによって実現される。パーソナルコンピュータ
１０には、ディスプレイ２１、マウス２２およびキーボ
ード２３が接続されている。パーソナルコンピュータ１
０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、
ＣＤ−ＲＯＭのようなリムーバブルディスクのドライブ
（ディスクドライブ）１４を備えている。
【００５５】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、パノラマ画像合成処理プロ
グラムが格納されている。パノラマ画像合成処理プログ
ラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、
ハードディスク１３にインストールされる。また、ハー
ドディスク１３には、デジタルカメラによって撮像され
た複数の画像が予め格納されているものとする。
ティングシステム）等の他、パノラマ画像合成処理プロ
グラムが格納されている。パノラマ画像合成処理プログ
ラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、
ハードディスク１３にインストールされる。また、ハー
ドディスク１３には、デジタルカメラによって撮像され
た複数の画像が予め格納されているものとする。
【００５６】〔２〕パノラマ画像合成プログラムが起動
せしめられた場合にＣＰＵ１１によって行われるパノラ
マ画像合成処理の説明
せしめられた場合にＣＰＵ１１によって行われるパノラ
マ画像合成処理の説明
【００５７】図８は、ＣＰＵ１１によって行われるパノ
ラマ画像合成処理手順を示している。
ラマ画像合成処理手順を示している。
【００５８】ここでは、説明の便宜上の２枚の画像を合
成して、パノラマ画像を生成する場合について説明す
る。
成して、パノラマ画像を生成する場合について説明す
る。
【００５９】まず、合成されるべき２枚の画像をメモリ
１２に読み込む（ステップ１）。説明の便宜上、ここで
は、重なり部を有する２枚の画像（第１画像Ａ１及び第
２画像Ａ２）がメモリ１２に読み込まれたとする。
１２に読み込む（ステップ１）。説明の便宜上、ここで
は、重なり部を有する２枚の画像（第１画像Ａ１及び第
２画像Ａ２）がメモリ１２に読み込まれたとする。
【００６０】第１画像Ａ１と第２画像Ａ２との重なり部
の抽出処理が行われる（ステップ２）。この重なり部の
抽出処理は、たとえば、以下に述べるＳＳＤ法（Sum of
Squared Difference)または正規化相互相関法に基づい
て行われる。なお、入力画像がビデオ映像のように、フ
レーム間の差異が小さい場合には、このステップを省略
することができる。
の抽出処理が行われる（ステップ２）。この重なり部の
抽出処理は、たとえば、以下に述べるＳＳＤ法（Sum of
Squared Difference)または正規化相互相関法に基づい
て行われる。なお、入力画像がビデオ映像のように、フ
レーム間の差異が小さい場合には、このステップを省略
することができる。
【００６１】（ａ）ＳＳＤ法の説明 ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像
Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１０に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像
Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１０に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。
【００６２】
【数１０】
【００６３】（ｂ）正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき２
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度
画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１１に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度
画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１１に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。
【００６４】
【数１１】
【００６５】式１１において、Ｉ1 ￣、Ｉ2 ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【００６６】次に、線特徴抽出処理が行われる（ステッ
プ３）。つまり、第１画像Ａ１における第２画像Ａ２と
の重なり部分から、各画像Ａ１、Ａ２の線特徴を抽出す
る。
プ３）。つまり、第１画像Ａ１における第２画像Ａ２と
の重なり部分から、各画像Ａ１、Ａ２の線特徴を抽出す
る。
【００６７】これには、一般的な方法を用いる。例え
ば、Canny のエッジ抽出処理(J. F. Canny "Finding ed
ges and lines in images," MIT Technical Report, AI
-TR-720, 1983)によってエッジを抽出した後、得られた
エッジ画素列を直線毎に分割する。各直線毎に分割され
たエッジ画素を用いて、直線の方程式をあてはめる。こ
こで、各直線セグメントが持つ属性は、直線の方程式、
端点の座標に加えて、直線のどちらかが明るいかの情
報、すなわち、エッジの変化の方向を使う。
ば、Canny のエッジ抽出処理(J. F. Canny "Finding ed
ges and lines in images," MIT Technical Report, AI
-TR-720, 1983)によってエッジを抽出した後、得られた
エッジ画素列を直線毎に分割する。各直線毎に分割され
たエッジ画素を用いて、直線の方程式をあてはめる。こ
こで、各直線セグメントが持つ属性は、直線の方程式、
端点の座標に加えて、直線のどちらかが明るいかの情
報、すなわち、エッジの変化の方向を使う。
【００６８】次に、線特徴対応づけ処理が行われる（ス
テップ４）。各画像Ａ１、Ａ２で抽出された直線セグメ
ントを画像Ａ１、Ａ２間で対応づける。
テップ４）。各画像Ａ１、Ａ２で抽出された直線セグメ
ントを画像Ａ１、Ａ２間で対応づける。
【００６９】ここでは、文献（千葉直樹、金出 武雄、
「途切れや近接配置にロバストな線特徴追跡」、電子情
報通信学会論文誌 Vol J81-D-II No.8, 1998）に記載さ
れた方法によって、各画像Ａ１、Ａ２で抽出された直線
セグメントを画像Ａ１、Ａ２間で対応づける。線特徴対
応づけ処理は、次の３ステップからなる。
「途切れや近接配置にロバストな線特徴追跡」、電子情
報通信学会論文誌 Vol J81-D-II No.8, 1998）に記載さ
れた方法によって、各画像Ａ１、Ａ２で抽出された直線
セグメントを画像Ａ１、Ａ２間で対応づける。線特徴対
応づけ処理は、次の３ステップからなる。
【００７０】（１）第１のステップ 第１のステップは、画像間のオプティカルフローを推定
するステップである。このステップでは、本出願人が開
発したオプティカルフロー推定方法（従来技術の説明の
欄の〔２〕参照）に基づいてパッチ毎にオプティカルフ
ローを推定する。この際、信頼度に基づいて信頼度がし
きい値よりも低いパッチの結果を捨て、まわりの信頼度
の高いパッチの結果を用いて膨張処理により補完する。
また、これらの処理は、解像度を変えて作成したピラミ
ッド画像を用いて粗密解析的に行われる。
するステップである。このステップでは、本出願人が開
発したオプティカルフロー推定方法（従来技術の説明の
欄の〔２〕参照）に基づいてパッチ毎にオプティカルフ
ローを推定する。この際、信頼度に基づいて信頼度がし
きい値よりも低いパッチの結果を捨て、まわりの信頼度
の高いパッチの結果を用いて膨張処理により補完する。
また、これらの処理は、解像度を変えて作成したピラミ
ッド画像を用いて粗密解析的に行われる。
【００７１】（２）第２のステップ 第２のステップは、得られたオプティカルフロー推定結
果を用いて、第１画像Ａ１のある直線セグメントの端点
の座標から第２画像での座標を算出するステップであ
る。端点の座標に対するフローベクトルを近傍のパッチ
のオプティカルフロー推定結果を用いて双線形補間によ
り画素以下の単位で算出する。
果を用いて、第１画像Ａ１のある直線セグメントの端点
の座標から第２画像での座標を算出するステップであ
る。端点の座標に対するフローベクトルを近傍のパッチ
のオプティカルフロー推定結果を用いて双線形補間によ
り画素以下の単位で算出する。
【００７２】（３）第３のステップ 第３のステップでは、予測された第２画像での座標値と
最もマッチする第２画像の直線セグメントを探索するス
テップである。
最もマッチする第２画像の直線セグメントを探索するス
テップである。
【００７３】ここで、第３のステップでは、次に示す類
似度に基づいて探索を行う。ここで、図９に示すように
画像間のオプティカルフロー推定を用いて計算された、
第１画像のある直線セグメントの第２画像での直線セグ
メントの位置をＬi とし、第２画像の直線セグメントの
中で着目している直線セグメントをＬj とする。そし
て、これら両直線セグメントＬｉ，Ｌｊ間の距離Ｄと重
なり率Ｐを定義する。この時、２直線セグメント間の方
程式から計算される中線を利用する。まず、距離Ｄは、
各直線セグメントから中線までの距離の和とし、次式１
２で示される。
似度に基づいて探索を行う。ここで、図９に示すように
画像間のオプティカルフロー推定を用いて計算された、
第１画像のある直線セグメントの第２画像での直線セグ
メントの位置をＬi とし、第２画像の直線セグメントの
中で着目している直線セグメントをＬj とする。そし
て、これら両直線セグメントＬｉ，Ｌｊ間の距離Ｄと重
なり率Ｐを定義する。この時、２直線セグメント間の方
程式から計算される中線を利用する。まず、距離Ｄは、
各直線セグメントから中線までの距離の和とし、次式１
２で示される。
【００７４】
【数１２】
【００７５】また、重なり率Ｐは、各直線セグメントを
中線に投影し、それらの投影された両直線セグメントが
共通して存在する長さＰｃと、どちらか一方の直線が存
在する長さＰｗから次式１３で示される。
中線に投影し、それらの投影された両直線セグメントが
共通して存在する長さＰｃと、どちらか一方の直線が存
在する長さＰｗから次式１３で示される。
【００７６】
【数１３】
【００７７】そして、これらの距離Ｄと重なり率Ｐか
ら、類似度Ｓは次式１４で示される。
ら、類似度Ｓは次式１４で示される。
【００７８】
【数１４】
【００７９】ただし、ｋd およびｋp は、定数であり、
実験的に定める。
実験的に定める。
【００８０】この類似度Ｓを用いて、最も類似度の高い
直線セグメントを、最もマッチしたものとして選択す
る。
直線セグメントを、最もマッチしたものとして選択す
る。
【００８１】次に、幾何変換パラメータが算出される
（ステップ５）。
（ステップ５）。
【００８２】上記ステップ４で獲得された直線セグメン
トの対応から、画像間の幾何変換パラメータを算出す
る。ここでは、幾何変換モデルとして平面射影変換を例
に説明する。まず、直線セグメントの属性から直線セグ
メントを同次座標で表現する（O. Faugeras, "Three-Di
mensional Computer Vision : A Geometric Viewpoin
t," MIT Press,1993 参照）。
トの対応から、画像間の幾何変換パラメータを算出す
る。ここでは、幾何変換モデルとして平面射影変換を例
に説明する。まず、直線セグメントの属性から直線セグ
メントを同次座標で表現する（O. Faugeras, "Three-Di
mensional Computer Vision : A Geometric Viewpoin
t," MIT Press,1993 参照）。
【００８３】ここで、同次座標で表現された第１画像の
直線セグメントl1と、対応する第２画像の直線セグメン
トl2の間には、幾何変換ＨL を用いて、次式１５で表さ
れる関係が成り立つ。
直線セグメントl1と、対応する第２画像の直線セグメン
トl2の間には、幾何変換ＨL を用いて、次式１５で表さ
れる関係が成り立つ。
【００８４】
【数１５】
【００８５】ここで、行列ＨL は、４組以上の直線セグ
メントの対応を用いて算出できる。また、２画像間の座
標の幾何変換行列ＨP は、このＨL から次式１６で算出
できる（O. Faugeras, "Three-Dimensional Computer V
ision : A Geometric Viewpoint," MIT Press,1993 参
照）。
メントの対応を用いて算出できる。また、２画像間の座
標の幾何変換行列ＨP は、このＨL から次式１６で算出
できる（O. Faugeras, "Three-Dimensional Computer V
ision : A Geometric Viewpoint," MIT Press,1993 参
照）。
【００８６】
【数１６】
【００８７】ここで、t は行列の転置、Ａ-1は行列Ａの
逆行列を示す。
逆行列を示す。
【００８８】次に、画像合成処理が行なわれる（ステッ
プ６）。
プ６）。
【００８９】第１画像Ａ１および第２画像Ａ２と、ステ
ップ５で算出された幾何変換行列Ｈ P とに基づいて、第
１画像Ａ１と第２画像Ａ２とが合成される。
ップ５で算出された幾何変換行列Ｈ P とに基づいて、第
１画像Ａ１と第２画像Ａ２とが合成される。
【００９０】
【発明の効果】この発明によれば、画像に模様（テクス
チャ）が少なく、十分な点特徴の対応が得られない場合
でも、精度の高いパノラマ画像が得られるようになる。
チャ）が少なく、十分な点特徴の対応が得られない場合
でも、精度の高いパノラマ画像が得られるようになる。
【図１】図１は、階層的推定法を説明するための図であ
って、階層１の画像を示す模式図である。
って、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であ
って、階層２の画像を示す模式図である。
って、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であ
って、階層３の画像を示す模式図である。
って、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であ
って、階層４の画像を示す模式図である。
って、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。
ー推定方法において行われる膨張処理を説明するための
模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
【図７】図７は、パノラマ画像合成装置の構成を示すブ
ロック図である。
ロック図である。
【図８】図８は、パノラマ画像合成処理手順を示すフロ
ーチャートである。
ーチャートである。
【図９】線特徴対応づけ処理を説明するための模式図で
ある。
ある。
１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ リムーバブルディスクのドライブ ２１ ディスプレイ ２２ マウス ２３ キーボード
Claims (6)
- 【請求項１】 重なり部分を有する２枚の画像を合成す
る画像合成装置において、 ２枚の画像の重なり部分から、各画像の直線セグメント
を抽出する第１手段、 両画像間での直線セグメントの対応づけを獲得する第２
手段、 獲得された両画像間での直線セグメントの対応づけか
ら、両画像間の幾何変換パラメータを算出する第３手
段、および算出された幾何変換パラメータを用いて、両
画像を合成する第４手段、 を備えていることを特徴とする画像合成装置。 - 【請求項２】 第２手段は、 両画像間のオプティカルフローを推定する手段、 得られたオプティカルフロー推定結果を用いて、一方の
第１画像のある直線セグメントの端点の座標から他方の
第２画像での座標を予測する手段、および予測された第
２画像での端点の座標値と最もマッチング度が高い第２
画像の直線セグメントを探索する手段、 を備えている請求項１に記載の画像合成装置。 - 【請求項３】 重なり部分を有する２枚の画像を合成す
る画像合成方法において、 ２枚の画像の重なり部分から、各画像の直線セグメント
を抽出する第１ステップ、 両画像間での直線セグメントの対応づけを獲得する第２
ステップ、 獲得された両画像間での直線セグメントの対応づけか
ら、両画像間の幾何変換パラメータを算出する第３ステ
ップ、および算出された幾何変換パラメータを用いて、
両画像を合成する第４ステップ、 を備えていることを特徴とする画像合成方法。 - 【請求項４】 第２ステップは、 両画像間のオプティカルフローを推定するステップ、 得られたオプティカルフロー推定結果を用いて、一方の
第１画像のある直線セグメントの端点の座標から他方の
第２画像での座標を予測するステップ、および予測され
た第２画像での端点の座標値と最もマッチング度が高い
第２画像の直線セグメントを探索するステップ、 を備えている請求項３に記載の画像合成方法。 - 【請求項５】 重なり部分を有する２枚の画像を合成す
る画像合成処理プログラムを記録したコンピュータ読み
取り可能な記録媒体であって、 ２枚の画像の重なり部分から、各画像の直線セグメント
を抽出する第１ステップ、 両画像間での直線セグメントの対応づけを獲得する第２
ステップ、 獲得された両画像間での直線セグメントの対応づけか
ら、両画像間の幾何変換パラメータを算出する第３ステ
ップ、および算出された幾何変換パラメータを用いて、
両画像を合成する第４ステップ、 をコンピュータに実行させめるための画像合成処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項６】 第２ステップは、 両画像間のオプティカルフローを推定するステップ、 得られたオプティカルフロー推定結果を用いて、一方の
第１画像のある直線セグメントの端点の座標から他方の
第２画像での座標を予測するステップ、および予測され
た第２画像での端点の座標値と最もマッチング度が高い
第２画像の直線セグメントを探索するステップ、 を備えている請求項５に記載の画像合成処理プログラム
を記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000367376A JP2002170111A (ja) | 2000-12-01 | 2000-12-01 | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000367376A JP2002170111A (ja) | 2000-12-01 | 2000-12-01 | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002170111A true JP2002170111A (ja) | 2002-06-14 |
Family
ID=18837811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000367376A Withdrawn JP2002170111A (ja) | 2000-12-01 | 2000-12-01 | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002170111A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072455A (ja) * | 2004-08-31 | 2006-03-16 | Sanyo Electric Co Ltd | 立体画像を構成する複数の視点画像の視点位置識別装置 |
| US7313265B2 (en) | 2003-03-13 | 2007-12-25 | Kabushiki Kaisha Toshiba | Stereo calibration apparatus and stereo image monitoring apparatus using the same |
| US7324135B2 (en) | 2002-10-15 | 2008-01-29 | Seiko Epson Corporation | Panoramic composition of multiple image data |
| JP2009116730A (ja) * | 2007-11-08 | 2009-05-28 | Handotai Rikougaku Kenkyu Center:Kk | 画像処理装置及び方法 |
| US8665467B2 (en) | 2008-10-17 | 2014-03-04 | Canon Kabushiki Kaisha | Image processing apparatus and method extracting still images from a moving image, system having such apparatus, printing apparatus used in such system, and computer-readable medium storing a program executed by a computer that extracts still images from a moving image |
-
2000
- 2000-12-01 JP JP2000367376A patent/JP2002170111A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7324135B2 (en) | 2002-10-15 | 2008-01-29 | Seiko Epson Corporation | Panoramic composition of multiple image data |
| US7313265B2 (en) | 2003-03-13 | 2007-12-25 | Kabushiki Kaisha Toshiba | Stereo calibration apparatus and stereo image monitoring apparatus using the same |
| JP2006072455A (ja) * | 2004-08-31 | 2006-03-16 | Sanyo Electric Co Ltd | 立体画像を構成する複数の視点画像の視点位置識別装置 |
| JP2009116730A (ja) * | 2007-11-08 | 2009-05-28 | Handotai Rikougaku Kenkyu Center:Kk | 画像処理装置及び方法 |
| JP4662969B2 (ja) * | 2007-11-08 | 2011-03-30 | 株式会社半導体理工学研究センター | 画像処理装置及び方法 |
| US8665467B2 (en) | 2008-10-17 | 2014-03-04 | Canon Kabushiki Kaisha | Image processing apparatus and method extracting still images from a moving image, system having such apparatus, printing apparatus used in such system, and computer-readable medium storing a program executed by a computer that extracts still images from a moving image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242873B (zh) | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 | |
| US6456731B1 (en) | Optical flow estimation method and image synthesis method | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| US7352386B1 (en) | Method and apparatus for recovering a three-dimensional scene from two-dimensional images | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| US6970591B1 (en) | Image processing apparatus | |
| US8824801B2 (en) | Video processing | |
| US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
| KR20150119395A (ko) | 움직임 추정 방법 및 장치 | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Ke et al. | A robust subspace approach to layer extraction | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP2002056392A (ja) | 物体領域情報記述方法、物体領域情報生成装置、及び物体領域情報記述プログラム | |
| Gallego et al. | Joint multi-view foreground segmentation and 3d reconstruction with tolerance loop | |
| Gérard et al. | Three dimensional model-based tracking using texture learning and matching | |
| JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 | |
| JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP3548071B2 (ja) | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 | |
| JP2002520969A (ja) | 動き画像からの自動化された３次元シーン走査方法 | |
| JP2002094849A (ja) | 広視野画像撮像装置 | |
| Favorskaya et al. | Warping techniques in video stabilization | |
| Fan et al. | Collaborative three-dimensional completion of color and depth in a specified area with superpixels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20050704 |