JP2001167249A - 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 - Google Patents

画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体

Info

Publication number
JP2001167249A
JP2001167249A JP34645299A JP34645299A JP2001167249A JP 2001167249 A JP2001167249 A JP 2001167249A JP 34645299 A JP34645299 A JP 34645299A JP 34645299 A JP34645299 A JP 34645299A JP 2001167249 A JP2001167249 A JP 2001167249A
Authority
JP
Japan
Prior art keywords
image
images
points
coordinate values
triangular patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP34645299A
Other languages
English (en)
Other versions
JP3540696B2 (ja
Inventor
Naoki Chiba
直樹 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP34645299A priority Critical patent/JP3540696B2/ja
Publication of JP2001167249A publication Critical patent/JP2001167249A/ja
Application granted granted Critical
Publication of JP3540696B2 publication Critical patent/JP3540696B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 この発明の目的は、奥行きの深いシーンを合
成する際においても、精度の高い位置合わせが行える画
像合成方法を提供することにある。 【解決手段】 第１画像、第２画像および第３画像の重
なり合う部分内において、複数の特徴点に対する３画像
間の対応点の座標値を求めるとともに、第２画像と第３
画像とが重なり合う部分内において、複数の特徴点に対
する２画像間の対応点の座標値を求める第１ステップ、
第１ステップで求められた複数組の３画像間の対応点の
座標値に基づいて、３画像間の関係を示すtrifocalテン
ソルを算出する第２ステップ、第１ステップで求められ
た複数組の２画像間の対応点の座標値と、第２ステップ
で求められたtrifocalテンソルとに基づいて、上記２画
像間の各対応点に対応する第１画像での座標値を求める
第３ステップを備えている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、画像合成方法、
画像合成装置、画像合成プログラムを記録した記録媒体
に関する。
【０００２】
【従来の技術】２枚の画像からオプティカルフローを計
算し、得られたオプティカルフローに基づいて、２枚の
画像間での位置合わせを行う技術が知られている。従来
のオプテカルフローの算出方法について説明する。
【０００３】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【０００４】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【０００５】以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
【０００６】
【数１】
【０００７】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【０００８】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
【０００９】
【数２】
【００１０】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
【００１１】
【数３】
【００１２】ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微
分である。
【００１３】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。
【００１４】
【数４】
【００１５】故にオプティカルフローｖは次式５で求め
られる。
【００１６】
【数５】
【００１７】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
【００１８】
【数６】
【００１９】（２）階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
【００２０】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【００２１】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
【００２２】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【００２３】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【００２４】ところで、複数の画像を貼り合わせて、視
野が広く解像度の高い画像を継目なく合成する技術（イ
メージモザイキング）が従来から活発に研究されてい
る。古典的な応用には、航空写真、衛星写真の合成があ
る。最近では、複数枚のデジタル画像から継目のないパ
ノラマ画像を合成し、臨場感の高い仮想現実環境を構築
する手法が注目されている。
【００２５】パノラマ画像を合成する技術としては、次
の２つの方法が知られている。第１の方法は、まず、カ
メラを並進移動させて複数枚の画像を予め撮像してお
く。得られた複数枚の画像をパーソナルコンピュータに
よって同時にモニタに表示させる。２つの画像間におい
て対応点をユーザが指定することにより、２つの画像が
合成される。
【００２６】第１の方法では、カメラの運動が並進運動
に限定される。また、第１の方法では、ユーザが対応点
を指定する必要がある。
【００２７】第２の方法は、カメラを三脚に固定し、カ
メラの動きを水平面での回転だけに制限して、複数枚の
画像を撮像する。得られた複数枚の画像を円筒面に投影
して、合成する（USP 5,396,583 参照) 。
【００２８】第２の方法では、カメラの動きを水平面で
の回転だけに制限する必要がある。また、カメラの焦点
距離または画角を測定する必要がある。
【００２９】
【発明が解決しようとする課題】この発明の目的は、奥
行きの深いシーンを合成する際においても、精度の高い
位置合わせが行える画像合成方法、画像合成装置、画像
合成プログラムを記録した記録媒体を提供することにあ
る。
【００３０】この発明の他の目的は、複数の画像から継
目のないパノラマ画像を得ることができ、しかも複数の
画像を撮像するためのカメラに自由な運動を許容し、焦
点距離の測定が不要な画像合成方法、画像合成装置、画
像合成プログラムを記録した記録媒体を提供することに
ある。
【００３１】
【課題を解決するための手段】この発明による画像合成
方法は、第１画像、第１画像と重なり合う部分を有する
第２画像、ならびに第１画像および第２画像の両方に重
なり合う部分を有する第３画像を用いて、第２画像と第
３画像とが重なり合う部分を、第１画像に合成する画像
合成方法であって、第１画像、第２画像および第３画像
の重なり合う部分内において、複数の特徴点に対する３
画像間の対応点の座標値を求めるとともに、第２画像と
第３画像とが重なり合う部分内において、複数の特徴点
に対する２画像間の対応点の座標値を求める第１ステッ
プ、第１ステップで求められた複数組の３画像間の対応
点の座標値に基づいて、３画像間の関係を示すtrifocal
テンソルを算出する第２ステップ、第１ステップで求め
られた複数組の２画像間の対応点の座標値と、第２ステ
ップで求められたtrifocalテンソルとに基づいて、上記
２画像間の各対応点に対応する第１画像での座標値を求
める第３ステップ、ならびに上記２画像間の各対応点に
対応する第１画像での座標値に基づいて、第２画像と第
３画像とが重なり合う部分を、第１画像に合成する第４
ステップを備えていることを特徴とする。
【００３２】第１ステップは、たとえば、第１画像と第
２画像との重なり部を抽出するステップ、第２画像と第
３画像との重なり部を抽出するステップ、第２画像にお
ける第１画像との重なり部分から、両画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を第１特
徴点として抽出するステップ、第２画像における第３画
像との重なり部分から、両画像間のオプティカルフロー
による追跡に有効な複数の部分画像を第２特徴点として
抽出するステップ、第２画像上の各第１特徴点に対応す
る第１画像上の点を、両画像間のオプティカルフローに
基づいて追跡することにより、第２画像上の各第１特徴
点に対応する第１画像上の点の座標値を求めるステッ
プ、第２画像上の各第２特徴点に対応する第３画像上の
点を、両画像間のオプティカルフローに基づいて追跡す
ることにより、第２画像上の各第２特徴点に対応する第
３画像上の点の座標値を求めるステップ、ならびに第２
画像上の各第１特徴点に対応する第１画像上の点の座標
値と、第２画像上の各第２特徴点に対応する第３画像上
の点の座標値とに基づいて、上記複数組の３画像間の対
応点の座標値を求めるとともに、上記複数組の２画像間
の対応点の座標値を求めるステップを備えている。
【００３３】第４ステップは、たとえば、第２画像内の
第３画像と重なり合う部分および第３画像内の第２画像
と重なり合う部分のうちから任意に選択された一方の部
分の画像を第４画像とすると、第４画像を隣接する３つ
の特徴点を頂点とする３角パッチ毎に分割し、各３角パ
ッチ毎に第４画像上の点に対応する第１画像上の位置を
求めるための変換式を求めるステップ、第４画像におけ
る各３角パッチ内の各画素に対応する第１画像上の座標
値を、当該３角パッチに対して算出された変換式を用い
て求めるステップ、ならびに第４画像の各画素に対応す
る第１画像上の座標値を用いて、第４画像を第１画像に
合成するステップを備えている。
【００３４】３角パッチ毎に求められる変換式として
は、たとえば、平面射影変換行列が用いられる。平面射
影変換行列は、たとえば、３角パッチにおける３つの頂
点の対応点と、第１画像と第４画像との間のエピポーラ
拘束条件を示す基礎行列とに基づいて求められる。平面
射影変換行列を、３角パッチにおける３つの頂点の対応
点と、第１画像と第４画像との間のエピポーラ拘束条件
を示すエピポールの対応とに基づいて求めてもよい。
【００３５】３角パッチ毎に求められる変換式として、
アフィン変換行列を用いてもよい。アフィン変換行列
は、３角パッチにおける３つの頂点の対応点に基づいて
求められる。
【００３６】この発明による画像合成装置は、第１画
像、第１画像と重なり合う部分を有する第２画像、なら
びに第１画像および第２画像の両方に重なり合う部分を
有する第３画像を用いて、第２画像と第３画像とが重な
り合う部分を、第１画像に合成する画像合成装置であっ
て、第１画像、第２画像および第３画像の重なり合う部
分内において、複数の特徴点に対する３画像間の対応点
の座標値を求めるとともに、第２画像と第３画像とが重
なり合う部分内において、複数の特徴点に対する２画像
間の対応点の座標値を求める第１手段、第１手段で求め
られた複数組の３画像間の対応点の座標値に基づいて、
３画像間の関係を示すtrifocalテンソルを算出する第２
手段、第１手段で求められた複数組の２画像間の対応点
の座標値と、第２手段で求められたtrifocalテンソルと
に基づいて、上記２画像間の各対応点に対応する第１画
像での座標値を求める第３手段、ならびに上記２画像間
の各対応点に対応する第１画像での座標値に基づいて、
第２画像と第３画像とが重なり合う部分を、第１画像に
合成する第４手段を備えていることを特徴とする。
【００３７】第１手段としては、たとえば、第１画像と
第２画像との重なり部を抽出する手段、第２画像と第３
画像との重なり部を抽出する手段、第２画像における第
１画像との重なり部分から、両画像間のオプティカルフ
ローによる追跡に有効な複数の部分画像を第１特徴点と
して抽出する手段、第２画像における第３画像との重な
り部分から、両画像間のオプティカルフローによる追跡
に有効な複数の部分画像を第２特徴点として抽出する手
段、第２画像上の各第１特徴点に対応する第１画像上の
点を、両画像間のオプティカルフローに基づいて追跡す
ることにより、第２画像上の各第１特徴点に対応する第
１画像上の点の座標値を求める手段、第２画像上の各第
２特徴点に対応する第３画像上の点を、両画像間のオプ
ティカルフローに基づいて追跡することにより、第２画
像上の各第２特徴点に対応する第３画像上の点の座標値
を求める手段、ならびに第２画像上の各第１特徴点に対
応する第１画像上の点の座標値と、第２画像上の各第２
特徴点に対応する第３画像上の点の座標値とに基づい
て、上記複数組の３画像間の対応点の座標値を求めると
ともに、上記複数組の２画像間の対応点の座標値を求め
る手段を備えているものが用いられる。
【００３８】第４手段としては、たとえば、第２画像内
の第３画像と重なり合う部分および第３画像内の第２画
像と重なり合う部分のうちから任意に選択された一方の
部分の画像を第４画像とすると、第４画像を隣接する３
つの特徴点を頂点とする３角パッチ毎に分割し、各３角
パッチ毎に第４画像上の点に対応する第１画像上の位置
を求めるための変換式を求める手段、第４画像における
各３角パッチ内の各画素に対応する第１画像上の座標値
を、当該３角パッチに対して算出された変換式を用いて
求める手段、ならびに第４画像の各画素に対応する第１
画像上の座標値を用いて、第４画像を第１画像に合成す
る手段を備えているものが用いられる。
【００３９】３角パッチ毎に求められる変換式として
は、たとえば、平面射影変換行列が用いられる。平面射
影変換行列は、たとえば、３角パッチにおける３つの頂
点の対応点と、第１画像と第４画像との間のエピポーラ
拘束条件を示す基礎行列とに基づいて求められる。平面
射影変換行列を、３角パッチにおける３つの頂点の対応
点と、第１画像と第４画像との間のエピポーラ拘束条件
を示すエピポールの対応とに基づいて求めてもよい。
【００４０】３角パッチ毎に求められる変換式として、
アフィン変換行列を用いてもよい。アフィン変換行列
は、３角パッチにおける３つの頂点の対応点に基づいて
求められる。
【００４１】この発明による画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体は、第１画
像、第１画像と重なり合う部分を有する第２画像、なら
びに第１画像および第２画像の両方に重なり合う部分を
有する第３画像を用いて、第２画像と第３画像とが重な
り合う部分を、第１画像に合成する画像合成プログラム
を記録したコンピュータ読み取り可能な記録媒体であっ
て、第１画像、第２画像および第３画像の重なり合う部
分内において、複数の特徴点に対する３画像間の対応点
の座標値を求めるとともに、第２画像と第３画像とが重
なり合う部分内において、複数の特徴点に対する２画像
間の対応点の座標値を求める第１ステップ、第１ステッ
プで求められた複数組の３画像間の対応点の座標値に基
づいて、３画像間の関係を示すtrifocalテンソルを算出
する第２ステップ、第１ステップで求められた複数組の
２画像間の対応点の座標値と、第２ステップで求められ
たtrifocalテンソルとに基づいて、上記２画像間の各対
応点に対応する第１画像での座標値を求める第３ステッ
プ、ならびに上記２画像間の各対応点に対応する第１画
像での座標値に基づいて、第２画像と第３画像とが重な
り合う部分を、第１画像に合成する第４ステップを備え
た画像合成プログラムを記録していることを特徴とす
る。
【００４２】第１ステップは、たとえば、第１画像と第
２画像との重なり部を抽出するステップ、第２画像と第
３画像との重なり部を抽出するステップ、第２画像にお
ける第１画像との重なり部分から、両画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を第１特
徴点として抽出するステップ、第２画像における第３画
像との重なり部分から、両画像間のオプティカルフロー
による追跡に有効な複数の部分画像を第２特徴点として
抽出するステップ、第２画像上の各第１特徴点に対応す
る第１画像上の点を、両画像間のオプティカルフローに
基づいて追跡することにより、第２画像上の各第１特徴
点に対応する第１画像上の点の座標値を求めるステッ
プ、第２画像上の各第２特徴点に対応する第３画像上の
点を、両画像間のオプティカルフローに基づいて追跡す
ることにより、第２画像上の各第２特徴点に対応する第
３画像上の点の座標値を求めるステップ、ならびに第２
画像上の各第１特徴点に対応する第１画像上の点の座標
値と、第２画像上の各第２特徴点に対応する第３画像上
の点の座標値とに基づいて、上記複数組の３画像間の対
応点の座標値を求めるとともに、上記複数組の２画像間
の対応点の座標値を求めるステップを備えている。
【００４３】第４ステップは、たとえば、第２画像内の
第３画像と重なり合う部分および第３画像内の第２画像
と重なり合う部分のうちから任意に選択された一方の部
分の画像を第４画像とすると、第４画像を隣接する３つ
の特徴点を頂点とする３角パッチ毎に分割し、各３角パ
ッチ毎に第４画像上の点に対応する第１画像上の位置を
求めるための変換式を求めるステップ、第４画像におけ
る各３角パッチ内の各画素に対応する第１画像上の座標
値を、当該３角パッチに対して算出された変換式を用い
て求めるステップ、ならびに第４画像の各画素に対応す
る第１画像上の座標値を用いて、第４画像を第１画像に
合成するステップを備えている。
【００４４】３角パッチ毎に求められる変換式として
は、たとえば、平面射影変換行列が用いられる。平面射
影変換行列は、たとえば、３角パッチにおける３つの頂
点の対応点と、第１画像と第４画像との間のエピポーラ
拘束条件を示す基礎行列とに基づいて求められる。平面
射影変換行列を、３角パッチにおける３つの頂点の対応
点と、第１画像と第４画像との間のエピポーラ拘束条件
を示すエピポールの対応とに基づいて求めてもよい。
【００４５】３角パッチ毎に求められる変換式として、
アフィン変換行列を用いてもよい。アフィン変換行列
は、３角パッチにおける３つの頂点の対応点に基づいて
求められる。
【００４６】
【発明の実施の形態】以下、この発明をパノラマ画像合
成装置に適用した場合の実施の形態について説明する。
【００４７】パノラマ画像合成装置を説明する前に、パ
ノラマ画像合成装置において採用されるオプティカルフ
ロー推定方法について説明しておく。
【００４８】〔１〕オプティカルフロー推定方法につい
ての説明。 この実施例で採用されるオプティカルフロー推定方法
は、ピラミッド階層型に数段回の解像度の異なる画像を
作成して、オプティカルフローを段階的に計算する階層
的推定を前提としている。オプティカルフローの計算方
法は、Lucas-Kanade法等の勾配法に従う。つまり、階層
構造化した勾配法によるオプティカルフロー推定法を前
提としている。ここでは、勾配法としてLucas-Kanade法
が用いられている。
【００４９】この実施例で採用されるオプティカルフロ
ー推定方法の特徴は、階層構造化したLucas-Kanade法に
よるオプティカルフロー推定法の各段階において得られ
たオプティカルフローを、膨張処理によって補完するこ
とにある。以下、これについて詳しく説明する。
【００５０】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
【００５１】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【００５２】
【数７】
【００５３】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
【００５４】
【数８】
【００５５】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【００５６】図５にフローベクトルの膨張処理の様子を
示す。
【００５７】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【００５８】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【００５９】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
【００６０】
【数９】
【００６１】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【００６２】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【００６３】〔２〕パノラマ画像合成装置の説明
【００６４】以下、図７に示すように、互いに重なり合
う部分を有する３枚の画像Ａ１、Ａ２、Ａ３を用いて、
第２画像Ａ２と第３画像Ａ３とが重なり合っている部分
を、第１画像Ａ１に合成するためのパノラマ画像合成装
置について説明する。
【００６５】第２画像Ａ２と第３画像Ａ３とが重なり合
っている部分を、第１画像Ａ１に合成する際には、第２
画像Ａ２における第３画像Ａ３と重なっている部分を第
１画像に合成してもよいし、第３画像Ａ３における第２
画像Ａ２と重なっている部分を第１画像に合成してもよ
いが、ここでは、第２画像Ａ２における第３画像Ａ３と
重なっている部分を第１画像に合成する場合について説
明する。
【００６６】図８は、パノラマ画像合成装置の構成を示
している。
【００６７】パーソナルコンピュータ１０には、ディス
プレイ２１、マウス２２およびキーボード２３が接続さ
れている。パーソナルコンピュータ１０は、ＣＰＵ１
１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭの
ようなリムーバブルディスクのドライブ（ディスクドラ
イブ）１４を備えている。
【００６８】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、パノラマ画像合成プログラ
ムが格納されている。パノラマ画像合成プログラムは、
それが格納されたＣＤ−ＲＯＭ２０を用いて、ハードデ
ィスク１３にインストールされる。また、ハードディス
ク１３には、デジタルカメラによって撮像された複数の
画像が予め格納されているものとする。
【００６９】図９は、パノラマ画像合成ソフトが起動せ
しめられた場合にＣＰＵ１１によって行われるパノラマ
画像合成処理手順を示している。
【００７０】(I) まず、ユーザによって指定された３枚
の画像（第１画像Ａ１、第２画像Ａ２及び第３画像Ａ
３）がメモリ１２に読み込まれる（ステップ１）。
【００７１】(II)次に、第１画像Ａ１と第２画像Ａ２と
の重なり部および第２画像Ａ２と第３画像Ａ３との重な
り部の抽出処理が行われる（ステップ２）。この重なり
部の抽出処理は、たとえば、ＳＳＤ法（Sum of Squared
Difference)、正規化相互相関法に基づいて行われる。
【００７２】（ａ）ＳＳＤ法の説明 ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像
それぞれについて、原画像より解像度の低い画像Ｉ1 ，
Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，Ｉ2 の重
なり部分ω（サイズ：Ｍ×Ｎ）が、次式１０に示すよう
に画素あたりの２乗誤差Ｅを用いて求められる。画像間
の移動量（ｄ）が可能な範囲で変化せしめられ、Ｅが最
も小さい移動量（ｄ）から、重なり部が抽出される。
【００７３】
【数１０】
【００７４】（ｂ）正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき２
枚の画像それぞれについて、原画像より解像度の低い画
像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像Ｉ1 ，
Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式１１に
示すように正規化相互相関係数Ｃを用いて求められる。
画像間の移動量（ｄ）が可能な範囲で変化せしめられ、
Ｃが最も大きな移動量（ｄ）から、重なり部が抽出され
る。
【００７５】
【数１１】
【００７６】式１１において、Ｉ1 ￣、Ｉ2 ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【００７７】(III) 次に、特徴点抽出が行われる（ステ
ップ３）。つまり、まず、第２画像Ａ２における第１画
像Ａ１との重なり部分から、追跡に有効な複数の部分画
像（矩形領域）が第１特徴点として抽出される。ただ
し、各特徴点は互いに重ならないように抽出される。具
体的には、上述した固有値λmin （式８参照）の高い部
分が特徴点として抽出される。
【００７８】次に、第２画像Ａ２における第３画像Ａ３
との重なり部分から、追跡に有効な複数の部分画像（矩
形領域）が第２特徴点として抽出される。この際、第２
画像Ａ２における第１画像Ａ１との重なり部分から抽出
された第１特徴点のうち、第２画像Ａ２と第３画像Ａ３
とが重なっている部分に存在する第１特徴点は、第２特
徴点としても用いられる。
【００７９】(IV)次に、特徴点追跡処理が行われる（ス
テップ４）。つまり、抽出された第２画像Ａ２上の第１
特徴点に対する第１画像Ａ１上の位置が追跡されるとと
もに、抽出された第２画像Ａ２上の第２特徴点に対する
第３画像Ａ３上の位置が追跡される。
【００８０】具体的には、まず、〔１〕で説明したオプ
ティカルフロー推定方法で、適当なサイズ（例えば、１
３×１３）のパッチ毎のオプティカルフローベクトルが
求められる。第２画像Ａ２上の第１特徴点に対応する第
１画像Ａ１上の位置は、第２画像Ａ２上の第１特徴点の
４近傍のパッチのフローベクトルから線形補間により画
素単位以下で求められる。同様に、第２画像Ａ２上の第
２特徴点に対応する第３画像Ａ３上の位置は、第２画像
Ａ２上の第２特徴点の４近傍のパッチのフローベクトル
から線形補間により画素単位以下で求められる。
【００８１】これにより、第１画像Ａ１と第２画像Ａ２
との重なり部において、両画像の対応点の座標が得られ
る。また、第２画像Ａ２と第３画像Ａ３との重なり部に
おいて、両画像の対応点の座標が得られる。この結果、
第１画像Ａ１、第２画像Ａ２および第３画像Ａ３の重な
り部において、３つの画像の対応点の座標が得られる。
【００８２】(V) 次に、trifocalテンソルの算出処理が
行なわれる（ステップ５）。まず、trifocalテンソルの
算出方法の概要について説明する。
【００８３】shashua は、静止物体を異なる３視点から
撮像した透視投影の３画像ψ1 、ψ 2 およびψ3 の間に
は、次式１２のような線形な関係があることを示した
（A.Shashua,"Algebraic functions for recognition,"
IEEE PAMI, Vol.17, No.8, pp.779-789, 1995参照) 。
この関係は、Trilinearityと呼ばれている。
【００８４】
【数１２】
【００８５】すなわち、ある３次元空間上の点Ｘを撮像
した各画像での座標を（ｘ，ｙ）∈ψ1 、（ｘ’，
ｙ’）∈ψ2 および（ｘ”，ｙ”）∈ψ3 とすると、こ
れらの座標値は、数式１３〜数式１６を満足する。
【００８６】
【数１３】
【００８７】
【数１４】
【００８８】
【数１５】
【００８９】
【数１６】
【００９０】ただし、係数αj は全ての点で固定であ
り、これらの比は唯一に定まる。これらの係数は、共通
して観察している特徴点の対応関係から導出することが
可能である。そして、この関係は、テンソルを用いて、
コンパクトに記述され、trifocalテンソルと呼ばれる
（R.Hartley," Lines and points in three views and
the trifocal tensor, "Int'l J. Computer Vision, vo
l.22, no.2, pp. 125-140,1997. 参照）。
【００９１】このように、Trilinearityを用いると、あ
る３次元空間上の点が２視点から撮像でき、その点の各
画像での座標値がわかれば、もう一方の視点から観察し
た場合の座標を算出できる。すなわち、２画像の点の座
標をそれぞれｕ’、ｕ”およびtrifocalテンソルをＴと
すると、もう一つの画像での座標ｕは、次式１７によっ
て求められる。
【００９２】
【数１７】
【００９３】これを用いると、図１０に示すように、視
点Ｃ1 から観察できない部分であっても、他の２視点Ｃ
2 およびＣ3 から観察され、それらの各画像での座標値
が求まるなら、視点Ｃ1 から観察されたときの座標を計
算することができる。この操作を他の画素についても繰
り返すと、図１０の点線のように仮想的にＣ1 の撮像面
を拡大することができる。
【００９４】次に、trifocalテンソルの算出方法をより
具体的に説明する。trifocalテンソルは、第１画像Ａ
１、第２画像Ａ２および第３画像Ａ３が互いに重なる部
分における３画像での特徴点（対応点）の組から算出さ
れる。そこで、まず、第１画像Ａ１、第２画像Ａ２およ
び第３画像Ａ３が互いに重なる部分における３画像の対
応点の座標値を、数値演算を安定化させるために正規化
する。そして、正規化された座標値と、数式１３〜１６
とに基づいて、数式１３〜１６中の各係数αj （trifoc
alテンソル）を求める。
【００９５】trifocalテンソルは、少なくとも７組の特
徴点の対応があれば、解くことができる。しかしなが
ら、実画像では誤差を含むので、より多くの対応点の組
を用いて最小２乗的に解くのが一般的である。ここでの
問題は、特徴点の対応づけの正確さが完全でないことで
ある。
【００９６】全ての特徴点を自動に正確に対応づけるこ
とは困難である。そこで、ロバスト推定を用いてこの問
題を解決する。
【００９７】ロバスト推定法は、次の２つに分類でき
る。第１は、Ｍ推定と呼ばれ、誤差の大きさに従って重
みを決定する重み付き最小２乗法である。第２は、ラン
ダムサブサンプリングを繰り返し、外れ値を除去しなが
ら、あらかじめ指定したコストが減少した場合に解を更
新する方法である。
【００９８】何れのロバスト推定法を用いてtrifocalテ
ンソルを算出してもよい。ここでは、ランダムサンプリ
ングを繰り返す方法をさらに改良した方法を用いること
にする。ランダムサンプリングを繰り返す方法では、中
間値を最小化するように係数を更新するＬＭＳ(Least M
edian of Squares) が代表的であるが、ここでは、ＲＡ
ＮＳＡＣ(Randam Sample Consensus) と呼ばれる方法を
改良して用いる。
【００９９】ＲＡＮＳＡＣについては、M.A.Fishler an
d R.C.Bolles,"Randam sample consensus: A pradigm f
or model fitting with applications to image nalysi
s and automated cartography," Communications of th
e ACM, vol.24, no.6, pp.381-395.1981. を参照のこ
と。
【０１００】ＲＡＮＳＡＣは、まず、サンプルの一部Ｊ
を用いて最小２乗法で係数αJ を求める。そして、予め
設定したしきい値θ（たとえば３画素）以上に誤差があ
る対応点の組を外れ値（誤対応）として、しきい値以下
の対応点の組の個数を求める。この個数が前の結果より
も多くなった場合、係数（trifocalテンソル）を更新す
る。ここで、しきい値以下の対応点の組の個数が同じ場
合でも、しきい値以下の対応点の組の２乗誤差が少なく
なった場合は、更新するように改良する。
【０１０１】(VI)このようにして、trifocalテンソル
（係数αj ）が求められると、図１１に示すように、第
２画像Ａ２のうち、第３画像Ａ３と重なっている部分
を、特徴点を頂点とする３角パッチに分割する（ステッ
プ６）。
【０１０２】(VII) 次に、第２画像Ａ２上の３角パッチ
の各頂点それぞれに対応する、第２画像Ａ２と第３画像
Ａ３の座標の組と、trifocalテンソルとに基づいて、第
２画像Ａ２の３角パッチの各頂点（特徴点）に対応する
第１画像Ａ１上の点の座標を求める（ステップ７）。
【０１０３】つまり、上記ステップ５で求められたtrif
ocalテンソル（係数αj ）を、数式１３、１４に代入す
ることによって、第１画像Ａ１、第２画像Ａ２および第
３画像Ａ３との間の対応関係を示す関係式を得る。
【０１０４】得られた関係式に、第２画像Ａ２上の３角
パッチの各頂点それぞれに対応する、第２画像Ａ２と第
３画像Ａ３の座標の組をそれぞれ代入していくことによ
り、第２画像Ａ２の３角パッチの各頂点（特徴点）に対
応する第１画像Ａ１上の座標を求める。
【０１０５】(VIII)次に、第２画像Ａ２上の各３角パッ
チ毎に、３角パッチ内の画素を第１画像Ａ１に変換する
ための平面射影変換行列を算出する（ステップ８）。
【０１０６】まず、シーンを単一平面と仮定した場合の
平面射影変換行列の求め方について述べる。
【０１０７】図１２に示すように３次元空間中の単一平
面の点Ｍを２つの異なる視点Ｃ１、Ｃ２から観察した
時、これらの各画像面での座標ｍ、ｍ’の間の変換は、
線形であることが射影幾何学において知られており、ho
mography と呼ばれている(O.Faugeras,"Three-Dimenti
onal Computer Vision: A Geometric Viewpoint",MIT P
ress, 1993.)。
【０１０８】すなわち、画像座標を斉次座標で表した第
２画像の点ｍ’＝（ｘ’, ｙ’, １）t は、第１画像上
で対応する点ｍ＝（ｘ ,ｙ, １）t を持ち、それらの関
係は次式１８、より詳しくは次式１９で定義される。
【０１０９】
【数１８】
【０１１０】
【数１９】
【０１１１】この変換行列は、次式２０のように書き換
えることができる。
【０１１２】
【数２０】
【０１１３】また、式２０は、次式２１のように書き換
えることができる。
【０１１４】
【数２１】
【０１１５】平面射影変換行列Ｈの未知パラメータ数
は、８個であり、一組の対応点は、数式２１に示すよう
に、２つの式を与える。したがって、４組以上の対応点
があれば、最小２乗法によりこの行列Ｈを求めることが
できる。
【０１１６】上記は、シーンを単一平面と仮定した場合
の平面射影変換行列Ｈの求め方について説明したが、室
内などのシーンの場合には、シーンを単一平面で近似す
るには誤差が大きすぎる。なぜなら、カメラから対象物
までの距離に対して、シーンの奥行きの方が深いからで
ある。この結果、第１画像と第２画像とを合成した場合
に、両画像の重なり部分において、重なるべき線が２重
になったり、ぼけたりするという問題がある。
【０１１７】そこで、この実施の形態では、奥行きの深
いシーンを合成する場合に適した平面射影変換行列Ｈを
獲得するために、図１１を用いて既に説明したように、
第２画像Ａ２内の第３画像Ａ３と重なる部分を、特徴点
に基づいて３角パッチに分割し、各パッチ毎に平面射影
変換行列を算出するようにした。
【０１１８】各パッチ毎に平面射影変換行列を算出する
には、エピポーラ拘束条件が利用される。各パッチ毎に
平面射影変換行列を算出方法には、エピポーラ拘束条件
を示す基礎行列を利用する方法と、エピポーラ拘束条件
を示すエピポール（エピ極）の対応を利用する方法とが
ある。
【０１１９】（ａ）基礎行列を利用する方法 カメラ間のエピポーラ拘束条件を示す基礎行列を利用す
る方法について説明する。平面射影変換行列の自由度は
８であるので、４組の対応点の組が必要である。しか
し、３角パッチの頂点は３つしかないので、一般では解
けない。
【０１２０】そこで、本発明者は、カメラ間のエピポー
ラ拘束を示す基礎行列Ｆと、３組の対応点を用いて、各
３角パッチ毎の平面射影変換行列を算出することを開発
した。
【０１２１】以下、３角パッチ毎の平面射影変換行列を
算出する方法について詳述する。
【０１２２】図１３は、エピポーラ拘束条件を示してい
る。
【０１２３】３次元の空間の点Ｍを異なる視点Ｃ1 およ
びＣ2 から観察したとき、それぞれのカメラの撮像面Ｓ
1 、Ｓ2 上の座標ｍ1 およびｍ2 は、Ｍ、Ｃ1 およびＣ
2 で構成される平面上にある必要がある。これは、エピ
ポーラ拘束条件と呼ばれる。また、視点Ｃ1 とＣ2 とを
結ぶ直線と、各撮像面Ｓ1 、Ｓ2 との交点はｅ1 、ｅ 2
は、エピポールと呼ばれる。このエピポーラ拘束条件を
示す基礎行列Ｆおよび対応するエピポールｅ1 、ｅ
2 は、２画像間で７組以上の対応点があれば、計算する
ことができることが知られている。
【０１２４】２画像間のエピポーラ拘束条件は、基礎行
列Ｆと、対応点ｍ、ｍ’を用いて次式２２で表される。
【０１２５】
【数２２】
【０１２６】この基礎行列Ｆを７組以上、たとえば、８
組の対応点から求める。基礎行列Ｆの求め方は、良く知
られているのでその説明を省略する（たとえば、１９９
８年４月２０日 共立出版発行の「３次元ビジョン」参
照）。なお、最近では、キャリブレーションされていな
いステレオカメラの基礎行列を、対応づけられた特徴点
対から、良好に獲得する手法が提案されているので、そ
の手法を用いることが好ましい（Z.Zhang, "Determinin
g the Epipolar Geometry and its Uncertainty; A Rev
iew", Int. Journal of Comuter Vision, Vol.27, No.
2, pp. 161-195.,1988 ) 。
【０１２７】上記式１８に示すように、ｍ＝Ｈｍ’であ
るので、式１８を式２２に代入することにより、次式２
３が得られる。
【０１２８】
【数２３】
【０１２９】上記式２３における行列ＨT Ｆは、ベクト
ルｍ’の外積であることを表すので、次式２４に示すよ
うに非対称行列である必要がある。
【０１３０】
【数２４】
【０１３１】３組の対応点に基づいて上記式２１から６
個の方程式が得られる。また、上記式２４から６個の方
程式が得られる。つまり、１２個の方程式が得られる。
平面射影変換行列Ｈの未知数は、８個であるので、これ
らを連立させた最小２乗法により、３角パッチ毎の平面
射影変換行列Ｈを算出することができる。
【０１３２】つまり、３組の対応点を｛（ｍ1 ，
ｍ1 ’）、（ｍ2 ，ｍ2 ’）、（ｍ3 ，ｍ 3 ’）とする
と、上記式２１に基づいて、次式２５で表されるよう
に、６個の方程式が得られる。
【０１３３】
【数２５】
【０１３４】上記式２４は、次式２６で表される。
【０１３５】
【数２６】
【０１３６】対角要素は０であるという条件から、次式
２７で表されるように３つの方程式が得られる。
【０１３７】
【数２７】
【０１３８】また、上記式２６における非対称行列の−
ａ１＋ａ１＝０であるという条件から、次式２８で表さ
れるように１つの方程式が得られる。
【０１３９】
【数２８】
【０１４０】また、上記式２６における非対称行列のａ
２−ａ２＝０であるという条件から、次式２９で表され
るように１つの方程式が得られる。
【０１４１】
【数２９】
【０１４２】また、上記式２６における非対称行列の−
ａ３＋ａ３＝０であるという条件から、次式３０で表さ
れるように１つの方程式が得られる。
【０１４３】
【数３０】
【０１４４】上記式２７〜３０から、次式３１で表され
るように、６個の方程式が得られる。
【０１４５】
【数３１】
【０１４６】上記式２５と上記式３１とを連立させる
と、次式３２で表されるように、１２個の方程式が得ら
れる。
【０１４７】
【数３２】
【０１４８】平面射影変換行列Ｈの未知数は８個である
ので、最小２乗法を用いて、３角パッチに対する平面射
影変換行列Ｈが算出される。
【０１４９】（ｂ）エピポールの対応を利用する方法 エピポールの対応を利用する方法について説明する。エ
ピポールの対応は、基礎行列Ｆから求められる。この方
法は、２画像間における３角パッチの３頂点の対応点の
組と、２画像間のエピポールの対応点から、３角パッチ
毎の平面射影行列を求める方法である。
【０１５０】図１４は、Ｎ、Ｍ、Ｐを頂点とする３角パ
ッチと、エピポールｅ1 、ｅ2 とを示している。
【０１５１】エピポールｅ1 、ｅ2 は、３角パッチの位
置および姿勢にかかわらず、常に同じである。２画像間
における３角パッチの３頂点の対応点の組（３組の対応
点）と、２画像間におけるエピポールの対応点（１組の
対応点）とから合計４組の対応点が求まる。
【０１５２】この４組の対応点（ｘi ，ｙi ）、
（ｘi ’，ｙi ’）（ｉ＝１，２，３，ｅ）と、上記式
２１とに基づいて、次式３３で表されるように、８個の
方程式が得られる。
【０１５３】
【数３３】
【０１５４】平面射影行列の要素（ｈ1 〜ｈ8 ）は８つ
であるので、８個の方程式から、これらの要素ｈ1 〜ｈ
8 が求められる。
【０１５５】(IX) 求められた各３パッチ毎の平面射影
変換行列に基づいて、第２画像Ａ２の各３角パッチ内の
画像を第１画像に合成する（ステップ９）。
【０１５６】つまり、第２画像Ａ２における各３角パッ
チ内の各画素に対応する第１画像上の座標値が、当該３
角パッチに対して算出された平面射影変換行列Ｈを用い
て求められる。そして、第２画像Ａ２の各３角パッチ内
の各画素に対応する第１画像上の座標値を用いて、第２
画像Ａ２の各３角パッチ内の画像が第１画像に合成され
る。
【０１５７】(X) この後、第１画像Ａ１と第２画像Ａ２
とが互いに重なり合っている部分（以下、重合部とい
う）に対して画素値調合が行われる（ステップ１０）。
つまり、第１画像Ａ１と第２画像Ａ２とは、撮影条件が
同じでないので、一方に比べて他方が暗い場合がある。
そこで、両画像の重合部において、両画像の画素値が調
合せしめられる。
【０１５８】画素値調合方法の一例について説明する。
図１５は、ステップ１０において生成された画像を示し
ている。図１５の斜線部分は、第１画像Ａ１と第２画像
Ａ２とが重なり合っている部分（重合部）である。図１
５において、Ｇ１は第１画像Ａ１の重心位置を、Ｇ２は
第３画像Ａ２の重心位置をそれぞれ示している。
【０１５９】重合部内の任意の点Ｐの第１画像Ａ１の画
素値をＩ1 とし、点Ｐの第２画像Ａ２の画素値をＩ2 と
し、点Ｐと第１画像Ａ１の重心位置Ｇ1 との距離をｄ1
とし、点Ｐと第２画像Ａ２の重心位置Ｇ2 との距離をｄ
2 とすると、点Ｐの調合後の画素値Blenは、次式３４で
表される。
【０１６０】
【数３４】
【０１６１】上記実施の形態では、第２画像Ａ２の各３
角パッチ毎に平面射影変換行列Ｈを求め、第２画像Ａ２
の各３角パッチ内の各画素に対応する第１画像Ａ２上の
座標値を、当該３角パッチに対して算出された平面射影
変換行列Ｈを用いて求めているが、各３角パッチ毎にア
フィン変換行列Ａを求め、第２画像Ａ２における各３角
パッチ内の各画素に対応する第１画像Ａ１上の座標値
を、当該３角パッチに対して算出されたアフィン変換行
列Ａを用いて求めるようにしてもよい。
【０１６２】アフィン変換行列Ａは、次式３５で表され
る。アフィン変換行列Ａの要素ｈ1〜ｈ6 は６つである
ので、２画像間における３角パッチの３頂点の対応点の
みから、要素ｈ1 〜ｈ6 を算出することができる。
【０１６３】
【数３５】
【０１６４】アフィン変換行列Ａの要素ｈ1 〜ｈ6 と、
２画像間における３角パッチの３頂点の対応点（ｘi ，
ｙi ）、（ｘi ’，ｙi ’）（ｉ＝１，２，３）との関
係は、次式３６で表される。
【０１６５】
【数３６】
【０１６６】
【発明の効果】この発明によれば、奥行きの深いシーン
を合成する際においても、精度の高い位置合わせが行え
るようになる。
【０１６７】この発明によれば、複数の画像から継目の
ないパノラマ画像を得ることができ、しかも複数の画像
を撮像するためのカメラに自由な運動を許容し、焦点距
離の測定が不要となる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であ
って、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であ
って、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であ
って、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であ
って、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
【図７】図７は、パノラマ画像合成に用いられる３枚の
画像を示す模式図である。
【図８】図８は、パノラマ画像合成装置の構成を示すブ
ロック図である。
【図９】図９は、パノラマ画像合成処理手順を示すフロ
ーチャートである。
【図１０】図１０は、Trilinearityを用いたパノラマ画
像合成方法を示す模式図である。
【図１１】図１１は、第２画像のうち、第３画像とのみ
重なり合う部分を３角パッチによって分割した様子を示
す模式図である。
【図１２】図１２は、平面射影変換行列を説明するため
の説明図である。
【図１３】図１３は、エピポーラ拘束条件を示す模式図
である。
【図１４】図１４は、Ｎ、Ｍ、Ｐを頂点とする３角パッ
チと、エピポールｅ1 、ｅ2 とを示す模式図である。
【図１５】図１５は、画素値調合方法の一例を説明する
ための説明図である。
【符号の説明】
１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ ディスクドライブ

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 第１画像、第１画像と重なり合う部分を
    有する第２画像、ならびに第１画像および第２画像の両
    方に重なり合う部分を有する第３画像を用いて、第２画
    像と第３画像とが重なり合う部分を、第１画像に合成す
    る画像合成方法であって、 第１画像、第２画像および第３画像の重なり合う部分内
    において、複数の特徴点に対する３画像間の対応点の座
    標値を求めるとともに、第２画像と第３画像とが重なり
    合う部分内において、複数の特徴点に対する２画像間の
    対応点の座標値を求める第１ステップ、 第１ステップで求められた複数組の３画像間の対応点の
    座標値に基づいて、３画像間の関係を示すtrifocalテン
    ソルを算出する第２ステップ、 第１ステップで求められた複数組の２画像間の対応点の
    座標値と、第２ステップで求められたtrifocalテンソル
    とに基づいて、上記２画像間の各対応点に対応する第１
    画像での座標値を求める第３ステップ、ならびに上記２
    画像間の各対応点に対応する第１画像での座標値に基づ
    いて、第２画像と第３画像とが重なり合う部分を、第１
    画像に合成する第４ステップ、 を備えていることを特徴とする画像合成方法。
  2. 【請求項２】 第１ステップは、 第１画像と第２画像との重なり部を抽出するステップ、 第２画像と第３画像との重なり部を抽出するステップ、 第２画像における第１画像との重なり部分から、両画像
    間のオプティカルフローによる追跡に有効な複数の部分
    画像を第１特徴点として抽出するステップ、 第２画像における第３画像との重なり部分から、両画像
    間のオプティカルフローによる追跡に有効な複数の部分
    画像を第２特徴点として抽出するステップ、 第２画像上の各第１特徴点に対応する第１画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    ことにより、第２画像上の各第１特徴点に対応する第１
    画像上の点の座標値を求めるステップ、 第２画像上の各第２特徴点に対応する第３画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    ことにより、第２画像上の各第２特徴点に対応する第３
    画像上の点の座標値を求めるステップ、ならびに第２画
    像上の各第１特徴点に対応する第１画像上の点の座標値
    と、第２画像上の各第２特徴点に対応する第３画像上の
    点の座標値とに基づいて、上記複数組の３画像間の対応
    点の座標値を求めるとともに、上記複数組の２画像間の
    対応点の座標値を求めるステップ、 を備えていることを特徴とする請求項１に記載の画像合
    成方法。
  3. 【請求項３】 第４ステップは、 第２画像内の第３画像と重なり合う部分および第３画像
    内の第２画像と重なり合う部分のうちから任意に選択さ
    れた一方の部分の画像を第４画像とすると、第４画像を
    隣接する３つの特徴点を頂点とする３角パッチ毎に分割
    し、各３角パッチ毎に第４画像上の点に対応する第１画
    像上の位置を求めるための変換式を求めるステップ、 第４画像における各３角パッチ内の各画素に対応する第
    １画像上の座標値を、当該３角パッチに対して算出され
    た変換式を用いて求めるステップ、ならびに第４画像の
    各画素に対応する第１画像上の座標値を用いて、第４画
    像を第１画像に合成するステップ、 を備えていることを特徴とする請求項１および２のいず
    れかに記載の画像合成方法。
  4. 【請求項４】 ３角パッチ毎に求められる変換式は平面
    射影変換行列であり、平面射影変換行列は、３角パッチ
    における３つの頂点の対応点と、第１画像と第４画像と
    の間のエピポーラ拘束条件を示す基礎行列とに基づいて
    求められることを特徴とする請求項３に記載の画像合成
    方法。
  5. 【請求項５】 ３角パッチ毎に求められる変換式は平面
    射影変換行列であり、平面射影変換行列は、３角パッチ
    における３つの頂点の対応点と、第１画像と第４画像と
    の間のエピポーラ拘束条件を示すエピポールの対応とに
    基づいて求められることを特徴とする請求項３に記載の
    画像合成方法。
  6. 【請求項６】 ３角パッチ毎に求められる変換式はアフ
    ィン変換行列であり、アフィン変換行列は、３角パッチ
    における３つの頂点の対応点に基づいて求められること
    を特徴とする請求項３に記載の画像合成方法。
  7. 【請求項７】 第１画像、第１画像と重なり合う部分を
    有する第２画像、ならびに第１画像および第２画像の両
    方に重なり合う部分を有する第３画像を用いて、第２画
    像と第３画像とが重なり合う部分を、第１画像に合成す
    る画像合成装置であって、 第１画像、第２画像および第３画像の重なり合う部分内
    において、複数の特徴点に対する３画像間の対応点の座
    標値を求めるとともに、第２画像と第３画像とが重なり
    合う部分内において、複数の特徴点に対する２画像間の
    対応点の座標値を求める第１手段、 第１手段で求められた複数組の３画像間の対応点の座標
    値に基づいて、３画像間の関係を示すtrifocalテンソル
    を算出する第２手段、 第１手段で求められた複数組の２画像間の対応点の座標
    値と、第２手段で求められたtrifocalテンソルとに基づ
    いて、上記２画像間の各対応点に対応する第１画像での
    座標値を求める第３手段、ならびに上記２画像間の各対
    応点に対応する第１画像での座標値に基づいて、第２画
    像と第３画像とが重なり合う部分を、第１画像に合成す
    る第４手段、 を備えていることを特徴とする画像合成装置。
  8. 【請求項８】 第１手段は、 第１画像と第２画像との重なり部を抽出する手段、 第２画像と第３画像との重なり部を抽出する手段、 第２画像における第１画像との重なり部分から、両画像
    間のオプティカルフローによる追跡に有効な複数の部分
    画像を第１特徴点として抽出する手段、 第２画像における第３画像との重なり部分から、両画像
    間のオプティカルフローによる追跡に有効な複数の部分
    画像を第２特徴点として抽出する手段、 第２画像上の各第１特徴点に対応する第１画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    ことにより、第２画像上の各第１特徴点に対応する第１
    画像上の点の座標値を求める手段、 第２画像上の各第２特徴点に対応する第３画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    ことにより、第２画像上の各第２特徴点に対応する第３
    画像上の点の座標値を求める手段、ならびに第２画像上
    の各第１特徴点に対応する第１画像上の点の座標値と、
    第２画像上の各第２特徴点に対応する第３画像上の点の
    座標値とに基づいて、上記複数組の３画像間の対応点の
    座標値を求めるとともに、上記複数組の２画像間の対応
    点の座標値を求める手段、 を備えていることを特徴とする請求項７に記載の画像合
    成装置。
  9. 【請求項９】 第４手段は、 第２画像内の第３画像と重なり合う部分および第３画像
    内の第２画像と重なり合う部分のうちから任意に選択さ
    れた一方の部分の画像を第４画像とすると、第４画像を
    隣接する３つの特徴点を頂点とする３角パッチ毎に分割
    し、各３角パッチ毎に第４画像上の点に対応する第１画
    像上の位置を求めるための変換式を求める手段、 第４画像における各３角パッチ内の各画素に対応する第
    １画像上の座標値を、当該３角パッチに対して算出され
    た変換式を用いて求める手段、ならびに第４画像の各画
    素に対応する第１画像上の座標値を用いて、第４画像を
    第１画像に合成する手段、 を備えていることを特徴とする請求項７および８のいず
    れかに記載の画像合成装置。
  10. 【請求項１０】 ３角パッチ毎に求められる変換式は平
    面射影変換行列であり、平面射影変換行列は、３角パッ
    チにおける３つの頂点の対応点と、第１画像と第２画像
    との間のエピポーラ拘束条件を示す基礎行列とに基づい
    て求められることを特徴とする請求項９に記載の画像合
    成装置。
  11. 【請求項１１】 ３角パッチ毎に求められる変換式は平
    面射影変換行列であり、平面射影変換行列は、３角パッ
    チにおける３つの頂点の対応点と、第１画像と第２画像
    との間のエピポーラ拘束条件を示すエピポールの対応と
    に基づいて求められることを特徴とする請求項９に記載
    の画像合成装置。
  12. 【請求項１２】 ３角パッチ毎に求められる変換式はア
    フィン変換行列であり、アフィン変換行列は、３角パッ
    チにおける３つの頂点の対応点に基づいて求められるこ
    とを特徴とする請求項９に記載の画像合成装置。
  13. 【請求項１３】 第１画像、第１画像と重なり合う部分
    を有する第２画像、ならびに第１画像および第２画像の
    両方に重なり合う部分を有する第３画像を用いて、第１
    画像の外側にありかつ第２画像と第３画像とが重なり合
    う部分を、第１画像に合成する画像合成プログラムを記
    録したコンピュータ読み取り可能な記録媒体であって、 第１画像、第２画像および第３画像の重なり合う部分内
    において、複数の特徴点に対する３画像間の対応点の座
    標値を求めるとともに、第２画像と第３画像とが重なり
    合う部分内において、複数の特徴点に対する２画像間の
    対応点の座標値を求める第１ステップ、 第１ステップで求められた複数組の３画像間の対応点の
    座標値に基づいて、３画像間の関係を示すtrifocalテン
    ソルを算出する第２ステップ、 第１ステップで求められた複数組の２画像間の対応点の
    座標値と、第２ステップで求められたtrifocalテンソル
    とに基づいて、上記２画像間の各対応点に対応する第１
    画像での座標値を求める第３ステップ、ならびに上記２
    画像間の各対応点に対応する第１画像での座標値に基づ
    いて、第１画像の外側にありかつ第２画像と第３画像と
    が重なり合う部分を、第１画像に合成する第４ステッ
    プ、 を備えた画像合成プログラムを記録したコンピュータ読
    み取り可能な記録媒体。
  14. 【請求項１４】 第１ステップは、 第１画像と第２画像との重なり部を抽出するステップ、 第２画像と第３画像との重なり部を抽出するステップ、 第２画像における第１画像との重なり部分から、両画像
    間のオプティカルフローによる追跡に有効な複数の部分
    画像を第１特徴点として抽出するステップ、 第２画像における第３画像との重なり部分から、両画像
    間のオプティカルフローによる追跡に有効な複数の部分
    画像を第２特徴点として抽出するステップ、 第２画像上の各第１特徴点に対応する第１画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    ことにより、第２画像上の各第１特徴点に対応する第１
    画像上の点の座標値を求めるステップ、 第２画像上の各第２特徴点に対応する第３画像上の点
    を、両画像間のオプティカルフローに基づいて追跡する
    ことにより、第２画像上の各第２特徴点に対応する第３
    画像上の点の座標値を求めるステップ、ならびに第２画
    像上の各第１特徴点に対応する第１画像上の点の座標値
    と、第２画像上の各第２特徴点に対応する第３画像上の
    点の座標値とに基づいて、上記複数組の３画像間の対応
    点の座標値を求めるとともに、上記複数組の２画像間の
    対応点の座標値を求めるステップ、 を備えていることを特徴とする請求項１３に記載の画像
    合成プログラムを記録したコンピュータ読み取り可能な
    記録媒体。
  15. 【請求項１５】 第４ステップは、 第２画像内の第３画像と重なり合う部分および第３画像
    内の第２画像と重なり合う部分のうちから任意に選択さ
    れた一方の部分の画像を第４画像とすると、第４画像を
    隣接する３つの特徴点を頂点とする３角パッチ毎に分割
    し、各３角パッチ毎に第４画像上の点に対応する第１画
    像上の位置を求めるための変換式を求めるステップ、 第４画像における各３角パッチ内の各画素に対応する第
    １画像上の座標値を、当該３角パッチに対して算出され
    た変換式を用いて求めるステップ、ならびに第４画像の
    各画素に対応する第１画像上の座標値を用いて、第４画
    像を第１画像に合成するステップ、 を備えていることを特徴とする請求項１３および１４の
    いずれかに記載の画像合成プログラムを記録したコンピ
    ュータ読み取り可能な記録媒体。
  16. 【請求項１６】 ３角パッチ毎に求められる変換式は平
    面射影変換行列であり、平面射影変換行列は、３角パッ
    チにおける３つの頂点の対応点と、第１画像と第４画像
    との間のエピポーラ拘束条件を示す基礎行列とに基づい
    て求められることを特徴とする請求項１５に記載の画像
    合成プログラムを記録したコンピュータ読み取り可能な
    記録媒体。
  17. 【請求項１７】 ３角パッチ毎に求められる変換式は平
    面射影変換行列であり、平面射影変換行列は、３角パッ
    チにおける３つの頂点の対応点と、第１画像と第４画像
    との間のエピポーラ拘束条件を示すエピポールの対応と
    に基づいて求められることを特徴とする請求項１５に記
    載の画像合成プログラムを記録したコンピュータ読み取
    り可能な記録媒体。
  18. 【請求項１８】 ３角パッチ毎に求められる変換式はア
    フィン変換行列であり、アフィン変換行列は、３角パッ
    チにおける３つの頂点の対応点に基づいて求められるこ
    とを特徴とする請求項１５に記載の画像合成プログラム
    を記録したコンピュータ読み取り可能な記録媒体。
JP34645299A 1999-12-06 1999-12-06 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 Expired - Fee Related JP3540696B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34645299A JP3540696B2 (ja) 1999-12-06 1999-12-06 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34645299A JP3540696B2 (ja) 1999-12-06 1999-12-06 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001167249A true JP2001167249A (ja) 2001-06-22
JP3540696B2 JP3540696B2 (ja) 2004-07-07

Family

ID=18383537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34645299A Expired - Fee Related JP3540696B2 (ja) 1999-12-06 1999-12-06 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3540696B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049545A (ja) * 2005-08-11 2007-02-22 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2009075825A (ja) * 2007-09-20 2009-04-09 Tokyo Univ Of Science 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置
JP2010273315A (ja) * 2009-05-19 2010-12-02 Shindorico Co Ltd スキャン機能を備えた画像形成装置及びこのスキャン方法
JP2014504410A (ja) * 2010-12-20 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 移動オブジェクトの検出及び追跡
JP2017054501A (ja) * 2015-09-08 2017-03-16 株式会社リコー 運動予測の最適化方法、装置及びシステム
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
CN111402136A (zh) * 2020-03-19 2020-07-10 贝壳技术有限公司 全景图生成方法、装置、计算机可读存储介质及电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049545A (ja) * 2005-08-11 2007-02-22 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP4640032B2 (ja) * 2005-08-11 2011-03-02 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
JP2009075825A (ja) * 2007-09-20 2009-04-09 Tokyo Univ Of Science 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置
JP2010273315A (ja) * 2009-05-19 2010-12-02 Shindorico Co Ltd スキャン機能を備えた画像形成装置及びこのスキャン方法
JP2014504410A (ja) * 2010-12-20 2014-02-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 移動オブジェクトの検出及び追跡
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
JP2017054501A (ja) * 2015-09-08 2017-03-16 株式会社リコー 運動予測の最適化方法、装置及びシステム
CN111402136A (zh) * 2020-03-19 2020-07-10 贝壳技术有限公司 全景图生成方法、装置、计算机可读存储介质及电子设备
CN111402136B (zh) * 2020-03-19 2023-12-15 如你所视(北京)科技有限公司 全景图生成方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
JP3540696B2 (ja) 2004-07-07

Similar Documents

Publication Publication Date Title
JP3435084B2 (ja) オプティカルフロー推定方法および画像合成方法
KR101195942B1 (ko) 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US6970591B1 (en) Image processing apparatus
US6473536B1 (en) Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded
Newcombe et al. Live dense reconstruction with a single moving camera
US5963664A (en) Method and system for image combination using a parallax-based technique
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
US20190141247A1 (en) Threshold determination in a ransac algorithm
US11568516B2 (en) Depth-based image stitching for handling parallax
CN106846467B (zh) 基于每个相机位置优化的实体场景建模方法和系统
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
JP2000268179A (ja) 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体
JP2000155831A (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
JP3557168B2 (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001274973A (ja) 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3540696B2 (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
Zhao et al. Alignment of continuous video onto 3D point clouds
Lhuillier Toward flexible 3d modeling using a catadioptric camera
JP3548071B2 (ja) 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
JP2004046573A (ja) チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002094849A (ja) 広視野画像撮像装置
JP2001256492A (ja) 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
Lhuillier et al. Synchronization and self-calibration for helmet-held consumer cameras, applications to immersive 3d modeling and 360 video
JP2002170111A (ja) 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体
JP3384764B2 (ja) 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040325

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090402

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees