JP2002230585A - ３次元画像表示方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【目的】 被写体を複数の方向から手持ちで撮影を行っ
た場合でも複数画像を切り替えて表示した際に被写体画
像の変動が気にならないように表示することができる３
次元画像表示方法を提供すること。 【構成】 被写体を異なる方向から撮影した複数の画像
を切り替えて表示する３次元画像表示方法において、前
記複数の画像間で特徴の対応付けを行い、前記対応付け
の結果に基づいて前記複数の画像中で被写体の動きが滑
らかになるように前記複数の画像のうち少なくとも１つ
を補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで被写体を
複数の方向から撮影した画像に基づいて被写体の３次元
画像を表示する３次元表示方法と該３次元画像表示方法
をプログラムとして記憶して成る記録媒体に関する。

【０００２】

【従来の技術】従来、カメラで被写体を複数の方向から
撮影し、撮影した画像と撮影方向とを関連付けて複数の
被写体画像を記録しておき、再生時に被写体画像の回転
方向を指示し、その指示に従って次画面の被写体画像を
表示することによってインタラクティブに被写体画像を
操作するシステムが知られている。

【０００３】図２に被写体画像の撮影方法の一例を示
す。

【０００４】この例では被写体１をターンテーブル２の
上に固定し、カメラ３を三脚４に固定して撮影する。こ
のとき、被写体１の中心がほぼターンテーブル２の回転
軸上に位置するように設定し、カメラ３の光軸がターン
テーブル２の回転軸と交差するように設定する。又、撮
影するフレーム内に被写体１全体が入るようにする。そ
して、ターンテーブル２をほぼ等角度で回転させて被写
体の複数方向からの画像を撮影していく。

【０００５】このようにして撮影した複数の被写体画像
を撮影方向に沿って配置し、再生時に被写体画像の回転
方向を指示し、その指示に従って次画面の被写体画像を
表示するようにすれば被写体があたかも３次元的に回転
しているような画像が観察できる。

【０００６】

【発明が解決しようとする課題】しかしながら、図２に
示すような撮影を行うのは非常に煩わしく、又、ターン
テーブルや三脚がないような状況での撮影はできない。
又、図２の撮影に等価な撮影を手持ち撮影で行った場合
には、カメラの光軸が被写体の回転軸から外れたり、画
像内で被写体が該被写体の回転方向以外の軸回りに回転
変動したり、被写体の撮影倍率が変動したりするため、
撮影した複数の被写体画像を撮影方向に沿って配置し、
再生時に被写体画像の回転方向を指示し、その指示に従
って次画面の被写体画像を表示するようにしたとき、被
写体画像の変動が気になって被写体があたかも３次元的
に回転しているような感覚が損なわれる。

【０００７】従って、本発明の目的とする処は、被写体
を複数の方向から手持ちで撮影を行った場合でも複数画
像を切り替えて表示した際に被写体画像の変動が気にな
らないように表示することができる３次元画像表示方法
と該方法をプログラムとして記憶して成る記録媒体を提
供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、被写体を異なる方向から撮影した複数の
画像を切り替えて表示する３次元画像表示方法におい
て、前記複数の画像間で特徴の対応付けを行い、前記対
応付けの結果に基づいて前記複数の画像中で被写体の動
きが滑らかになるように前記複数の画像のうち少なくと
も１つを補正することを特徴とする。

【０００９】又、本発明は、上記３次元画像表示方法を
プログラムとして記憶して記録媒体を構成することを特
徴とする。

【００１０】

【発明の実施の形態】以下に本発明の実施の形態を添付
図面に基づいて説明する。

【００１１】＜実施の形態１＞図１に本発明に係る３次
元画像表示方法のアルゴリズムを示す。

【００１２】Ｓ１の画像データ取得においては、図２に
示した撮影と等価な撮影を手持ちで行う。本実施の形態
においては、被写体の周りｐ１，ｐ２，ｐ３，…，ｐＮ
の位置において、Ｎ回の撮影を等角度おきにほぼカメラ
の光軸が被写体の中心を向き、カメラの位置がほぼ円軌
道を描き、画像の水平ラインがその円に平行になるよう
に手持ちで撮影を行った場合を想定して説明する。この
撮影の様子を図３に示す。但し、実際のカメラの位置や
方向は理想的な撮影状態からは多少ずれている。撮影し
た複数の被写体画像はコンピュータのメモリに記憶して
おき、以下に続く処理を行う。

【００１３】撮影した画像には被写体以外の背景も写っ
ているため、コンピュータに取り込んだ画像に対して、
先ず、Ｓ２で各被写体画像から被写体領域を切り出し、
被写体のみ写った画像を取り出す。位置ｐ１，ｐ２，ｐ
３，…，ｐＮで撮影し、被写体領域を切り出した画像ｇ
１，ｇ２，ｇ３，…，ｇＮの例を図４に示す。これらの
画像はカメラの光軸が被写体の回転軸から外れたり、画
像内で被写体が該被写体の回転方向以外の軸回りに回転
変動したり、被写体の撮影倍率が変動したりするため、
そのまま画像を切り替えて表示した場合には、被写体画
像の変動が気になって３次元的に被写体が回転している
感覚が十分に得られない。

【００１４】次に、Ｓ３で隣り合った画像間で被写体領
域内の特徴点の対応付けを行う。このとき、先ず、各被
写体画像に対してＳ２で被写体領域が切り出されている
ため、その被写体領域内から画像輝度値が空間的に大き
く変化する点の画像中での位置を特徴点として抽出す
る。図５のｖ１１，ｖ１２，…，ｖ２７は図４の画像ｇ
１とｇ２から抽出された特徴点の例を示すものである。

【００１５】次に、隣り合った画像間で抽出された特徴
点同士の対応付けを行う。対応付けは抽出された特徴点
の近傍領域の画像の輝度分布が類似しているもの同士が
対応するように行う。

【００１６】以下、図４の画像ｇ１とｇ２との間で特徴
点の対応付けを行う場合について説明する。

【００１７】例えば、画像ｇ１中の特徴点ｖ１１に対応
する点を抽出する場合には、先ず画像ｇ１から特徴点ｖ
１１を中心とした近傍の矩形領域をテンプレートとして
切り出す。但し、 被写体の回りを回転して撮影した画像
の場合、回転角が大きい場合には被写体の同じ領域でも
方向によって画像としての見え方が可成り変わってくる
ため、予め画像の回転補正を行っておく。例えば、被写
体を水平方向に等間隔にＮ枚で１周撮影した場合には、
ほぼ（３６０／Ｎ）°だけ回転したと想定できるため、
その回転量分だけ回転補正を行った画像を特徴点ｖ１１
のテンプレートとして切り出す。

【００１８】図６に示したａは画像ｇ１から特徴点ｖ１
１のテンプレートとしてそのまま矩形領域を切り出した
もので、ｂは回転量分だけ回転補正を行ってテンプレー
トとして矩形領域を切り出したものであり、本実施の形
態ではｂに示したテンプレートを用いる。

【００１９】次に、ｖ１１に対応する特徴点を探索する
画像ｇ２中の探索領域を設定する。この探索領域の設定
は、被写体を水平方向に等間隔にＮ枚で１周撮影した場
合にはほぼ（３６０／Ｎ）゜だけ回転したと想定できる
ため、その回転から予想される領域を画像ｇ２の探索領
域とする。

【００２０】図７のＳに画像ｇ２中のｖ１１に対応する
特徴点を探索する探索領域を示す。ｖ１１’は画像ｇ２
中でのｖ１１の位置を示したものである。この場合には
探索領域Ｓに特徴点ｖ２１とｖ２２が存在するため、こ
の２つの特徴点を中心とした画像ｇ１から切り出したテ
ンプレートと同形状の矩形領域を切り出し、その画像の
輝度分布が最も類似しているものを対応する特徴点とす
る。

【００２１】図８（ａ），（ｂ）はそれぞれｖ２１，ｖ
２２を中心として切り出した領域である。この場合には
図６（ｂ）に画像が類似しているため、ｖ２１をｖ１１
の特徴点として抽出する。

【００２２】以上のような対応付けの処理を画像ｇ１中
の他の特徴点についても繰り返す。

【００２３】次に、特徴点の対応付けの結果を特徴点同
士が１対１に対応するように対応付けの結果を修正す
る。この修正は対応が１対多対応になった場合に画像の
類似度から最も相関の高い対応が抽出されるように行
う。

【００２４】以上の特徴点の対応付けを他の隣り合った
画像間でも順次行う。

【００２５】次に、Ｓ４で特徴点の対応付けの結果から
隣り合った画像で撮影したときの画像間でのカメラの変
位を算出する。

【００２６】先ず、画像間の対応関係を表す行列Ｆを求
める。画像ｇ１の特徴点の位置を（ｕ，ｖ）、それに対
応する画像ｇ２の特徴点の位置を（ｕ’，ｖ’）とする
と、 ｘ’^T Ｆｘ＝０ …（式１） なるＦを全ての対応付けの結果を用いて最小自乗法によ
り求める（但し、ｘ＝（ｕ，ｖ，ｌ）、ｘ’＝（ｕ’，
ｖ’，ｌ）、Ｆは３×３の行列）。そして、Ｆからカメ
ラの３次元回転行列Ｒ及び単位移動ベクトルＴ／｜Ｔ｜
を計算する（但し、Ｔは移動ベクトル）。このカメラの
３次元回転行列Ｒ及び単位移動ベクトルＴ／｜Ｔ｜の計
算を他の隣り合った画像間でも順次行う。

【００２７】次に、それぞれのカメラ変位を結び付けて
撮影した画像の全てのカメラの位置関係を求める。但
し、以上計算したカメラ変位のうち、移動ベクトルＴは
絶対量が計算されていないため、それぞれのカメラ変位
パラメータを３つの画像間の特徴点の対応を利用して再
計算する。

【００２８】以下、画像ｇ１，ｇ２間のカメラ変位と画
像ｇ２，ｇ３間のカメラ変位を連結する方法について説
明する。

【００２９】先ず、画像ｇ１，ｇ２の特徴点の対応付け
と画像ｇ２，ｇ３の特徴点の対応付けから３つの画像ｇ
１，ｇ２，ｇ３で共通して対応する特徴点を抽出する。
そして、画像ｇ１，ｇ２の特徴点の対応付けとカメラ変
位Ｒ，Ｔ／｜Ｔ｜から、対応点として抽出された特徴点
のうち、３つの画像に共通して対応する特徴点の画像ｇ
２を撮影したカメラ座標系での３次元座標をステレオ計
測の原理に基づいて計算する。この処理を画像ｇ２，ｇ
３のカメラ変位Ｒ，Ｔ／｜Ｔ｜からも同様に行い、特徴
点の画像ｇ３を撮影したカメラ座標系での３次元座標を
計算する。そして、対応する特徴点に対して、それぞれ
求めた３次元座標の対応から、画像ｇ２と画像ｇ３との
間のカメラ変位を画像ｇ１と画像ｇ２との間のカメラ変
位との相対値として計算する。

【００３０】以上の処理により、最初に求めた画像ｇ
１，ｇ２のカメラ変位を基準とした画像ｇ２，ｇ３のカ
メラ変位が求まるため、画像ｇ１，ｇ３のカメラ変位を
求めることができる。

【００３１】以上の処理を繰り返し行い、撮影した画像
ｇ１，ｇ２，…，ｇＮのカメラ位置と方向の相対的な関
係を求める。

【００３２】次に、Ｓ５で全てのカメラの位置と方向の
関係から被写体の位置を推定する。本実施の形態では、
先ず、１つの基準座標系におけるカメラの光軸をそれぞ
れのカメラの位置と方向から計算し、それぞれのカメラ
の光軸との距離の２乗の和が最小となるような点を被写
体位置としてその３次元座標を最小自乗法により計算す
る。

【００３３】次に、Ｓ６で各画像の補正を行うためのパ
ラメータを計算する。画像の補正は各画像に対してカメ
ラの光軸が被写体の回転軸と交差し、画像中の被写体の
位置と倍率が画像間で変動しないようなカメラ位置と方
向で撮影した画像になるように行う。

【００３４】図９に補正前後のカメラ位置と方向と被写
体位置との関係を示す。Ｏ’はＳ５で求めた被写体位
置、ｐ１’，ｐ２’，ｐ３’，…，ｐＮ’はＳ４で求め
たカメラ位置であり、ｐ１”，ｐ２”，ｐ３”，…，ｐ
Ｎ”は補正後のカメラ位置で円軌道上に位置する。

【００３５】又、それぞれの補正後のカメラの方向は矢
印に示すように被写体Ｏ’と光軸が交差するようにす
る。そして、それぞれの画像で被写体が被写体の回転方
向以外の軸回りに回転変動しないように光軸を設定す
る。そのため、先ず、Ｓ４で求めたカメラの相対的な位
置関係ｐ１’，ｐ２’，ｐ３’，…，ｐＮ’から全ての
カメラ位置からの距離の２乗和が最小となる円軌道を計
算する。そして、この円軌道上の点で、それぞれのＳ４
で推定されたカメラ位置に最も近い点を補正後のカメラ
位置ｐ１”，ｐ２”，ｐ３”，…，ｐＮ”とする。

【００３６】次に、補正後のカメラ位置から被写体Ｏ’
に向かう方向を光軸方向とし、画像の水平ラインが求め
た円を含む平面に一致するようにカメラの方向を設定す
る。それぞれのカメラの方向の補正量は補正前後のカメ
ラの方向から計算する。

【００３７】次に、カメラの位置の補正を画像のシフト
と拡大、縮小で行う。画像の上下左右の補正シフト量
は、カメラの方向を補正するように画像を変換した後、
カメラ位置と被写体位置Ｏ’とからＯ’が変換後の画像
中心に位置するに求める。そして、被写体の倍率が一定
になるように補正前後のカメラ位置と被写体位置との距
離の比、例えば画像ｇ１の場合、｜Ｏ’ｐ１”｜／｜
Ｏ’ｐ１’｜の分だけ画像を変倍するよう変倍量を求め
る。

【００３８】Ｓ７では、Ｓ６で算出したパラメータに従
い、Ｓ２で抽出された被写体画像を３次元回転変換、画
像シフト、画像変倍処理を順次行い、カメラの光軸が被
写体の回転軸と交差し、画像中の被写体の位置、倍率が
画像間で変動しないよう画像の補正を行う。

【００３９】図１０のｇ１’，ｇ２’，ｇ３’，…，ｇ
Ｎ’に補正後の画像を示す。全ての画像の補正を行った
後、これらの補正画像を回転順に記録しておく。

【００４０】Ｓ８で回転順に記録された被写体画像を再
生する。ユーザーが指示した回転に従い、その方向に対
応する画像に切り替えて表示を行う。

【００４１】本実施の形態では、Ｓ３で画像間の特徴点
の対応付けを予めカメラ変位を予測してそれを利用し、
自動的に行うように構成したが、対応付けを行う被写体
画像を表示してユーザーに対応する特徴点を入力させる
ようにしても良い。

【００４２】又、Ｓ３で画像ｇＮと画像ｇ１での特徴点
の対応付けも行い、Ｓ４でカメラ変位を算出する際にそ
の対応付けの結果も利用することにより、例えば任意の
画像間の対応付けの結果に誤差を含んでいる場合に生じ
るカメラ変位の推定誤差を少なくすることができる。
又、本実施の形態では、画像間の特徴点の対応付けを行
ったが、画像中から抽出された線分や画像領域等の特徴
の対応付けを行い、その結果に基づいて画像の補正を行
っても良い。

【００４３】又、Ｓ６で画像補正パラメータを算出する
際、カメラの撮影位置が円軌道上になるようにしたが、
例えば楕円軌道のような滑らかな曲線上であればほぼ同
等の効果が得られ、回転操作を指示した場合に被写体が
３次元的に回転したような効果が得られる。又、カメラ
位置の軌道だけでなく、求めた軌道上でカメラが等間隔
に配置するようカメラ位置を設定しても良い。その場合
には被写体の回転操作と被写体の回転との対応がより自
然に感じられる。

【００４４】又、Ｓ７で画像の補正を行う際に、元の画
像を３次元回転変換、画像シフト、変倍を行って補正す
るようにしたが、何れか１つの補正を行っても補正の効
果が得られる。又、補正画像は撮影した画像の１つから
生成するようにしたが、２つ以上の画像から生成するよ
うにしても良い。この方法については以下の実施の形態
中において詳述する。

【００４５】＜実施の形態２＞次に、本発明の実施の形
態２について説明する。

【００４６】本実施の形態では、被写体を少なくとも３
以上の任意の方向からカメラで撮影した画像から所定位
置と方向からカメラで撮影した再生画像を生成し、ユー
ザーの指示に従いそれを切り替え再生することによって
３次元画像を表示する方法について説明する。特に、カ
メラの位置は地球の緯度、経度が等間隔に交わる交点上
に来るように２次元的に配置し、方向は被写体方向を向
くようにする。

【００４７】図１１にその理想的な撮影の方法を示す。

【００４８】図１１中の格子点がカメラの撮影位置であ
る。図１１に示すように撮影した画像を再生すれば、被
写体を水平方向だけでなく、任意の方向に３次元的に回
転操作することができるため、より３次元的な感覚が得
られる。

【００４９】しかしながら、これらの画像を特別な装置
もなく手持ちで撮影しようとすると、カメラの位置決め
が極めて困難で、殆どランダムに近い撮影になってしま
い、このまま再生を行うと被写体の３次元的な感覚が損
なわれてしまう。本実施の形態では、手持ち撮影したと
きのカメラの位置と方向で撮った画像から図１１に示し
た理想的なカメラの位置と方向で撮った画像を生成して
再生することによって被写体を３次元的に自由に回転操
作できる表示方法を示す。

【００５０】本実施の形態のアルゴリズムの概略は図１
に示した前記実施の形態１のアルゴリズムと同等であ
り、図１に沿って処理内容を説明する。以下、前記実施
の形態１と同等の処理を行うものについては特に説明し
ない。

【００５１】先ず、Ｓ１で画像データを図１１に示すよ
うに２次元格子状に取得する。但し、カメラを手持ちで
撮影するため、実際のカメラの位置や方向は図示した撮
影状態からずれている。

【００５２】次に、Ｓ２で画像データから被写体のみ写
った画像を取り出す。

【００５３】次に、Ｓ３で画像間の特徴点の対応付けを
行う。このとき、予め撮影した画像を実際の撮影に則し
て２次元的に配置しておき、その配置情報に基づいて対
応付けを行う。

【００５４】次に、Ｓ４で各画像のカメラ位置と方向の
相対的な関係を求める。

【００５５】次に、Ｓ５で全てのカメラの位置と方向か
ら被写体の位置を推定する。

【００５６】次に、Ｓ６で再生画像を生成するためのパ
ラメータを求める。

【００５７】そして、Ｓ７でそのパラメータに従って再
生画像を生成する。

【００５８】以下、本実施の形態における再生画像のパ
ラメータの算出と再生画像の生成方法について説明す
る。

【００５９】先ず、再生画像のカメラ位置と方向を設定
する。図１１に示した格子点での画像を生成するため、
Ｓ５で求めた被写体位置を中心とし、全てのカメラ位置
からの距離の２乗和が最小となる球面を求める。そし
て、その球面上の所定間隔の格子点位置をカメラの位置
とする。又、そのカメラ位置から被写体方向へ向かう方
向をカメラの方向として設定する。そして、それぞれ設
定された再生画像のカメラの位置に近い位置で撮影した
３つの画像を探し、その再生画像の元画像とする。

【００６０】以上の再生画像のカメラの位置と方向、元
画像に関するパラメータをＳ６で求めておく。そして、
Ｓ７で３つの元画像から再生画像を生成する。

【００６１】図１２に再生画像と元画像のカメラの位置
と方向の関係を示し、 これに沿って再生画像の生成方法
を説明する。

【００６２】図１２において、ｐＡ，ｐＢ，ｐＣは３つ
の元画像のカメラ位置で矢印は光軸方向を示す。又、ｐ
Ｎは再生画像のカメラ位置で矢印は光軸方向を示す。

【００６３】先ず、３つの元画像の光軸方向が再生画像
の光軸方向と等しくなるように（図１２の破線で示した
方向に）それぞれの元画像を３次元回転変換する。そし
て、３つの回転変換された画像について特徴点の対応付
けを行う。そして、対応付けられた３つの特徴点の位置
から対応する再生画像の特徴点の位置を求める。

【００６４】図１３に再生画像の特徴点の位置を求める
方法を示す。

【００６５】図１３において、ｇＡ，ｇＢ，ｇＣはそれ
ぞれカメラ位置ｐＡ，ｐＢ，ｐＣに対する回転変換後の
画像、ｇＮは再生画像である。又、ｖＡ，ｖＢ，ｖＣは
対応付けられた特徴点、ｖＡ’，ｖＢ’，ｖＣ’は画像
ｐＮ中の特徴点ｖＡ，ｖＢ，ｖＣの位置、ｖＮは求める
べき特徴点の位置である。このとき、特徴点ｖＮの位置
を（三角形ｐＮｐＡｐＢの面積）：（三角形ｐＮｐＢｐ
Ｃの面積）：（三角形ｐＮｐＣｐＡの面積）＝（三角形
ｖＮｖＡ’ｖＢ’の面積）：（三角形ｖＮｖＢ’ｖＣ’
の面積）：（三角形ｖＮｖＣ’ｖＡ’の面積）となるよ
う求める。以上の再生画像の特徴点位置の算出を他の特
徴点についても行う。

【００６６】そして、画像ｇＡ，ｇＢ，ｇＣの特徴点位
置と再生画像ｇＮの特徴点位置の対応を用いてそれぞれ
の画像ｇＡ，ｇＢ，ｇＣを変形する。この変形は変形後
の画像の再生画像の特徴点位置にそれに対応する元画像
の特徴点の画素が対応するように行う。又、特徴点以外
の領域では、近隣の特徴点の対応関係から局所的に画像
を１次変換してその画像を割り当てる。そして、画像ｇ
Ａ，ｇＢ，ｇＣからそれぞれ変形画像を生成した後、こ
れらの３つの画像ｇＡ，ｇＢ，ｇＣを重み付け平均して
再生画像ｇＮを得る。このときの３つの画像ｇＡ，ｇ
Ｂ，ｇＣの重みは視点ｐＮと３つの視点ｐＡ，ｐＢ，ｐ
Ｃ間の距離に反比例するように与える。

【００６７】以上の再生画像の生成を設定された全ての
カメラの位置と方向について行う。そして、生成した再
生画像をカメラの位置と方向に関連付けて記録してお
く。

【００６８】Ｓ８で被写体画像を再生し、ユーザーの指
示に従って任意の方向に被写体の回転を行うよう再生画
像を切り替えて表示する。

【００６９】本実施の形態では、再生画像を３つの画像
から生成するようにしたため、再生する画像のカメラの
位置が撮影したカメラの位置から離れていても、精度良
く生成できる。逆に、再生する画像のカメラ位置が撮影
位置に近い場合には、そのカメラ位置での画像のみから
再生画像を生成しても良く、再生する画像のカメラ位置
が２つの撮影したカメラ位置を結ぶ直線上にあるとき
は、その２つのカメラ位置での画像から再生画像を生成
しても良い。

【００７０】以上の実施の形態においては、被写体が画
像中の１点を中心に回転するよう再生画像を予め生成し
てその画像を切り替えて表示するようにしたが、ユーザ
ーの被写体操作の指示に従って随時再生画像を生成しな
がら、表示する画像を更新するようにしても良い。

【００７１】又、以上の実施の形態においては、３次元
画像を表示するための方法について説明したが、この方
法を処理プログラムとして磁気ディスクや光ディスク等
の媒体に記録し、汎用のコンピュータシステムにインス
トールして実行することができる。

【００７２】図１４にコンピュータシステムにおける実
施形態を示す。

【００７３】図１４において、１０は処理プログラムを
実行するコンピュータ、１１は処理プログラムを記憶し
た媒体、１２は被写体画像を表示するＣＲＴ等のディス
プレイ、１３は被写体の回転方向の指示等をコンピュー
タに伝えるマウス等の入力デバイスである。媒体１１に
記録された処理プログラムをコンピュータ１０内のメモ
リに記憶し、その後、処理プログラムを実行すると、本
発明の実施の形態で示した処理が行われ、その後、 ユー
ザーが入力デバイス１３を通して被写体の回転方向を指
示すると、その指示に従ってコンピュータ１０は補正さ
れた被写体画像を順次切り替えて表示するようにディス
プレイ１２を制御する。

【００７４】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、被写体を異なる方向から撮影した複数の画像を
切り替えて表示する３次元画像表示方法において、前記
複数の画像間で特徴の対応付けを行い、前記対応付けの
結果に基づいて前記複数の画像中で被写体の動きが滑ら
かになるように前記複数の画像のうち少なくとも１つを
補正するようにしたため、被写体を複数の方向から手持
ちで撮影を行った場合でも複数画像を切り替えて表示し
た際に被写体画像の変動が気にならないように表示する
ことができるという効果が得られる。

【図面の簡単な説明】

【図１】本発明に係る３次元画像表示方法のアルゴリズ
ムを示す図である。

【図２】従来の被写体画像の撮影方法を説明する図であ
る。

【図３】本発明の実施の形態１における撮影方法を説明
する図である。

【図４】被写体画像を示す図である。

【図５】抽出された特徴点を示す図である。

【図６】対応付けを行うためのテンプレートを説明する
図である。

【図７】対応点を探索する領域を説明する図である。

【図８】対応付けの処理を説明する図である。

【図９】本発明の実施の形態１における補正前後のカメ
ラ位置と方向及び被写体位置を説明する図である。

【図１０】本発明の実施の形態１における補正後の被写
体画像を示す図である。

【図１１】本発明の実施の形態２における撮影方法を説
明する図である。

【図１２】本発明の実施の形態２における再生画像と元
画像のカメラ位置方向の関係を説明する図である。

【図１３】本発明の実施の形態２における再生画像の特
徴点の位置を求める方法を説明する図である。

【図１４】コンピュータシステムの構成を示す図であ
る。

【符号の説明】

１ 被写体 ２ ターンテーブル ３ カメラ １０ コンピュータ １１ 記録媒体 １２ ディスプレイ １３ 入力デバイス

フロントページの続き Ｆターム(参考） 5B050 BA09 DA02 EA12 EA27 5B057 CA08 CA12 CA16 CB08 CB13 CB16 CC01 CD02 CD03 CD05 CD14 DB02 DB09 DC30 DC32 5C061 AB03 AB08 AB12

Claims (7)

【特許請求の範囲】
1. 【請求項１】 被写体を異なる方向から撮影した複数の
   画像を切り替えて表示する３次元画像表示方法におい
   て、 前記複数の画像間で特徴の対応付けを行い、前記対応付
   けの結果に基づいて前記複数の画像中で被写体の動きが
   滑らかになるように前記複数の画像のうち少なくとも１
   つを補正することを特徴とする３次元画像表示方法。
2. 【請求項２】 前記複数の画像の対応付けの結果に基づ
   いて前記複数の画像中で被写体が略同一点を中心に回転
   するよう前記複数の画像のうち少なくとも１つを補正す
   ることを特徴とする請求項１記載の３次元画像表示方
   法。
3. 【請求項３】 前記画像の補正は画像の３次元回転変
   換、シフト、変倍の少なくとも１つを含むことを特徴と
   する請求項１又は２記載の３次元画像表示方法。
4. 【請求項４】 前記複数の画像の対応付けの結果に基づ
   いて前記複数の画像を撮影したカメラの位置と方向の相
   対的な関係を推定し、推定したカメラの位置と方向の相
   対的な関係から被写体位置を推定し、前記推定した被写
   体位置に対して撮影位置と方向が滑らかに変位するよう
   な仮想的なカメラ位置と方向を設定して設定した仮想的
   なカメラ位置と方向で撮影した画像を補正画像とするこ
   とを特徴とする請求項１記載の３次元画像表示方法。
5. 【請求項５】 前記撮影位置におけるカメラの光軸が前
   記推定した被写体位置と交差するような仮想的なカメラ
   位置と方向を設定し、設定した仮想的なカメラ位置と方
   向で撮影した画像を補正画像とすることを特徴とする請
   求項４記載の３次元画像表示方法。
6. 【請求項６】 前記補正画像は前記被写体を異なる方向
   から撮影した複数の画像から生成することを特徴とする
   請求項４又は５記載の３次元画像表示方法。
7. 【請求項７】 請求項１〜６記載の３次元画像表示方法
   をプログラムとして記憶して成ることを特徴とする記録
   媒体。