JP2002216163A - 任意視点によるパノラマ画像の生成方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 従来は事実上不可能と考えられていた任意視
点での任意視線方向による画像表示を可能とする任意視
点によるパノラマ画像の生成方法を提供する。 【解決手段】 ベースパノラマ画像BP上各特徴点の位置
とベースパノラマ画像BPの視点とを通る基準直線を設定
し、各基準直線上の各点と参照パノラマ画像RP１、RP２
の視点とを通る直線が参照パノラマ画像RI１、RP２の画
像面と交差する各位置の特徴量を求め、各特徴点に関し
て、ベースパノラマ画像BPと参照パノラマ画像RI１、RP
２それぞれにおいて求められた各特徴量との差を求め、
特徴量の差が最小である参照パノラマ画像RI１、RP２の
画像面上の位置に対応する基準直線上の距離を各特徴点
のベースパノラマ画像BPの視点からの３次元位置情報と
し、これに基づいてベースパノラマ画像BPのシーンの３
次元形状を取得して任意視点の新パノラマ画像NPの画像
面に射影する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パノラマ画像の生
成方法に関し、より詳細には、実写されたパノラマ画像
から任意視点によるパノラマ画像を新たに生成する方法
に関する。また、そのような方法をコンピュータに実行
させるためのコンピュータプログラム及びそれを記録し
た記録媒体に関する。なお、以下においては通常の撮像
装置、たとえば一般的なフィルムカメラ、デジタルスチ
ルカメラ、ビデオカメラ等では撮像不可能な、視点（撮
像位置）を中心とした 360度全周または 360度未満の周
囲のシーンが撮像されたいわゆるパノラマ画像を対象と
しているが、本発明はそのようなパノラマ画像に限ら
ず、どのような画像にも適用可能である。

【０００２】

【従来の技術】ある視点から周囲の 360度を見回したパ
ノラマ画像は、旧来から存在するそのような用途専用の
カメラで得ることが可能であり、また近年では通常のカ
メラで撮像した複数の画像を自動的に接合してパノラマ
画像を生成するコンピュータソフトウェアも普及してい
る。しかし、それらにより得られるパノラマ画像はいず
れも視点が撮像時の視点に固定されたままであることは
いうまでもない。

【０００３】近年のコンピュータグラフィックス(CG)技
術の発展により、視点を移動させつつ、且つ視線方向を
移動させつつ画像を表示することは一般的になってい
る。しかし、そのような技術はあくまでもCGを応用した
仮想現実の世界のことであって、実画像で視点を移動さ
せつつ、換言すれば任意視点でしかも任意視線方向で画
像を表示させることは行なわれていない。

【０００４】

【発明が解決しようとする課題】ところで、任意視点且
つ任意視線方向で画像を表示させるためには、任意視点
におけるパノラマ画像（可能であれば 360度）が必要に
なる。ある位置を視点としてそこに撮像装置を設置し、
その位置からパノラマ画像を撮像した場合、そのパノラ
マ画像の内の視線方向に対応した一部（部分パノラマ画
像）を表示することにより任意視線方向の画像表示が可
能になる。従って、任意視点において任意視線方向の画
像を得るためには全ての任意視点においてパノラマ画像
を用意する必要が生じるが、そのようなことは事実上不
可能である。

【０００５】本発明は上述のような従来は事実上不可能
と考えられていた任意視点での任意視線方向による画像
表示を可能とするために任意視点のパノラマ画像の生成
方法の提供をを目的とする。また、計算量を可及的に少
なくした任意視点によるパノラマ画像の生成方法、その
ためのコンピュータプログラム及び記録媒体の提供を目
的とする。

【０００６】

【課題を解決するための手段】本発明に係る任意視点に
よるパノラマ画像の生成方法の第１の発明は、異なる視
点においてそれぞれの周囲のシーンを撮像した少なくと
も３個のパノラマ画像から任意の視点によるパノラマ画
像を生成する任意視点によるパノラマ画像の生成方法で
あって、前記３個のパノラマ画像の内の１個の第１のパ
ノラマ画像の画像面上の各画素の位置と前記第１のパノ
ラマ画像の視点とを通る直線と、前記３個のパノラマ画
像の内の他の２個の第２のパノラマ画像それぞれの画像
面上の前記第１のパノラマ画像の各画素と同一シーンが
撮像されている画素の位置と前記第２のパノラマ画像そ
れぞれの視点とを通る直線との交点を求め、前記第１の
パノラマ画像の各画素に関して求められた前記各交点の
位置を前記第１のパノラマ画像の各画素の３次元位置情
報として求め、求められた各画素の３次元位置情報に基
づいて前記第１のパノラマ画像に撮像されているシーン
の３次元形状を取得し、取得された３次元形状を任意視
点のパノラマ画像の画像面に射影することにより、前記
任意視点のパノラマ画像を得ることを特徴とする。

【０００７】このような本発明の任意視点によるパノラ
マ画像の生成方法の第１の発明では、第１のパノラマ画
像の画像面上の各画素と同一シーンが撮像されている第
２のパノラマ画像の画像面上の画素とが対応付けられ
て、第１のパノラマ画像の各画素の３次元位置情報が求
められ、求められた各画素の３次元位置情報に基づいて
第１のパノラマ画像に撮像されているシーンの３次元形
状が取得される。そして、取得された３次元形状が任意
視点のパノラマ画像の画像面に射影されて任意視点のパ
ノラマ画像が得られる。

【０００８】本発明に係る任意視点によるパノラマ画像
の生成方法の第２の発明は、異なる視点においてそれぞ
れの周囲のシーンを撮像した少なくとも３個のパノラマ
画像から任意の視点によるパノラマ画像を生成する任意
視点によるパノラマ画像の生成方法であって、前記３個
のパノラマ画像の内の１個の第１のパノラマ画像の画像
面上の所定の特徴量を有する特徴点を複数抽出し、抽出
された各特徴点の画像面上の位置と前記第１のパノラマ
画像の視点とを通る基準直線を設定し、各基準直線上の
各点と前記３個のパノラマ画像の内の他の２個の第２の
パノラマ画像それぞれの視点とを通る直線が前記第２の
パノラマ画像の画像面と交差する各位置の特徴量を求
め、各特徴点に関して、前記第１のパノラマ画像におけ
る特徴量と前記第２のパノラマ画像それぞれにおける各
特徴量との差を求め、各特徴点に関して求められた特徴
量の差が最小である前記第２のパノラマ画像それぞれの
画像面上の位置に対応する基準直線上の距離を各特徴点
の前記第１のパノラマ画像の視点からの３次元位置情報
として求め、求められた各特徴点の３次元位置情報に基
づいて前記第１のパノラマ画像に撮像されているシーン
の３次元形状を取得し、取得された３次元形状を任意視
点のパノラマ画像の画像面に射影することにより、前記
任意視点のパノラマ画像を得ることを特徴とする。

【０００９】このような本発明の任意視点によるパノラ
マ画像の生成方法の第２の発明では、第１のパノラマ画
像の画像面上の所定の特徴量を有する特徴点が複数抽出
され、抽出された各特徴点の画像面上の位置と第１のパ
ノラマ画像の視点とを通る基準直線が設定され、各基準
直線上の各点と第２のパノラマ画像の視点とを通る直線
が他方のパノラマ画像の画像面と交差する各位置の特徴
量が求められ、各特徴点に関して、第１のパノラマ画像
における特徴量と第２のパノラマ画像における各特徴量
との差が求められ、各特徴点に関して求められた特徴量
の差が最小である第２のパノラマ画像の画像面上の位置
に対応する基準直線上の距離が各特徴点の第１のパノラ
マ画像の視点からの３次元位置情報として求められ、求
められた各特徴点の３次元位置情報に基づいて第１のパ
ノラマ画像に撮像されているシーンの３次元形状が取得
される。そして、取得された３次元形状が任意視点のパ
ノラマ画像の画像面に射影されて任意視点のパノラマ画
像が得られる。

【００１０】また本発明の任意視点によるパノラマ画像
の生成方法の第３の発明は第１または第２の発明におい
て、前記第２のパノラマ画像は複数であることを特徴と
する。

【００１１】このような本発明の任意視点によるパノラ
マ画像の生成方法の第３の発明では、第１又は第２の発
明において、第２のパノラマ画像が複数であるため、各
特徴点に関して、第１のパノラマ画像において求められ
た特徴量と複数の第２のパノラマ画像において求められ
た各特徴量との差がそれぞれ求められ、以降の手順が行
なわれる。

【００１２】更に本発明の任意視点によるパノラマ画像
の生成方法の第４の発明は第２の発明において、前記特
徴量は画像の輝度であることを特徴とする。

【００１３】このような本発明の任意視点によるパノラ
マ画像の生成方法の第４の発明では、特徴量が画像の輝
度であるため、第１のパノラマ画像上のたとえば所定値
以上の輝度を有する点が特徴点として抽出される。

【００１４】また更に本発明に係るコンピュータプログ
ラムは、異なる視点においてそれぞれの周囲のシーンを
撮像した少なくとも３個のパノラマ画像から任意の視点
によるパノラマ画像を生成させるためのコンピュータプ
ログラムであって、少なくとも３個のパノラマ画像のデ
ータを読み込む手順と、データが読み込まれた３個のパ
ノラマ画像の内の１個の第１のパノラマ画像の画像面上
の所定の特徴量を有する特徴点を抽出する手順と、抽出
された各特徴点の位置と前記第１のパノラマ画像の視点
とを通る基準直線を設定する手順と、基準直線上の各点
とデータが読み込まれた他の２個の第２のパノラマ画像
それぞれの視点とを通る直線が前記第２のパノラマ画像
の画像面と交差する各位置の特徴量を算出する手順と、
各特徴点に関して、前記第１のパノラマ画像における特
徴量と前記第２のパノラマ画像それぞれにおける各特徴
量との差を算出する手順と、各特徴点に関して求めた特
徴量の差が最小である前記第２のパノラマ画像それぞれ
の画像面上の位置に対応する基準直線上の距離を前記第
１のパノラマ画像の視点からの３次元位置情報として算
出する手順と、各特徴点の３次元位置情報に基づいて前
記第１のパノラマ画像に撮像されているシーンの３次元
形状を取得する手順と、取得した３次元形状を任意視点
のパノラマ画像の画像面へ射影する手順とを実行させる
ことを特徴とする。

【００１５】このような本発明のコンピュータプログラ
ムによれば、それを構成する各手順をコンピュータに実
行させることにより、上述した第２及び第４の発明の任
意視点によるパノラマ画像の生成方法がコンピュータに
より実行される。

【００１６】更にまた本発明に係る記録媒体は、異なる
視点においてそれぞれの周囲のシーンを撮像した少なく
とも３個のパノラマ画像から任意の視点によるパノラマ
画像を生成させるコンピュータプログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、少なくと
も３個のパノラマ画像のデータを読み込ませる手順と、
データが読み込まれた３個のパノラマ画像の内の１個の
第１のパノラマ画像の画像面上の所定の特徴量を有する
特徴点を抽出させる手順と、抽出された各特徴点の位置
と前記第１のパノラマ画像の視点とを通る基準直線を設
定させる手順と、基準直線上の各点とデータが読み込ま
れた他の２個の第２のパノラマ画像それぞれの視点とを
通る直線が前記第２のパノラマ画像の画像面と交差する
各位置の特徴量を算出させる手順と、各特徴点に関し
て、前記第１のパノラマ画像における特徴量と前記第２
のパノラマ画像それぞれにおける各特徴量との差を算出
させる手順と、各特徴点に関して求めた特徴量の差が最
小である前記第２のパノラマ画像それぞれの画像面上の
位置に対応する基準直線上の距離を前記第１のパノラマ
画像の視点からの３次元位置情報として算出させる手順
と、各特徴点の３次元位置情報に基づいて前記第１のパ
ノラマ画像に撮像されているシーンの３次元形状を取得
させる手順と、取得した３次元形状を任意視点のパノラ
マ画像の画像面へ射影させる手順とを含むコンピュータ
プログラムを記録したことを特徴とする。

【００１７】このような本発明の記録媒体によれば、そ
れを構成する各手順をプログラムコードとしてコンピュ
ータに読み込ませることにより、上述した第２及び第４
の発明の任意視点によるパノラマ画像の生成方法をコン
ピュータにより実行させることが出来る。

【００１８】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて詳述する。図１は本発明に係る任意
視点によるパノラマ画像の生成方法の手順を示すフロー
チャートを、図２は図１のフローチャートの一部を詳細
に示すフローチャートを、図３は本発明方法の説明のた
めの３枚の元パノラマ画像の撮像時の位置関係、換言す
ればそれらの視点の位置関係及び撮像対象を示す模式図
を、図４は図３に示されている状態で撮像された３枚の
元パノラマ画像の例を示す模式図をそれぞれ示す。

【００１９】なお、本発明方法は、最小限３枚の元パノ
ラマ画像があればよいが、４枚以上のパノラマ画像を使
用してもよいことはいうまでもない。但し、以下の説明
では３枚の元パノラマ画像を使用する。また、以下にお
いては、図３に示されているように、矩形の囲い１の内
部にたとえば岩石の模様が描かれたテストパターンが貼
り付けられたシーンを処理対象として本発明方法を説明
する。なお、図３に示されている空間には適宜の位置を
原点として図示しない３次元座標系が設定されているも
のとする。

【００２０】囲い１内には適宜の３位置に視点VP１，VP
２，VP３が設定されており、これらの各視点VP１，VP
２，VP３の３次元座標上での座標値は既知である。ま
た、この例では各視点VP１，VP２，VP３においてカメラ
C1, C2, C3によって 360度全周のパノラマ画像が撮像さ
れる。この際の各カメラC1, C2, C3の高さ位置、相互間
の位置関係及びそれぞれの撮像装置の姿勢、即ち光軸の
方向等の３次元座標系内での諸元は既知である。

【００２１】まず、元パノラマ画像の取得が行なわれる
（ステップS11)。この元パノラマ画像の取得は、各視点
VP１，VP２，VP３において適宜の公知の方法、たとえば
球面鏡、魚眼レンズ等を使用する従来一般的な手法、ま
たは通常のカメラ（フィルムカメラ、デジタルカメラ）
をその光軸を水平面内で回転させつつ撮像した複数の画
像を接合する等、により行なわれる。但し、本発明方法
の実際の適用に際しては、元パノラマ画像の取得はその
都度行なわれる必要はなく、撮像位置（視点）及び姿勢
（光軸の方向）が既知である予め撮像された画像データ
を利用することが可能である。

【００２２】図４(a), (b), (c) は各視点VP１，VP２，
VP３において撮像されたパノラマ画像を示している。こ
こで、図４(a) に示す画像は視点VP１において撮像され
た元パノラマ画像であり、その右端と左端とが連続して
いる。また、図４(b) に示す画像は視点VP２において撮
像された元パノラマ画像であり、その右端と左端とが連
続している。更に、図４(c) に示す画像は視点VP３にお
いて撮像された元パノラマ画像であり、その右端と左端
とが連続している。

【００２３】次に、元パノラマ画像の内のいずれか一
つ、ここでは３視点VP１，VP２，VP３の内の中央の視点
VP２において撮像された元パノラマ画像を新規視点のパ
ノラマ画像（以下、新パノラマ画像NPという）を合成す
るための元となるベースパノラマ画像BPとし、その特徴
点抽出を行なう（ステップS12)。なお、ベースパノラマ
画像BPは、新パノラマ画像NPの視点に最も近い位置を視
点とする元パノラマ画像を選択することが望ましい。

【００２４】上述の特徴点の抽出は種々の手法を採るこ
とが可能であるが、この例では、特徴量としての輝度が
全方向において急激に変化している部分を特徴点として
抽出する公知の手法を利用している。図５は図４(b) に
示されているベースパノラマ画像BPに対して特徴点抽出
を行なった結果を示す模式図であり、白点が抽出された
特徴点である。

【００２５】次に、マルチプルベースラインステレオに
よるシーンの３次元形状の取得（ステップS13)、及び元
パノラマ画像（ベースパノラマ画像BP）上の各特徴点を
対象としてドロネーメッシュの作成が行なわれる（ステ
ップS14)。まず、図６のマルチプルベースラインステレ
オの原理を示す模式図、及びステップS13 の詳細を示す
図２のフローチャートを参照してマルチプルベースライ
ンステレオによるシーンの３次元形状の取得に付いて説
明する。

【００２６】図６において、３個の円は 360度全周パノ
ラマ画像の画像面（射影面）を上から見た状態（平面
図）を示している。BIは図３に示されている中央の視点
VP２で撮像されたベースパノラマ画像BPの画像面を、RI
１は図３に示されている一端側の視点VP１で撮像された
元パノラマ画像（以下、第１参照パノラマ画像RP１とい
う）の画像面を、RI２は図３に示されている他端側の視
点VP３で撮像された元パノラマ画像（以下、第２参照パ
ノラマ画像RP２という）の画像面をそれぞれ示してい
る。なお、各パノラマ画像BP, RP１, RP２の画像面は何
れも円筒形状である。また、各画像面の半径は、通常の
平面画像における焦点距離に相当し、各パノラマ画像の
縦サイズと半径が通常の平面画像における画角に相当す
る。

【００２７】なお、図６に破線にて示されている平面形
状は、最終的に得られるパノラマ画像の画像面に撮像さ
れているシーンの３次元形状であり、ベースパノラマ画
像BPに対する距離画像となる。また、ベースパノラマ画
像BPの画像面BIを表わす円筒の中心CB、即ちパノラマ画
像の撮像時の撮像装置の視点とベースパノラマ画像BPの
画像面BI上の注目画素（ここでは特徴点）とを通る直線
を視線ベクトルVIと称する。

【００２８】前述した如く、各パノラマ画像が撮像され
た際の撮像装置の位置及び姿勢は既知であり、従って各
パノラマ画像の３次元座標系に対する視線ベクトルの姿
勢は注目画素の画素アドレスから得ることが可能である
ため、視線ベクトルVIの算出は容易である。このとき、
注目画素に撮像されているシーンに存在する物体表面の
３次元位置はこの視線ベクトルVI上に存在するので、ベ
ースパノラマ画像BPの中心CBから物体表面までの距離が
求まればその注目画素の３次元座標を計算することが出
来る。

【００２９】具体的には、まずベースパノラマ画像BPの
画像面BI上の画素Ｉに注目し、この画素Ｉに撮像されて
いる物体表面の部分がベースパノラマ画像BPの中心CBか
ら距離D1, D2, D3の位置P1, P2, P3にそれぞれ存在する
と仮定する。

【００３０】距離D1の位置P1に物体が存在すると仮定し
た場合、図６に示されているように、ベースパノラマ画
像BPの画像面BI上の画素Ｉに撮像されたシーン中の同一
物体の表面の部分が両参照パノラマ画像RP１、RP２の画
像面RI１，RI２上の画素Ｉ11及びＩ21に撮像されている
はずである。しかし、実際には現実の位置P2までの距離
D2よりも距離が大きすぎるため、両参照パノラマ画像RP
１、RP２の画像面RI１、RI２にはそれぞれ距離D1’及び
D1" の位置P1’及びP1" が撮像されていることになる。
従って、画素ＩとＩ11との輝度差、画素ＩとＩ21との輝
度差は大きくなる。同様に、画素ＩとＩ13との輝度差、
画素ＩとＩ23との輝度差も大きくなる。この際、２個の
参照パノラマ画像RP１、RP２の画像面RI１、RI２上の画
素Ｉ11、Ｉ21のいずれか一方が画素Ｉとほぼ同程度の輝
度を有する可能性はあっても、両方の画素Ｉ11、Ｉ21が
共に画素Ｉとほぼ同程度の輝度を有する確率は非常に小
さい（参照パノラマ画像の数を３個以上に増加させるこ
とにより、このような確率は更に小さくなる）。

【００３１】ベースパノラマ画像BPの中心CBから位置P2
までの距離D2は実距離、即ち正しい距離であるため、画
素ＩとＩ12、画素ＩとＩ22はシーン中の同一物体の表面
の部分が撮像されている。従って、それらの輝度差は非
常に小さいはずである。このように、画素Ｉの視線ベク
トルVI方向に距離順にスキャンし、それぞれの参照パノ
ラマ画像RP１、RP２の画像面RI１、RI２上の対応する画
素との輝度差の最小値を求めることにより、ベースパノ
ラマ画像BPの中心CBから画素Ｉまでの正しい距離を求め
ることが可能である。

【００３２】従って、まず視線ベクトルVI（基準直線）
上の各点と両参照パノラマ画像の視点とを結んで直線を
設定し、その直線が両参照パノラマ画像の画像面と交差
する各位置の特徴量を算出し（ステップS131) 、各特徴
点に関して、ベースパノラマ画像において求めた特徴量
と両参照パノラマ画像において求めた各特徴量との差を
算出し（ステップS132) 、各特徴点に関して求めた特徴
量の両参照パノラマ画像での差が最小である参照パノラ
マ画像面上の位置に対応する視線ベクトルVI（基準直
線）上の３次元位置情報、即ち実距離を算出し（ステッ
プS133）、求められた各特徴点の実距離に基づいてベー
スパノラマ画像の３次元形状を取得する（ステップS13
4) 。但し、上述の原理を１画素を対象として適用した
場合にはノイズ等の影響を受ける可能性が大きいため、
現実的には１０×１０画素程度の領域を対象として適用
することが望ましい。

【００３３】以上のようなマルチプルベースラインステ
レオをベースパノラマ画像BPに適用した結果の一例を図
７の模式図に示す。ここでは、図３に示されている矩形
の囲い１の４面を上方から見た場合の２次元で結果が示
されており、囲い１の各辺に対して複数の注目画素の距
離計算の結果がドットで示されいる。なお、この例で
は、参照パノラマ画像を２個としているため、一般的な
マルチプルベースラインステレオに比して結果が良好と
は言えないが、本発明方法の以降の処理には実質的な影
響はない。

【００３４】上述のようなマルチプルベースラインステ
レオによるシーンの３次元形状の取得と共に、ベースパ
ノラマ画像BPの画像面BI上の各特徴点を対象としてドロ
ネーメッシュが作成される（ステップS14)。この結果、
全特徴点を結ぶメッシュが作成される。図８は図４(b)
に示されているベースパノラマ画像BPの画像面BIに対し
てドロネーメッシュを作成した結果を示す模式図であ
る。

【００３５】なお、ドロネー(Delaunay)メッシュとは、
ドロネー３角形分割により得られるメッシュのことであ
る。ドロネー３角形分割も公知の手法であるが、端的に
は、２個の３角形の外接円が他の点を内部に含まない、
という条件を満足するように対象の点の全てを結んで３
角形を生成する手法である。この結果として得られる３
角形のメッシュがドロネーメッシュである。

【００３６】次に、先に取得したシーンの３次元形状、
具体的には各特徴点の座標値を上述のようにして取得し
たドロネーメッシュに適用してそれを３次元化する（ス
テップS15)。図９はこのドロネーメッシュの３次元化及
びその次のステップS16 で行なわれる新パノラマ画像NP
へのメッシュの射影を示す模式図である。

【００３７】図９の左側部に示されているように、ベー
スパノラマ画像BPにおいて特徴点から作成されたメッシ
ュOMが図９の中央部に示されているように３次元化され
ている。ここで、３次元化されたメッシュ3Mはベースパ
ノラマ画像BPの中心CBに対するベースパノラマ画像BPの
画像面BI上への射影になっている。従って、この３次元
化されたメッシュ3Mを新パノラマ画像NPの中心CNに対す
る新パノラマ画像NPの画像面NI上への射影になるように
すれば、図９の右側部に示されているように、新パノラ
マ画像NPの画像面NI上にベースパノラマ画像BPの画像面
BI上のメッシュが射影される (ステップS16)。

【００３８】図10は図４(b) に示されているベースパノ
ラマ画像BPから作成されたドロネーメッシュを新パノラ
マ画像NPに射影した結果を示す模式図である。この図10
の中央部が両端部に比して上下幅が若干小さくなってい
るが、これは新パノラマ画像NPの中心（視点）CNがベー
スパノラマ画像BPの視点VP２から移動した（具体的に
は、図10の上下幅が若干小さくなっている中央部に対し
て遠ざかった）ことを意味している。

【００３９】ところで、上述のようにして得られた新パ
ノラマ画像NPの画像面NI上のメッシュとベースパノラマ
画像BPの画像面BI上のメッシュとはそれぞれの形状が異
なっていることは言うまでもない。このような本来は同
一の画像の形状が異なる場合、換言すれば画像の形状を
変形する必要がある場合、一般的にアフィン変換処理が
利用される。この例では、２次元アフィン変換マトリク
ス（実際には同次座標であるため３×３）を計算する。
しかし、このようなアフィン変換マトリクスはメッシュ
の内の１つの三角ポリゴンに対してのみ有効であるた
め、新パノラマ画像NPの画像面NI上の画素がそれぞれい
ずれのポリゴンに属しているかを示すフラグ画像をまず
生成する。具体的なアルゴリズムとしてはまず、注目す
る三角ポリゴンの重心を求め、これを始点とする。そし
て、重心から画像の左右方向へ画素を移動し、それぞれ
がポリゴン線（メッシュの線）に到達するまでそのポリ
ゴンを特定するIDを付与する。画素の移動がポリゴン線
にまで到達した場合には、それまでの画素ラインの１画
素下（又は上）へ移動して同一の操作を反復する。この
際の開始画素のｘ座標は最初のラインの中点とする。

【００４０】以上のようにしてスキャンラインがポリゴ
ンの最下部（又は最上部）に達した後は、スキャンを開
始した重心位置から上方（又は下方）へ向けて同一の処
理を反復する。このようにして、１つのポリゴンに含ま
れる全画素にそれが含まれるポリゴンのIDを付与するこ
とにより、これら同一のIDが付与された全ての画素に対
して同一のアフィン変換マトリクスを適用することが可
能になる。図11はこのようにして全てのポリゴンを区分
した状態（輝度差で区分されている）を示す模式図であ
る。

【００４１】このようにして、新パノラマ画像NPの画像
面NI上でのメッシュのベースパノラマ画像BPの画像面BI
上のメッシュに対する変形を参照して、ベースパノラマ
画像BPの各メッシュを変形し（ステップS17)、変形した
ベースパノラマ画像BPの各メッシュの画像を新パノラマ
画像NPの対応するメッシュに貼り付ける（ステップS1
8)。図12は図４(b) に示されているベースパノラマ画像
BPから新パノラマ画像NPを生成した結果を示す模式図で
ある。この例では、新パノラマ画像NPが良好に再現され
ていることが判る。

【００４２】次に、上述のような本発明の任意視点によ
るパノラマ画像の生成方法を汎用コンピュータで実施す
るためのコンピュータプログラムを記録した記録媒体に
ついて説明する。

【００４３】なお、以上の説明では、実用上の観点から
コンピュータによる計算量を削減するため、即ちコンピ
ュータによる計算時間を短縮するために特徴点を利用し
て３個のパノラマ画像からシーンの３次元形状を取得し
ている。しかし、図13のフローチャートに示されている
ように、特徴点を利用せずにパノラマ画像の全画素を利
用して３個のパノラマ画像からシーンの３次元形状を取
得することも勿論可能である。

【００４４】この場合、まず元パノラマ画像の取得が行
なわれ（ステップS21)、その内のベースパノラマ画像BP
の各画素と少なくとも２個の参照パノラマ画像RP１、RP
２の各画素との対応、即ちそれぞれに撮像されているシ
ーンの同一部分が撮像されている画素の対応付けが行な
われる（ステップS22)。なおこのような複数の画像上の
画素の対応付けは公知のアルゴリズムで行なうことが可
能である。

【００４５】次に、３個のパノラマ画像の各画素の対応
点の情報からベースパノラマ画像BPのシーンの３次元形
状の取得が行なわれる（ステップS23)。この処理は、ベ
ースパノラマ画像BPにおいてその中心（視点）とある画
素とを通る直線と、両参照パノラマ画像RP１、RP２それ
ぞれの対応する画素とそれぞれの中心とを通る直線との
交点がベースパノラマ画像BPにおけるシーンの３次元位
置情報として求めることが出来る。即ち、上述の手法に
よる場合は、図６においてベースパノラマ画像BPの画像
面BI上の点Ｉに対応して参照パノラマ画像RP１において
は点Ｉ12が、参照パノラマ画像RP２においては点Ｉ22が
対応点として求まり、それぞれと各パノラマ画像の中心
CB、C1、C2を通る直線は一点で交差する。従って、この
交差点までのベースパノラマ画像BPの中心Cbからの距離
がベースパノラマ画像BPの画像面BI上の点Ｉの３次元位
置情報となる。

【００４６】以上のようにしてベースパノラマ画像BPの
画像面BI上の各画素（点）の３次元位置情報が求まれ
ば、新パノラマ画像NPの画像面NIへ投射することによ
り、新パノラマ画像NPが生成される（ステップS24)。

【００４７】但し、この図13のフローチャートに示され
ている手順では、パノラマ画像の全ての画素を対象に３
次元位置情報の取得及び新パノラマ画像への射影を行な
う必要が有るため、計算量及び計算時間が膨大になり、
実用的ではない。しかし、精密な任意視点のパノラマ画
像が必要な場合には有効な手法である。

【００４８】図14は本発明の任意視点によるパノラマ画
像の生成方法を汎用コンピューで実施するためのコンピ
ュータの構成を示す模式図であり、 CPU11、 ROM12、 R
AM13、ハードディスクドライブ(HD)14、ディスプレイ15
及びコンピュータプログラムの記録媒体としてのCD-ROM
17の読み取り手段としてのCDドライブ(CD-D)16等を備え
た一般的な汎用コンピュータである。

【００４９】なお、この例では記録媒体としてCD-ROM17
が使用されており、またその読み取り手段としてCDドラ
イブ(CD-D)16が備えられているが、記録媒体はCD-ROMに
限定されるものではなく、また記録媒体の読み取り手段
もCD-ROMドライブに限定されるものではない。即ち、記
録媒体（たとえばフレキシブルディスク、磁気テープ、
種々のCD及び DVD、半導体メモリ、リムーバブルタイプ
のHD等）の読み取り手段は記録媒体に応じた適宜の装置
を利用すればよい。

【００５０】また、HD14には元パノラマ画像のデータが
記憶されているが、これも他の記録媒体、記憶媒体に記
録、記憶させておいてもよいことは言うまでもない。

【００５１】図15はCD-ROM17に記録されているコンピュ
ータプログラムのプログラムコードの内容を示す模式図
である。CD-ROM17には、少なくとも３個のパノラマ画像
のデータを読み込ませるプログラムコードPC11と、デー
タが読み込まれた３個のパノラマ画像の内の１個の第１
のパノラマ画像の画像面上の所定の特徴量を有する特徴
点を抽出させるプログラムコードPC12と、抽出された各
特徴点の位置と第１のパノラマ画像の視点とを通る基準
直線を設定させるプログラムコードPC13と、基準直線上
の各点とデータが読み込まれた他の２個の第２のパノラ
マ画像それぞれの視点とを通る直線が第２のパノラマ画
像の画像面と交差する各位置の特徴量を算出させるプロ
グラムコードPC14と、各特徴点に関して、第１のパノラ
マ画像における特徴量と第２のパノラマ画像それぞれに
おける各特徴量との差を算出させるプログラムコードPC
15と、各特徴点に関して求めた特徴量の差が最小である
第２のパノラマ画像それぞれの画像面上の位置に対応す
る基準直線上の距離を第１のパノラマ画像の視点からの
３次元位置情報として算出させるプログラムコードPC16
と、各特徴点の３次元位置情報に基づいて第１のパノラ
マ画像に撮像されているシーンの３次元形状を取得させ
るプログラムコードPC17と、取得した３次元形状を任意
視点のパノラマ画像の画像面へ射影させるプログラムコ
ードPC18とが少なくとも記録されている。

【００５２】なお、このようなCD-ROM17に記録されてい
る各プログラムコードはCD-D16により読み取られてHD14
に格納される。そして、必要に応じて各プログラムコー
ドがHD14から読み出されて RAM13に一時記憶され、 CPU
11により読み込まれて各プログラムコードに記述されて
いる手順が実行される。 CPU11はその他にHD14に記憶さ
れている元パノラマ画像のデータをも読み込んで前述し
たような本発明の任意視点によるパノラマ画像の生成方
法を実行する。

【００５３】

【発明の効果】以上に詳述したように、本発明の任意視
点によるパノラマ画像の生成方法の第１の発明によれ
ば、少なくとも３視点で得られたパノラマ画像から任意
視点のパノラマ画像を生成することが出来るので、たと
えば適宜の間隔で撮像された少なくとも３個のパノラマ
画像を利用すれば任意に視点を移動させつつ任意の視線
方向の画像を得ることが可能になる。

【００５４】また、本発明の任意視点によるパノラマ画
像の生成方法の第２の発明によれば、少なくとも３視点
で得られたパノラマ画像から特徴点を利用して任意視点
のパノラマ画像を生成することが出来るので、たとえば
適宜の間隔で撮像された少なくとも３個のパノラマ画像
を利用すれば任意に視点を移動させつつ任意の視線方向
の画像を少ない計算量で得ることが可能になる。

【００５５】また本発明の任意視点によるパノラマ画像
の生成方法の第３の発明によれば、第１又は第２の発明
において、参照パノラマ画像が複数であるため、第１又
は第２の発明に比してより高精度で任意視点のパノラマ
画像を得ることが可能になる。

【００５６】更に本発明の任意視点によるパノラマ画像
の生成方法の第４の発明によれば、第２の発明におい
て、特徴量が画像の輝度であるため、比較的単純な画像
処理によって特徴点を求めることが可能になり、全体と
しての計算量を更に抑制することが可能になる。

【００５７】また更に本発明のコンピュータプログラム
によれば、コンピュータプログラムを構成する各手順を
コンピュータに実行させることによって、上述したよう
な第２及び第４の発明の任意視点によるパノラマ画像の
生成方法を少ない計算量でコンピュータに実行させるこ
とが可能になる。

【００５８】また更に本発明の記録媒体によれば、それ
に記録されているコンピュータプログラムを構成する各
手順を記述したプログラムコードを汎用コンピュータに
読み込ませることによって、上述したような第２及び第
４の発明の任意視点によるパノラマ画像の生成方法を少
ない計算量でコンピュータに実行させることが可能にな
る。

【図面の簡単な説明】

【図１】本発明に係る任意視点によるパノラマ画像の生
成方法の手順を示すフローチャートである。

【図２】図１のフローチャートの一部を詳細に示すフロ
ーチャートである。

【図３】本発明方法の説明のための３枚の元パノラマ画
像の撮像時の位置関係、換言すればそれらの視点の位置
関係及び撮像対象を示す模式図である。

【図４】図３に示されている状態で撮像された３枚の元
パノラマ画像の例を示す模式図である。

【図５】図４に示されているベースパノラマ画像に対し
て特徴点抽出を行なった結果を示す模式図である。

【図６】シーンの３次元形状の取得のためのマルチプル
ベースラインステレオの原理を示す模式図である。

【図７】マルチプルベースラインステレオをベースパノ
ラマ画像に適用した結果の一例を示す模式図である。

【図８】図４に示されているベースパノラマ画像に対し
てドロネーメッシュを作成した結果を示す模式図であ
る。

【図９】ドロネーメッシュの３次元化及び新パノラマ画
像へのメッシュの射影を示す模式図である。

【図１０】図４に示されているベースパノラマ画像から
作成されたドロネーメッシュを新パノラマ画像に射影し
た結果を示す模式図である。

【図１１】図４に示されているベースパノラマ画像の全
てのポリゴンを区分した状態を示す模式図である。

【図１２】図４に示されているベースパノラマ画像から
新パノラマ画像を生成した結果を示す模式図である。

【図１３】本発明に係る任意視点によるパノラマ画像の
生成方法の他の手順を示すフローチャートである。

【図１４】本発明の任意視点によるパノラマ画像の生成
方法を実施するための汎用コンピューの構成を示す模式
図である。

【図１５】CD-ROMに記録されているコンピュータプログ
ラムのプログラムコードの内容を示す模式図である。

【符号の説明】

BP ベースパノラマ画像 BI ベースパノラマ画像の画像面 NP 新パノラマ画像（任意視点） NI 新パノラマ画像の画像面 RP１，RP２ 参照パノラマ画像 RI１，RI２ 参照パノラマ画像の画像面 Ｉ 特徴点 VI 視線ベクトルVI VP１，VP２，VP３ 視点 １７ CD-ROM PC11〜PC22 プログラムコード

フロントページの続き (72)発明者 乾 昌弘 大阪府大阪市西区千代崎３丁目南２番37号 株式会社オージス総研内 Ｆターム(参考） 5B050 BA09 BA11 EA05 EA27 EA28 5B057 CA13 CA16 CB13 CB16 CC02 DB03 DC05 5B080 AA13 BA02 BA07

Claims (6)

【特許請求の範囲】
1. 【請求項１】 異なる視点においてそれぞれの周囲のシ
   ーンを撮像した少なくとも３個のパノラマ画像から任意
   の視点によるパノラマ画像を生成する任意視点によるパ
   ノラマ画像の生成方法であって、 前記３個のパノラマ画像の内の１個の第１のパノラマ画
   像の画像面上の各画素の位置と前記第１のパノラマ画像
   の視点とを通る直線と、前記３個のパノラマ画像の内の
   他の２個の第２のパノラマ画像それぞれの画像面上の前
   記第１のパノラマ画像の各画素と同一シーンが撮像され
   ている画素の位置と前記第２のパノラマ画像それぞれの
   視点とを通る直線との交点を求め、 前記第１のパノラマ画像の各画素に関して求められた前
   記各交点の位置を前記第１のパノラマ画像の各画素の３
   次元位置情報として求め、 求められた各画素の３次元位置情報に基づいて前記第１
   のパノラマ画像に撮像されているシーンの３次元形状を
   取得し、 取得された３次元形状を任意視点のパノラマ画像の画像
   面に射影することにより、前記任意視点のパノラマ画像
   を得ることを特徴とする任意視点によるパノラマ画像の
   生成方法。
2. 【請求項２】 異なる視点においてそれぞれの周囲のシ
   ーンを撮像した少なくとも３個のパノラマ画像から任意
   の視点によるパノラマ画像を生成する任意視点によるパ
   ノラマ画像の生成方法であって、 前記３個のパノラマ画像の内の１個の第１のパノラマ画
   像の画像面上の所定の特徴量を有する特徴点を複数抽出
   し、 抽出された各特徴点の画像面上の位置と前記第１のパノ
   ラマ画像の視点とを通る基準直線を設定し、 各基準直線上の各点と前記３個のパノラマ画像の内の他
   の２個の第２のパノラマ画像それぞれの視点とを通る直
   線が前記第２のパノラマ画像の画像面と交差する各位置
   の特徴量を求め、 各特徴点に関して、前記第１のパノラマ画像における特
   徴量と前記第２のパノラマ画像それぞれにおける各特徴
   量との差を求め、 各特徴点に関して求められた特徴量の差が最小である前
   記第２のパノラマ画像それぞれの画像面上の位置に対応
   する基準直線上の距離を各特徴点の前記第１のパノラマ
   画像の視点からの３次元位置情報として求め、 求められた各特徴点の３次元位置情報に基づいて前記第
   １のパノラマ画像に撮像されているシーンの３次元形状
   を取得し、 取得された３次元形状を任意視点のパノラマ画像の画像
   面に射影することにより、前記任意視点のパノラマ画像
   を得ることを特徴とする任意視点によるパノラマ画像の
   生成方法。
3. 【請求項３】 前記第２のパノラマ画像は３個以上であ
   ることを特徴とする請求項１又は２に記載の任意視点に
   よるパノラマ画像の生成方法。
4. 【請求項４】 前記特徴量は画像の輝度であることを特
   徴とする請求項２に記載の任意視点によるパノラマ画像
   の生成方法。
5. 【請求項５】 異なる視点においてそれぞれの周囲のシ
   ーンを撮像した少なくとも３個のパノラマ画像から任意
   の視点によるパノラマ画像を生成させるためのコンピュ
   ータプログラムであって、 少なくとも３個のパノラマ画像のデータを読み込む手順
   と、 データが読み込まれた３個のパノラマ画像の内の１個の
   第１のパノラマ画像の画像面上の所定の特徴量を有する
   特徴点を抽出する手順と、 抽出された各特徴点の位置と前記第１のパノラマ画像の
   視点とを通る基準直線を設定する手順と、 基準直線上の各点とデータが読み込まれた他の２個の第
   ２のパノラマ画像それぞれの視点とを通る直線が前記第
   ２のパノラマ画像の画像面と交差する各位置の特徴量を
   算出する手順と、 各特徴点に関して、前記第１のパノラマ画像における特
   徴量と前記第２のパノラマ画像それぞれにおける各特徴
   量との差を算出する手順と、 各特徴点に関して求めた特徴量の差が最小である前記第
   ２のパノラマ画像それぞれの画像面上の位置に対応する
   基準直線上の距離を前記第１のパノラマ画像の視点から
   の３次元位置情報として算出する手順と、 各特徴点の３次元位置情報に基づいて前記第１のパノラ
   マ画像に撮像されているシーンの３次元形状を取得する
   手順と、 取得した３次元形状を任意視点のパノラマ画像の画像面
   へ射影する手順とを実行させることを特徴とするコンピ
   ュータプログラム。
6. 【請求項６】 異なる視点においてそれぞれの周囲のシ
   ーンを撮像した少なくとも３個のパノラマ画像から任意
   の視点によるパノラマ画像を生成させるコンピュータプ
   ログラムを記録したコンピュータ読み取り可能な記録媒
   体であって、 少なくとも３個のパノラマ画像のデータを読み込ませる
   手順と、 データが読み込まれた３個のパノラマ画像の内の１個の
   第１のパノラマ画像の画像面上の所定の特徴量を有する
   特徴点を抽出させる手順と、 抽出された各特徴点の位置と前記第１のパノラマ画像の
   視点とを通る基準直線を設定させる手順と、 基準直線上の各点とデータが読み込まれた他の２個の第
   ２のパノラマ画像それぞれの視点とを通る直線が前記第
   ２のパノラマ画像の画像面と交差する各位置の特徴量を
   算出させる手順と、 各特徴点に関して、前記第１のパノラマ画像における特
   徴量と前記第２のパノラマ画像それぞれにおける各特徴
   量との差を算出させる手順と、 各特徴点に関して求めた特徴量の差が最小である前記第
   ２のパノラマ画像それぞれの画像面上の位置に対応する
   基準直線上の距離を前記第１のパノラマ画像の視点から
   の３次元位置情報として算出させる手順と、 各特徴点の３次元位置情報に基づいて前記第１のパノラ
   マ画像に撮像されているシーンの３次元形状を取得させ
   る手順と、 取得した３次元形状を任意視点のパノラマ画像の画像面
   へ射影させる手順とを含むコンピュータプログラムを記
   録したことを特徴とする記録媒体。