JP2002092597A - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置Info
- Publication number
- JP2002092597A JP2002092597A JP2000280697A JP2000280697A JP2002092597A JP 2002092597 A JP2002092597 A JP 2002092597A JP 2000280697 A JP2000280697 A JP 2000280697A JP 2000280697 A JP2000280697 A JP 2000280697A JP 2002092597 A JP2002092597 A JP 2002092597A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- images
- plane
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】全天周方向に向けて配置した、物理的に配置可
能な台数のカメラから得られた複数の画像に基づいて全
天周画像を補間生成することを可能とする。 【解決手段】複数の画像の各々を撮影したカメラのレン
ズ中心を頂点とする多面体Ｓを構成する三角形平面のう
ち、補間画像Ｉe中の注目画素Ｐeを表す光線ｌとの交点
を有する三角形平面を抽出し、抽出された三角形平面の
頂点Ｘ1、Ｘ2、Ｘ 3をレンズ中心とする複数の画像に基
づいて、上記交点を視点位置とする仮想画像ＩFを補間
生成する。そして、仮想画像ＩFから注目画素Ｐeに対応
する画素ＰFを取得して、これを用いて補間画像Ｉeの注
目画素Ｐeを描画する。以上の処理を補間画像Ｉe中の画
素の各々に関して繰り返し該補間画像を生成する。
能な台数のカメラから得られた複数の画像に基づいて全
天周画像を補間生成することを可能とする。 【解決手段】複数の画像の各々を撮影したカメラのレン
ズ中心を頂点とする多面体Ｓを構成する三角形平面のう
ち、補間画像Ｉe中の注目画素Ｐeを表す光線ｌとの交点
を有する三角形平面を抽出し、抽出された三角形平面の
頂点Ｘ1、Ｘ2、Ｘ 3をレンズ中心とする複数の画像に基
づいて、上記交点を視点位置とする仮想画像ＩFを補間
生成する。そして、仮想画像ＩFから注目画素Ｐeに対応
する画素ＰFを取得して、これを用いて補間画像Ｉeの注
目画素Ｐeを描画する。以上の処理を補間画像Ｉe中の画
素の各々に関して繰り返し該補間画像を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、既存の画像からユ
ーザの視点位置での画像を補間して生成する画像処理装
置及び方法に関する。
ーザの視点位置での画像を補間して生成する画像処理装
置及び方法に関する。
【０００２】
【従来の技術】レンズ中心が一致した全天周画像は、蓄
積再生テレプレゼンス方式の複合現実感システムにおけ
るデータ形式として有効であり、さまざまな試みがなさ
れている。
積再生テレプレゼンス方式の複合現実感システムにおけ
るデータ形式として有効であり、さまざまな試みがなさ
れている。
【０００３】その例を示せば、次のとおりである。例え
ば、 （１）「移動車輌搭載カメラを用いた電脳映像都市空間
の構築（２）−実写画像を用いた広域仮想空間の生成−
（日本バーチャルリアリティ学会第２回大会論文集、pp
67-70,1997（廣瀬、渡辺、谷川、遠藤、片山、田村））
では、自動車の屋根上に複数台のビデオカメラを水平全
周方向に向けて放射状に配置した撮影システムを提案し
ている。 （２）http://www.imoveinc.comにおいて紹介されてい
るiMove Spherical Videoでは、複数台のカメラを用い
て全天周を同時刻に撮影することが示されている。 （３）Chen S.E.によるQuickTime VR（An Image-Based
Approach to Virtual Environment Navigation, Proc.
SIGGRAPH'95, pp.29-38, 1995）では、ある一点から全
周方向を自由に見回すことを可能としている。 （４）「六角錐ミラーを用いた全方位ステレオ画像セン
サによる高解像度ステレオパノラマ動画像の作成（信学
技法PRMU97-118, 1997（川西、山澤、岩佐、竹村、横
矢））」や、「光線情報による３次元実空間の効率的記
録へ向けた光線空間射影法（信学技法IE95-119, 1996
（苗村、柳澤、金子、原島））」には、１台のカメラと
回転双曲面ミラーを使用するか、複数台のカメラと多角
錐ミラーを使用すれば、レンズ中心が一致した全周画像
を同時刻に撮影することができることが示されている。
ば、 （１）「移動車輌搭載カメラを用いた電脳映像都市空間
の構築（２）−実写画像を用いた広域仮想空間の生成−
（日本バーチャルリアリティ学会第２回大会論文集、pp
67-70,1997（廣瀬、渡辺、谷川、遠藤、片山、田村））
では、自動車の屋根上に複数台のビデオカメラを水平全
周方向に向けて放射状に配置した撮影システムを提案し
ている。 （２）http://www.imoveinc.comにおいて紹介されてい
るiMove Spherical Videoでは、複数台のカメラを用い
て全天周を同時刻に撮影することが示されている。 （３）Chen S.E.によるQuickTime VR（An Image-Based
Approach to Virtual Environment Navigation, Proc.
SIGGRAPH'95, pp.29-38, 1995）では、ある一点から全
周方向を自由に見回すことを可能としている。 （４）「六角錐ミラーを用いた全方位ステレオ画像セン
サによる高解像度ステレオパノラマ動画像の作成（信学
技法PRMU97-118, 1997（川西、山澤、岩佐、竹村、横
矢））」や、「光線情報による３次元実空間の効率的記
録へ向けた光線空間射影法（信学技法IE95-119, 1996
（苗村、柳澤、金子、原島））」には、１台のカメラと
回転双曲面ミラーを使用するか、複数台のカメラと多角
錐ミラーを使用すれば、レンズ中心が一致した全周画像
を同時刻に撮影することができることが示されている。
【０００４】
【発明が解決しようとする課題】しかしながら、カメラ
や撮影機材には物理的な大きさがあるため、ある一点か
らの全天周画像を同時刻に撮影することは不可能であ
る。
や撮影機材には物理的な大きさがあるため、ある一点か
らの全天周画像を同時刻に撮影することは不可能であ
る。
【０００５】例えば、上記（１）では、各カメラのレン
ズ中心を一致させることはできておらず、また、全天周
に対応するものでもない。また、上記（２）において
も、複数のカメラのレンズ中心を一致させることはでき
ていない。また、上記（３）では、ある一点からの全周
画像は１台のカメラを回転させて順次撮影した画像から
合成されるものであり、同時刻の画像を生成することは
できない。更に、上記（４）にあげられた手法を拡張し
て、全天周の撮影に対応することは物理的に不可能であ
る。
ズ中心を一致させることはできておらず、また、全天周
に対応するものでもない。また、上記（２）において
も、複数のカメラのレンズ中心を一致させることはでき
ていない。また、上記（３）では、ある一点からの全周
画像は１台のカメラを回転させて順次撮影した画像から
合成されるものであり、同時刻の画像を生成することは
できない。更に、上記（４）にあげられた手法を拡張し
て、全天周の撮影に対応することは物理的に不可能であ
る。
【０００６】本発明は上記の問題に鑑みてなされたもの
であり、全天周方向に向けて配置した、物理的に配置可
能な台数のカメラから得られた複数の画像に基づいて全
天周画像を補間生成することを可能とする。
であり、全天周方向に向けて配置した、物理的に配置可
能な台数のカメラから得られた複数の画像に基づいて全
天周画像を補間生成することを可能とする。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は例えば以下の構成を備
える。すなわち、カメラから得られた複数の画像に基づ
いて所望の視点位置及び視線方向の補間画像を生成する
画像処理装置であって、前記複数の画像の各々を撮影し
たカメラのレンズ中心を頂点とする多面体を構成する平
面のうち、前記補間画像中の注目画素を表す光線との交
点を有する平面を抽出する抽出手段と、前記抽出手段で
抽出された平面の頂点をレンズ中心とする複数の画像に
基づいて、前記交点を視点位置とする仮想画像を補間生
成する補間手段と、前記仮想画像から前記注目画素に対
応する画素を取得して、これを用いて当該注目画素を描
画する描画手段と、前記補間画像中の画素の各々に関し
て、前記抽出手段と前記補間手段と前記描画手段を繰り
返して該補間画像を生成する生成手段とを備える。
めの本発明による画像処理装置は例えば以下の構成を備
える。すなわち、カメラから得られた複数の画像に基づ
いて所望の視点位置及び視線方向の補間画像を生成する
画像処理装置であって、前記複数の画像の各々を撮影し
たカメラのレンズ中心を頂点とする多面体を構成する平
面のうち、前記補間画像中の注目画素を表す光線との交
点を有する平面を抽出する抽出手段と、前記抽出手段で
抽出された平面の頂点をレンズ中心とする複数の画像に
基づいて、前記交点を視点位置とする仮想画像を補間生
成する補間手段と、前記仮想画像から前記注目画素に対
応する画素を取得して、これを用いて当該注目画素を描
画する描画手段と、前記補間画像中の画素の各々に関し
て、前記抽出手段と前記補間手段と前記描画手段を繰り
返して該補間画像を生成する生成手段とを備える。
【０００８】また、上記の目的を達成するための本発明
による画像処理方法は例えば以下の工程を備える。すな
わち、カメラから得られた複数の画像に基づいて所望の
視点位置及び視線方向の補間画像を生成する画像処理方
法であって、前記複数の画像の各々を撮影したカメラの
レンズ中心を頂点とする多面体を構成する平面のうち、
前記補間画像中の注目画素を表す光線との交点を有する
平面を抽出する抽出工程と、前記抽出工程で抽出された
平面の頂点をレンズ中心とする複数の画像に基づいて、
前記交点を視点位置とする仮想画像を補間生成する補間
工程と、前記仮想画像から前記注目画素に対応する画素
を取得して、これを用いて当該注目画素を描画する描画
工程と、前記補間画像中の画素の各々に関して、前記抽
出工程と前記補間工程と前記描画工程を繰り返して該補
間画像を生成する生成工程とを備える。
による画像処理方法は例えば以下の工程を備える。すな
わち、カメラから得られた複数の画像に基づいて所望の
視点位置及び視線方向の補間画像を生成する画像処理方
法であって、前記複数の画像の各々を撮影したカメラの
レンズ中心を頂点とする多面体を構成する平面のうち、
前記補間画像中の注目画素を表す光線との交点を有する
平面を抽出する抽出工程と、前記抽出工程で抽出された
平面の頂点をレンズ中心とする複数の画像に基づいて、
前記交点を視点位置とする仮想画像を補間生成する補間
工程と、前記仮想画像から前記注目画素に対応する画素
を取得して、これを用いて当該注目画素を描画する描画
工程と、前記補間画像中の画素の各々に関して、前記抽
出工程と前記補間工程と前記描画工程を繰り返して該補
間画像を生成する生成工程とを備える。
【０００９】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
明の好適な実施形態を説明する。
【００１０】［システムの概要と原理］カメラのレンズ
中心が一致した全天周画像を撮影することができなくて
も、後処理で再構成することができればよい。したがっ
て、本実施形態では、少数のカメラで撮影した画像を基
に、膨大な量の画像を補間生成することを可能とし、全
天周画像を補間生成可能とするものである。
中心が一致した全天周画像を撮影することができなくて
も、後処理で再構成することができればよい。したがっ
て、本実施形態では、少数のカメラで撮影した画像を基
に、膨大な量の画像を補間生成することを可能とし、全
天周画像を補間生成可能とするものである。
【００１１】画像を構成する各画素は、カメラのレンズ
中心に飛来する一本の光線を記録したものである。した
がって、画像とはカメラのレンズ中心に飛来する光線群
を記録したものであると考えることができる。ここで、
各光線が飛来の途中で減衰せずに直進すると仮定する
と、光線の飛来系路上のどの位置にカメラを置いてもそ
の光線の色を観察できることになる。したがって、生成
したい画像をＩeとし、その視点位置をｅとすると、画
像Ｉeの画素数と同数のカメラを用意して、それらを視
点位置ｅから離間した位置に配置し、各カメラで一本ず
つ適切な光線を記録しておけば、視点位置ｅに物理的に
カメラを置かなくても、図１に示すようにＩeを再構成
できることになる。
中心に飛来する一本の光線を記録したものである。した
がって、画像とはカメラのレンズ中心に飛来する光線群
を記録したものであると考えることができる。ここで、
各光線が飛来の途中で減衰せずに直進すると仮定する
と、光線の飛来系路上のどの位置にカメラを置いてもそ
の光線の色を観察できることになる。したがって、生成
したい画像をＩeとし、その視点位置をｅとすると、画
像Ｉeの画素数と同数のカメラを用意して、それらを視
点位置ｅから離間した位置に配置し、各カメラで一本ず
つ適切な光線を記録しておけば、視点位置ｅに物理的に
カメラを置かなくても、図１に示すようにＩeを再構成
できることになる。
【００１２】なお、図１には平面画像の場合を示した
が、全天周画像も同様に再構成することができる。
が、全天周画像も同様に再構成することができる。
【００１３】しかしながら、このような考えを実現する
ためには、各画素に対応した非常に多数のカメラが必要
となり、現実的ではない。しかし、より離散的に配置し
たカメラで撮影した画像から、各画素に対応したカメラ
によって撮影されるはずの画像を補間生成することがで
きれば、図２に示すように、各画素に対応した多数のカ
メラを配置した場合と同一の結果を得ることができる。
ためには、各画素に対応した非常に多数のカメラが必要
となり、現実的ではない。しかし、より離散的に配置し
たカメラで撮影した画像から、各画素に対応したカメラ
によって撮影されるはずの画像を補間生成することがで
きれば、図２に示すように、各画素に対応した多数のカ
メラを配置した場合と同一の結果を得ることができる。
【００１４】すなわち、離散的に配置したカメラで撮影
した画像から、各カメラのレンズ中心を頂点とする多面
体表面の任意の視点位置における仮想画像を生成し、そ
れらの画像から適切な画素を選択すれば、多面体内部の
任意の視点位置における画像（補間画像）を生成できる
ことになる。
した画像から、各カメラのレンズ中心を頂点とする多面
体表面の任意の視点位置における仮想画像を生成し、そ
れらの画像から適切な画素を選択すれば、多面体内部の
任意の視点位置における画像（補間画像）を生成できる
ことになる。
【００１５】図３は、本実施形態による任意の視点によ
る補間画像の生成の原理を説明する図である。上述した
ように、各カメラレンズの中心を頂点とする多面体Ｓの
表面上の任意の視点位置における画像が生成できれば、
それらの画像から適切な画素を選択することによって、
多面体Ｓの内部の視点位置ｅにおける補間画像Ｉeを生
成することができる。
る補間画像の生成の原理を説明する図である。上述した
ように、各カメラレンズの中心を頂点とする多面体Ｓの
表面上の任意の視点位置における画像が生成できれば、
それらの画像から適切な画素を選択することによって、
多面体Ｓの内部の視点位置ｅにおける補間画像Ｉeを生
成することができる。
【００１６】具体的には、補間画像Ｉeを構成する全て
の画素Ｐeに対して、画素Ｐeを表す光線と多面体Ｓを構
成する多角形平面Ｆとの交点ＸFを求め、ＸFを視点位置
とする仮想画像ＩFを当該多角形平面Ｆの頂点をレンズ
中心とする画像から補間して生成し、画素Ｐeに対応す
る仮想画像ＩF上の画素ＰFを求め、これを補間画像Ｉe
内の画素Ｐeとして描画する。
の画素Ｐeに対して、画素Ｐeを表す光線と多面体Ｓを構
成する多角形平面Ｆとの交点ＸFを求め、ＸFを視点位置
とする仮想画像ＩFを当該多角形平面Ｆの頂点をレンズ
中心とする画像から補間して生成し、画素Ｐeに対応す
る仮想画像ＩF上の画素ＰFを求め、これを補間画像Ｉe
内の画素Ｐeとして描画する。
【００１７】以下、本実施形態による任意視点からの補
間画像の生成について説明する。
間画像の生成について説明する。
【００１８】［システム構成の説明］図４は、本実施形
態のカメラシステムの概略構成を示すブロック図であ
る。図４において、４１−１〜４１−ｎは、略全天周方
向に向けて配置された複数台（ｎ台）のカメラである
（以下、ｎ台のカメラ４１という）。本例ではｎ台のカ
メラ４１としてＣＣＤカメラを用いるものとする。４２
はカメラコントローラであり、ｎ台のカメラ４１による
同時撮影を行うべく制御するとともに、これらの撮影に
よって得られた画像情報を画像格納処理部へ提供する。
４３は画像格納処理部であり、カメラコントローラ４２
によって得られたｎ台のカメラ４１の夫々の画像を記憶
装置４４に格納する。
態のカメラシステムの概略構成を示すブロック図であ
る。図４において、４１−１〜４１−ｎは、略全天周方
向に向けて配置された複数台（ｎ台）のカメラである
（以下、ｎ台のカメラ４１という）。本例ではｎ台のカ
メラ４１としてＣＣＤカメラを用いるものとする。４２
はカメラコントローラであり、ｎ台のカメラ４１による
同時撮影を行うべく制御するとともに、これらの撮影に
よって得られた画像情報を画像格納処理部へ提供する。
４３は画像格納処理部であり、カメラコントローラ４２
によって得られたｎ台のカメラ４１の夫々の画像を記憶
装置４４に格納する。
【００１９】４５は視点位置及び視線方向入力部であ
り、所望の視点位置及び視線方向を装置に与える。４６
は補間処理部であり、視点位置及び視線方向入力部４５
で設定された視点位置と視線方向によって観察されるべ
き補間画像を、記憶装置４４に格納された画像情報を基
に生成する。４７は表示装置であり、画像生成部４６に
よって生成された補間画像をＣＲＴ或いは液晶等のディ
スプレイに表示する。なお、画像格納処理部４３と補間
処理部４６とは１つのコンピュータで構成されていても
よい。
り、所望の視点位置及び視線方向を装置に与える。４６
は補間処理部であり、視点位置及び視線方向入力部４５
で設定された視点位置と視線方向によって観察されるべ
き補間画像を、記憶装置４４に格納された画像情報を基
に生成する。４７は表示装置であり、画像生成部４６に
よって生成された補間画像をＣＲＴ或いは液晶等のディ
スプレイに表示する。なお、画像格納処理部４３と補間
処理部４６とは１つのコンピュータで構成されていても
よい。
【００２０】なお、仮想画像を生成するためには、入力
画像間で特徴点同士の対応を求めておく必要があり、そ
のためには全天周方向の全ての対象物が複数の入力画像
で観察されている必要がある。本実施形態では、後述す
るように３つの入力画像を用いて補間を行うので、少な
くとも３枚の入力画像で観察されている必要がある。図
５は本実施形態によるカメラ配置と画角の関係を説明す
る図である。図５では、説明の都合上２次元的なカメラ
配置を説明するが、これを３次元に拡張すればよい。
画像間で特徴点同士の対応を求めておく必要があり、そ
のためには全天周方向の全ての対象物が複数の入力画像
で観察されている必要がある。本実施形態では、後述す
るように３つの入力画像を用いて補間を行うので、少な
くとも３枚の入力画像で観察されている必要がある。図
５は本実施形態によるカメラ配置と画角の関係を説明す
る図である。図５では、説明の都合上２次元的なカメラ
配置を説明するが、これを３次元に拡張すればよい。
【００２１】今、カメラの垂直画角をα、カメラが半径
Ｒの球面上に、最も隣接するカメラとの角度間隔がθと
なるように配置されているとする。最も近距離の対象物
までの距離が球の中心からＤである場合、全天周方向の
全ての対象物が少なくとも２枚の入力画像で観察される
ための条件は、以下のようになる。
Ｒの球面上に、最も隣接するカメラとの角度間隔がθと
なるように配置されているとする。最も近距離の対象物
までの距離が球の中心からＤである場合、全天周方向の
全ての対象物が少なくとも２枚の入力画像で観察される
ための条件は、以下のようになる。
【００２２】
【数７】
【００２３】上記式（１）によれば、例えば、θ＝３０
度、Ｒ＝１ｍ、Ｄ＝３ｍの場合は、α≧８６．４度とな
る。ここで、カメラ台数が少数であれば撮影システムを
小規模にすることができ、データ量も少なくすることが
できる。しかし、カメラの台数を減らすと各カメラの画
角を広く取らなければならなくなり、得られる画像の解
像度が低下することになる。また、各種の収差も問題と
なってくる。更に、カメラ同士の間隔が離れることによ
り、特徴点の対応付けが困難になる。したがって、全天
周撮影システムを構築するにあたっては、これらの条件
を考慮して各カメラの配置間隔を設定する。
度、Ｒ＝１ｍ、Ｄ＝３ｍの場合は、α≧８６．４度とな
る。ここで、カメラ台数が少数であれば撮影システムを
小規模にすることができ、データ量も少なくすることが
できる。しかし、カメラの台数を減らすと各カメラの画
角を広く取らなければならなくなり、得られる画像の解
像度が低下することになる。また、各種の収差も問題と
なってくる。更に、カメラ同士の間隔が離れることによ
り、特徴点の対応付けが困難になる。したがって、全天
周撮影システムを構築するにあたっては、これらの条件
を考慮して各カメラの配置間隔を設定する。
【００２４】［全天周画像の再構成処理の説明］以上の
ように構成された全天周撮影システムによる、全天周画
像の再構成処理を説明する。図６は本実施形態による全
天周撮影システムの処理概要を示すフローチャートであ
る。ステップＳ６０１において、画像格納処理部４３
は、ｎ台のカメラ４１によって撮影されたｎ枚の画像を
記憶装置４４に格納する（以下、この処理を前処理とい
う）が実行される。また、カメラのレンズ中心を頂点と
した多面体の各平面上の任意の位置から観察され得る仮
想画像ＩFを補間生成するための各種情報が、各画像に
対応付けられて格納される。補間生成するための情報に
ついては、後述の説明により明らかとなろう。
ように構成された全天周撮影システムによる、全天周画
像の再構成処理を説明する。図６は本実施形態による全
天周撮影システムの処理概要を示すフローチャートであ
る。ステップＳ６０１において、画像格納処理部４３
は、ｎ台のカメラ４１によって撮影されたｎ枚の画像を
記憶装置４４に格納する（以下、この処理を前処理とい
う）が実行される。また、カメラのレンズ中心を頂点と
した多面体の各平面上の任意の位置から観察され得る仮
想画像ＩFを補間生成するための各種情報が、各画像に
対応付けられて格納される。補間生成するための情報に
ついては、後述の説明により明らかとなろう。
【００２５】そして、視点位置／視線方向入力部４５か
ら観察者の視点位置及び視線方向が与えられると、補間
処理部４６は記憶装置４４に格納された画像及び補間生
成のための情報を用いて、これに応じた補間画像を生成
し表示装置４７にこれを表示する（ステップＳ６０
２）。以上の補間画像の生成が終了すると本処理を終了
する（ステップＳ６０３）。
ら観察者の視点位置及び視線方向が与えられると、補間
処理部４６は記憶装置４４に格納された画像及び補間生
成のための情報を用いて、これに応じた補間画像を生成
し表示装置４７にこれを表示する（ステップＳ６０
２）。以上の補間画像の生成が終了すると本処理を終了
する（ステップＳ６０３）。
【００２６】図７は本実施形態による前処理（ステップ
Ｓ６０１）の具体的な処理手順を説明するフローチャー
トである。ステップＳ７０１において、全天周方向に向
けて配置されたｎ台のカメラ４１によって、全天周を撮
影する。このとき、ｎ台のカメラ４１の各々の位置、姿
勢も計測される。そして、ステップＳ７０２において、
各カメラより得られた画像と、各カメラの位置及び姿勢
を示す撮影情報とが対応付けられて記憶装置４４に格納
され、画像データベースが作成される。ここで、カメラ
の位置を示す情報はレンズ中心（多面体Ｓの頂点）の座
標を直接的あるいは間接的に表すものである。また、カ
メラの姿勢を示す情報は、各カメラの光軸方向と光軸周
りの回転角を直接的或いは間接的に表すものである。
Ｓ６０１）の具体的な処理手順を説明するフローチャー
トである。ステップＳ７０１において、全天周方向に向
けて配置されたｎ台のカメラ４１によって、全天周を撮
影する。このとき、ｎ台のカメラ４１の各々の位置、姿
勢も計測される。そして、ステップＳ７０２において、
各カメラより得られた画像と、各カメラの位置及び姿勢
を示す撮影情報とが対応付けられて記憶装置４４に格納
され、画像データベースが作成される。ここで、カメラ
の位置を示す情報はレンズ中心（多面体Ｓの頂点）の座
標を直接的あるいは間接的に表すものである。また、カ
メラの姿勢を示す情報は、各カメラの光軸方向と光軸周
りの回転角を直接的或いは間接的に表すものである。
【００２７】続いて、ステップＳ７０３において、ステ
ップＳ７０２で生成された画像データベースの各画像を
３枚の画像を１組とした画像セットに分ける。後述する
が、本実施形態では多面体Ｓを形成する各平面を図３に
示すように三角形平面とし、選択された三角形平面を形
成する３つの頂点をレンズ中心とする３つの画像を用い
て画像ＩFを生成する。したがって、各画像セットは、
多面体Ｓを形成する三角形平面の各頂点をレンズ中心と
する３つの画像で構成される。そして、当該多面体Ｓを
構成する全ての三角形平面に対応して、画像セットが画
像データベースに登録される。
ップＳ７０２で生成された画像データベースの各画像を
３枚の画像を１組とした画像セットに分ける。後述する
が、本実施形態では多面体Ｓを形成する各平面を図３に
示すように三角形平面とし、選択された三角形平面を形
成する３つの頂点をレンズ中心とする３つの画像を用い
て画像ＩFを生成する。したがって、各画像セットは、
多面体Ｓを形成する三角形平面の各頂点をレンズ中心と
する３つの画像で構成される。そして、当該多面体Ｓを
構成する全ての三角形平面に対応して、画像セットが画
像データベースに登録される。
【００２８】次に、ステップＳ７０４〜Ｓ７０８では、
各画像セット毎に、３枚の画像の間の同じ領域の対応付
けを画像データベースに登録する。また、物体による隠
れの影響を排除するために、本実施形態では画像を対象
物毎のレイヤに分けて仮想画像の生成を行う。したがっ
て、当該画像データベースには、各画像セット毎に、３
枚の画像の夫々が複数のレイヤで登録、保持され、各レ
イヤ毎に画像間の対応領域を示す情報が保持されること
になる。
各画像セット毎に、３枚の画像の間の同じ領域の対応付
けを画像データベースに登録する。また、物体による隠
れの影響を排除するために、本実施形態では画像を対象
物毎のレイヤに分けて仮想画像の生成を行う。したがっ
て、当該画像データベースには、各画像セット毎に、３
枚の画像の夫々が複数のレイヤで登録、保持され、各レ
イヤ毎に画像間の対応領域を示す情報が保持されること
になる。
【００２９】以上の処理を図７に示されるステップによ
り、順を追って説明すると、まず、ステップＳ７０４に
て、画像セットを特定する番号（画像セット番号）を示
す変数ｉを１にセットする。そして、ステップＳ７０５
で、画像セットｉに含まれる３枚の画像を、対象物毎に
レイヤに分割する。
り、順を追って説明すると、まず、ステップＳ７０４に
て、画像セットを特定する番号（画像セット番号）を示
す変数ｉを１にセットする。そして、ステップＳ７０５
で、画像セットｉに含まれる３枚の画像を、対象物毎に
レイヤに分割する。
【００３０】図８は、ステップＳ７０５において実行さ
れるレイヤ画像への分割の処理の詳細を説明するフロー
チャートである。まず、ステップＳ８０１において、当
該画像セットに含まれる３枚の画像から、レイヤを分け
るべき対象物を決定し、その対象物の数に基づいて何枚
のレイヤ画像に分割するか、すなわち全レイヤ数ｍを決
める。そして、ステップＳ８０２において、レイヤ番号
を示す変数ｊを１に設定する。
れるレイヤ画像への分割の処理の詳細を説明するフロー
チャートである。まず、ステップＳ８０１において、当
該画像セットに含まれる３枚の画像から、レイヤを分け
るべき対象物を決定し、その対象物の数に基づいて何枚
のレイヤ画像に分割するか、すなわち全レイヤ数ｍを決
める。そして、ステップＳ８０２において、レイヤ番号
を示す変数ｊを１に設定する。
【００３１】次に、ステップＳ８０３においては、ｊ番
目のレイヤの、当該レイヤに描画されるべき対象物（ｊ
番目のレイヤに属する対象物）以外の領域を黒く塗りつ
ぶす。また、ステップＳ８０４において、ｊ番目のレイ
ヤに属する対象物の、他のレイヤに属する対象物によっ
て隠されている部分をユーザにレタッチさせる。
目のレイヤの、当該レイヤに描画されるべき対象物（ｊ
番目のレイヤに属する対象物）以外の領域を黒く塗りつ
ぶす。また、ステップＳ８０４において、ｊ番目のレイ
ヤに属する対象物の、他のレイヤに属する対象物によっ
て隠されている部分をユーザにレタッチさせる。
【００３２】以上のようにしてｊ番目のレイヤ画像の編
集を終えると、次のレイヤ画像を処理するべく変数ｊに
１を加える（ステップＳ８０５）。ここで、変数ｊがス
テップＳ８０１で設定した全レイヤ数よりも大きくなっ
た場合は、当該画像セットについて全レイヤの処理を終
えたことになるので、本処理を終了する（ステップＳ８
０６）。一方、変数ｊが全レイヤ数以下であれば、変数
ｊで示されるレイヤを処理するために処理をステップＳ
８０３へ戻す。
集を終えると、次のレイヤ画像を処理するべく変数ｊに
１を加える（ステップＳ８０５）。ここで、変数ｊがス
テップＳ８０１で設定した全レイヤ数よりも大きくなっ
た場合は、当該画像セットについて全レイヤの処理を終
えたことになるので、本処理を終了する（ステップＳ８
０６）。一方、変数ｊが全レイヤ数以下であれば、変数
ｊで示されるレイヤを処理するために処理をステップＳ
８０３へ戻す。
【００３３】以上のステップＳ８０３における黒への塗
りつぶしや、ステップＳ８０４におけるレタッチは、例
えば市販の汎用の画像オーサリングツールソフトウエア
によって実行可能である。
りつぶしや、ステップＳ８０４におけるレタッチは、例
えば市販の汎用の画像オーサリングツールソフトウエア
によって実行可能である。
【００３４】レイヤの指定は、例えば画像の特徴点（通
常は輪郭線の頂点）の指定によって行う。この場合、レ
イヤ画像への分割は、対象物の画像の輪郭線の特徴点の
点列Ｐi（ｋ）にレイヤ値ｉを割り当てることに帰結す
る。ここでｉはレイヤを表す値（値が小さいほど、その
レイヤが視点から遠い）、ｋは同じレイヤｉに含まれる
対象物を表す。
常は輪郭線の頂点）の指定によって行う。この場合、レ
イヤ画像への分割は、対象物の画像の輪郭線の特徴点の
点列Ｐi（ｋ）にレイヤ値ｉを割り当てることに帰結す
る。ここでｉはレイヤを表す値（値が小さいほど、その
レイヤが視点から遠い）、ｋは同じレイヤｉに含まれる
対象物を表す。
【００３５】例えば図１２の画像ＲＩをユーザがレイヤ
画像への分割を行うと、視点位置から遠いレイヤから順
に、３つのレイヤ画像に分割され、 レイヤI （ｉ＝I） ：背景画像全体 レイヤII （ｉ＝II） ：点列ＰI（１）＝10→11→12→13→14 レイヤIII （ｉ=III） ：点列ＰI（１）＝1→2→3→4→5→6 が得られる。なお、三角柱の頂点１３はユーザからは見
えないが、ユーザは、三角柱の頂点１３が四角柱によっ
て隠されていることがわかっているので、仮想点１３を
与え、レタッチしている。
画像への分割を行うと、視点位置から遠いレイヤから順
に、３つのレイヤ画像に分割され、 レイヤI （ｉ＝I） ：背景画像全体 レイヤII （ｉ＝II） ：点列ＰI（１）＝10→11→12→13→14 レイヤIII （ｉ=III） ：点列ＰI（１）＝1→2→3→4→5→6 が得られる。なお、三角柱の頂点１３はユーザからは見
えないが、ユーザは、三角柱の頂点１３が四角柱によっ
て隠されていることがわかっているので、仮想点１３を
与え、レタッチしている。
【００３６】以上の様な操作の結果、図１２の画像から
図１３（レイヤI）、図１４（レイヤII）、図１５（レ
イヤIII）が得られることになり、それぞれが画像デー
タベースに登録される。
図１３（レイヤI）、図１４（レイヤII）、図１５（レ
イヤIII）が得られることになり、それぞれが画像デー
タベースに登録される。
【００３７】以上のようにして、レイヤ画像への分割を
終えると、引き続き図７のステップＳ７０６で、画像セ
ットｉの同一階層のレイヤ毎に、３枚の画像の対応する
領域同士を三角形メッシュによって対応付ける（この点
については、ステップＳ９０３〜Ｓ９０６の補間処理に
おいて説明する）。そして、次の画像セットを処理する
べく、画像セット番号を示す変数ｉを１加算する（ステ
ップＳ７０７）。ここで、変数ｉが、登録されている全
画像セットの数よりも大きくなった場合は、全ての画像
セットについて処理を終えたことになるので、本処理を
終了する（ステップＳ７０８）。一方、変数ｉが全画像
セット数以下であれば、変数ｉで示される画像セットを
処理するために処理をステップＳ７０５へ戻す。
終えると、引き続き図７のステップＳ７０６で、画像セ
ットｉの同一階層のレイヤ毎に、３枚の画像の対応する
領域同士を三角形メッシュによって対応付ける（この点
については、ステップＳ９０３〜Ｓ９０６の補間処理に
おいて説明する）。そして、次の画像セットを処理する
べく、画像セット番号を示す変数ｉを１加算する（ステ
ップＳ７０７）。ここで、変数ｉが、登録されている全
画像セットの数よりも大きくなった場合は、全ての画像
セットについて処理を終えたことになるので、本処理を
終了する（ステップＳ７０８）。一方、変数ｉが全画像
セット数以下であれば、変数ｉで示される画像セットを
処理するために処理をステップＳ７０５へ戻す。
【００３８】以上のようにして、前処理が完了すると、
多面体Ｓを構成する各三角形平面毎の画像セットが登録
されることになる。そして、多面体Ｓ内の任意の視点位
置及び視線方向が与えられると、当該視点位置及び視線
方向から観察される画像を補間により生成する。以下、
ステップＳ６０２に示される補間画像の生成について説
明する。図９はステップＳ６０２の補間画像の生成を説
明するフローチャートである。
多面体Ｓを構成する各三角形平面毎の画像セットが登録
されることになる。そして、多面体Ｓ内の任意の視点位
置及び視線方向が与えられると、当該視点位置及び視線
方向から観察される画像を補間により生成する。以下、
ステップＳ６０２に示される補間画像の生成について説
明する。図９はステップＳ６０２の補間画像の生成を説
明するフローチャートである。
【００３９】まず、ステップＳ９０１において、ユーザ
の視点位置及び視線方向を与える。今、図３に示される
ように、多面体Ｓ内の位置ｅに視点位置が与えられ、補
間画像Ｉeを生成すべく視線方向が与えられたとする。
以下、生成すべき補間画像Ｉeの各画素を画素ｉ（ｉ＝
１〜補間画像Ｉeの画素数）とし、その値をＰeとする。
の視点位置及び視線方向を与える。今、図３に示される
ように、多面体Ｓ内の位置ｅに視点位置が与えられ、補
間画像Ｉeを生成すべく視線方向が与えられたとする。
以下、生成すべき補間画像Ｉeの各画素を画素ｉ（ｉ＝
１〜補間画像Ｉeの画素数）とし、その値をＰeとする。
【００４０】ステップＳ９０２において、画素番号ｉに
１を代入し、ステップＳ９０３〜Ｓ９０７の各処理を実
行して画素ｉを描画する。これを、当該補間画像Ｉeの
全ての画素について行って（ステップＳ９０８とＳ９０
９）、補間画像Ｉeを得る。
１を代入し、ステップＳ９０３〜Ｓ９０７の各処理を実
行して画素ｉを描画する。これを、当該補間画像Ｉeの
全ての画素について行って（ステップＳ９０８とＳ９０
９）、補間画像Ｉeを得る。
【００４１】ステップＳ９０３〜Ｓ９０６では、画素ｉ
を表す光線との交点を有する三角形平面を求め、この交
点視点位置とし当該三角形平面に平行な仮想画像ＩFを
求め、補間画像Ｉeの画素に対応する画素を仮想画像ＩF
から得て描画する。本実施形態では、仮想画像の生成方
法として「Cybeycity Walker -Layered Morphing Metho
d-, Proc. HCI’99, Vol.2, pp.1044-1048, 1999 (T.En
do, A.Katayama, H.Tamura, M.Hirose, T.Tanikawa)」
で提案されている手法を用いる。
を表す光線との交点を有する三角形平面を求め、この交
点視点位置とし当該三角形平面に平行な仮想画像ＩFを
求め、補間画像Ｉeの画素に対応する画素を仮想画像ＩF
から得て描画する。本実施形態では、仮想画像の生成方
法として「Cybeycity Walker -Layered Morphing Metho
d-, Proc. HCI’99, Vol.2, pp.1044-1048, 1999 (T.En
do, A.Katayama, H.Tamura, M.Hirose, T.Tanikawa)」
で提案されている手法を用いる。
【００４２】この手法によれば、３枚の入力画像を基に
して、３台のカメラのレンズ中心を頂点とする三角形内
の任意視点位置における歪みの無い仮想画像を生成する
ことが可能である。具体的には、あらかじめ３枚の画像
の対応領域を三角形メッシュで対応付けておき（ステッ
プＳ７０６）、これら三角形メッシュの頂点の座標を補
間して求めて配置し、補間して配置された三角形メッシ
ュに入力画像中の対応する領域の画像をテクスチャ・マ
ッピングすることによって仮想画像を生成する。ここ
で、３枚の入力画像の光軸が平行になるように正規化し
てから線形補間することにより、生成画像に歪みが発生
することを防止できる。
して、３台のカメラのレンズ中心を頂点とする三角形内
の任意視点位置における歪みの無い仮想画像を生成する
ことが可能である。具体的には、あらかじめ３枚の画像
の対応領域を三角形メッシュで対応付けておき（ステッ
プＳ７０６）、これら三角形メッシュの頂点の座標を補
間して求めて配置し、補間して配置された三角形メッシ
ュに入力画像中の対応する領域の画像をテクスチャ・マ
ッピングすることによって仮想画像を生成する。ここ
で、３枚の入力画像の光軸が平行になるように正規化し
てから線形補間することにより、生成画像に歪みが発生
することを防止できる。
【００４３】全天周方向に向けた各カメラのレンズ中心
を頂点とする多面体の各面は、３台のカメラのレンズ中
心を頂点とする三角形によって構成される。したがっ
て、各面に対して上述の手法を適用することにより、多
面体の表面上の任意の視点位置における画像を歪み無く
生成できることになる。
を頂点とする多面体の各面は、３台のカメラのレンズ中
心を頂点とする三角形によって構成される。したがっ
て、各面に対して上述の手法を適用することにより、多
面体の表面上の任意の視点位置における画像を歪み無く
生成できることになる。
【００４４】なお、各カメラの外部パラメータは予め正
確に求められており、また、多面体Ｓを構成する各三角
形平面で３枚の入力画像の対応領域が三角形メッシュで
対応付けられているものとする。更に、各カメラの焦点
距離は同一であるとする。
確に求められており、また、多面体Ｓを構成する各三角
形平面で３枚の入力画像の対応領域が三角形メッシュで
対応付けられているものとする。更に、各カメラの焦点
距離は同一であるとする。
【００４５】図９のステップＳ９０３において、画素ｉ
を表す光線が各カメラのレンズ中心を頂点とする多面体
Ｓを構成するどの三角形平面と交わるかを求め、多面体
Ｓのどの三角形平面を用いて仮想画像を生成するかを決
定する。すなわち、図３において、画素Ｐeを表す光線
ｌの方向と各カメラの位置及び光軸方向との関係から、
該光線ｌとの交点を有する三角形平面Ｆを決定する。そ
して、当該三角形平面の３頂点（Ｘ1、Ｘ2、Ｘ3）をレ
ンズ中心とする３つの画像（それぞれＩＡ，ＩＢ，ＩＣ
とする）を決定する。
を表す光線が各カメラのレンズ中心を頂点とする多面体
Ｓを構成するどの三角形平面と交わるかを求め、多面体
Ｓのどの三角形平面を用いて仮想画像を生成するかを決
定する。すなわち、図３において、画素Ｐeを表す光線
ｌの方向と各カメラの位置及び光軸方向との関係から、
該光線ｌとの交点を有する三角形平面Ｆを決定する。そ
して、当該三角形平面の３頂点（Ｘ1、Ｘ2、Ｘ3）をレ
ンズ中心とする３つの画像（それぞれＩＡ，ＩＢ，ＩＣ
とする）を決定する。
【００４６】次に、三角形平面Ｆと光線ｌとの交点の座
標（ＸF，ＹF，ＺF）を求め、補間係数ｗn（ｎ＝１，
２，３）を求める。補間係数ｗnは以下の式（２）によ
って求められる。なお、ここで、（Ｘm，Ｙm，Ｚm）
（ｍ＝１，２，３）は平面Ｆを構成する３つのレンズ中
心の座標である。また、Σｗnは１となる。
標（ＸF，ＹF，ＺF）を求め、補間係数ｗn（ｎ＝１，
２，３）を求める。補間係数ｗnは以下の式（２）によ
って求められる。なお、ここで、（Ｘm，Ｙm，Ｚm）
（ｍ＝１，２，３）は平面Ｆを構成する３つのレンズ中
心の座標である。また、Σｗnは１となる。
【００４７】
【数８】
【００４８】次に、ステップＳ９０５及びステップＳ９
０６において仮想画像ＩFを生成する。すなわち、レン
ズ中心が（ＸF，ＹF，ＺF）であり、光軸方向が平面Ｆ
の法線方向である仮想画像ＩFを生成する。
０６において仮想画像ＩFを生成する。すなわち、レン
ズ中心が（ＸF，ＹF，ＺF）であり、光軸方向が平面Ｆ
の法線方向である仮想画像ＩFを生成する。
【００４９】この処理を、図１０を参照しながら説明す
る。まず、ステップＳ９０５において、各画像ＩＡ，Ｉ
Ｂ，ＩＣについて、その光軸が三角形平面の法線方向と
一致するように画像ＩＡ，ＩＢ，ＩＣを回転させ（正規
化し）、ＩＡ’、ＩＢ’、ＩＣ’を得る（図１０（ａ）
→（ｂ））。そして、ステップＳ９０６において、ステ
ップＳ９０４で求めた補間係数ｗnとＩＡ’、ＩＢ’、
ＩＣ’用いて、線形補間により仮想画像ＩFを求める
（図１０（ｂ））。この処理は、次式（３）を用いて行
うことができる。
る。まず、ステップＳ９０５において、各画像ＩＡ，Ｉ
Ｂ，ＩＣについて、その光軸が三角形平面の法線方向と
一致するように画像ＩＡ，ＩＢ，ＩＣを回転させ（正規
化し）、ＩＡ’、ＩＢ’、ＩＣ’を得る（図１０（ａ）
→（ｂ））。そして、ステップＳ９０６において、ステ
ップＳ９０４で求めた補間係数ｗnとＩＡ’、ＩＢ’、
ＩＣ’用いて、線形補間により仮想画像ＩFを求める
（図１０（ｂ））。この処理は、次式（３）を用いて行
うことができる。
【００５０】
【数９】
【００５１】ただし、（ｘ、ｙ）は仮想画像ＩF中に決
定される特徴点の座標であり、（ｘ’n、ｙ’n）（ｎ＝
１，２，３）はそれぞれ画像ＩＡ，ＩＢ，ＩＣを正規化
した画像ＩＡ’、ＩＢ’、ＩＣ’中の特徴点の座標であ
る。なお、元の画像（ＩＡ，ＩＢ，ＩＣ）中の座標か
ら、回転変換後の画像中の座標への変換は、
定される特徴点の座標であり、（ｘ’n、ｙ’n）（ｎ＝
１，２，３）はそれぞれ画像ＩＡ，ＩＢ，ＩＣを正規化
した画像ＩＡ’、ＩＢ’、ＩＣ’中の特徴点の座標であ
る。なお、元の画像（ＩＡ，ＩＢ，ＩＣ）中の座標か
ら、回転変換後の画像中の座標への変換は、
【００５２】
【数１０】 によって表される。ただし、Ｐ、Ｐ’は元の画像と回転
変換後の画像における対応する点の座標（画像の中心を
原点とする同次座標）であり、Ａは元の画像のカメラ内
部パラメータ行列、Ａ’は回転変換後の画像のカメラ内
部パラメータ行列、Ｒはワールド座標から元の画像のカ
メラ座標への回転行列、Ｒ’はワールド座標から回転変
換後の画像のカメラ座標への回転行列である。この計算
により、画像ＩＡ、ＩＢ、ＩＣ中の各特徴点の座標を、
回転後の画像ＩＡ’、ＩＢ’、ＩＣ’中の特徴点の座標
に変換することができる。
変換後の画像における対応する点の座標（画像の中心を
原点とする同次座標）であり、Ａは元の画像のカメラ内
部パラメータ行列、Ａ’は回転変換後の画像のカメラ内
部パラメータ行列、Ｒはワールド座標から元の画像のカ
メラ座標への回転行列、Ｒ’はワールド座標から回転変
換後の画像のカメラ座標への回転行列である。この計算
により、画像ＩＡ、ＩＢ、ＩＣ中の各特徴点の座標を、
回転後の画像ＩＡ’、ＩＢ’、ＩＣ’中の特徴点の座標
に変換することができる。
【００５３】以上のようにして、画像ＩＡ，ＩＢ，ＩＣ
中の各特徴点を仮想画像ＩF上へ配置し、得られた三角
形メッシュに、画像ＩＡ，ＩＢ，ＩＣの対応する三角形
メッシュのテクスチャをブレンドしてマッピングする。
中の各特徴点を仮想画像ＩF上へ配置し、得られた三角
形メッシュに、画像ＩＡ，ＩＢ，ＩＣの対応する三角形
メッシュのテクスチャをブレンドしてマッピングする。
【００５４】以上のようにして仮想画像ＩFが求まる
と、ステップＳ９０７において、画素Ｐeに対して仮想
画像ＩF中のどの画素を選択したらよいかを以下の式
（５）によって求め、その画素ＰFの値を補間画像Ｉe上
の画素Ｐeの値として描画する。
と、ステップＳ９０７において、画素Ｐeに対して仮想
画像ＩF中のどの画素を選択したらよいかを以下の式
（５）によって求め、その画素ＰFの値を補間画像Ｉe上
の画素Ｐeの値として描画する。
【００５５】
【数１１】 ただし、ＰF、ＰeはそれぞれＩFとＩeにおける対応する
点の座標（画像の中心を原点とする同次座標）であり、
ＡFを前記仮想画像のカメラ内部パラメータ行列、Ａeを
前記補間画像のカメラ内部パラメータ行列、ＲFをワー
ルド座標から前記仮想画像のカメラ座標への回転行列、
Ｒeをワールド座標から前記補間画像のカメラ座標への
回転行列である。
点の座標（画像の中心を原点とする同次座標）であり、
ＡFを前記仮想画像のカメラ内部パラメータ行列、Ａeを
前記補間画像のカメラ内部パラメータ行列、ＲFをワー
ルド座標から前記仮想画像のカメラ座標への回転行列、
Ｒeをワールド座標から前記補間画像のカメラ座標への
回転行列である。
【００５６】以上のステップＳ９０３乃至Ｓ９０７の処
理を、補間画像Ｉeを形成する全ての画素について行う
と（ステップＳ９０８、Ｓ９０９）、補間画像Ｉeが完
成する。
理を、補間画像Ｉeを形成する全ての画素について行う
と（ステップＳ９０８、Ｓ９０９）、補間画像Ｉeが完
成する。
【００５７】なお、上述したように各画像セット内の各
画像はレイヤに分割して保持されており、ステップＳ９
０６における仮想画像ＩFの生成はレイヤ数分の仮想画
像に基づいてなされることになる。例えば、これらのレ
イヤ数分の仮想画像を視点位置から遠い順に描画、合成
することで、最終的な仮想画像ＩFが得られることにな
る。
画像はレイヤに分割して保持されており、ステップＳ９
０６における仮想画像ＩFの生成はレイヤ数分の仮想画
像に基づいてなされることになる。例えば、これらのレ
イヤ数分の仮想画像を視点位置から遠い順に描画、合成
することで、最終的な仮想画像ＩFが得られることにな
る。
【００５８】以上説明したように、本実施形態によれ
ば、限られた数のカメラによって得られた画像から任意
の視線方向の補間画像を得ることができる。すなわち、
全天周画像を得ることができる。
ば、限られた数のカメラによって得られた画像から任意
の視線方向の補間画像を得ることができる。すなわち、
全天周画像を得ることができる。
【００５９】なお、上記の処理における線形補間による
仮想画像の生成は、その視点位置が三角形平面内に存在
する場合を扱った。しかしながら、視点位置が三角形平
面の外部にはみ出しても、外挿補間によって、当該三角
形平面の３頂点をレンズ中心とした画像から線形補間を
行うようにすることもできる。
仮想画像の生成は、その視点位置が三角形平面内に存在
する場合を扱った。しかしながら、視点位置が三角形平
面の外部にはみ出しても、外挿補間によって、当該三角
形平面の３頂点をレンズ中心とした画像から線形補間を
行うようにすることもできる。
【００６０】図１１この様子を示す図である。上述した
補関係数ｗn（ｎ＝１、２、３）による線型補間処理
は、図１１（ｂ）に示すように、位置１の画像と位置２
の画像を１−ｓ：ｓで線型補間して位置４に第１の仮想
画像を形成し、位置４の仮想画像と位置３の画像をｔ：
１−ｔで線型補間して位置ｅ’の画像を得ていることに
等しい。
補関係数ｗn（ｎ＝１、２、３）による線型補間処理
は、図１１（ｂ）に示すように、位置１の画像と位置２
の画像を１−ｓ：ｓで線型補間して位置４に第１の仮想
画像を形成し、位置４の仮想画像と位置３の画像をｔ：
１−ｔで線型補間して位置ｅ’の画像を得ていることに
等しい。
【００６１】しかしながら、位置ｅ’’のように三角形
平面の外に視点位置がある場合でも、位置４の仮想画像
と位置３の画像をｔ’：１−ｔ’で線型補間をすればよ
い（この場合、ｔ’は負となる）。なお、上述した実施
形態では、補間画像中の画素を得るために、対応する光
線と三角形平面の交点を求めているので、視点位置が三
角形平面の外に出ることはあり得ない。しかしながら、
補間画像中の画素を得るために、「光線と平面の交点を
求める手法」とは異なる手法を用いた場合（例えばカメ
ラの姿勢も考慮して三角形平面を決定するような場合等
が考えられる）には、視点が平面から出てしまう場合が
発生し得る。
平面の外に視点位置がある場合でも、位置４の仮想画像
と位置３の画像をｔ’：１−ｔ’で線型補間をすればよ
い（この場合、ｔ’は負となる）。なお、上述した実施
形態では、補間画像中の画素を得るために、対応する光
線と三角形平面の交点を求めているので、視点位置が三
角形平面の外に出ることはあり得ない。しかしながら、
補間画像中の画素を得るために、「光線と平面の交点を
求める手法」とは異なる手法を用いた場合（例えばカメ
ラの姿勢も考慮して三角形平面を決定するような場合等
が考えられる）には、視点が平面から出てしまう場合が
発生し得る。
【００６２】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【００６３】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【００６４】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
【００６５】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【００６６】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００６７】
【発明の効果】以上説明したように、本発明によれば、
全天周方向に向けて配置した、物理的に配置可能な台数
のカメラから得られた複数の画像に基づいて全天周画像
を補間生成することが可能となる。
全天周方向に向けて配置した、物理的に配置可能な台数
のカメラから得られた複数の画像に基づいて全天周画像
を補間生成することが可能となる。
【図１】超多視点画像からの任意の視点画像の生成手法
を説明する図である。
を説明する図である。
【図２】多視点画像の補間に基づく任視点画像の生成手
法を説明する図である。
法を説明する図である。
【図３】本実施形態による任意の視点による補間画像の
生成の原理を説明する図である。
生成の原理を説明する図である。
【図４】本実施形態のカメラシステムの概略構成を示す
ブロック図である。
ブロック図である。
【図５】本実施形態によるカメラ配置と画角の関係を説
明する図である。
明する図である。
【図６】本実施形態による全天周撮影システムの処理概
要を示すフローチャートである。
要を示すフローチャートである。
【図７】本実施形態による前処理（ステップＳ６０１）
の具体的な処理手順を説明するフローチャートである。
の具体的な処理手順を説明するフローチャートである。
【図８】ステップＳ７０５において実行されるレイヤ画
像への分割の処理の詳細を説明するフローチャートであ
る。
像への分割の処理の詳細を説明するフローチャートであ
る。
【図９】ステップＳ６０２の補間画像の生成を説明する
フローチャートである。
フローチャートである。
【図１０】３枚の画像から補間画像を生成する手順を説
明する図である。
明する図である。
【図１１】外挿を許可する場合を説明する図である。
【図１２】レイヤへの分割対象である画像例を示す図で
ある。
ある。
【図１３】図１２の画像からレイヤ分割によって得られ
る画像例を示す図である。
る画像例を示す図である。
【図１４】図１２の画像からレイヤ分割によって得られ
る画像例を示す図である。
る画像例を示す図である。
【図１５】図１２の画像からレイヤ分割によって得られ
る画像例を示す図である。
る画像例を示す図である。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD01 CE08 CE10
Claims (17)
- 【請求項１】 カメラから得られた複数の画像に基づい
て所望の視点位置及び視線方向の補間画像を生成する画
像処理装置であって、 前記複数の画像の各々を撮影したカメラのレンズ中心を
頂点とする多面体を構成する平面のうち、前記補間画像
中の注目画素を表す光線との交点を有する平面を抽出す
る抽出手段と、 前記抽出手段で抽出された平面の頂点をレンズ中心とす
る複数の画像に基づいて、前記交点を視点位置とする仮
想画像を補間生成する補間手段と、 前記仮想画像から前記注目画素に対応する画素を取得し
て、これを用いて当該注目画素を描画する描画手段と、 前記補間画像中の画素の各々に関して、前記抽出手段と
前記補間手段と前記描画手段を繰り返して該補間画像を
生成する生成手段とを備えることを特徴とする画像処理
装置。 - 【請求項２】 前記補間手段は、前記抽出手段で抽出さ
れた平面の頂点をレンズ中心とする複数の画像を、各画
像の光軸が該平面の法線方向と一致するように回転し、
回転された画像を用いた線形補間により、前記交点を視
点位置とする該平面と平行な仮想画像を補間生成するこ
とを特徴とする請求項１に記載の画像処理装置。 - 【請求項３】 前記多面体を形成する各平面が３つのレ
ンズ中心を頂点とする三角形平面であることを特徴とす
る請求項２に記載の画像処理装置。 - 【請求項４】 前記補間手段は、 前記抽出手段で抽出された三角形平面と前記光線との交
点の座標を（ＸF，ＹF，ＺF）とし、該三角形平面を形
成する３つのレンズ中心の座標を（Ｘm，Ｙm，Ｚm）
（ｍ＝１，２，３）とした場合に、 【数１】 によって補間係数ｗn（ｎ＝１，２，３）を求める係数
演算手段と、 前記三角形平面の各頂点をレンズ中心とした画像を各画
像の光軸が該平面の法線方向と一致するように回転して
得られた画像の対応する特徴点の座標を（ｘ’ n、
ｙ’n）（ｎ＝１，２，３）とした場合、これに対応す
る特徴点の前記仮想画像上の座標（ｘ、ｙ）を 【数２】 により取得することを特徴とする請求項３に記載の画像
処理装置。 - 【請求項５】 前記描画手段は、前記仮想画像上の画素
の座標をＰF、前記補間画像上における対応する画素の
座標をＰeとし、ここでこれら座標は画像の中心を原点
とする同次座標であり、ＡFを前記仮想画像のカメラ内
部パラメータ行列、Ａeを前記補間画像のカメラ内部パ
ラメータ行列、ＲFをワールド座標から前記仮想画像の
カメラ座標への回転行列、Ｒeをワールド座標から前記
補間画像のカメラ座標への回転行列とした場合に、 【数３】 によって前記補間画像上の画素に対応する前記仮想画像
上の点を求めることを特徴とする請求項４に記載の画像
処理装置。 - 【請求項６】 略全天周方向に向いた複数のカメラで同
時に撮影して得られた複数の画像を、各画像を撮影した
カメラのレンズ中心及び光軸に対応する撮影条件情報と
ともに格納して前記各手段に提供する格納手段を更に備
えることを特徴とする請求項１乃至５のいずれかに記載
の画像処理装置。 - 【請求項７】 前記多面体を構成する平面が三角形平面
であり、 前記格納手段は、前記複数の画像を互いに隣接する３枚
を一組とし、前記補間手段による利用のために、同一組
の３枚の画像中の対応する領域同士を対応付ける対応情
報を格納することを特徴とする請求項６に記載の画像処
理装置。 - 【請求項８】 前記格納手段は、前記同一組の３枚の画
像の各々を、特定の対象物を描画する複数のレイヤ画像
に分割して格納し、ここで、各レイヤ画像では他のレイ
ヤに属する対象物によって隠された対象物の部分がレタ
ッチされており、該対象物以外の領域は無効領域であ
り、 前記生成手段は、前記各レイヤ毎の補間画像を生成し、
前記視点位置に遠いレイヤの補間画像から近いものへと
順に重ね合わせ描画することで最終的な補間画像を得る
ことを特徴とする請求項７に記載の画像処理装置。 - 【請求項９】 カメラから得られた複数の画像に基づい
て所望の視点位置及び視線方向の補間画像を生成する画
像処理方法であって、 前記複数の画像の各々を撮影したカメラのレンズ中心を
頂点とする多面体を構成する平面のうち、前記補間画像
中の注目画素を表す光線との交点を有する平面を抽出す
る抽出工程と、 前記抽出工程で抽出された平面の頂点をレンズ中心とす
る複数の画像に基づいて、前記交点を視点位置とする仮
想画像を補間生成する補間工程と、 前記仮想画像から前記注目画素に対応する画素を取得し
て、これを用いて当該注目画素を描画する描画工程と、 前記補間画像中の画素の各々に関して、前記抽出工程と
前記補間工程と前記描画工程を繰り返して該補間画像を
生成する生成工程とを備えることを特徴とする画像処理
方法。 - 【請求項１０】 前記補間工程は、前記抽出工程で抽出
された平面の頂点をレンズ中心とする複数の画像を、各
画像の光軸が該平面の法線方向と一致するように回転
し、回転された画像を用いた線形補間により、前記交点
を視点位置とする該平面と平行な仮想画像を補間生成す
ることを特徴とする請求項９に記載の画像処理方法。 - 【請求項１１】 前記多面体を形成する各平面が３つの
レンズ中心を頂点とする三角形平面であることを特徴と
する請求項１０に記載の画像処理方法。 - 【請求項１２】 前記補間工程は、 前記抽出工程で抽出された三角形平面と前記光線との交
点の座標を（ＸF，ＹF，ＺF）とし、該三角形平面を形
成する３つのレンズ中心の座標を（Ｘm，Ｙm，Ｚm）
（ｍ＝１，２，３）とした場合に、 【数４】 によって補間係数ｗn（ｎ＝１，２，３）を求める係数
演算工程と、 前記三角形平面の各頂点をレンズ中心とした画像を各画
像の光軸が該平面の法線方向と一致するように回転して
得られた画像の対応する特徴点の座標を（ｘ’ n、
ｙ’n）（ｎ＝１，２，３）とした場合、これに対応す
る特徴点の前記仮想画像上の座標（ｘ、ｙ）を 【数５】 により取得することを特徴とする請求項１１に記載の画
像処理方法。 - 【請求項１３】 前記描画工程は、前記仮想画像上の画
素の座標をＰF、前記補間画像上における対応する画素
の座標をＰeとし、ここでこれら座標は画像の中心を原
点とする同次座標であり、ＡFを前記仮想画像のカメラ
内部パラメータ行列、Ａeを前記補間画像のカメラ内部
パラメータ行列、ＲFをワールド座標から前記仮想画像
のカメラ座標への回転行列、Ｒeをワールド座標から前
記補間画像のカメラ座標への回転行列とした場合に、 【数６】 によって前記補間画像上の画素に対応する前記仮想画像
上の点を求めることを特徴とする請求項１２に記載の画
像処理方法。 - 【請求項１４】 略全天周方向に向いた複数のカメラで
同時に撮影して得られた複数の画像を、各画像を撮影し
たカメラのレンズ中心及び光軸に対応する撮影条件情報
とともに格納して前記各工程に提供する格納工程を更に
備えることを特徴とする請求項９乃至１３のいずれかに
記載の画像処理方法。 - 【請求項１５】 前記多面体を構成する平面が三角形平
面であり、 前記格納工程は、前記複数の画像を互いに隣接する３枚
を一組とし、前記補間工程による利用のために、同一組
の３枚の画像中の対応する領域同士を対応付ける対応情
報を格納することを特徴とする請求項１４に記載の画像
処理方法。 - 【請求項１６】 前記格納工程は、前記同一組の３枚の
画像の各々を、特定の対象物を描画する複数のレイヤ画
像に分割して格納し、ここで、各レイヤ画像では他のレ
イヤに属する対象物によって隠された対象物の部分がレ
タッチされており、該対象物以外の領域は無効領域であ
り、 前記生成工程は、前記各レイヤ毎の補間画像を生成し、
前記視点位置に遠いレイヤの補間画像から近いものへと
順に重ね合わせ描画することで最終的な補間画像を得る
ことを特徴とする請求項１５に記載の画像処理方法。 - 【請求項１７】 請求項９乃至１６のいずれかに記載の
画像処理方法をコンピュータによって実現するための制
御プログラムを格納することを特徴とする記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000280697A JP3387900B2 (ja) | 2000-09-14 | 2000-09-14 | 画像処理方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000280697A JP3387900B2 (ja) | 2000-09-14 | 2000-09-14 | 画像処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002092597A true JP2002092597A (ja) | 2002-03-29 |
| JP3387900B2 JP3387900B2 (ja) | 2003-03-17 |
Family
ID=18765481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000280697A Expired - Fee Related JP3387900B2 (ja) | 2000-09-14 | 2000-09-14 | 画像処理方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3387900B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009129183A (ja) * | 2007-11-22 | 2009-06-11 | Internatl Business Mach Corp <Ibm> | 仮想空間を構築するための画像処理方法、装置 |
| JP2010093626A (ja) * | 2008-10-09 | 2010-04-22 | Fujifilm Corp | 画像処理装置および方法、画像再生装置および方法並びにプログラム |
| GB2563126B (en) * | 2017-06-01 | 2020-04-08 | Mechoshade Sys Llc | Sky camera system for intelligent building control |
| US10619415B2 (en) | 2004-05-06 | 2020-04-14 | Mechoshade Systems, Llc | Sky camera system utilizing circadian information for intelligent building control |
| US11187035B2 (en) | 2004-05-06 | 2021-11-30 | Mechoshade Systems, Llc | Sky camera virtual horizon mask and tracking solar disc |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517541B (zh) | 2015-01-08 | 2018-04-27 | 京东方科技集团股份有限公司 | 多视场显示部件、图案化遮蔽层和多视场显示装置 |
-
2000
- 2000-09-14 JP JP2000280697A patent/JP3387900B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10619415B2 (en) | 2004-05-06 | 2020-04-14 | Mechoshade Systems, Llc | Sky camera system utilizing circadian information for intelligent building control |
| US10988984B2 (en) | 2004-05-06 | 2021-04-27 | Mechoshade Systems, Llc | Sky camera for tracking clouds |
| US11060351B2 (en) | 2004-05-06 | 2021-07-13 | Mechoshade Systems, Llc | Sky camera system utilizing circadian information for intelligent building control |
| US11060352B2 (en) | 2004-05-06 | 2021-07-13 | Mechoshade Systems, Llc | Sky camera system for analyzing cloud conditions |
| US11187035B2 (en) | 2004-05-06 | 2021-11-30 | Mechoshade Systems, Llc | Sky camera virtual horizon mask and tracking solar disc |
| US11473371B2 (en) | 2004-05-06 | 2022-10-18 | Mechoshade Systems, Llc | Sky camera system utilizing circadian information for intelligent building control |
| US11505992B2 (en) | 2004-05-06 | 2022-11-22 | Mechoshade Systems, Llc | Sky camera system for analyzing cloud conditions |
| US11746594B2 (en) | 2004-05-06 | 2023-09-05 | Mechoshade Systems, Llc | Sky camera virtual horizon mask and tracking solar disc |
| JP2009129183A (ja) * | 2007-11-22 | 2009-06-11 | Internatl Business Mach Corp <Ibm> | 仮想空間を構築するための画像処理方法、装置 |
| US8493380B2 (en) | 2007-11-22 | 2013-07-23 | International Business Machines Corporation | Method and system for constructing virtual space |
| JP2010093626A (ja) * | 2008-10-09 | 2010-04-22 | Fujifilm Corp | 画像処理装置および方法、画像再生装置および方法並びにプログラム |
| GB2563126B (en) * | 2017-06-01 | 2020-04-08 | Mechoshade Sys Llc | Sky camera system for intelligent building control |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3387900B2 (ja) | 2003-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Szeliski et al. | Creating full view panoramic image mosaics and environment maps | |
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| CN111862179B (zh) | 三维对象建模方法与设备、图像处理装置及介质 | |
| CN109658365B (zh) | 图像处理方法、装置、系统和存储介质 | |
| EP1453001B1 (en) | Image processing apparatus, image processing method, storage medium and computer program | |
| US6031540A (en) | Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery | |
| JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
| US6157385A (en) | Method of and apparatus for performing perspective transformation of visible stimuli | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| CN110490967B (zh) | 图像处理和对象建模方法与设备、图像处理装置及介质 | |
| JP2010109783A (ja) | 電子カメラ | |
| US5694531A (en) | Method and apparatus for simulating movement in multidimensional space with polygonal projections | |
| US20220092734A1 (en) | Generation method for 3d asteroid dynamic map and portable terminal | |
| US20030117675A1 (en) | Curved image conversion method and record medium where this method for converting curved image is recorded | |
| JP2000268179A (ja) | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 | |
| US6795090B2 (en) | Method and system for panoramic image morphing | |
| CN114511447A (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
| CN114549289A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| JP3387900B2 (ja) | 画像処理方法及び装置 | |
| JP3660108B2 (ja) | 画像保存方法及び機械読み取り可能媒体 | |
| JPH10208074A (ja) | 画像生成方法 | |
| KR100490885B1 (ko) | 직각 교차 실린더를 이용한 영상기반 렌더링 방법 | |
| TW202223842A (zh) | 用於環景影像的影像處理方法及裝置 | |
| JPH09237346A (ja) | 部分立体モデルの合成方法及び完全立体モデルの作成方法 | |
| JP2002203237A (ja) | 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100110 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120110 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130110 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140110 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |