JP2000113209A - 多視点画像生成表示方法、多視点画像生成表示装置、および多視点画像生成表示プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 最適撮影視点決定等の作業効率向上のため
に、３次元空間における対象物の種々の視点からの画像
を効率よく生成し表示する。 【解決手段】 撮影対象物を複数の撮影視点から撮影し
（Ｓ１０）、撮影画像データを撮影視点決定支援装置に
入力する（Ｓ１２）。この装置では、隣接する撮影視点
の間に少しずつ位置の異なる中間視点を設定し、撮影画
像データを用いて、各中間視点からの画像である中間視
点画像をモーフィング技術を利用して生成する（Ｓ１
４）。次に、中間視点画像と撮影画像のデータを用い
て、マウスで指定された視点や視点移動に対応する画像
をモニタに表示する（Ｓ１６）。操作者は、モニタに表
示された画像を見て、印刷物に用いる高品質な画像の撮
影視点として最適と判断する視点を選び、その選定結果
を装置に指示する（Ｓ１８）。装置は、その指示に基づ
き、選ばれた視点に対応する画像をプリンタに出力する
（Ｓ２０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元空間におけ
る対象物に対する種々の視点からの画像を生成し表示す
るための方法や装置等に関するものであり、例えば、商
品カタログ等の印刷物制作を目的とする画像撮影の際の
最適な撮影視点を決定したり撮影対象物を把握したりす
るために、同一対象物に対し視点を種々に変えた画像を
生成し表示するための方法や装置に関する。

【０００２】

【従来の技術】商品カタログ等の印刷物制作の上流工程
であるプラニング工程やデザイン工程において、商品等
の撮影対象物の把握や最適な撮影視点の決定のために、
種々の視点から多くの画像撮影が行われる。特に、自動
車等のように高額でサイズの大きな撮影対象物の場合に
は、数十センチ間隔に数百枚単位で写真が撮られて、最
適な撮影視点の検討が行われる。そして、カタログ等の
印刷物で使用する高品質な画像を得るために、相応の機
材や照明を用いた画像撮影が、この検討結果に基づいて
行われる。一方、このように種々の視点から写真を撮る
代わりに、プラナーやデザイナーが商品等の撮影対象物
を実際に見て最適な撮影視点を決定する場合もある。こ
の場合、デザイナー等が撮影対象物のラフスケッチを描
くことにより、カメラマンに対して撮影視点が指示され
る。

【０００３】

【発明が解決しようとする課題】上記のように、従来
は、商品カタログ等の印刷物制作の上流工程において、
カタログ等の印刷物で使用する高品質な画像を得るため
に、種々の視点から多数の画像撮影を行って最適な撮影
視点を決定し、または、撮影対象物を実際に見てラフス
ケッチを描くことにより撮影視点の指示を行っていた。
このため、印刷物制作の上流工程において、撮影対象物
を把握し最適な撮影視点を決定するために多くの労力を
要していた。

【０００４】そこで本発明では、上記のような撮影対象
物の把握および最適な撮影視点の決定などの作業の効率
を向上させるために、３次元空間における対象物の種々
の視点からの画像を効率よく生成し表示する方法や装置
等を提供することを目的とする。

【０００５】

【課題を解決するための手段および発明の効果】第１の
発明は、３次元空間における対象物に対する種々の視点
からの画像を生成し表示するための多視点画像生成表示
方法であって、予め設定された第１視点群の各視点から
前記対象物を撮影することにより該各視点からの画像を
獲得する画像撮影ステップと、第１視点群における隣接
する２つの視点の間である各隣接視点間に中間視点を設
定することにより、中間視点の集合としての第２視点群
を得る中間視点設定ステップと、第１視点群における隣
接する２つの視点からの画像である第１および第２画像
より、該２つの視点の間に設定された第２視点群の各視
点からの前記対象物の画像を生成する画像生成ステップ
と、前記対象物に対する視点を指定する視点指定ステッ
プと、前記第１および第２視点群の各視点のうち前記視
点指定ステップで指定された視点に相当する視点からの
画像を表示する画像表示ステップとを含み、前記画像生
成ステップは、前記対象物の同一箇所と見なせる特徴点
を第１および第２画像において選定し、該特徴点を第１
画像と第２画像との間で対応付ける対応付けステップ
と、第１画像と第２画像との間で対応付けられた特徴点
を３個ずつ選んで該３個の特徴点を頂点として含む３角
パッチを設定することにより、第１および第２画像を３
角形領域に分割する分割ステップと、第２視点群の各視
点につき、第１および第２画像における対応付けられた
特徴点を有する２つの３角パッチに対応する、該各視点
からの画像の３角パッチである補間パッチを求める補間
パッチ算出ステップと、前記補間パッチに対応するアフ
ィン変換に基づき第１および第２画像における前記２つ
の３角パッチの画像を前記補間パッチにマッピングする
ことにより、前記補間パッチの画像を生成する補間パッ
チ画像生成ステップとを有し、第１および第２画像にお
いて設定された各３角パッチにつき、前記補間パッチ算
出ステップおよび前記補間パッチ画像生成ステップを実
行することにより、前記対象物に対する第２視点群の各
視点からの画像を生成することを特徴とする。

【０００６】このような第１の発明によれば、第１視点
群の各視点からの撮影画像より生成される中間視点画像
を撮影画像とともに用いることにより、視点の指定に応
じて種々の視点からの画像を表示することができる。こ
れにより、３次元空間における対象物の種々の視点から
の画像の生成および表示を効率よく行うことができ、従
来よりも少ない撮影画像で、種々の視点からの画像を検
討することにより対象物の外観の十分な把握が可能とな
る。

【０００７】第２の発明は、第１の発明において、前記
対応付けステップでは、前記対象物を構成する物体の中
に少なくとも一部が他の物体に隠れているために第１画
像には現れ第２画像には現れない領域である湧出領域を
有する物体が存在する場合に、該湧出領域の特徴点とし
て第１画像にのみ存在する特徴点を湧出特徴点として設
定し、該湧出特徴点を、第１画像における前記湧出領域
の他の所定の特徴点に対応付けられた第２画像における
特徴点と対応付け、前記補間パッチ画像生成ステップで
は、前記補間パッチにマッピングされる第１または第２
画像の３角パッチが前記湧出領域に含まれる場合に、該
３角パッチの領域を前記補間パッチに対する中間視点に
応じて狭めた部分領域の画像を前記補間パッチへのマッ
ピングに使用することを特徴とする。

【０００８】このような第２の発明によれば、対象物を
構成する物体の中に少なくとも一部が他の物体に隠れて
いるために第１画像には現れ第２画像には現れない領域
である湧出領域を有する物体が存在する場合には、湧出
特徴点が導入されて、補間パッチにマッピングされる湧
出領域内の３角パッチの領域が生成したい画像の視点に
応じて狭められる。したがって、このような場合であっ
ても適切な中間視点画像を生成することができる。

【０００９】第３の発明は、第１の発明において、前記
対応付けステップでは、前記対象物を構成する面の中に
視点に応じて見え隠れする面が存在し該面が第１画像に
は現れず第２画像に現れる場合に、該面の特徴点として
第２画像にのみ存在する特徴点に対応すべき第１画像の
特徴点の位置として前記対象物の形状に基づいて推定さ
れた位置に、第１画像の特徴点を隠れ特徴点として設定
し、該隠れ特徴点を第２画像にのみ存在する前記特徴点
と対応付け、前記補間パッチ画像生成ステップでは、前
記補間パッチにマッピングされる第１または第２画像の
３角パッチが第１画像には現れず第２画像に現れる前記
面に含まれる場合に、前記補間パッチに対する中間視点
から前記補間パッチが見えるか否かを判定し、前記補間
パッチが見えないと判定されたときには前記補間パッチ
の画像を生成しないことを特徴とする。

【００１０】このような第３の発明によれば、対象物を
構成する面の中に視点に応じて見え隠れする面が存在し
その面が第１画像には現れず第２画像に現れる場合に
は、隠れ特徴点が導入されて、補間パッチにマッピング
される前記面内の３角パッチが生成したい画像の視点か
ら見えるか否かが判定され、その判定結果に基づいて中
間視点画像が生成される。したがって、このような場合
であっても適切な中間視点画像を生成することができ
る。

【００１１】第４の発明は、第１ないし第３の発明のい
ずれかにおいて、前記画像表示ステップにおいて表示さ
れる画像に基づき、第１および第２視点群の中から前記
対象物に対する高品質な画像撮影のための視点を選定す
る視点選定ステップと、前記視点選定ステップで選定さ
れた視点からの画像を出力する画像出力ステップとを更
に含むことを特徴とする。

【００１２】このような第４の発明によれば、種々の視
点からの画像や種々の視点移動に対応した画像を表示
し、表示された画像に基づき、高品質な画像撮影に適し
た視点を選定することができる。そして、選定された視
点からの画像を出力することができる。したがって、例
えばカタログなどの印刷物制作の上流工程において、撮
影対象物の外観の把握や高品質画像のための最適な撮影
視点の決定を効率よく行うことができるとともに、出力
された画像を、サムネール等の製作や提示に使用した
り、カメラマンへの撮影指示書の作成に使用したりする
ことができる。これにより、カタログなどの印刷物制作
の上流工程における作業効率を向上させることができ
る。

【００１３】第５の発明は、３次元空間における対象物
に対する種々の視点からの画像を生成し表示する多視点
画像生成表示装置であって、予め設定された第１視点群
の各視点からの画像を入力するための画像入力手段と、
第１視点群における隣接する２つの視点の間である各隣
接視点間に中間視点を設定することにより、中間視点の
集合としての第２視点群を得る中間視点設定手段と、第
１視点群における隣接する２つの視点からの画像である
第１および第２画像より、前記２つの視点の間に設定さ
れた第２視点群の各視点からの前記対象物の画像を生成
する画像生成手段と、前記対象物に対する視点を指定す
るための情報を入力する第１入力操作手段と、第１およ
び第２視点群の各視点のうち第１入力操作手段で入力さ
れた情報により指定された視点に相当する視点からの画
像を表示する画像表示手段とを備え、前記画像生成手段
は、前記対象物の同一箇所と見なせる特徴点を第１およ
び第２画像において選定するための情報を入力する第２
入力操作手段と、前記第２入力操作手段で入力された情
報により選定された特徴点を第１画像と第２画像との間
で対応付ける対応付け手段と、第１画像と第２画像との
間で対応付けられた特徴点を３個ずつ選ぶための情報を
入力する第３入力操作手段と、前記第３入力操作手段で
入力された情報により３個ずつ選ばれた特徴点に基づ
き、該３個の特徴点を頂点として含む３角パッチを設定
することにより、第１および第２画像を３角形領域に分
割する分割手段と、第２視点群の各視点につき、第１お
よび第２画像における対応付けられた特徴点を有する２
つの３角パッチに対応する、該各視点からの画像の３角
パッチである補間パッチを求める補間パッチ算出手段
と、前記補間パッチに対応するアフィン変換に基づき第
１および第２画像における前記２つの３角パッチの画像
を前記補間パッチにマッピングすることにより、前記補
間パッチの画像を生成する補間パッチ画像生成手段と、
第１および第２画像において設定された各３角パッチに
つき、前記補間パッチ算出手段により補間パッチを求め
て該補間パッチの画像を前記補間パッチ画像生成手段に
より生成することで、前記対象物に対する第２視点群の
各視点からの画像を生成する画像生成制御手段とを含む
ことを特徴とする。

【００１４】第６の発明は、３次元空間における対象物
に対する種々の視点からの画像を生成し表示する多視点
画像生成プログラムを、コンピュータ装置において実行
されるプログラムとして記録した記録媒体であって、予
め設定された第１視点群の各視点からの画像を入力する
画像入力ステップと、第１視点群における隣接する２つ
の視点の間である各隣接視点間に中間視点を設定するこ
とにより、中間視点の集合としての第２視点群を得る中
間視点設定ステップと、第１視点群における隣接する２
つの視点からの画像である第１および第２画像より、前
記２つの視点の間に設定された第２視点群の各視点から
の前記対象物に対する画像を生成する画像生成ステップ
と、前記対象物に対する視点を指定するための情報を入
力する視点指定入力ステップと、第１および第２視点群
の各視点のうち前記視点指定入力ステップで入力された
情報によって指定される視点に相当する視点からの画像
を表示する画像表示ステップとを含み、前記画像生成ス
テップは、前記対象物の同一箇所と見なせる特徴点を第
１および第２画像において選定するための情報を入力す
る特徴点選定入力ステップと、前記特徴点選定入力ステ
ップで入力された情報によって選定される特徴点を第１
画像と第２画像との間で対応付ける対応付けステップ
と、第１画像と第２画像との間で対応付けられた特徴点
を３個ずつ選ぶための情報を入力する３特徴点選択入力
ステップと、前記３特徴点選択入力ステップで入力され
た情報によって３個ずつ選ばれる特徴点に基づき、該３
個の特徴点を頂点として含む３角パッチを設定すること
により、第１および第２画像を３角形領域に分割する分
割ステップと、第２視点群の各視点につき、第１および
第２画像における対応付けられた特徴点を有する２つの
３角パッチに対応する、該各視点からの画像の３角パッ
チである補間パッチを求める補間パッチ算出ステップ
と、前記補間パッチに対応するアフィン変換に基づき第
１および第２画像における前記２つの３角パッチの画像
を前記補間パッチにマッピングすることにより、前記補
間パッチの画像を生成する補間パッチ画像生成ステップ
とを有し、第１および第２画像において設定された各３
角パッチにつき、前記補間パッチ算出ステップおよび前
記補間パッチ画像生成ステップを実行することにより、
前記対象物に対する第２視点群の各視点からの画像を生
成することを特徴とする動作環境を前記コンピュータ装
置上で実現する。

【００１５】

【発明の実施の形態】以下、本発明の実施形態について
添付図面を参照して説明する。 ＜１．基礎技術＞本発明の多視点画像生成表示方法で
は、３次元空間における対象物を種々の視点から見た画
像を得るために、まず、複数の視点からその対象物を撮
影することにより撮影画像を得（この撮影のための視点
を以下「撮影視点」という）、次に、撮影視点の間の中
間視点から対象物を見た画像を生成する（以下このよう
にして生成される画像を「中間視点画像」という）。こ
のように本発明では、撮影画像から中間視点画像を生成
するというステップが必須となっており、この中間視点
画像を生成する方法として、本願出願人が特願平１０−
１９１６５４号において開示した画像生成方法を使用す
る。そこで、まず、本発明の実施形態の基礎技術とし
て、特願平１０−１９１６５４号において開示した画像
生成方法（以下「基礎画像生成方法」という）について
説明する。

【００１６】＜１.１ 基礎画像生成方法を実施するた
めのハードウェア＞基礎画像生成方法を実施するための
ハードウェアとしては、デジタルカメラなどの外部機器
との間でデータの入出力を行うためのＩ／Ｏインタフェ
ース部、マウスやキーボードなどの入力操作部、および
画像を表示するモニタ等の画像表示部を備えたパーソナ
ルコンピュータを使用することができる。この場合、入
力操作部による操作に基づき、パーソナルコンピュータ
の本体においてメモリに格納された所定のプログラムを
ＣＰＵが実行することにより、Ｉ／Ｏインタフェース部
によって入力される画像データから中間視点画像が生成
され、その中間視点画像が画像表示部に表示される。

【００１７】＜１.２ 基礎画像生成方法の概要＞基礎
画像生成方法は、同一対象物に対する２つの視点からの
２つの画像（以下「２視点画像」という）を用いてそれ
ら２つの視点の間の中間視点からの画像（中間視点画
像）を生成する方法であり、モーフィングと呼ばれる手
法を利用する。すなわち、基礎画像生成方法では、アフ
ィン変換により、２視点画像である２つの画像（以下、
これらの一方を「第１画像」、他方を「第２画像」とい
う）の補間画像として中間視点画像を生成する。具体的
には、以下の手順（１）〜（５）により中間視点画像を
生成する。 （１）第１画像と第２画像との間で同一と見なせる箇所
を特徴点として対応付ける。 （２）第１および第２画像のそれぞれにおいて、対応す
る特徴点を３個ずつ選んで３角パッチを設定することに
より、第１および第２画像を３角形の領域に分割する。
なお、このとき３個ずつ選ばれる特徴点により、第１画
像における３角パッチと第２画像における３角パッチと
は１対１に対応付けられる。 （３）第１画像と第２画像のそれぞれに対する重み係数
Ｍ１，Ｍ２を指定することにより、生成すべき中間視点
画像の視点を決定する。 （４）第１画像と第２画像について対応付けられた各２
つの３角パッチの頂点である特徴点の座標と重み係数Ｍ
１，Ｍ２より、その対応付けられた各２つの３角パッチ
に対応する、中間視点画像の３角パッチ（以下「補間パ
ッチ」という）の頂点である特徴点の座標を算出する。 （５）第１および第２画像の各３角パッチの画素をアフ
ィン変換を用いて各３角パッチに対応する補間パッチに
マッピングすることにより、中間視点画像における各補
間パッチの画素値を算出する。

【００１８】上記手順により中間視点画像を生成する際
に、第１画像と第２画像との間で特徴点の対応付けがと
れない場合がある。例えば図２２に示すように、手前の
物体１０１によって奥の物体１０２の一部が隠れている
場合には、これらの物体に対する２視点画像は図２２
（ａ）および（ｂ）に示すような画像となる。この場
合、奥の物体１０２の或る領域が視点の変更に応じて見
え隠れする。すなわち、図２２（ａ）の画像に現れてい
る物体１０２の或る領域は、図２２（ｂ）の画像には現
れない。このように２視点画像のうち一方の画像には現
れ他方の画像には現れない領域については特徴点を対応
付けるのが困難である。このため、上記手順をそのまま
適用したのでは適切な中間視点画像を生成することがで
きない。

【００１９】また、物体の或る面が視点の変更に応じて
見え隠れするために、その面が２視点画像のうち一方の
画像には現れ他方の画像には現れない場合がある。例え
ば、図２３（ａ）に示す第１画像と図２３（ｂ）に示す
第２画像から成る２視点画像の場合、第１画像には面Ｓ
1aが現れているが、第２画像には面Ｓ1aは現れていな
い。逆に、面Ｓ2bは、第２画像には現れているが第１画
像には現れていない。このような面Ｓ1a、Ｓ2bについて
は特徴点の対応付けや補間パッチの画素値の算出が困難
である。このため、上記手順をそのまま適用したのでは
適切な中間視点画像を生成することができない。

【００２０】そこで基礎画像生成方法では、図２２に示
す２視点画像に対処すべく湧出特徴点を、図２３に示す
２視点画像に対処すべく隠れ特徴点をそれぞれ導入し、
これらの特徴点を通常の特徴点と区別している。そし
て、湧出特徴点を含む３角パッチに対応する補間パッチ
の画素値、および、隠れ特徴点を含む３角パッチに対応
する補間パッチの画素値を、それぞれ後述の特有の方法
に基づいて算出することにより、適切な中間視点画像を
生成している。

【００２１】＜１.３ 基礎画像生成方法の詳細＞以
下、図８に示すフローチャートを参照しつつ基礎画像生
成方法を説明する。基礎画像生成方法では、デジタルカ
メラなどによって撮影した２視点画像を入力し、その２
視点画像から以下の工程により中間視点画像を生成す
る。

【００２２】＜１.３.１ 特徴点を対応付ける工程（ス
テップＳ５２）＞基礎画像生成方法では、中間視点画像
を生成するために、２視点画像を２視点画像の間で対応
する３角形領域すなわち３角パッチに分割する。このた
めにステップＳ５２において、対象物の同一箇所と見な
せる２視点画像の特徴点を選定し、２視点画像の間でそ
れらの特徴点を対応付ける。例えば、図１３（ａ）に示
す第１画像と図１３（ｂ）に示す第２画像から成る２視
点画像の場合には、それらの図に示されているような特
徴点１〜７の対応付けが可能である。ここで、第１画像
と第２画像とにおいて同一の番号の特徴点が互いに対応
付けられているものとする。

【００２３】しかし、前述の図２２または図２３に示す
ような画像の場合は、特徴点の対応付けができない領域
が存在する。そこで基礎画像生成方法では、図２２に示
したように、手前の物体１０１によって奥の物体１０２
の一部が隠れているために視点の変更によって奥の物体
の或る領域が見え隠れする場合（以下、この場合の見え
隠れする領域を「湧出領域」という）については湧出特
徴点を、図２３に示したように、物体の或る面が視点の
変更に応じて見え隠れする場合（以下、この場合の見え
隠れする面に相当する領域を「隠れ領域」という）につ
いては隠れ特徴点を、それぞれ導入することにより、特
徴点の対応付けを可能としている。これら湧出特徴点に
よる対応付けと隠れ特徴点による対応付けは通常の特徴
点の対応付けとは異なるので以下に説明する。

【００２４】＜１.３.１.１ 湧出特徴点による対応付
け＞図２２に示すように湧出領域が存在する場合、湧出
領域における特徴点の中に、対応する特徴点が２視点画
像の他方の画像に存在しないものがある。また、この場
合、視点の移動に伴って、湧出領域のうち見えている部
分が隠れていったり、隠れている部分が見えてきたりす
るようにしなければならない。このため、生成したい中
間視点画像の視点に応じて湧出領域のどの部分を見せる
のかも決定しなければならない。

【００２５】そこで基礎画像生成方法では、既に対応付
けられている所定の特徴点を湧出特徴点として利用する
ことにより、湧出領域における対応付けを行っている。
これを、図１４（ａ）に示す第１画像と図１４（ｂ）に
示す第２画像とから成る２視点画像を例にとって説明す
る。この２視点画像のうち第１画像において斜線が付さ
れた領域が湧出領域であり、第２画像にはこの湧出領域
に対応する領域が現れていない。この場合、湧出領域の
特徴点として第１および第２画像の双方に存在する特徴
点Ｐ１，Ｐ２，Ｐ３をあらかじめ対応付けておく。そし
て、湧出領域の対応付けを可能にするために、図１４
（ａ）に示すように湧出領域の特徴点として第１画像に
のみ存在する点Ｑ１，Ｑ２，Ｑ３を湧出特徴点として設
定する。これらの湧出特徴点Ｑ１，Ｑ２，Ｑ３と同一箇
所と見なせる特徴点は、第２画像には存在しない。そこ
で、第１画像における湧出特徴点Ｑ１，Ｑ２，Ｑ３を、
図１４（ｂ）に示すように、第２画像における前述の特
徴点Ｐ１，Ｐ２，Ｐ３にそれぞれ対応付ける。このよう
にして、湧出特徴点Ｑ１，Ｑ２，Ｑ３を導入することに
より２視点画像における湧出領域（点Ｐ１，Ｐ２，Ｐ
３，Ｑ１，Ｑ２，Ｑ３で囲まれた領域）の対応付けが可
能となる。

【００２６】また、図１４に示した例では、第１画像の
視点から第２画像の視点へと視点を移動させていくと、
湧出領域が「Ｃ」，「Ｒ」，「Ｅ」，「Ｅ」の順で左か
ら徐々に隠れていき、第２画像の視点になると湧出領域
はすべて隠れて表示されなくなる。したがって、湧出領
域のこの見え方に対応するように、生成したい中間視点
画像の視点に応じて湧出領域のどの部分を表示するかを
求める必要がある。これについては、後述の「３.５.１
湧出パッチのマッピング処理」において説明する。

【００２７】＜１.３.１.２ 隠れ特徴点による対応付
け＞図２３に示すように隠れ領域が存在する場合も、隠
れ領域における特徴点の中に、対応する特徴点が２視点
画像の他方の画像に存在しないものがある。また、隠れ
領域は、視点を移動させると、或る視点を境にして見え
たり隠れたりする。このため、湧出領域と同様、生成し
たい中間視点画像の視点に応じて、隠れ領域のどの部分
を見せるのかを決定しなければならない。

【００２８】そこで基礎画像生成方法では、視点の変化
によって見えなくなった箇所の特徴点を推定し、推定し
た特徴点を隠れ特徴点として対応付けを行っている。こ
れを、図１５（ａ）に示す第１画像と図１５（ｂ）に示
す第２画像とから成る２視点画像を例にとって説明す
る。この２視点画像では、第２画像において、斜線を付
した右側面すなわち点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれ
た側面が見えているが、第１画像においては、この右側
面は隠れている。したがって、第１画像における右側面
は隠れ領域であり、第２画像における右側面における特
徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４のうち点Ｐ２については、
これに対応する特徴点が第１画像に存在しない。そこ
で、第２画像における特徴点Ｐ２に対応する第１画像の
特徴点の位置を、図１５（ａ）に示すように対象物（こ
の例では直方体）の形状を考慮して推定し、その位置に
隠れ特徴点Ｐ２を設定する。このように第１画像に隠れ
特徴点Ｐ２を導入することにより、第２画像において点
Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた領域を、第１画像に
おいて点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた隠れ領域と
対応付けることができる。

【００２９】また、図１５に示した例では、第１画像の
視点から第２画像の視点へと視点を移動させていくと、
或る視点を境に、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲ま
れた隠れ領域が見えるようになる。したがって、隠れ領
域について、生成したい中間視点画像の視点に応じて隠
れ領域を表示させるか否かを判断する必要がある。これ
については、後述の「３.５.２ 隠れパッチのマッピン
グ処理」において説明する。

【００３０】＜１.３.１.３ 特徴点を対応付ける処理
の手順＞上述の湧出特徴点および隠れ特徴点を導入した
特徴点の対応付け処理の手順を、図９に示すフローチャ
ートを参照しつつ説明する。

【００３１】特徴点の対応付けに際しては、まず操作者
が、モニタ等の画像表示部に表示された第１画像と第２
画像とから成る２視点画像を見比べ、特徴点を対応付け
るべき箇所として第１画像の領域と第２画像の領域を選
び出し、それらの領域において特徴点を対応付けること
ができるか否かを判定する（ステップＳ１２２）。前述
の図２２または図２３に示すような２視点画像の場合
は、特徴点の対応付けができない領域が存在するが、こ
のような２視点画像でなければ、特徴点の対応付けが可
能である。ステップＳ１２２において特徴点の対応付け
が可能な領域であると判定された場合は、ステップＳ１
３２へ進んで、２視点画像におけるそれらの領域におい
て２つの特徴点を対応付ける（図１３参照）。

【００３２】ステップＳ１２２において特徴点の対応付
けができない領域であると判定された場合は、２視点画
像において特徴点を対応付けるべき領域として選んだも
のが湧出領域か隠れ領域かを判定する（ステップＳ１２
４、Ｓ１２６）。そして、その判定結果に基づき、湧出
領域の場合には湧出特徴点による対応付けを行い（ステ
ップＳ１３４）、隠れ領域の場合には隠れ特徴点による
対応付けを行う（ステップＳ１３６）。この後、２視点
画像において特徴点を対応付けるべきすべての箇所につ
き対応付けが終了したか否かを判定し（ステップＳ１２
８）、対応付けが終了していなければ新たな箇所につ
き、上記と同様にして特徴点の対応付けを行う。以降、
２視点画像に対する特徴点の対応付けが終了するまでス
テップＳ１２２〜Ｓ１２８を繰り返し実行する。

【００３３】＜１.３.２ ３角パッチを設定する工程
（ステップＳ５４）＞上記のようにして２視点画像に対
する特徴点の対応付けが終了すると、ステップＳ５４に
進んで、２視点画像の対応する特徴点を３個ずつ選んで
３角パッチを設定することにより、２視点画像をそれぞ
れ３角形の領域に分割していく。このとき基礎画像生成
方法では、選んだ３個の特徴点を３角パッチに対し時計
回り順または反時計回り順のいずれか一方のみの順とな
るように並べたものを、パッチデータとして生成する。
例えば、選択した特徴点を時計回り順となるように並べ
たものをパッチデータを生成するものとすると、図１３
に示すように３角パッチを設定する場合には、（１，
２，５），（１，４，２），（２，３，７），（２，
４，３），（２，６，５），（２，７，６）というパッ
チデータを生成する。以下では、選択した特徴点を時計
回りに並べてパッチデータを生成するものとして説明を
進める。なお以下では、説明の便宜のために、「３角パ
ッチ（１，２，５）」というようにパッチデータを３角
パッチを特定する符号としても使用するものとする。

【００３４】＜１.３.２.１ 湧出パッチの設定＞上記
３角パッチの設定処理において、湧出領域に対する３角
パッチは湧出パッチとし、通常の３角パッチとは区別し
て設定する。３角パッチが湧出パッチか否かは、その３
角パッチが湧出特徴点を含むか否かにより判定すること
ができる。図１６は、図１４に示した２視点画像におけ
る湧出パッチの設定例を示しており、この例では、（Ｑ
１，Ｐ１，Ｐ２），（Ｑ１，Ｐ２，Ｑ２），（Ｑ２，Ｐ
２，Ｑ３），（Ｑ３，Ｐ２，Ｐ３）という４個のパッチ
データが湧出パッチのデータとして生成される。また、
この場合、図１６（ａ）に示した第１画像の湧出パッチ
に対応する第２画像のパッチは、すべて領域の無い線分
となる。

【００３５】＜１.３.２.２ 隠れパッチの設定＞基礎
画像生成方法では、隠れ領域に対する３角パッチについ
ても、これを隠れパッチとして通常の３角パッチと区別
する。ここで隠れ領域は、２視点画像のうち一方の画像
に含まれ、他方の画像ではその隠れ領域に対応する領域
が見えている。このため、３角パッチのパッチデータに
おける特徴点の並びは、隠れパッチの場合は反時計回り
となり、その隠れパッチに対応する他方のパッチについ
ては時計回りとなる。図１７は、２視点画像における隠
れパッチの設定例を示しており、図１７（ａ）に示す第
１画像には点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた隠れ領
域が存在し、図１７（ｂ）に示す第２画像では、この隠
れ領域に対応する領域は見えている。この場合、基礎画
像生成方法では、その領域の３角パッチの頂点に相当す
る特徴点が第２画像（すなわち、その領域が見えている
方の画像）において時計回りとなるようにパッチデータ
を生成する。すなわち、（Ｐ１，Ｐ２，Ｐ４），（Ｐ
２，Ｐ３，Ｐ４）をパッチデータとして生成する。これ
らのパッチデータにおける特徴点の並びは、第１画像で
は反時計回りとなっている。

【００３６】＜１.３.２.３ ３角パッチの設定処理の
手順＞上述の３角パッチの設定方法に基づく３角パッチ
の設定処理の手順を、図１０に示すフローチャートを参
照しつつ説明する。

【００３７】まず、操作者がモニタ等を見ながらマウス
で２視点画像から３つの特徴点を選択し、これにより、
この３つの特徴点を頂点とする３角パッチを、２視点画
像内の対応する２つの３角パッチとして指定する（ステ
ップＳ１６２）。このとき、隠れ領域における３角パッ
チを指定する際には、図１７（ａ）に示すように、３角
パッチが常に隠れ特徴点を含むようにする。

【００３８】次に、３角パッチのパッチデータにおける
３つの特徴点の並びを全て時計回り順に並べ替える（ス
テップＳ１６４）。ただし、対応する２つの３角パッチ
内に隠れ特徴点を含む場合は、隠れ特徴点を含まない３
角パッチに注目し、パッチデータの特徴点をその３角パ
ッチについて時計回り順になるように並べかえる。これ
により、隠れパッチについての特徴点の並びは必然的に
反時計回り順となる。

【００３９】３角パッチの特徴点についての上記並び替
えの後は、上記対応する２つの３角パッチの３つの特徴
点に湧出特徴点が含まれるか否かを判定する（ステップ
Ｓ１６６）。その結果、湧出特徴点が含まれていれば、
この３つの特徴点から成るデータを湧出パッチのパッチ
データとしてメモリに保存することにより、その対応す
る２つの３角パッチを湧出パッチとして設定する（ステ
ップＳ１７２）。その後、ステップＳ１７０へ進む。

【００４０】ステップＳ１６６で湧出特徴点が含まれて
いないと判定された場合は、ステップＳ１６８へ進ん
で、上記対応する２つの３角パッチの３つの特徴点に隠
れ特徴点が含まれているか否かを判定する。その結果、
隠れ特徴点が含まれていれば、その３つの特徴点から成
るデータを隠れパッチのパッチデータとしてメモリに保
存することにより、その対応する２つの３角パッチを隠
れパッチとして設定する（ステップＳ１７４）。その
後、ステップＳ１７０へ進む。一方、ステップＳ１６８
で、隠れ特徴点が含まれていないと判定された場合は、
そのままステップＳ１７０へ進む。

【００４１】ステップＳ１７０では、２視点画像を特徴
点によって３角形領域に分割して得られたすべての３角
パッチにつき設定が終了したか否か判定し、３角パッチ
の設定が終了していなければステップＳ１６２へ戻る。
以降、３角パッチの設定が終了するまで上記ステップＳ
１６２〜Ｓ１７０を繰り返し実行する。

【００４２】なお、上記の３角パッチの設定処理手順で
は、３角パッチが隠れパッチか否かを判定するために
（ステップＳ１６８参照）、隠れ領域において３角パッ
チを設定する際に３角パッチが常に隠れ特徴点を含むよ
うに操作者が特徴点を選んでいたが、３個の特徴点を選
んで３角パッチを指定する際にその３角パッチが隠れパ
ッチか否かを示す情報を操作者が例えばダイアログボッ
クスを使用して入力するようにしてもよい。このように
すれば、ステップＳ１６８のように隠れ特徴点の有無に
よって隠れパッチか否かを判断する必要はなくなるた
め、操作者は、隠れ領域において３角パッチを指定する
際に隠れ特徴点を含めなくてもよい。

【００４３】＜１.３.３ 中間視点を設定する工程（ス
テップＳ５６）＞上記のようにして３角パッチの設定が
行われると、次に、生成したい中間視点画像の視点すな
わち中間視点を設定する。具体的には、操作者が所望の
中間視点に対応する重み係数Ｍ１，Ｍ２をキーボードや
マウスなどを用いて入力する（ステップＳ５６）。ここ
で、Ｍ１は第１画像に対する重み係数、Ｍ２は第２画像
に対する重み係数であり、Ｍ１＋Ｍ２＝１である。

【００４４】＜１.３.４ 補間パッチを生成する工程
（ステップＳ５８）＞次に、ステップＳ５４で設定され
た３角パッチに対応する、中間視点画像の３角パッチで
ある補間パッチを生成する（ステップＳ５８）。すなわ
ち、２視点画像の対応する２つの３角パッチと、設定さ
れた中間視点に対応する上記重み係数Ｍ１，Ｍ２とを用
いて、補間パッチの特徴点の２次元座標を求める。以
下、このような補間パッチの生成処理を、図１１に示す
フローチャートを参照しつつ説明する。

【００４５】まず、変数ｉを１に初期化し（ステップＳ
１８２）、次に、上記ステップＳ５４でｉ番目に設定さ
れた３角パッチから補間パッチの３つの特徴点の座標を
次式（１）〜（６）により算出する（ステップＳ１８
４）。 XC_i1＝X1_i1＊M1＋X2_i1＊M2 …(1) YC_i1＝Y1_i1＊M1＋Y2_i1＊M2 …(2) XC_i2＝X1_i2＊M1＋X2_i2＊M2 …(3) YC_i2＝Y1_i2＊M1＋Y2_i2＊M2 …(4) XC_i3＝X1_i3＊M1＋X2_i3＊M2 …(5) YC_i3＝Y1_i3＊M1＋Y2_i3＊M2 …(6) ただし、第１画像のｉ番目に設定された３角パッチの３
つの特徴点の座標を (X1_i1,Y1_i1),(X1_i2,Y1_i2),(X1_i3,Y1_i3) 第２画像のｉ番目に設定された３角パッチの３つの特徴
点の座標を (X2_i1,Y2_i1),(X2_i2,Y2_i2),(X2_i3,Y2_i3) ｉ番目に設定された上記３角パッチに対応する補間パッ
チ（以下「ｉ番目の補間パッチ」という）の３つの特徴
点の座標を (XC_i1,YC_i1),(XC_i2,YC_i2),(XC_i3,YC_i3) とする。また、上記式（１）〜（６）において「＊」は
乗算を示すものとする（以下における式についても同様
である）。

【００４６】図１８は、上記のようにして補間パッチを
生成する処理例を示すものであり、この例は、図１３に
おいて６番目に設定された２つの３角パッチ（２，７，
６）から補間パッチを生成する場合の処理例である。

【００４７】上記のようにして補間パッチの３つの特徴
点の座標が得られると、次に変数ｉの値を１だけ増やし
た後、変数ｉの値が設定された３角パッチ数以下か否か
を判定する（ステップＳ１８６、Ｓ１８８）。その結
果、設定された３角パッチ数以下の場合は、ステップＳ
１８４へ戻る。以降、変数ｉの値が設定された３角パッ
チ数よりも大きくなるまで、ステップＳ１８４→Ｓ１８
６→Ｓ１８８を繰り返し実行する。変数ｉの値が設定さ
れた３角パッチ数よりも大きくなると、補間パッチの生
成処理を終了する。

【００４８】＜１.３.５ 補間パッチのマッピングを行
う工程（ステップＳ６０）＞上述の補間パッチの生成処
理が終了すると、ステップＳ６０へ進み、生成された補
間パッチに、その補間パッチに対応する２視点画像の３
角パッチの画像を重み係数Ｍ１，Ｍ２に応じてマッピン
グする。ここで、重み係数Ｍ１，Ｍ２は、２視点画像の
うちの第１画像および第２画像にそれぞれ対応し、対応
する画像からの影響の大きさを表している。

【００４９】補間パッチのマッピングにはアフィン変換
を用いる。２視点画像のうちの第１画像の特徴点の座標
から補間パッチの特徴点の座標を与えるアフィン変換の
式は、次の通りである。 XC_i1＝A＊X1_i1＋B＊Y1_i1＋C …(7) YC_i1＝D＊X1_i1＋E＊Y1_i1＋F …(8) XC_i2＝A＊X1_i2＋B＊Y1_i2＋C …(9) YC_i2＝D＊X1_i2＋E＊Y1_i2＋F …(10) XC_i3＝A＊X1_i3＋B＊Y1_i3＋C …(11) YC_i3＝D＊X1_i3＋E＊Y1_i3＋F …(12) 上記式においてＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆはアフィン変換
を与える定数である。式（１）〜（６）により得られる
補間パッチの３つの特徴点の座標(XC_i1,YC_i1),(XC_i
2,YC_i2),(XC_i3,YC_i3) と、第１画像のｉ番目に設定
された３角パッチの３つの特徴点の座標(X1_i1,Y1_i1),
(X1_i2,Y1_i2),(X1_i3,Y1_i3) とを上記式（７）〜（１
２）に代入することにより、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに
ついての６つの式が得られる。これら６つの式から、
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを一意的に求めることができ
る。

【００５０】このようにして求めたＡ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆを用いたアフィン変換の式により、第１画像の３
角パッチの各画素が補間パッチ内のどの画素にマッピン
グされるかを求めることができる。すなわち、図１９に
示すように、第１画像のｉ番目の３角パッチにおける点
(X1_i,Y1_i) の画素は、次式により補間パッチにおける
点(XC_i,YC_i)の画素にマッピングされる。 XC_i＝A＊X1_i＋B＊Y1_i＋C …(13) YC_i＝D＊X1_i＋E＊Y1_i＋F …(14)

【００５１】第２画像の３角パッチの各画素が補間パッ
チ内のどの画素にマッピングされるかも上記と同様にし
て求めることができる。すなわち、式（１）〜（６）に
より得られる補間パッチの３つの特徴点の座標(XC_i1,Y
C_i1),(XC_i2,YC_i2),(XC_i3,YC_i3)と、第２画像のｉ
番目に設定された３角パッチの３つの特徴点の座標(X2_
i1,Y2_i1),(X2_i2,Y2_i2),(X2_i3,Y2_i3)とを上記式
（７）〜（１２）に代入して、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ
の値を求めればよい。第２画像に対するこれらＡ，Ｂ，
Ｃ，Ｄ，Ｅ，Ｆの値は第１画像に対するものとは異なっ
ており、これらの値を用いた次式により、第２画像のｉ
番目の３角パッチにおける点(X2_i,Y2_i) の画素が補間
パッチにおける点(XC_i,YC_i)の画素にマッピングされ
る。 XC_i＝A＊X2_i＋B＊Y2_i＋C …(15) YC_i＝D＊X2_i＋E＊Y2_i＋F …(16)

【００５２】上記のようにして、第１および第２画像の
３角パッチ内の各画素が補間パッチのどの画素にマッピ
ングされるのかが求められると、第１および第２画像と
中間視点画像との間での画素位置の対応関係が得られた
ことになる。このような画素位置の対応関係に基づき画
素値のマッピングを行う。すなわち上記のようにして、
第１画像のｉ番目の３角パッチの点(X1_i,Y1_i) と第２
画像のｉ番目の３角パッチの点(X2_i,Y2_i)とが共に補
間パッチの点(XC_i,YC_i)と対応付けられる場合には、
補間パッチの点(XC_i,YC_i) の画素値 Fc(XC_i,YC_i)は
次式により得られる。 Fc(XC_i,YC_i)＝F1(X1_i,Y1_i)＊M1＋F2(X2_i,Y2_i)＊M2 …(17) ここで、F1(X1_i,Y1_i)は第１画像における点(X1_i,Y1_
i)の画素値であり、F2(X2_i,Y2_i)は第２画像における
点(X2_i,Y2_i)の画素値である。このように、第１およ
び第２画像の画素値に、それぞれ対応する重み係数を乗
じて加算することにより、補間パッチへの画素値のマッ
ピングを行う。なお、実際のマッピング処理では、後述
のように、第１画像の各画素の補間パッチへのマッピン
グを行った後に、第２画像の各画素の補間パッチへのマ
ッピングを行っているため、上記式(17)をそのまま使用
しているわけではない。

【００５３】基礎画像生成方法では、基本的には上記の
ようにして補間パッチへの画素値のマッピングを行う
が、湧出パッチや隠れパッチについてのマッピングの場
合は、２視点画像の対応する２つの３角パッチのうちい
ずれか一方にしか画像が存在しないため、上記のマッピ
ング方法をそのまま適用することはできない。そこで、
以下では、湧出パッチと隠れパッチのマッピング処理の
詳細について説明する。

【００５４】＜１.３.５.１ 湧出パッチのマッピング
処理＞湧出パッチの画像は２視点画像のうちの一方にし
か存在しないため、湧出パッチから補間パッチへの画素
のマッピングは、湧出領域における湧出パッチの画像の
みを用いて行わなければならない。また、湧出領域は視
点に応じて見え隠れするため、生成したい中間視点画像
の視点を決める重み係数Ｍ１，Ｍ２に応じて、中間視点
画像にマッピングする湧出領域を変化させなければなら
ない。

【００５５】そこで基礎画像生成方法では、湧出パッチ
からのマッピングの際に、湧出特徴点を、第１画像にお
ける位置と第２画像における位置との間で、重み係数Ｍ
１，Ｍ２に応じて移動させて、湧出パッチの一部の領域
をマッピングに使用するようにしている。図２０（ａ）
に示す第１画像と図２０（ｂ）に示す第２画像とから成
る２視点画像の場合には、このようなマッピングによ
り、重み係数Ｍ１，Ｍ２に応じて湧出特徴点が移動し
て、例えば湧出パッチ（Ｑ２，Ｐ２，Ｑ３）および（Ｐ
２，Ｐ３，Ｑ３）に対応する補間パッチは、図２０
（ｃ）〜（ｇ）に示すようになる。ここで、図２０
（ｃ）は重み係数（Ｍ１，Ｍ２）＝（１００％，０％）
に対応する補間パッチすなわち第１画像における湧出パ
ッチを示し、図２０（ｇ）は重み係数（Ｍ１，Ｍ２）＝
（０％，１００％）に対応する補間パッチすなわち第２
画像における線分のパッチを示し、図２０（ｄ），
（ｅ），（ｆ）は、それぞれ、重み係数（Ｍ１，Ｍ２）
＝（７５％，２５％），（５０％，５０％），（２５
％，７５％）に対応する補間パッチを示している。特に
湧出パッチ（Ｑ２，Ｐ２，Ｑ３）に注目すると、第２画
像に対する重み係数Ｍ２が大きくなるにしたがって辺Ｑ
２Ｑ３が点Ｐ２に近づいて湧出パッチが狭められ、補間
パッチへのマッピングに使用する画像領域が変化してい
ることがわかる。

【００５６】＜１.３.５.２ 隠れパッチのマッピング
処理＞隠れパッチの画像も２視点画像のうちの一方にし
か存在しないため、隠れパッチから補間パッチへの画素
のマッピングも、隠れ領域における隠れパッチの画像の
みを用いて行わなければならない。また、隠れパッチに
ついてのマッピングでは、補間パッチを表示させるか否
かを中間視点画像の視点に応じて決定しなければならな
い。

【００５７】そこで基礎画像生成方法では、隠れパッチ
からマッピングされる補間パッチの３つの特徴点の座標
に基づき、それらの特徴点が時計回りに並んでいるか否
かを調べることにより、中間視点画像において補間パッ
チを表示するか否かを決定する。補間パッチは、或る視
点を境にして面の向きが反転するからである。

【００５８】例えば、図２１（ａ）に示す第１画像と図
２１（ｂ）に示す第２画像とから成る２視点画像の場合
において、隠れパッチ（Ｐ１，Ｐ２，Ｐ３）に着目する
と、この隠れパッチは第１画像では表示されるが第２画
像では表示されない。この隠れパッチに対応する補間パ
ッチの形状は、ステップＳ５８で算出される補間パッチ
の特徴点のＰ１，Ｐ２，Ｐ３の座標によって決まり、中
間視点を決める重み係数Ｍ１，Ｍ２に応じて図２１
（ｃ）〜（ｉ）に示すようになる。ここで、図２１
（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），
（ｉ）は、それぞれ、重み係数（Ｍ１，Ｍ２）＝（９０
％，１０％），（８０％，２０％），（７０％，３０
％），（５０％，５０％），（３０％，７０％），（２
０％，８０％），（１０％，９０％）に対応する補間パ
ッチを示している。この例では、重み係数（Ｍ１，Ｍ
２）が（１００％，０％）〜（５０％，５０％）のと
き、補間パッチ（Ｐ１，Ｐ２，Ｐ３）の特徴点は時計回
り順となり、重み係数（Ｍ１，Ｍ２）が（５０％，５０
％）〜（０％，１００％）のとき、補間パッチ（Ｐ１，
Ｐ２，Ｐ３）の特徴点は反時計回り順となっている。と
ころで基礎画像生成方法では、既述のように、隠れパッ
チと対応した３角パッチの特徴点は、時計回り順に並ぶ
ように設定される。したがって、重み係数（Ｍ１，Ｍ
２）が（１００％，０％）〜（５０％，５０％）のと
き、中間視点画像において補間パッチを表示し、重み係
数（Ｍ１，Ｍ２）が（５０％，５０％）〜（０％，１０
０％）のとき、補間パッチは隠れ領域に含まれて見えな
いと判断し、これを表示しない。

【００５９】＜１.３.５.３ 補間パッチのマッピング
処理の手順＞上述の補間パッチへのマッピング方法に基
づく補間パッチへのマッピング処理の手順を図１２に示
すフローチャートを参照しつつ説明する。

【００６０】まず、変数ｉ，ｊにｉ＝１，ｊ＝１を初期
値として設定するとともに、生成したい中間視点画像に
おける各画素の値 Fc(x,y)をすべて０に初期化する（ス
テップＳ２０２）。

【００６１】次に、第ｊ画像のｉ番目に設定された３角
パッチ（以下、説明の便宜上、単に「ｉ番目の３角パッ
チ」という）が隠れパッチか否かを判定する（ステップ
Ｓ２０４）。この結果、ｉ番目の３角パッチが隠れパッ
チであれば、ステップＳ５８で求めた対応する補間パッ
チすなわちｉ番目の補間パッチの特徴点の座標に基づき
（ステップＳ１８４参照）、その補間パッチのパッチデ
ータにおいて特徴点が反時計回り順に並んでいるか否か
を判定する（ステップＳ２０６）。その結果、反時計回
り順に並んでいれば、その補間パッチは設定された中間
視点からは見えずこれを中間視点画像において表示しな
いため、画素のマッピングをせずにステップＳ２１８へ
進む。一方、時計回り順に並んでいる場合には、その補
間パッチへのマッピングを行うべくステップＳ２１２へ
進む。

【００６２】ステップＳ２０４で隠れパッチでないと判
定された場合は、ステップＳ２０８へ進み、ｉ番目の３
角パッチが湧出パッチか否か判定する。この結果、湧出
パッチであれば、第ｊ画像においてその湧出パッチの湧
出特徴点を重み係数Ｍ１，Ｍ２に応じて移動させて、湧
出パッチの一部の領域を後述のマッピングに使用するよ
うに設定し（ステップＳ２１０）、その後、ステップＳ
２１２へ進む。一方、ｉ番目の３角パッチが湧出パッチ
でないと判定された場合は、そのままステップＳ２１２
へ進む。

【００６３】ステップＳ２１２では、補間パッチの生成
処理（ステップＳ５８）で得られている補間パッチの３
つの特徴点の座標(XC_i1,YC_i1),(XC_i2,YC_i2),(XC_i
3,YC_i3) と、第ｊ画像のｉ番目の３角パッチの３つの
特徴点の座標(Xj_i1,Yj_i1),(Xj_i2,Yj_i2),(Xj_i3,Yj_
i3) とをアフィン変換の式（７）〜（１２）に代入し
て、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの値を求める。次に、アフ
ィン変換の式（１３）（１４）または（１５）（１６）
により、第ｊ画像のｉ番目の３角パッチの各画素がｉ番
目の補間パッチのどの画素にマッピングされるかを求め
る（ステップＳ２１４）。これにより、第ｊ画像のｉ番
目の３角パッチと生成したい中間視点画像のｉ番目の補
間パッチとの間における、画素位置の対応関係が得られ
る。この画素位置の対応関係に基づき、第ｊ画像のｉ番
目の３角パッチの各画素値のｉ番目の補間パッチへのマ
ッピングを行う（ステップＳ２１６）。すなわち、第ｊ
画像のｉ番目の３角パッチの座標(a,b) における画素が
ｉ番目の補間パッチにおける座標(c,d)における画素に
マッピングされるとき、第ｊ画像における座標(a,b)の
画素値 Fj(a,b) に重み係数Ｍｊを乗じた値を、中間視
点画像における座標(c,d)のこの時点までの画素値 Fc
(c,d) に加算する。つまり、Fc(c,d)＋Fj(a,b)＊Mj
…(18)を新たなFc(c,d) として設定する。これは、前述
の式（１７）によりｉ番目の補間パッチの画素値 Fc(XC
_i,YC_i)を求める計算の一部を構成する。

【００６４】上記のような画素値のマッピング処理の
後、変数ｉの値を１だけ増やす（ステップＳ２１８）。
その後、変数ｉが設定した３角パッチ数以下か否かを判
定し、設定３角パッチ数以下であればステップＳ２０４
へ戻る。以降、変数ｉが設定３角パッチ数以下である
間、ステップＳ２０４〜Ｓ２２０を繰り返し実行する。
この間に変数ｉが設定３角パッチ数を越えれば、第ｊ画
像のすべての３角パッチからのマッピングが終了したた
め、ステップＳ２２２へ進む。

【００６５】ステップＳ２２２では、変数ｊの値を１だ
け増やすとともに、変数ｉの値を１に初期化する。そし
て次に、変数ｊが２以下か否かを判定し（ステップＳ２
２４）、２以下であれば、ステップＳ２０４へ戻る。以
降、ｊ＝２について、ステップＳ２０４〜Ｓ２２２を実
行する。そして、ステップＳ２２４を再度実行した時点
ではｊ＝３であるので、この補間パッチへのマッピング
処理を終了する（ステップＳ２２４）。以上の処理によ
り、中間視点画像における各画素値が前記式（１７）に
より算出されたことになる。

【００６６】このようにして得られた中間視点画像の各
画素値を示す画像データを用いて、モニタ等に中間視点
画像が表示される。

【００６７】＜１.４ 基礎画像生成方法の効果＞以上
のように基礎画像生成方法によれば、対象物の３次元形
状に関する情報を必要とすることなく、モーフィング技
術を利用して２視点画像から所望の中間視点画像を生成
することができる。また基礎画像生成方法では、湧出特
徴点および隠れ特徴点を導入し、湧出パッチや隠れパッ
チに応じたマッピング処理（ステップＳ２０４〜Ｓ２１
０参照）などを行うことにより、図２２に示すように手
前の物体によって奥の物体の一部が隠れている場合や、
図２３に示すように対象物の或る面が２視点画像の一方
の画像には現れ他方の画像には現れていない場合であっ
ても、適切な中間視点画像を生成することができる。

【００６８】＜２．実施形態＞以下、本発明の一実施形
態である撮影視点決定方法について説明する。この撮影
視点決定方法は、本発明の多視点画像生成表示方法を、
商品カタログなどの印刷物に用いる高品質な撮影画像を
得るための撮影視点の決定に応用したものである。

【００６９】＜２.１ 実施形態で使用するハードウェ
アの構成＞図４は、本実施形態の撮影視点決定方法を実
施するための装置である撮影視点決定支援装置のハード
ウェア構成を示すブロック図である。この撮影視点決定
支援装置は、本発明の多視点画像生成表示装置を高品質
な画像撮影のための撮影視点の決定に応用したものであ
って、デジタルカメラ１０やプリンタ２８などの外部機
器との間でデータの入出力を行うためのＩ／Ｏインタフ
ェース部１２と、キーボード２４やマウス２６などの入
力操作手段からデータを受け取る入力インタフェース部
１４と、各部の制御やデータ処理を行うＣＰＵ（中央処
理装置）１６と、画像表示手段としてのモニタ１８と、
画像データを格納するための画像メモリ２０と、ＣＰＵ
１６によって実行されるプログラムや作業用データを格
納するためのメインメモリ２２とをバス５０で接続した
構成となっており、例えばパーソナルコンピュータとし
て実現されるものである。

【００７０】上記構成の撮影視点決定支援装置は、メイ
ンメモリ２２に格納された所定のプログラムをＣＰＵ１
６が実行することにより、商品カタログ等の印刷物に用
いる高品質な画像の撮影視点の決定作業を支援するため
の装置として動作する。本実施形態においてＣＰＵ１６
が実行する上記プログラム（以下「撮影視点決定支援プ
ログラム」という）は、本発明の多視点画像生成表示プ
ログラムを高品質な画像撮影のための撮影視点の決定に
応用したものであって、典型的には、当該プログラムを
記憶した記憶媒体（フレキシブルディスク、ＣＤ−ＲＯ
Ｍ、ＤＶＤ等）によって提供される。すなわち、ユーザ
は、購入した記憶媒体を上記画像生成システムにセット
し、そこに記憶されている撮影視点決定支援プログラム
を読み取らせて、ハードディスク装置等の記憶装置（図
示せず）にインストールする。また、バス５０を介して
オンラインで伝送されてくる撮影視点決定支援プログラ
ムを記憶装置にインストールするようにしてもよい。さ
らに、メーカが撮影視点決定支援装置を出荷する前に、
予め記憶装置に撮影視点決定支援プログラムをインスト
ールしておくようにしてもよい。このようにしてインス
トールされたプログラムは、記憶装置からメインメモリ
２２にロードされてＣＰＵ１６により実行される。

【００７１】＜２.２ 撮影視点決定方法の詳細＞以
下、本実施形態の撮影視点決定方法の詳細につき、自動
車のカタログに使用する高品質な画像のための撮影視点
の決定を例にとって説明する。

【００７２】＜２.２.１ 対象物の撮影および撮影画像
の入力＞図１は、本実施形態の撮影視点決定方法の手順
を示すフローチャートである。この撮影視点決定方法で
は、まず、外部機器であるデジタルカメラ１０により、
所定の複数視点から対象物である自動車を撮影する（ス
テップＳ１０）。次に、この撮影により得られた画像
（撮影画像）のデータをＩ／Ｏインタフェース部１２を
介して入力して画像メモリ２０に格納する（ステップＳ
１２）。

【００７３】＜２.２.２ 中間視点画像の生成＞上記の
ようにして撮影画像が得られると、次に、これらの撮影
画像を用いて、既述の基礎画像生成方法に基づき、これ
らの撮影画像の視点の間の種々の中間視点からの画像で
ある中間視点画像を生成する（ステップＳ１４）。図２
は、この中間視点画像の生成処理のための撮影視点決定
支援装置の動作を示すフローチャートであって、ステッ
プＳ１４の中間視点画像の生成処理の手順を表してい
る。この中間視点画像の生成処理では、まず、上記の撮
影画像の視点の集合である撮影視点群の中から隣接する
２つの撮影視点を抽出し、この２つの撮影視点（以下
「抽出撮影視点対」という）に対応する２つの画像であ
る２視点画像に対し、特徴点の対応付けを行う（ステッ
プＳ１０２）。このステップＳ１０２は、図８のステッ
プＳ５２に相当し、ステップＳ１０２の具体的手順は、
基礎画像生成方法の場合と同様であって図９に示す通り
である。

【００７４】２視点画像に対する特徴点の対応付けが終
了すると、２視点画像の対応する特徴点を３個ずつ選ん
で３角パッチを設定することにより、２視点画像をそれ
ぞれ３角形の領域に分割していく（ステップＳ１０
４）。このステップＳ１０４は、図８のステップＳ５４
に相当し、ステップＳ１０４の具体的手順も、基礎画像
生成方法の場合と同様であって図１０に示す通りであ
る。

【００７５】次に、抽出された２つの撮影視点（抽出撮
影視点対）の間に中間視点を設定する（ステップＳ１０
６）。基礎画像生成方法では、操作者が所望の中間視点
に対応する重み係数Ｍ１，Ｍ２をキーボード２４やマウ
ス２６を用いて入力することにより中間視点を設定して
いたが、本実施形態では、２つの撮影視点の間で所定数
の中間視点画像を生成すべく、ＣＰＵ１６が重み係数Ｍ
１，Ｍ２を自動的に変化させるようにしている。後述の
ようにステップＳ１０６は繰り返し実行され、このステ
ップＳ１０６が実行される毎に重み係数Ｍ１，Ｍ２が少
しずつ変更される。これにより、図５に示すように、ス
テップＳ１０６が実行される毎に少しずつ異なる位置に
中間視点が設定される。なお、重み係数Ｍ１は２視点画
像のうちの一方の画像（第１画像）に、重み係数Ｍ２は
他方の画像（第２画像）にそれぞれ対応し、Ｍ１＋Ｍ２
＝１である。

【００７６】中間視点が設定されると、その中間視点に
対する中間視点画像の３角パッチである補間パッチを生
成する（ステップＳ１０８）。すなわち、２視点画像の
対応する２つの３角パッチと、設定された中間視点に対
応する上記重み係数Ｍ１，Ｍ２とを用いて、補間パッチ
の特徴点の２次元座標を求める。このステップＳ１０８
は、図８のステップＳ５８に相当し、ステップＳ１０８
の具体的手順も、基礎画像生成方法の場合と同様であっ
て図１１に示す通りである。

【００７７】このような補間パッチの生成処理が終了す
ると、生成された補間パッチに、その補間パッチに対応
する２視点画像の３角パッチの画像を重み係数Ｍ１，Ｍ
２に応じてマッピングする（ステップＳ１１０）。この
ステップＳ１１０は、図８のステップＳ６０に相当し、
ステップＳ１１０の具体的手順も、基礎画像生成方法の
場合と同様であって図１２に示す通りである。このよう
な補間パッチへのマッピング処理により一つの中間視点
画像のデータが生成され、この画像データは画像メモリ
２０に格納される。

【００７８】このようにして一つの中間視点画像のデー
タが生成されると、抽出撮影視点対に対し、所定数の中
間視点画像のデータが全て生成されたか否かを判定する
（ステップＳ１１２）。抽出撮影視点対に対し全ての中
間視点画像が生成されていない場合、すなわち、抽出撮
影視点対の間に更に設定すべき中間視点が存在する場合
には、ステップＳ１０６へ戻る。以降、抽出撮影視点対
の間で少しずつ異なる中間視点を設定しつつステップＳ
１０６〜Ｓ１１２を繰り返し実行する。この間に、抽出
撮影視点対に対し全ての中間視点画像が生成されると、
ステップＳ１１４へ進む。

【００７９】ステップＳ１１４では、撮影視点群の中か
ら隣接する２つの撮影視点が全て抽出されたか否かを判
定する。撮影視点群の中に未抽出の隣接する２つの撮影
視点が存在する場合は、ステップＳ１００へ戻り、未抽
出の隣接する２つの撮影視点を抽出し、その抽出撮影視
点対に対し上記と同様の処理を行う（ステップＳ１０２
〜Ｓ１１４）。以降、同様にしてステップＳ１００〜Ｓ
１１４を繰り返し実行し、その間に、未抽出の隣接する
２つの撮影視点がなくなれば、中間視点画像の生成処理
を終了する。

【００８０】図６は、自動車６０の高品質な画像を得る
ための撮影視点（以下「高品質撮影視点」という）を決
定する場合における上述の中間視点画像の生成処理を説
明するための図である。この例では、高品質撮影視点の
検討のための撮影視点として、撮影対象である自動車６
０の周囲方向に２５個、上下方向に３個の撮影視点を設
定している。したがって、ステップＳ１００が実行され
る毎に、これら３×２５＝７５個の視点からなる撮影視
点群の中から隣接する２つの撮影視点が順次抽出され
る。そしてこの例では、周囲方向に隣接する２つの撮影
視点の間には３つの中間視点を設定し、上下方向に隣接
する２つの撮影視点の間には１つの中間視点を設定す
る。すなわち、ステップＳ１００で周囲方向に隣接する
２つの撮影視点が抽出されたときには、その２つの撮影
視点の間に３つの中間視点が、ステップＳ１０６が実行
される毎に一つずつ順次設定される。また、ステップＳ
１００で上下方向に隣接する２つの撮影視点が抽出され
たときには、ステップＳ１０６が実行されると、その２
つの撮影視点の間に１つの中間視点が設定される。

【００８１】よって、図６に示した例では、図２のフロ
ーチャートに示した中間視点画像の生成処理（ステップ
Ｓ１００〜Ｓ１１４）により、自動車６０の周囲方向に
隣接する２つの撮影視点に対しては３個の中間視点画像
が生成され、上下方向に隣接する２つの撮影視点に対し
ては１個の中間視点画像が生成される。その結果、撮影
画像と中間視点画像とを合わせると、異なる視点からの
自動車６０の画像が５００個得られ、中間視点画像の生
成処理（ステップＳ１４）の実行後には、この５００個
の画像のデータが検討用画像データとして画像メモリ２
０に格納されている。ここで、各検討用画像データは、
ステップＳ１０６で設定された全ての中間視点と撮影視
点群とから成る視点群（以下「検討用視点群」という）
の各視点からの画像のデータであって、図６に示すよう
に、各検討用画像にはその視点の位置に応じた順に番号
が付されている。メインメモリ２２には、この番号をイ
ンデックスとするテーブル、すなわち図７に示すような
テーブルも格納されており、このテーブルの各インデッ
クスに対応する位置には、そのインデックスに対応する
検討用画像データの格納位置である画像アドレスが書き
込まれている（以下、このテーブルを「画像アドレステ
ーブル」という）。

【００８２】＜２.２.３ 視点移動シミュレーション＞
中間視点画像の生成処理（ステップＳ１４、図２）が終
了すると、視点移動のシミュレーションを行う（ステッ
プＳ１６）。すなわち、画像メモリ２０に格納されてい
る検討用画像データを用いて、操作者によって指定され
た視点移動に対応する画像を表示する。

【００８３】図３は、視点移動シミュレーションのため
の撮影視点決定支援装置の動作を示すフローチャートで
あって、ステップＳ１６の視点移動シミュレーションの
手順を表している。

【００８４】視点移動シミュレーションでは、まず、操
作者がマウス２６等の操作により指定した視点移動の情
報を装置が入力する（ステップＳ３００）。このとき、
視点移動の経路に加えて、視点移動の速度に対応する速
度情報も入力する。例えば、前述の画像アドレステーブ
ルをモニタ１８に表示しておき、その表示に対してマウ
ス２６を操作することにより、視点移動の方向と速度を
指定する。図７に示した矢印ｍｖ１およびｍｖ２は、こ
のときのマウス２６の操作例を示している。ここで矢印
ｍｖ１は、まず画像１の視点を基準視点として選択し、
次に画像３の視点を視点移動の方向と速度を指定するた
めの指定視点として選択する、という操作を表してい
る。また矢印ｍｖ２は、まず画像１の視点を基準視点と
して選択し、次に画像２０３の視点を指定視点として選
択する、という操作を表している。このような操作によ
り、視点移動の方向として基準視点から指定視点へと向
かう方向が指定されるとともに、視点移動の速度として
基準視点と指定視点との間隔に対応した速度が指定さ
れ、基準視点と視点視点との間隔が大きくなれば視点移
動の速度が増大する。なお、このような視点移動の指示
をマウス２６の操作により行う代わりに、キーボード２
４によるカーソル移動の操作により行うようにしてもよ
い。

【００８５】上記のようにして視点移動を指示する情報
が入力されると、次に、指示された視点移動に沿った各
視点からの画像をモニタ１８に順次表示する。すなわ
ち、まず、検討用視点群のうち指示された視点移動の経
路に沿った各視点の中から一つの視点を抽出する（ステ
ップＳ３０２）。このステップＳ３０２は後述のように
繰り返し実行され、このステップＳ３０２が実行される
毎に、指示された視点移動に沿った各視点の中から視点
移動の順に一つずつ視点が抽出される。最初にステップ
Ｓ３０２が実行されたときには、視点移動の起点に相当
する視点すなわち前述の基準視点が抽出される。視点が
一つ抽出されると、その視点に対応する画像データを、
前述の画像アドレステーブルを使用して画像メモリ２０
から読み出し、その画像データを用いてモニタ１８に画
像を表示する（Ｓ３０４）。その後、所定時間Ｔｗだけ
待機する（ステップＳ３０６）。所定時間Ｔｗの待機
後、指示された視点移動の経路に沿った視点を全て抽出
したか否かを判定し（ステップＳ３０８）、未抽出の視
点がある場合はステップＳ３０２へ戻る。以降、指示さ
れた視点移動に沿った全ての視点が抽出されるまで、ス
テップＳ３０２〜Ｓ３０８を繰り返し実行する。これに
より、指示された視点移動の経路に沿った視点からの画
像のデータがその視点移動に応じた順に一つずつ読み出
され、読み出された画像データの表す画像がモニタ１８
に順次表示されていく。例えば図７に示した例におい
て、矢印ｍｖ１で示すような視点移動がマウス２６等に
より指示されると、画像アドレステーブルから画像１、
画像２、画像３、…のアドレスが読み出され、それらの
アドレスを用いて、画像メモリ２０から画像１、画像
２、画像３、…の各データがこの順に読み出される。そ
して、これらの画像データを用いて所定の時間間隔で画
像１、画像２、画像３、…という順にモニタ１８に画像
が表示される。また、図７に示した例において、矢印ｍ
ｖ２で示すような視点移動がマウス２６等で指示された
場合には、画像アドレステーブルから画像１、画像１０
２、画像２０３、…のアドレスが読み出され、それらの
アドレスを用いて、画像メモリ２０から画像１、画像１
０２、画像２０３、…の各データがこの順に読み出され
る。そして、これらの画像データを用いて所定の時間間
隔で画像１、画像１０２、画像２０３、…という順にモ
ニタ１８に画像が表示される。ここで、所定の時間間隔
はステップＳ３０６での待機時間Ｔｗによって決まり、
待機時間Ｔｗは、ステップＳ３００で入力される視点移
動の速度情報に基づき、画像の切替速度が視点移動の速
度に応じたものとなるように設定される。例えば待機時
間Ｔｗは、視点移動の速度に反比例するように設定され
る。

【００８６】指定された視点移動に対応する画像表示を
行った後は、視点移動シミュレーションの終了が指示さ
れたか否かを判定する（ステップＳ３１０）。その結
果、視点移動シミュレーションの終了が指示されていな
ければ、ステップＳ３００に戻り、新たに指示される視
点移動の情報を入力し、この新たな視点移動に対して同
様の処理を行う。このようにして、ステップＳ３００〜
Ｓ３１０を繰り返し実行している間に、操作者からマウ
ス２６やキーボード２４の操作により視点移動シミュレ
ーションの終了が指示されると、視点移動シミュレーシ
ョン（ステップＳ１６）を終了してステップＳ１８へ進
む。

【００８７】上記のような視点移動シミュレーションに
よれば、操作者が所望の視点移動を指示することによ
り、その視点移動に対応する画像を動画的に表示するこ
とができる。また、上述の視点移動の指示のための操作
において基準視点および指定視点として同一視点を指定
した場合には、その視点からの画像が静止画としてモニ
タ１８に表示される。したがって、この視点移動シミュ
レーションでは、視点移動に対応する画像群を動画的に
表示する代わりに、所望の視点からの静止画を表示する
ことも可能である。

【００８８】なお、上記ステップＳ３０２において、指
示された視点移動に対応する画像データによって表され
る画像をそのまま表示してもよいが、操作者からマウス
２６やキーボード２４の操作による拡大縮小率の指定を
受け付け、その拡大縮小率に応じて上記画像データを処
理した後のデータを用いて表示する構成とするのが好ま
しい。このような構成によれば、視点移動シミュレーシ
ョンにおいてズーム機能を実現することができる。

【００８９】＜２.２.４ 視点選定の指示および選定視
点画像の出力＞上記の視点移動シミュレーションにおい
て操作者は、マウス２６等によって視点移動や所望の視
点を指示することにより、また、ズーム機能を有してい
る場合には、拡大縮小率をも指示することにより、撮影
対象物に対する種々の視点からの画像を所望に応じてモ
ニタ１８に表示し、表示された画像を見て高品質撮影視
点を決定する。すなわち、表示された画像の視点のうち
高品質撮影視点として操作者が最適と判断する視点の画
像を指定することにより、視点の選定を撮影視点決定支
援装置に指示する（ステップＳ１８）。

【００９０】視点選定が指示されると、撮影視点決定支
援装置はその選定された視点からの画像のデータを画像
メモリ２０から読み出して、その画像データによって表
される画像をプリンタ２８により所定の用紙に出力す
る。この用紙の画像が高品質撮影視点を示すものであ
り、その用紙に背景や照明条件などの撮影条件が書き加
えられたものが、高品質な画像撮影のための撮影指示書
となる。

【００９１】＜２.３ 実施形態の効果＞以上のように
本実施形態によれば、所定の複数視点から撮影した撮影
画像より中間視点の画像を生成し、生成した中間視点画
像のデータを撮影画像データとともに用いて、種々の視
点からの画像や種々の視点移動に対応した画像を表示す
ることができる。このため、３次元空間における対象物
の種々の視点からの画像を効率よく生成し表示すること
ができ、従来よりも少ない撮影画像で種々の視点からの
画像を検討することができる。これにより、カタログな
どの印刷物制作の上流工程において、撮影対象物の外観
の把握や高品質画像のための最適な撮影視点の決定を効
率よく行うことができる。また、印刷物制作の上流工程
において、本実施形態の方法により決定した撮影視点の
画像を、サムネール等の製作や提示に使用したり、カメ
ラマンへの撮影指示書の作成に使用したりすることがで
きる。このようにして、本実施形態によれば、カタログ
などの印刷物制作の上流工程における作業効率を向上さ
せることができる。

【００９２】また、本実施形態の方法を印刷物制作のた
めの編集ソフトウェアで使用した場合には、印刷物のデ
ザインレイアウトの検討シミュレーションにおいて、撮
影対象物の視点を変えた画像を生成することにより、レ
イアウトに合った撮影視点を決定することができる。

【００９３】さらに、本実施形態によれば、従来よりも
少ない撮影画像で種々の視点からの画像を表示して検討
できるため、３次元空間における対象物の外観の把握に
必要な情報を伝達する場合において、伝達すべき情報量
を大きく低減することができる。例えば、印刷物制作の
オリエンテーションを行う際に、クライアントからプラ
ナー等に渡すべき画像の量を大きく低減することができ
る。

【００９４】＜３．変形例＞上記実施形態では、各中間
視点の設定および各中間視点画像の生成を１回ずつ行う
のみであるが、操作者の指定に応じて中間視点群の一部
または全部を設定し直し又は中間視点を追加設定し、新
たに設定された中間視点を含めた中間視点群に対して再
度視点移動シミュレーションを行えるようにしてもよ
い。これは、操作者の指示に応じて図２のステップＳ１
００、Ｓ１０６〜Ｓ１１４および図１のステップＳ１６
を再度実行する構成とすることにより実現できる。この
構成によれば、例えば、操作者が移動させたい視点範囲
を指定して、その視点範囲における中間視点の間に更な
る中間視点を追加設定することにより、追加設定された
中間視点からの中間視点画像が生成され、これらを用い
て高品質撮影視点をより高い精度で決定することができ
る。

【００９５】また上記実施形態は、高品質撮影視点を決
定することを目的とするものであるが、対象物に対する
種々の視点からの画像を表示することにより対象物の３
次元的な外観を把握することを目的とする方法や装置と
して使用することもできる。ただし、この場合、図１に
おけるステップＳ１８およびＳ２０は不要となる。この
ような方法または装置によれば、３次元空間における対
象物に対する複数視点からの撮影画像のデータを用い
て、より多くの種々の視点からの画像や種々の視点移動
に対応する画像を表示することができるため、比較的少
ない撮影画像で対象物の外観の十分な把握が可能とな
る。

【００９６】さらに上記実施形態の構成の一部を変更す
ることにより、動画撮影における視点の最適な移動経路
を決定するための方法や装置を実現することもできる。
すなわち、図１のステップＳ１８に代えて、ステップＳ
１６の視点移動シミュレーションにおいて指示された視
点移動のうちの操作者が最適と判断する視点移動を一つ
選定してその選定情報を装置に入力するというステップ
を設けるとともに、ステップＳ２０に代えて、選定され
た視点移動を示す情報としてその視点移動に対応する画
像群をプリンタに出力するかその画像群をファイルとし
てハードディスク装置等の記憶装置に出力するというス
テップを設ける。この構成によれば、操作者は、種々の
視点移動を指示してその視点移動に対応した画像を動画
的に表示させ、その画像を見て最適な視点移動の経路を
決定することができる。なお、このようにして決定した
視点移動の経路に対して視点移動の速度を種々に変えた
視点移動シミュレーションを行うことにより、動画撮影
における視点移動の最適な速度の決定のための検討を行
うこともできる。

【図面の簡単な説明】

【図１】本発明の一実施形態である撮影視点決定方法の
手順を示すフローチャート。

【図２】上記実施形態における中間視点画像の生成処理
の手順を示すフローチャート。

【図３】上記実施形態における視点移動シミュレーショ
ンの手順を示すフローチャート。

【図４】上記実施形態の撮影視点決定方法を実施するた
めの撮影視点決定支援装置のハードウェア構成を示すブ
ロック図。

【図５】上記実施形態における中間視点の設定を示す
図。

【図６】上記実施形態における中間視点画像の生成処理
を説明するための図。

【図７】上記実施形態において検討用画像データのアド
レスを格納する画像アドレステーブルを示す図。

【図８】本発明の基礎技術である基礎画像生成方法を示
すフローチャート。

【図９】上記基礎画像生成方法における２視点画像の特
徴点の対応付け処理を示すフローチャート。

【図１０】上記基礎画像生成方法における３角パッチの
設定処理を示すフローチャート。

【図１１】上記基礎画像生成方法における補間パッチの
生成処理を示すフローチャート。

【図１２】上記基礎画像生成方法における補間パッチへ
のマッピング処理を示すフローチャート。

【図１３】２視点画像における特徴点の対応付けを説明
するための図。

【図１４】２視点画像における湧出特徴点による対応付
けを説明するための図。

【図１５】２視点画像における隠れ特徴点による対応付
けを説明するための図。

【図１６】湧出パッチの設定を説明するための図。

【図１７】隠れパッチの設定を説明するための図。

【図１８】補間パッチを生成する処理を説明するための
図。

【図１９】補間パッチへのマッピング処理を説明するた
めの図。

【図２０】湧出パッチからのマッピング処理を説明する
ための図。

【図２１】隠れパッチからのマッピング処理を説明する
ための図。

【図２２】湧出領域を含む２視点画像を示す図。

【図２３】隠れ領域を含む２視点画像を示す図。

【符号の説明】

１０ …デジタルカメラ １２ …Ｉ／Ｏインタフェース部 １４ …入力インタフェース部 １６ …ＣＰＵ １８ …モニタ ２０ …画像メモリ ２２ …メインメモリ ２４ …キーボード ２６ …マウス ２８ …プリンタ ６０ …自動車（撮影対象物） Ｐ２ …隠れ特徴点 Ｑ１，Ｑ２，Ｑ３ …湧出特徴点

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井根 英一 京都市上京区堀川通寺之内上る４丁目天神 北町１番地の１ 大日本スクリーン製造株 式会社内 Ｆターム(参考） 5B050 AA06 BA09 BA10 BA13 BA18 DA07 EA03 EA05 EA07 EA27 EA28 FA02 FA09

Claims (6)

【特許請求の範囲】
1. 【請求項１】 ３次元空間における対象物に対する種々
   の視点からの画像を生成し表示するための多視点画像生
   成表示方法であって、 予め設定された第１視点群の各視点から前記対象物を撮
   影することにより該各視点からの画像を獲得する画像撮
   影ステップと、 第１視点群における隣接する２つの視点の間である各隣
   接視点間に中間視点を設定することにより、中間視点の
   集合としての第２視点群を得る中間視点設定ステップ
   と、 第１視点群における隣接する２つの視点からの画像であ
   る第１および第２画像より、該２つの視点の間に設定さ
   れた第２視点群の各視点からの前記対象物の画像を生成
   する画像生成ステップと、 前記対象物に対する視点を指定する視点指定ステップ
   と、 前記第１および第２視点群の各視点のうち前記視点指定
   ステップで指定された視点に相当する視点からの画像を
   表示する画像表示ステップとを含み、 前記画像生成ステップは、 前記対象物の同一箇所と見なせる特徴点を第１および第
   ２画像において選定し、該特徴点を第１画像と第２画像
   との間で対応付ける対応付けステップと、 第１画像と第２画像との間で対応付けられた特徴点を３
   個ずつ選んで該３個の特徴点を頂点として含む３角パッ
   チを設定することにより、第１および第２画像を３角形
   領域に分割する分割ステップと、 第２視点群の各視点につき、第１および第２画像におけ
   る対応付けられた特徴点を有する２つの３角パッチに対
   応する、該各視点からの画像の３角パッチである補間パ
   ッチを求める補間パッチ算出ステップと、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２画像における前記２つの３角パッチの画像を前
   記補間パッチにマッピングすることにより、前記補間パ
   ッチの画像を生成する補間パッチ画像生成ステップとを
   有し、 第１および第２画像において設定された各３角パッチに
   つき、前記補間パッチ算出ステップおよび前記補間パッ
   チ画像生成ステップを実行することにより、前記対象物
   に対する第２視点群の各視点からの画像を生成すること
   を特徴とする多視点画像生成表示方法。
2. 【請求項２】 前記対応付けステップにおいて、前記対
   象物を構成する物体の中に少なくとも一部が他の物体に
   隠れているために第１画像には現れ第２画像には現れな
   い領域である湧出領域を有する物体が存在する場合に、
   該湧出領域の特徴点として第１画像にのみ存在する特徴
   点を湧出特徴点として設定し、該湧出特徴点を、第１画
   像における前記湧出領域の他の所定の特徴点に対応付け
   られた第２画像における特徴点と対応付け、 前記補間パッチ画像生成ステップにおいて、前記補間パ
   ッチにマッピングされる第１または第２画像の３角パッ
   チが前記湧出領域に含まれる場合に、該３角パッチの領
   域を前記補間パッチに対する中間視点に応じて狭めた部
   分領域の画像を前記補間パッチへのマッピングに使用す
   ることを特徴とする請求項１に記載の多視点画像生成表
   示方法。
3. 【請求項３】 前記対応付けステップにおいて、前記対
   象物を構成する面の中に視点に応じて見え隠れする面が
   存在し該面が第１画像には現れず第２画像に現れる場合
   に、該面の特徴点として第２画像にのみ存在する特徴点
   に対応すべき第１画像の特徴点の位置として前記対象物
   の形状に基づいて推定された位置に、第１画像の特徴点
   を隠れ特徴点として設定し、該隠れ特徴点を第２画像に
   のみ存在する前記特徴点と対応付け、 前記補間パッチ画像生成ステップにおいて、前記補間パ
   ッチにマッピングされる第１または第２画像の３角パッ
   チが第１画像には現れず第２画像に現れる前記面に含ま
   れる場合に、前記補間パッチに対する中間視点から前記
   補間パッチが見えるか否かを判定し、前記補間パッチが
   見えないと判定されたときには前記補間パッチの画像を
   生成しないことを特徴とする請求項１に記載の多視点画
   像生成表示方法。
4. 【請求項４】 前記画像表示ステップにおいて表示され
   る画像に基づき、第１および第２視点群の中から前記対
   象物に対する高品質な画像撮影のための視点を選定する
   視点選定ステップと、 前記視点選定ステップで選定された視点からの画像を出
   力する画像出力ステップとを更に含むことを特徴とする
   請求項１ないし３のいずれか１項に記載の多視点画像生
   成表示方法。
5. 【請求項５】 ３次元空間における対象物に対する種々
   の視点からの画像を生成し表示する多視点画像生成表示
   装置であって、 予め設定された第１視点群の各視点からの画像を入力す
   るための画像入力手段と、 第１視点群における隣接する２つの視点の間である各隣
   接視点間に中間視点を設定することにより、中間視点の
   集合としての第２視点群を得る中間視点設定手段と、 第１視点群における隣接する２つの視点からの画像であ
   る第１および第２画像より、前記２つの視点の間に設定
   された第２視点群の各視点からの前記対象物の画像を生
   成する画像生成手段と、 前記対象物に対する視点を指定するための情報を入力す
   る第１入力操作手段と、 第１および第２視点群の各視点のうち第１入力操作手段
   で入力された情報により指定された視点に相当する視点
   からの画像を表示する画像表示手段とを備え、 前記画像生成手段は、 前記対象物の同一箇所と見なせる特徴点を第１および第
   ２画像において選定するための情報を入力する第２入力
   操作手段と、 前記第２入力操作手段で入力された情報により選定され
   た特徴点を第１画像と第２画像との間で対応付ける対応
   付け手段と、 第１画像と第２画像との間で対応付けられた特徴点を３
   個ずつ選ぶための情報を入力する第３入力操作手段と、 前記第３入力操作手段で入力された情報により３個ずつ
   選ばれた特徴点に基づき、該３個の特徴点を頂点として
   含む３角パッチを設定することにより、第１および第２
   画像を３角形領域に分割する分割手段と、 第２視点群の各視点につき、第１および第２画像におけ
   る対応付けられた特徴点を有する２つの３角パッチに対
   応する、該各視点からの画像の３角パッチである補間パ
   ッチを求める補間パッチ算出手段と、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２画像における前記２つの３角パッチの画像を前
   記補間パッチにマッピングすることにより、前記補間パ
   ッチの画像を生成する補間パッチ画像生成手段と、 第１および第２画像において設定された各３角パッチに
   つき、前記補間パッチ算出手段により補間パッチを求め
   て該補間パッチの画像を前記補間パッチ画像生成手段に
   より生成することで、前記対象物に対する第２視点群の
   各視点からの画像を生成する画像生成制御手段とを含む
   ことを特徴とする多視点画像生成表示装置。
6. 【請求項６】 ３次元空間における対象物に対する種々
   の視点からの画像を生成し表示する多視点画像生成プロ
   グラムを、コンピュータ装置において実行されるプログ
   ラムとして記録した記録媒体であって、 予め設定された第１視点群の各視点からの画像を入力す
   る画像入力ステップと、 第１視点群における隣接する２つの視点の間である各隣
   接視点間に中間視点を設定することにより、中間視点の
   集合としての第２視点群を得る中間視点設定ステップ
   と、 第１視点群における隣接する２つの視点からの画像であ
   る第１および第２画像より、前記２つの視点の間に設定
   された第２視点群の各視点からの前記対象物に対する画
   像を生成する画像生成ステップと、 前記対象物に対する視点を指定するための情報を入力す
   る視点指定入力ステップと、 第１および第２視点群の各視点のうち前記視点指定入力
   ステップで入力された情報によって指定される視点に相
   当する視点からの画像を表示する画像表示ステップとを
   含み、 前記画像生成ステップは、 前記対象物の同一箇所と見なせる特徴点を第１および第
   ２画像において選定するための情報を入力する特徴点選
   定入力ステップと、 前記特徴点選定入力ステップで入力された情報によって
   選定される特徴点を第１画像と第２画像との間で対応付
   ける対応付けステップと、 第１画像と第２画像との間で対応付けられた特徴点を３
   個ずつ選ぶための情報を入力する３特徴点選択入力ステ
   ップと、 前記３特徴点選択入力ステップで入力された情報によっ
   て３個ずつ選ばれる特徴点に基づき、該３個の特徴点を
   頂点として含む３角パッチを設定することにより、第１
   および第２画像を３角形領域に分割する分割ステップ
   と、 第２視点群の各視点につき、第１および第２画像におけ
   る対応付けられた特徴点を有する２つの３角パッチに対
   応する、該各視点からの画像の３角パッチである補間パ
   ッチを求める補間パッチ算出ステップと、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２画像における前記２つの３角パッチの画像を前
   記補間パッチにマッピングすることにより、前記補間パ
   ッチの画像を生成する補間パッチ画像生成ステップとを
   有し、 第１および第２画像において設定された各３角パッチに
   つき、前記補間パッチ算出ステップおよび前記補間パッ
   チ画像生成ステップを実行することにより、前記対象物
   に対する第２視点群の各視点からの画像を生成すること
   を特徴とする動作環境を前記コンピュータ装置上で実現
   するための多視点画像生成表示プログラムを記録した記
   録媒体。