JP2000020707A - 画像生成方法および画像生成プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ２視点画像から中間視点画像を生成する。 【解決手段】 入力した２視点画像の間で互いに同一箇
所と見なせる特徴点を選んで対応付ける（Ｓ１２）。こ
のとき、視点に応じて対象物の一部が見え隠れする場合
に対処するために湧出特徴点と隠れ特徴点を導入する。
次に、特徴点を３つずつ選ぶことにより、２視点画像を
３角形領域即ち３角パッチに分割する（Ｓ１４）。この
とき、湧出特徴点と隠れ特徴点に対応して湧出パッチと
隠れパッチを通常の３角パッチと区別して設定する。そ
の後、入力した重み係数に対応する中間視点画像におけ
る補間パッチの特徴点の座標を求める（Ｓ１８）。次
に、２視点画像の各３角パッチの各画素から中間視点画
像の各補間パッチの各画素へのマッピングを、その３角
パッチが湧出パッチか隠れパッチか通常のパッチかを考
慮しつつ行う（Ｓ２０）。これにより、所望の中間視点
からの画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元空間におけ
る対象物を所定の視点から見た画像を生成する方法に関
するものであり、特に、同一対象物に対する２つの視点
からの２つの画像を用いてそれら２つの視点の間の中間
視点からの画像を生成する方法に関する。

【０００２】

【従来の技術】対象物の３次元形状に関する情報を基に
任意視点からの２次元画像を生成する場合、すなわち３
次元画像を生成する場合、従来は、あらかじめレンジフ
ァインダで入手した対象物の３次元形状に関する情報と
所望の視点に関する情報とを用いて、画像データを計算
して画像を生成していた。この画像生成方法では、３次
元形状に関する情報が使用されるため、それを入手する
唯一の機器であるレンジファインダが必要である。

【０００３】しかし、デジタルカメラなどで撮影した２
次元画像から３次元画像を生成する場合は、３次元形状
に関する情報を得ることができず、したがって上記従来
の画像生成方法では、対象物の３次元画像を生成するこ
とができない。また、カメラから対象物までの距離やカ
メラの撮影方法が知られていない限り、３次元形状に関
する情報を別途入手することはできない。さらに、レン
ジファインダは極めて高価であり、３次元形状に関する
情報を得ることは一般に困難である。

【０００４】したがって、例えば、同一対象物に対する
２つの視点からの２つの画像（以下「２視点画像」とい
う）を用いて、その２つの視点の間の中間視点からの画
像（以下「中間視点画像」という）を得たい場合には、
上記従来の画像生成方法は適用できない。

【０００５】

【発明が解決しようとする課題】本発明は、このような
問題を解決すべくなされたものであって、対象物の３次
元形状に関する情報を使用せずに２視点画像から中間視
点画像を生成する画像生成方法や画像生成プログラムを
提供することを目的とする。

【０００６】

【課題を解決するための手段および発明の効果】第１の
発明は、同一対象物に対する２つの視点からの画像であ
る第１および第２画像より、前記２つの視点の間の中間
視点からの前記対象物に対する画像を生成する画像生成
方法であって、前記対象物の同一箇所と見なせる特徴点
を第１および第２画像において選定し、該特徴点を第１
画像と第２画像との間で対応付けるステップと、第１画
像と第２画像との間で対応付けられた特徴点を３個ずつ
選んで該３個の特徴点を頂点として含む３角パッチを設
定することにより、第１および第２画像を３角形領域に
分割するステップと、第１および第２画像に対する重み
係数をそれぞれ指定することにより前記中間視点を決定
するステップと、第１および第２画像における対応付け
られた特徴点を有する２つの３角パッチと前記重み係数
とを用いて、前記２つの３角パッチに対応する前記中間
視点の画像の３角パッチである補間パッチを求めるステ
ップと、前記補間パッチに対応するアフィン変換に基づ
き第１および第２画像における前記２つの３角パッチの
画像を前記補間パッチにマッピングすることにより、前
記補間パッチの画像を生成するステップと、を有し、第
１および第２画像において設定された各３角パッチにつ
き、補間パッチを求める前記ステップおよび補間パッチ
の画像を生成する前記ステップを実行することにより、
前記対象物に対する前記中間視点からの画像を生成する
ことを特徴としている。

【０００７】このような第１の発明によれば、対象物の
３次元形状に関する情報を必要とすることなく、２視点
画像より、所望の中間視点から見た画像を生成すること
ができる。

【０００８】第２の発明は、第１の発明において、第１
画像と第２画像との間で特徴点を対応付ける前記ステッ
プでは、前記対象物を構成する物体の中に少なくとも一
部が他の物体に隠れているために第１画像には現れ第２
画像には現れない領域である湧出領域を有する物体が存
在する場合に、該湧出領域の特徴点として第１画像にの
み存在する特徴点を湧出特徴点として設定し、該湧出特
徴点を、第１画像における前記湧出領域の他の所定の特
徴点に対応付けられた第２画像における特徴点と対応付
け、補間パッチの画像を生成する前記ステップでは、前
記補間パッチにマッピングされる第１または第２画像の
３角パッチが前記湧出領域に含まれる場合に、該３角パ
ッチの領域を前記重み係数に応じて狭めた部分領域の画
像を前記補間パッチへのマッピングに使用することを特
徴としている。

【０００９】このような第２の発明によれば、対象物を
構成する物体の中に少なくとも一部が他の物体に隠れて
いるために第１画像には現れ第２画像には現れない領域
である湧出領域を有する物体が存在する場合（図１６に
示す場合）には、湧出特徴点が導入されて、補間パッチ
にマッピングされる湧出領域内の３角パッチの領域が生
成したい画像の視点に応じて狭められる。したがって、
このような場合であっても適切な中間視点画像を生成す
ることができる。

【００１０】第３の発明は、第１の発明において、第１
画像と第２画像との間で特徴点を対応付ける前記ステッ
プでは、前記対象物を構成する面の中に視点に応じて見
え隠れする面が存在し該面が第１画像には現れず第２画
像に現れる場合に、該面の特徴点として第２画像にのみ
存在する特徴点に対応すべき第１画像の特徴点の位置と
して前記対象物の形状に基づいて推定された位置に、第
１画像の特徴点を隠れ特徴点として設定し、該隠れ特徴
点を第２画像にのみ存在する前記特徴点と対応付け、補
間パッチの画像を生成する前記ステップでは、前記補間
パッチにマッピングされる第１または第２画像の３角パ
ッチが第１画像には現れず第２画像に現れる前記面に含
まれる場合に、前記補間パッチが前記中間視点から見え
るか否かを判定し、前記補間パッチが見えないと判定さ
れたときには前記補間パッチの画像を生成しないことを
特徴としている。

【００１１】このような第３の発明によれば、対象物を
構成する面の中に視点に応じて見え隠れする面が存在し
その面が第１画像には現れず第２画像に現れる場合（図
１７に示す場合）には、隠れ特徴点が導入されて、補間
パッチにマッピングされる前記面内の３角パッチが生成
したい画像の視点から見えるか否かが判定され、その判
定結果に基づいて中間視点画像が生成される。したがっ
て、このような場合であっても適切な中間視点画像を生
成することができる。

【００１２】第４の発明は、第１の発明において、第１
画像と第２画像との間で特徴点を対応付ける前記ステッ
プでは、前記対象物を構成する物体の中に少なくとも一
部が他の物体に隠れているために第１画像には現れ第２
画像には現れない領域である湧出領域を有する物体が存
在する場合に、該湧出領域の特徴点として第１画像にの
み存在する特徴点を湧出特徴点として設定し、該湧出特
徴点を、第１画像における前記湧出領域の他の所定の特
徴点に対応付けられた第２画像における特徴点と対応付
け、前記対象物を構成する面の中に視点に応じて見え隠
れする面が存在し該面が第１画像には現れず第２画像に
現れる場合に、該面の特徴点として第２画像にのみ存在
する特徴点に対応すべき第１画像の特徴点の位置として
前記対象物の形状に基づいて推定された位置に、第１画
像の前記特徴点を隠れ特徴点として設定し、該隠れ特徴
点を第２画像にのみ存在する前記特徴点と対応付け、補
間パッチの画像を生成する前記ステップでは、前記補間
パッチにマッピングされる第１または第２画像の３角パ
ッチが前記湧出領域に含まれる場合に、該３角パッチの
領域を前記重み係数に応じて狭めた部分領域の画像を前
記補間パッチへのマッピングに使用し、前記補間パッチ
にマッピングされる第１または第２画像の３角パッチが
第１画像には現れず第２画像に現れる前記面に含まれる
場合に、前記補間パッチが前記中間視点から見えるか否
かを判定し、前記補間パッチが見えないと判定されたと
きには前記補間パッチの画像を生成しないことを特徴と
している。

【００１３】このような第４の発明によれば、対象物を
構成する物体の中に少なくとも一部が他の物体に隠れて
いるために第１画像には現れ第２画像には現れない領域
である湧出領域を有する物体が存在する場合には、湧出
特徴点が導入されて上記第２の発明と同様にして中間視
点画像が生成され、対象物を構成する面の中に視点に応
じて見え隠れする面が存在しその面が第１画像には現れ
ず第２画像に現れる場合には、隠れ特徴点が導入されて
上記第３の発明と同様にして中間視点画像が生成され
る。したがって、上記２つのいずれの場合であっても適
切な中間視点画像を生成することができる。

【００１４】第５の発明は、第３または第４の発明にお
いて、第１および第２画像を３角形領域に分割するステ
ップでは、３角パッチを設定する際に選ばれる前記３個
の特徴点を、第１または第２画像のうち該３角パッチが
現れている画像において前記３個の特徴点が時計回り順
と反時計回り順のうちのいずれか一方のみの順となるよ
うに並べたデータをパッチデータとして生成し、補間パ
ッチの画像を生成する前記ステップでは、前記補間パッ
チにマッピングされる第１または第２画像の３角パッチ
が第１画像には現れず第２画像に現れる前記面に含まれ
る場合に、前記補間パッチに含まれる特徴点がパッチデ
ータにおいて時計回り順に並んでいるか否かにより、前
記補間パッチが前記中間視点から見えるか否かを判定す
ることを特徴としている。

【００１５】このような第５の発明によれば、対象物を
構成する面の中に視点に応じて見え隠れする面が存在し
その面が第１画像には現れず第２画像に現れる場合に、
補間パッチが中間視点から見えるか否かを容易に判定す
ることができる。これにより、隠れ領域が存在する２視
点画像から中間視点画像を効率よく生成することができ
る。

【００１６】第６の発明は、時計回り方向と反時計回り
方向のうちのいずれか一方向となるように順序付けられ
た複数の点で囲まれた領域を有する図形が表示された第
１画像に対して所定の変換を行った後の画像である第２
画像を生成する画像生成方法であって、第２画像におい
て前記複数の点の順序付けが前記一方向に対し同方向と
なるか逆方向となるかを判定し、前記判定の結果、前記
一方向と同方向になる場合は、第２画像における前記図
形の表示態様を第１画像における表示態様と同じものと
し、前記一方向と逆方向になる場合は、第２画像におけ
る前記図形の表示態様を第１画像における表示態様と異
なるものとすることを特徴としている。

【００１７】このような第６の発明によれば、例えば、
画像の変換後の図形が表向きか裏向きかを２次元画像情
報のみから判定し、その判定結果に応じてその図形の表
示態様を変えることができる。

【００１８】第７の発明は、同一対象物に対する２つの
視点からの画像である第１および第２画像より、前記２
つの視点の間の中間視点からの前記対象物に対する画像
を生成するための画像生成プログラムを、コンピュータ
装置において実行されるプログラムとして記録した記録
媒体であって、前記対象物の同一箇所と見なせる特徴点
を第１および第２画像において選定し、該特徴点を第１
画像と第２画像との間で対応付けるステップと、第１画
像と第２画像との間で対応付けられた特徴点を３個ずつ
選んで該３個の特徴点を頂点として含む３角パッチを設
定することにより、第１および第２画像を３角形領域に
分割するステップと、第１および第２画像に対する重み
係数をそれぞれ指定することにより前記中間視点を決定
するステップと、第１および第２画像における対応付け
られた特徴点を有する２つの３角パッチと前記重み係数
とを用いて、前記２つの３角パッチに対応する前記中間
視点の画像の３角パッチである補間パッチを求めるステ
ップと、前記補間パッチに対応するアフィン変換に基づ
き第１および第２画像における前記２つの３角パッチの
画像を前記補間パッチにマッピングすることにより、前
記補間パッチの画像を生成するステップと、を含み、第
１および第２画像において設定された各３角パッチにつ
き、補間パッチを求める前記ステップおよび補間パッチ
の画像を生成する前記ステップを実行することにより、
前記対象物に対する前記中間視点からの画像を生成する
動作環境を前記コンピュータ装置上で実現するための画
像生成プログラムを記録したことを特徴としている。

【００１９】第８の発明は、第７の発明において、第１
画像と第２画像との間で特徴点を対応付ける前記ステッ
プでは、前記対象物を構成する物体の中に少なくとも一
部が他の物体に隠れているために第１画像には現れ第２
画像には現れない領域である湧出領域を有する物体が存
在する場合に、該湧出領域の特徴点として第１画像にの
み存在する特徴点を湧出特徴点として設定し、該湧出特
徴点を、第１画像における前記湧出領域の他の所定の特
徴点に対応付けられた第２画像における特徴点と対応付
け、補間パッチの画像を生成する前記ステップでは、前
記補間パッチにマッピングされる第１または第２画像の
３角パッチが前記湧出領域に含まれる場合に、該３角パ
ッチの領域を前記重み係数に応じて狭めた部分領域の画
像を前記補間パッチへのマッピングに使用することを特
徴としている。

【００２０】第９の発明は、第７の発明において、第１
画像と第２画像との間で特徴点を対応付ける前記ステッ
プでは、前記対象物を構成する面の中に視点に応じて見
え隠れする面が存在し該面が第１画像には現れず第２画
像に現れる場合に、該面の特徴点として第２画像にのみ
存在する特徴点に対応すべき第１画像の特徴点の位置と
して前記対象物の形状に基づいて推定された位置に、第
１画像の特徴点を隠れ特徴点として設定し、該隠れ特徴
点を第２画像にのみ存在する前記特徴点と対応付け、補
間パッチの画像を生成する前記ステップでは、前記補間
パッチにマッピングされる第１または第２画像の３角パ
ッチが第１画像には現れず第２画像に現れる前記面に含
まれる場合に、前記補間パッチが前記中間視点から見え
るか否かを判定し、前記補間パッチが見えないと判定さ
れたときには前記補間パッチの画像を生成しないことを
特徴としている。

【００２１】第１０の発明は、時計回り方向と反時計回
り方向のうちのいずれか一方向となるように順序付けら
れた複数の点で囲まれた領域を有する図形が表示された
第１画像に対して所定の変換を行った後の画像である第
２画像を生成するための画像生成プログラムを、コンピ
ュータ装置において実行されるプログラムとして記録し
た記録媒体であって、第２画像において前記複数の点の
順序付けが前記一方向に対し同方向となるか逆方向とな
るかを判定し、前記判定の結果、前記一方向と同方向に
なる場合は、第２画像における前記図形の表示態様を第
１画像における表示態様と同じものとし、前記一方向と
逆方向になる場合は、第２画像における前記図形の表示
態様を第１画像における表示態様と異なるものとする動
作環境を前記コンピュータ装置上で実現するための画像
生成プログラムを記録したことを特徴としている。

【００２２】

【発明の実施の形態】以下、本発明の実施形態について
添付図面を参照して説明する。 ＜１．実施形態で使用するハードウェアの構成＞図６
は、本発明の一実施形態である画像生成方法により２視
点画像から中間視点画像を生成する際に使用される画像
生成システムのハードウェア構成を示すブロック図であ
る。この画像生成システムは、デジタルカメラ１０など
の外部機器との間でデータの入出力を行うためのＩ／Ｏ
インタフェース部１２と、マウスやキーボードなどの入
力操作手段からデータを受け取る入力インタフェース部
１４と、各部の制御やデータ処理を行うＣＰＵ（中央処
理装置）１６と、画像表示手段としてのモニタ１８と、
画像データを格納するための画像メモリ２０と、ＣＰＵ
１６によって実行されるプログラムや作業用データを格
納するためのメインメモリ２２とをバス５０で接続した
構成となっており、例えばパーソナルコンピュータとし
て実現されるものである。

【００２３】上記構成の画像生成システムは、メインメ
モリ２２に格納された所定のプログラムをＣＰＵ１６が
実行することにより、次のように動作する。すなわち、
外部機器であるデジタルカメラ１０による撮影で得られ
た２視点画像のデータをＩ／Ｏインタフェース部１２を
介して入力して画像メモリ２０に格納し、そのデータを
用いて２視点画像をモニタ１８に表示する。操作者がこ
の２視点画像の表示を見ながらマウスのようなポインテ
ィング装置やキーボードなどにより所定の指示を行う
と、その指示データを入力インタフェース部１４を介し
て入力し、その指示データと画像メモリ２０に格納され
た２視点画像データとを用いて中間視点画像のデータを
生成し、これを画像メモリ２０に格納する。このデータ
を用いてモニタ１４に画像を表示することにより中間視
点画像が得られる。

【００２４】なお、本実施形態の画像生成方法により中
間視点画像を生成するための上記所定のプログラム（以
下「画像生成プログラム」という）は、典型的には、当
該プログラムを記憶した記憶媒体（フレキシブルディス
ク、ＣＤ−ＲＯＭ、ＤＶＤ等）によって提供される。す
なわち、ユーザは、購入した記憶媒体を上記画像生成シ
ステムにセットし、そこに記憶されている画像生成プロ
グラムを読み取らせて、ハードディスク装置等の記憶装
置（図示せず）にインストールする。また、バス５０を
介してオンラインで伝送されてくる画像生成プログラム
を記憶装置にインストールするようにしてもよい。さら
に、メーカが画像生成システムを出荷する前に、予め記
憶装置に画像生成プログラムをインストールしておくよ
うにしてもよい。このようにしてインストールされたプ
ログラムは、画像生成の際に、記憶装置からメインメモ
リ２２にロードされてＣＰＵ１６により実行される。

【００２５】＜２．実施形態の画像生成方法の概要＞本
実施形態の画像生成方法は、２視点画像から中間視点画
像を生成するために、モーフィングと呼ばれる手法を利
用する。すなわち本実施形態では、アフィン変換によ
り、２視点画像である２つの画像（以下、これらの一方
を「第１画像」、他方を「第２画像」という）の補間画
像として中間視点画像を生成する。具体的には、以下の
手順（１）〜（５）により中間視点画像を生成する。 （１）第１画像と第２画像との間で同一と見なせる箇所
を特徴点として対応付ける。 （２）第１および第２画像のそれぞれにおいて、対応す
る特徴点を３個ずつ選んで３角パッチを設定することに
より、第１および第２画像を３角形の領域に分割する。
なお、このとき３個ずつ選ばれる特徴点により、第１画
像における３角パッチと第２画像における３角パッチと
は１対１に対応付けられる。 （３）第１画像と第２画像のそれぞれに対する重み係数
Ｍ１，Ｍ２を指定することにより、生成すべき中間視点
画像の視点を決定する。 （４）第１画像と第２画像について対応付けられた各２
つの３角パッチの頂点である特徴点の座標と重み係数Ｍ
１，Ｍ２より、その対応付けられた各２つの３角パッチ
に対応する、中間視点画像の３角パッチ（以下「補間パ
ッチ」という）の頂点である特徴点の座標を算出する。 （５）第１および第２画像の各３角パッチの画素をアフ
ィン変換を用いて各３角パッチに対応する補間パッチに
マッピングすることにより、中間視点画像における各補
間パッチの画素値を算出する。

【００２６】上記手順により中間視点画像を生成する際
に、第１画像と第２画像との間で特徴点の対応付けがと
れない場合がある。例えば図１６に示すように、手前の
物体１０１によって奥の物体１０２の一部が隠れている
場合には、これらの物体に対する２視点画像は図１６
（ａ）および（ｂ）に示すような画像となる。この場
合、奥の物体１０２の或る領域が視点の変更に応じて見
え隠れする。すなわち、図１６（ａ）の画像に現れてい
る物体１０２の或る領域は、図１６（ｂ）の画像には現
れない。このように２視点画像のうち一方の画像には現
れ他方の画像には現れない領域については特徴点を対応
付けるのが困難である。このため、上記手順をそのまま
適用したのでは適切な中間視点画像を生成することがで
きない。

【００２７】また、物体の或る面が視点の変更に応じて
見え隠れするために、その面が２視点画像のうち一方の
画像には現れ他方の画像には現れない場合がある。例え
ば、図１７（ａ）に示す第１画像と図１７（ｂ）に示す
第２画像から成る２視点画像の場合、第１画像には面Ｓ
1aが現れているが、第２画像には面Ｓ1aは現れていな
い。逆に、面Ｓ2bは、第２画像には現れているが第１画
像には現れていない。このような面Ｓ1a、Ｓ2bについて
は特徴点の対応付けや補間パッチの画素値の算出が困難
である。このため、上記手順をそのまま適用したのでは
適切な中間視点画像を生成することができない。

【００２８】そこで本実施形態では、図１６に示す２視
点画像に対処すべく湧出特徴点を、図１７に示す２視点
画像に対処すべく隠れ特徴点をそれぞれ導入し、これら
の特徴点を通常の特徴点と区別している。そして、湧出
特徴点を含む３角パッチに対応する補間パッチの画素
値、および、隠れ特徴点を含む３角パッチに対応する補
間パッチの画素値を、それぞれ後述の特有の方法に基づ
いて算出することにより、適切な中間視点画像を生成し
ている。

【００２９】＜３．実施形態の画像生成方法の詳細＞図
１は、本実施形態の画像生成方法を示すフローチャート
である。以下、このフローチャートを参照しつつ本実施
形態の画像生成方法を説明する。

【００３０】本実施形態では、デジタルカメラなどによ
って撮影した２視点画像を入力し（ステップＳ１０）、
その２視点画像から以下の工程により中間視点画像を生
成する。

【００３１】＜３.１ 特徴点を対応付ける工程（ステ
ップＳ１２）＞本実施形態では、中間視点画像を生成す
るために、２視点画像を２視点画像の間で対応する３角
形領域すなわち３角パッチに分割する。このためにステ
ップＳ１２において、対象物の同一箇所と見なせる２視
点画像の特徴点を選定し、２視点画像の間でそれらの特
徴点を対応付ける。例えば、図７（ａ）に示す第１画像
と図７（ｂ）に示す第２画像から成る２視点画像の場合
には、それらの図に示されているような特徴点１〜７の
対応付けが可能である。ここで、第１画像と第２画像と
において同一の番号の特徴点が互いに対応付けられてい
るものとする。

【００３２】しかし、前述の図１６または図１７に示す
ような画像の場合は、特徴点の対応付けができない領域
が存在する。そこで本実施形態では、図１６に示したよ
うに、手前の物体１０１によって奥の物体１０２の一部
が隠れているために視点の変更によって奥の物体の或る
領域が見え隠れする場合（以下、この場合の見え隠れす
る領域を「湧出領域」という）については湧出特徴点
を、図１７に示したように、物体の或る面が視点の変更
に応じて見え隠れする場合（以下、この場合の見え隠れ
する面に相当する領域を「隠れ領域」という）について
は隠れ特徴点を、それぞれ導入することにより、特徴点
の対応付けを可能としている。これら湧出特徴点による
対応付けと隠れ特徴点による対応付けは通常の特徴点の
対応付けとは異なるので以下に説明する。

【００３３】＜３.１.１ 湧出特徴点による対応付け＞
図１６に示すように湧出領域が存在する場合、湧出領域
における特徴点の中に、対応する特徴点が２視点画像の
他方の画像に存在しないものがある。また、この場合、
視点の移動に伴って、湧出領域のうち見えている部分が
隠れていったり、隠れている部分が見えてきたりするよ
うにしなければならない。このため、生成したい中間視
点画像の視点に応じて湧出領域のどの部分を見せるのか
も決定しなければならない。

【００３４】そこで本実施形態では、既に対応付けられ
ている所定の特徴点を湧出特徴点として利用することに
より、湧出領域における対応付けを行っている。これ
を、図８（ａ）に示す第１画像と図８（ｂ）に示す第２
画像とから成る２視点画像を例にとって説明する。この
２視点画像のうち第１画像において斜線が付された領域
が湧出領域であり、第２画像にはこの湧出領域に対応す
る領域が現れていない。この場合、湧出領域の特徴点と
して第１および第２画像の双方に存在する特徴点Ｐ１，
Ｐ２，Ｐ３をあらかじめ対応付けておく。そして、湧出
領域の対応付けを可能にするために、図８（ａ）に示す
ように湧出領域の特徴点として第１画像にのみ存在する
点Ｑ１，Ｑ２，Ｑ３を湧出特徴点として設定する。これ
らの湧出特徴点Ｑ１，Ｑ２，Ｑ３と同一箇所と見なせる
特徴点は、第２画像には存在しない。そこで、第１画像
における湧出特徴点Ｑ１，Ｑ２，Ｑ３を、図８（ｂ）に
示すように、第２画像における前述の特徴点Ｐ１，Ｐ
２，Ｐ３にそれぞれ対応付ける。このようにして、湧出
特徴点Ｑ１，Ｑ２，Ｑ３を導入することにより２視点画
像における湧出領域（点Ｐ１，Ｐ２，Ｐ３，Ｑ１，Ｑ
２，Ｑ３で囲まれた領域）の対応付けが可能となる。

【００３５】また、図８に示した例では、第１画像の視
点から第２画像の視点へと視点を移動させていくと、湧
出領域が「Ｃ」，「Ｒ」，「Ｅ」，「Ｅ」の順で左から
徐々に隠れていき、第２画像の視点になると湧出領域は
すべて隠れて表示されなくなる。したがって、湧出領域
のこの見え方に対応するように、生成したい中間視点画
像の視点に応じて湧出領域のどの部分を表示するかを求
める必要がある。これについては、後述の「３.５.１
湧出パッチのマッピング処理」において説明する。

【００３６】＜３.１.２ 隠れ特徴点による対応付け＞
図１７に示すように隠れ領域が存在する場合も、隠れ領
域における特徴点の中に、対応する特徴点が２視点画像
の他方の画像に存在しないものがある。また、隠れ領域
は、視点を移動させると、或る視点を境にして見えたり
隠れたりする。このため、湧出領域と同様、生成したい
中間視点画像の視点に応じて、隠れ領域のどの部分を見
せるのかを決定しなければならない。

【００３７】そこで本実施形態では、視点の変化によっ
て見えなくなった箇所の特徴点を推定し、推定した特徴
点を隠れ特徴点として対応付けを行っている。これを、
図９（ａ）に示す第１画像と図９（ｂ）に示す第２画像
とから成る２視点画像を例にとって説明する。この２視
点画像では、第２画像において、斜線を付した右側面す
なわち点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた側面が見え
ているが、第１画像においては、この右側面は隠れてい
る。したがって、第１画像における右側面は隠れ領域で
あり、第２画像における右側面における特徴点Ｐ１，Ｐ
２，Ｐ３，Ｐ４のうち点Ｐ２については、これに対応す
る特徴点が第１画像に存在しない。そこで、第２画像に
おける特徴点Ｐ２に対応する第１画像の特徴点の位置
を、図９（ａ）に示すように対象物（この例では直方
体）の形状を考慮して推定し、その位置に隠れ特徴点Ｐ
２を設定する。このように第１画像に隠れ特徴点Ｐ２を
導入することにより、第２画像において点Ｐ１，Ｐ２，
Ｐ３，Ｐ４で囲まれた領域を、第１画像において点Ｐ
１，Ｐ２，Ｐ３，Ｐ４で囲まれた隠れ領域と対応付ける
ことができる。

【００３８】また、図９に示した例では、第１画像の視
点から第２画像の視点へと視点を移動させていくと、或
る視点を境に、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれ
た隠れ領域が見えるようになる。したがって、隠れ領域
について、生成したい中間視点画像の視点に応じて隠れ
領域を表示させるか否かを判断する必要がある。これに
ついては、後述の「３.５.２ 隠れパッチのマッピング
処理」において説明する。

【００３９】＜３.１.３ 特徴点を対応付ける処理の手
順＞上述の湧出特徴点および隠れ特徴点を導入した特徴
点の対応付け処理の手順を、図２に示すフローチャート
を参照しつつ説明する。

【００４０】特徴点の対応付けに際しては、まず操作者
が、モニタ１８に表示された第１画像と第２画像とから
成る２視点画像を見比べ、特徴点を対応付けるべき箇所
として第１画像の領域と第２画像の領域を選び出し、そ
れらの領域において特徴点を対応付けることができるか
否かを判定する（ステップＳ１２２）。前述の図１６ま
たは図１７に示すような２視点画像の場合は、特徴点の
対応付けができない領域が存在するが、このような２視
点画像でなければ、特徴点の対応付けが可能である。ス
テップＳ１２２において特徴点の対応付けが可能な領域
であると判定された場合は、ステップＳ１３２へ進ん
で、２視点画像におけるそれらの領域において２つの特
徴点を対応付ける（図７参照）。

【００４１】ステップＳ１２２において特徴点の対応付
けができない領域であると判定された場合は、２視点画
像において特徴点を対応付けるべき領域として選んだも
のが湧出領域か隠れ領域かを判定する（ステップＳ１２
４、Ｓ１２６）。そして、その判定結果に基づき、湧出
領域の場合には湧出特徴点による対応付けを行い（ステ
ップＳ１３４）、隠れ領域の場合には隠れ特徴点による
対応付けを行う（ステップＳ１３６）。この後、２視点
画像において特徴点を対応付けるべきすべての箇所につ
き対応付けが終了したか否かを判定し（ステップＳ１２
８）、対応付けが終了していなければ新たな箇所につ
き、上記と同様にして特徴点の対応付けを行う。以降、
２視点画像に対する特徴点の対応付けが終了するまでス
テップＳ１２２〜Ｓ１２８を繰り返し実行する。

【００４２】＜３.２ ３角パッチを設定する工程（ス
テップＳ１４）＞上記のようにして２視点画像に対する
特徴点の対応付けが終了すると、ステップＳ１４に進ん
で、２視点画像の対応する特徴点を３個ずつ選んで３角
パッチを設定することにより、２視点画像をそれぞれ３
角形の領域に分割していく。このとき本実施形態では、
選んだ３個の特徴点を３角パッチに対し時計回り順また
は反時計回り順のいずれか一方のみの順となるように並
べたものを、パッチデータとして生成する。例えば、選
択した特徴点を時計回り順となるように並べたものをパ
ッチデータを生成するものとすると、図７に示すように
３角パッチを設定する場合には、（１，２，５），
（１，４，２），（２，３，７），（２，４，３），
（２，６，５），（２，７，６）というパッチデータを
生成する。以下では、選択した特徴点を時計回りに並べ
てパッチデータを生成するものとして説明を進める。な
お以下では、説明の便宜のために、「３角パッチ（１，
２，５）」というようにパッチデータを３角パッチを特
定する符号としても使用するものとする。

【００４３】＜３.２.１ 湧出パッチの設定＞上記３角
パッチの設定処理において、湧出領域に対する３角パッ
チは湧出パッチとし、通常の３角パッチとは区別して設
定する。３角パッチが湧出パッチか否かは、その３角パ
ッチが湧出特徴点を含むか否かにより判定することがで
きる。図１０は、図８に示した２視点画像における湧出
パッチの設定例を示しており、この例では、（Ｑ１，Ｐ
１，Ｐ２），（Ｑ１，Ｐ２，Ｑ２），（Ｑ２，Ｐ２，Ｑ
３），（Ｑ３，Ｐ２，Ｐ３）という４個のパッチデータ
が湧出パッチのデータとして生成される。また、この場
合、図１０（ａ）に示した第１画像の湧出パッチに対応
する第２画像のパッチは、すべて領域の無い線分とな
る。

【００４４】＜３.２.２ 隠れパッチの設定＞本実施形
態では、隠れ領域に対する３角パッチについても、これ
を隠れパッチとして通常の３角パッチと区別する。ここ
で隠れ領域は、２視点画像のうち一方の画像に含まれ、
他方の画像ではその隠れ領域に対応する領域が見えてい
る。このため、３角パッチのパッチデータにおける特徴
点の並びは、隠れパッチの場合は反時計回りとなり、そ
の隠れパッチに対応する他方のパッチについては時計回
りとなる。図１１は、２視点画像における隠れパッチの
設定例を示しており、図１１（ａ）に示す第１画像には
点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた隠れ領域が存在
し、図１１（ｂ）に示す第２画像では、この隠れ領域に
対応する領域は見えている。この場合、本実施形態で
は、その領域の３角パッチの頂点に相当する特徴点が第
２画像（すなわち、その領域が見えている方の画像）に
おいて時計回りとなるようにパッチデータを生成する。
すなわち、（Ｐ１，Ｐ２，Ｐ４），（Ｐ２，Ｐ３，Ｐ
４）をパッチデータとして生成する。これらのパッチデ
ータにおける特徴点の並びは、第１画像では反時計回り
となっている。

【００４５】＜３.２.３ ３角パッチの設定処理の手順
＞上述の３角パッチの設定方法に基づく３角パッチの設
定処理の手順を、図３に示すフローチャートを参照しつ
つ説明する。

【００４６】まず、操作者がモニタ１８を見ながらマウ
スで２視点画像から３つの特徴点を選択し、これによ
り、この３つの特徴点を頂点とする３角パッチを、２視
点画像内の対応する２つの３角パッチとして指定する
（ステップＳ１６２）。このとき、隠れ領域における３
角パッチを指定する際には、図１１（ａ）に示すよう
に、３角パッチが常に隠れ特徴点を含むようにする。

【００４７】次に、３角パッチのパッチデータにおける
３つの特徴点の並びを全て時計回り順に並べ替える（ス
テップＳ１６４）。ただし、対応する２つの３角パッチ
内に隠れ特徴点を含む場合は、隠れ特徴点を含まない３
角パッチに注目し、パッチデータの特徴点をその３角パ
ッチについて時計回り順になるように並べかえる。これ
により、隠れパッチについての特徴点の並びは必然的に
反時計回り順となる。

【００４８】３角パッチの特徴点についての上記並び替
えの後は、上記対応する２つの３角パッチの３つの特徴
点に湧出特徴点が含まれるか否かを判定する（ステップ
Ｓ１６６）。その結果、湧出特徴点が含まれていれば、
この３つの特徴点から成るデータを湧出パッチのパッチ
データとしてメモリ２２に保存することにより、その対
応する２つの３角パッチを湧出パッチとして設定する
（ステップＳ１７２）。その後、ステップＳ１７０へ進
む。

【００４９】ステップＳ１６６で湧出特徴点が含まれて
いないと判定された場合は、ステップＳ１６８へ進ん
で、上記対応する２つの３角パッチの３つの特徴点に隠
れ特徴点が含まれているか否かを判定する。その結果、
隠れ特徴点が含まれていれば、その３つの特徴点から成
るデータを隠れパッチのパッチデータとしてメモリ２２
に保存することにより、その対応する２つの３角パッチ
を隠れパッチとして設定する（ステップＳ１７４）。そ
の後、ステップＳ１７０へ進む。一方、ステップＳ１６
８で、隠れ特徴点が含まれていないと判定された場合
は、そのままステップＳ１７０へ進む。

【００５０】ステップＳ１７０では、２視点画像を特徴
点によって３角形領域に分割して得られたすべての３角
パッチにつき設定が終了したか否か判定し、３角パッチ
の設定が終了していなければステップＳ１６２へ戻る。
以降、３角パッチの設定が終了するまで上記ステップＳ
１６２〜Ｓ１７０を繰り返し実行する。

【００５１】なお、上記の３角パッチの設定処理手順で
は、３角パッチが隠れパッチか否かを判定するために
（ステップＳ１６８参照）、隠れ領域において３角パッ
チを設定する際に３角パッチが常に隠れ特徴点を含むよ
うに操作者が特徴点を選んでいたが、３個の特徴点を選
んで３角パッチを指定する際にその３角パッチが隠れパ
ッチか否かを示す情報を操作者が例えばダイアログボッ
クスを使用して入力するようにしてもよい。このように
すれば、ステップＳ１６８のように隠れ特徴点の有無に
よって隠れパッチか否かを判断する必要はなくなるた
め、操作者は、隠れ領域において３角パッチを指定する
際に隠れ特徴点を含めなくてもよい。

【００５２】＜３.３ 中間視点を設定する工程（ステ
ップＳ１６）＞上記のようにして３角パッチの設定が行
われると、次に、２視点画像のそれぞれに対する重み係
数Ｍ１，Ｍ２を指定することにより、生成したい中間視
点画像の視点すなわち中間視点を設定する。具体的に
は、操作者が所望の中間視点に対応する重み係数Ｍ１，
Ｍ２をキーボードやマウスなどを用いて入力する（ステ
ップＳ１６）。ここで、Ｍ１は第１画像に対する重み係
数、Ｍ２は第２画像に対する重み係数であり、Ｍ１＋Ｍ
２＝１である。

【００５３】＜３.４ 補間パッチを生成する工程（ス
テップＳ１８）＞次に、ステップＳ１４で設定された３
角パッチに対応する、中間視点画像の３角パッチである
補間パッチを生成する（ステップＳ１８）。すなわち、
２視点画像の対応する２つの３角パッチと、中間視点を
設定する上記重み係数Ｍ１，Ｍ２とを用いて、補間パッ
チの特徴点の２次元座標を求める。以下、このような補
間パッチの生成処理を、図４に示すフローチャートを参
照しつつ説明する。

【００５４】まず、変数ｉを１に初期化し（ステップＳ
１８２）、次に、上記ステップＳ１４でｉ番目に設定さ
れた３角パッチから補間パッチの３つの特徴点の座標を
次式（１）〜（６）により算出する（ステップＳ１８
４）。 XC_i1＝X1_i1＊M1＋X2_i1＊M2 …(1) YC_i1＝Y1_i1＊M1＋Y2_i1＊M2 …(2) XC_i2＝X1_i2＊M1＋X2_i2＊M2 …(3) YC_i2＝Y1_i2＊M1＋Y2_i2＊M2 …(4) XC_i3＝X1_i3＊M1＋X2_i3＊M2 …(5) YC_i3＝Y1_i3＊M1＋Y2_i3＊M2 …(6) ただし、第１画像のｉ番目に設定された３角パッチの３
つの特徴点の座標を (X1_i1,Y1_i1),(X1_i2,Y1_i2),(X1_i3,Y1_i3) 第２画像のｉ番目に設定された３角パッチの３つの特徴
点の座標を (X2_i1,Y2_i1),(X2_i2,Y2_i2),(X2_i3,Y2_i3) ｉ番目に設定された上記３角パッチに対応する補間パッ
チ（以下「ｉ番目の補間パッチ」という）の３つの特徴
点の座標を (XC_i1,YC_i1),(XC_i2,YC_i2),(XC_i3,YC_i3) とする。また、上記式（１）〜（６）において「＊」は
乗算を示すものとする（以下における式についても同様
である）。

【００５５】図１２は、上記のようにして補間パッチを
生成する処理例を示すものであり、この例は、図７にお
いて６番目に設定された２つの３角パッチ（２，７，
６）から補間パッチを生成する場合の処理例である。

【００５６】上記のようにして補間パッチの３つの特徴
点の座標が得られると、次に変数ｉの値を１だけ増やし
た後、変数ｉの値が設定された３角パッチ数以下か否か
を判定する（ステップＳ１８６、Ｓ１８８）。その結
果、設定された３角パッチ数以下の場合は、ステップＳ
１８４へ戻る。以降、変数ｉの値が設定された３角パッ
チ数よりも大きくなるまで、ステップＳ１８４→Ｓ１８
６→Ｓ１８８を繰り返し実行する。変数ｉの値が設定さ
れた３角パッチ数よりも大きくなると、補間パッチの生
成処理を終了する。

【００５７】＜３.５ 補間パッチのマッピングを行う
工程（ステップＳ２０）＞上述の補間パッチの生成処理
が終了すると、ステップＳ２０へ進み、生成された補間
パッチに、その補間パッチに対応する２視点画像の３角
パッチの画像を重み係数Ｍ１，Ｍ２に応じてマッピング
する。ここで、重み係数Ｍ１，Ｍ２は、２視点画像のう
ちの第１画像および第２画像にそれぞれ対応し、対応す
る画像からの影響の大きさを表している。

【００５８】補間パッチのマッピングにはアフィン変換
を用いる。２視点画像のうちの第１画像の特徴点の座標
から補間パッチの特徴点の座標を与えるアフィン変換の
式は、次の通りである。 XC_i1＝A＊X1_i1＋B＊Y1_i1＋C …(7) YC_i1＝D＊X1_i1＋E＊Y1_i1＋F …(8) XC_i2＝A＊X1_i2＋B＊Y1_i2＋C …(9) YC_i2＝D＊X1_i2＋E＊Y1_i2＋F …(10) XC_i3＝A＊X1_i3＋B＊Y1_i3＋C …(11) YC_i3＝D＊X1_i3＋E＊Y1_i3＋F …(12) 上記式においてＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆはアフィン変換
を与える定数である。式（１）〜（６）により得られる
補間パッチの３つの特徴点の座標(XC_i1,YC_i1),(XC_i
2,YC_i2),(XC_i3,YC_i3)と、第１画像のｉ番目に設定さ
れた３角パッチの３つの特徴点の座標(X1_i1,Y1_i1),(X
1_i2,Y1_i2),(X1_i3,Y1_i3)とを上記式（７）〜（１
２）に代入することにより、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに
ついての６つの式が得られる。これら６つの式から、
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを一意的に求めることができ
る。

【００５９】このようにして求めたＡ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆを用いたアフィン変換の式により、第１画像の３
角パッチの各画素が補間パッチ内のどの画素にマッピン
グされるかを求めることができる。すなわち、図１３に
示すように、第１画像のｉ番目の３角パッチにおける点
(X1_i,Y1_i)の画素は、次式により補間パッチにおける
点(XC_i,YC_i)の画素にマッピングされる。 XC_i＝A＊X1_i＋B＊Y1_i＋C …(13) YC_i＝D＊X1_i＋E＊Y1_i＋F …(14)

【００６０】第２画像の３角パッチの各画素が補間パッ
チ内のどの画素にマッピングされるかも上記と同様にし
て求めることができる。すなわち、式（１）〜（６）に
より得られる補間パッチの３つの特徴点の座標(XC_i1,Y
C_i1),(XC_i2,YC_i2),(XC_i3,YC_i3)と、第２画像のｉ
番目に設定された３角パッチの３つの特徴点の座標(X2_
i1,Y2_i1),(X2_i2,Y2_i2),(X2_i3,Y2_i3)とを上記式
（７）〜（１２）に代入して、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ
の値を求めればよい。第２画像に対するこれらＡ，Ｂ，
Ｃ，Ｄ，Ｅ，Ｆの値は第１画像に対するものとは異なっ
ており、これらの値を用いた次式により、第２画像のｉ
番目の３角パッチにおける点(X2_i,Y2_i)の画素が補間
パッチにおける点(XC_i,YC_i)の画素にマッピングされ
る。 XC_i＝A＊X2_i＋B＊Y2_i＋C …(15) YC_i＝D＊X2_i＋E＊Y2_i＋F …(16)

【００６１】上記のようにして、第１および第２画像の
３角パッチ内の各画素が補間パッチのどの画素にマッピ
ングされるのかが求められると、第１および第２画像と
中間視点画像との間での画素位置の対応関係が得られた
ことになる。このような画素位置の対応関係に基づき画
素値のマッピングを行う。すなわち上記のようにして、
第１画像のｉ番目の３角パッチの点(X1_i,Y1_i)と第２
画像のｉ番目の３角パッチの点(X2_i,Y2_i)とが共に補
間パッチの点(XC_i,YC_i)と対応付けられる場合には、
補間パッチの点(XC_i,YC_i)の画素値 Fc(XC_i,YC_i)は
次式により得られる。 Fc(XC_i,YC_i)＝F1(X1_i,Y1_i)＊M1＋F2(X2_i,Y2_i)＊M2 …(17) ここで、F1(X1_i,Y1_i)は第１画像における点(X1_i,Y1_
i)の画素値であり、F2(X2_i,Y2_i)は第２画像における
点(X2_i,Y2_i)の画素値である。このように、第１およ
び第２画像の画素値に、それぞれ対応する重み係数を乗
じて加算することにより、補間パッチへの画素値のマッ
ピングを行う。なお、実際のマッピング処理では、後述
のように、第１画像の各画素の補間パッチへのマッピン
グを行った後に、第２画像の各画素の補間パッチへのマ
ッピングを行っているため、上記式(17)をそのまま使用
しているわけではない。

【００６２】本実施形態では、基本的には上記のように
して補間パッチへの画素値のマッピングを行うが、湧出
パッチや隠れパッチについてのマッピングの場合は、２
視点画像の対応する２つの３角パッチのうちいずれか一
方にしか画像が存在しないため、上記のマッピング方法
をそのまま適用することはできない。そこで、以下で
は、湧出パッチと隠れパッチのマッピング処理の詳細に
ついて説明する。

【００６３】＜３.５.１ 湧出パッチのマッピング処理
＞湧出パッチの画像は２視点画像のうちの一方にしか存
在しないため、湧出パッチから補間パッチへの画素のマ
ッピングは、湧出領域における湧出パッチの画像のみを
用いて行わなければならない。また、湧出領域は視点に
応じて見え隠れするため、生成したい中間視点画像の視
点を決める重み係数Ｍ１，Ｍ２に応じて、中間視点画像
にマッピングする湧出領域を変化させなければならな
い。

【００６４】そこで本実施形態では、湧出パッチからの
マッピングの際に、湧出特徴点を、第１画像における位
置と第２画像における位置との間で、重み係数Ｍ１，Ｍ
２に応じて移動させて、湧出パッチの一部の領域をマッ
ピングに使用するようにしている。図１４（ａ）に示す
第１画像と図１４（ｂ）に示す第２画像とから成る２視
点画像の場合には、このようなマッピングにより、重み
係数Ｍ１，Ｍ２に応じて湧出特徴点が移動して、例えば
湧出パッチ（Ｑ２，Ｐ２，Ｑ３）および（Ｐ２，Ｐ３，
Ｑ３）に対応する補間パッチは、図１４（ｃ）〜（ｇ）
に示すようになる。ここで、図１４（ｃ）は重み係数
（Ｍ１，Ｍ２）＝（１００％，０％）に対応する補間パ
ッチすなわち第１画像における湧出パッチを示し、図１
４（ｇ）は重み係数（Ｍ１，Ｍ２）＝（０％，１００
％）に対応する補間パッチすなわち第２画像における線
分のパッチを示し、図１４（ｄ），（ｅ），（ｆ）は、
それぞれ、重み係数（Ｍ１，Ｍ２）＝（７５％，２５
％），（５０％，５０％），（２５％，７５％）に対応
する補間パッチを示している。特に湧出パッチ（Ｑ２，
Ｐ２，Ｑ３）に注目すると、第２画像に対する重み係数
Ｍ２が大きくなるにしたがって辺Ｑ２Ｑ３が点Ｐ２に近
づいて湧出パッチが狭められ、補間パッチへのマッピン
グに使用する画像領域が変化していることがわかる。

【００６５】＜３.５.２ 隠れパッチのマッピング処理
＞隠れパッチの画像も２視点画像のうちの一方にしか存
在しないため、隠れパッチから補間パッチへの画素のマ
ッピングも、隠れ領域における隠れパッチの画像のみを
用いて行わなければならない。また、隠れパッチについ
てのマッピングでは、補間パッチを表示させるか否かを
中間視点画像の視点に応じて決定しなければならない。

【００６６】そこで本実施形態では、隠れパッチからマ
ッピングされる補間パッチの３つの特徴点の座標に基づ
き、それらの特徴点が時計回りに並んでいるか否かを調
べることにより、中間視点画像において補間パッチを表
示するか否かを決定する。補間パッチは、或る視点を境
にして面の向きが反転するからである。

【００６７】例えば、図１５（ａ）に示す第１画像と図
１５（ｂ）に示す第２画像とから成る２視点画像の場合
において、隠れパッチ（Ｐ１，Ｐ２，Ｐ３）に着目する
と、この隠れパッチは第１画像では表示されるが第２画
像では表示されない。この隠れパッチに対応する補間パ
ッチの形状は、ステップＳ１８で算出される補間パッチ
の特徴点のＰ１，Ｐ２，Ｐ３の座標によって決まり、中
間視点を決める重み係数Ｍ１，Ｍ２に応じて図１５
（ｃ）〜（ｉ）に示すようになる。ここで、図１５
（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），
（ｉ）は、それぞれ、重み係数（Ｍ１，Ｍ２）＝（９０
％，１０％），（８０％，２０％），（７０％，３０
％），（５０％，５０％），（３０％，７０％），（２
０％，８０％），（１０％，９０％）に対応する補間パ
ッチを示している。この例では、重み係数（Ｍ１，Ｍ
２）が（１００％，０％）〜（５０％，５０％）のと
き、補間パッチ（Ｐ１，Ｐ２，Ｐ３）の特徴点は時計回
り順となり、重み係数（Ｍ１，Ｍ２）が（５０％，５０
％）〜（０％，１００％）のとき、補間パッチ（Ｐ１，
Ｐ２，Ｐ３）の特徴点は反時計回り順となっている。と
ころで本実施形態では、既述のように、隠れパッチと対
応した３角パッチの特徴点は、時計回り順に並ぶように
設定される。したがって、重み係数（Ｍ１，Ｍ２）が
（１００％，０％）〜（５０％，５０％）のとき、中間
視点画像において補間パッチを表示し、重み係数（Ｍ
１，Ｍ２）が（５０％，５０％）〜（０％，１００％）
のとき、補間パッチは隠れ領域に含まれて見えないと判
断し、これを表示しない。

【００６８】＜３.５.３ 補間パッチのマッピング処理
の手順＞上述の補間パッチへのマッピング方法に基づく
補間パッチへのマッピング処理の手順を図５に示すフロ
ーチャートを参照しつつ説明する。

【００６９】まず、変数ｉ，ｊにｉ＝１，ｊ＝１を初期
値として設定するとともに、生成したい中間視点画像に
おける各画素の値 Fc(x,y)をすべて０に初期化する（ス
テップＳ２０２）。

【００７０】次に、第ｊ画像のｉ番目に設定された３角
パッチ（以下、説明の便宜上、単に「ｉ番目の３角パッ
チ」という）が隠れパッチか否かを判定する（ステップ
Ｓ２０４）。この結果、ｉ番目の３角パッチが隠れパッ
チであれば、ステップＳ１８で求めた対応する補間パッ
チすなわちｉ番目の補間パッチの特徴点の座標に基づき
（ステップＳ１８４参照）、その補間パッチのパッチデ
ータにおいて特徴点が反時計回り順に並んでいるか否か
を判定する（ステップＳ２０６）。その結果、反時計回
り順に並んでいれば、その補間パッチは設定された中間
視点からは見えずこれを中間視点画像において表示しな
いため、画素のマッピングをせずにステップＳ２１８へ
進む。一方、時計回り順位に並んでいる場合には、その
補間パッチへのマッピングを行うべくステップＳ２１２
へ進む。

【００７１】ステップＳ２０４で隠れパッチでないと判
定された場合は、ステップＳ２０８へ進み、ｉ番目の３
角パッチが湧出パッチか否か判定する。この結果、湧出
パッチであれば、第ｊ画像においてその湧出パッチの湧
出特徴点を重み係数Ｍ１，Ｍ２に応じて移動させて、湧
出パッチの一部の領域を後述のマッピングに使用するよ
うに設定し（ステップＳ２１０）、その後、ステップＳ
２１２へ進む。一方、ｉ番目の３角パッチが湧出パッチ
でないと判定された場合は、そのままステップＳ２１２
へ進む。

【００７２】ステップＳ２１２では、補間パッチの生成
処理（ステップＳ１８）で得られている補間パッチの３
つの特徴点の座標(XC_i1,YC_i1),(XC_i2,YC_i2),(XC_i
3,YC_i3)と、第ｊ画像のｉ番目の３角パッチの３つの特
徴点の座標(Xj_i1,Yj_i1),(Xj_i2,Yj_i2),(Xj_i3,Yj_i
3)とをアフィン変換の式（７）〜（１２）に代入して、
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの値を求める。次に、アフィン
変換の式（１３）（１４）または（１５）（１６）によ
り、第ｊ画像のｉ番目の３角パッチの各画素がｉ番目の
補間パッチのどの画素にマッピングされるかを求める
（ステップＳ２１４）。これにより、第ｊ画像のｉ番目
の３角パッチと生成したい中間視点画像のｉ番目の補間
パッチとの間における、画素位置の対応関係が得られ
る。この画素位置の対応関係に基づき、第ｊ画像のｉ番
目の３角パッチの各画素値のｉ番目の補間パッチへのマ
ッピングを行う（ステップＳ２１６）。すなわち、第ｊ
画像のｉ番目の３角パッチの座標(a,b)における画素が
ｉ番目の補間パッチにおける座標(c,d)における画素に
マッピングされるとき、第ｊ画像における座標(a,b)の
画素値 Fj(a,b)に重み係数Ｍｊを乗じた値を、中間視点
画像における座標(c,d)のこの時点までの画素値 Fc(c,
d)に加算する。つまり、 Fc(c,d)＋Fj(a,b)＊Mj …(18) を新たなFc(c,d)として設定する。これは、前述の式
（１７）によりｉ番目の補間パッチの画素値 Fc(XC_i,Y
C_i)を求める計算の一部を構成する。

【００７３】上記のような画素値のマッピング処理の
後、変数ｉの値を１だけ増やす（ステップＳ２１８）。
その後、変数ｉが設定した３角パッチ数以下か否かを判
定し、設定３角パッチ数以下であればステップＳ２０４
へ戻る。以降、変数ｉが設定３角パッチ数以下である
間、ステップＳ２０４〜Ｓ２２０を繰り返し実行する。
この間に変数ｉが設定３角パッチ数を越えれば、第ｊ画
像のすべての３角パッチからのマッピングが終了したた
め、ステップＳ２２２へ進む。

【００７４】ステップＳ２２２では、変数ｊの値を１だ
け増やすとともに、変数ｉの値を１に初期化する。そし
て次に、変数ｊが２以下か否かを判定し（ステップＳ２
２４）、２以下であれば、ステップＳ２０４へ戻る。以
降、ｊ＝２について、ステップＳ２０４〜Ｓ２２２を実
行する。そして、ステップＳ２２４を再度実行した時点
ではｊ＝３であるので、この補間パッチへのマッピング
処理を終了する（ステップＳ２２４）。以上の処理によ
り、中間視点画像における各画素値が前記式（１７）に
より算出されたことになる。

【００７５】このようにして得られた中間視点画像の各
画素値を示す画像データを用いて、モニタ１８に中間視
点画像が表示される。

【００７６】＜４．実施形態の効果＞以上のように本実
施形態によれば、対象物の３次元形状に関する情報を必
要とすることなく、モーフィング技術を利用して２視点
画像から所望の中間視点画像を生成することができる。
また本実施形態では、湧出特徴点および隠れ特徴点を導
入し、湧出パッチや隠れパッチに応じたマッピング処理
（ステップＳ２０４〜Ｓ２１０参照）などを行うことに
より、図１６に示すように手前の物体によって奥の物体
の一部が隠れている場合や、図１７に示すように対象物
の或る面が２視点画像の一方の画像には現れ他方の画像
には現れていない場合であっても、適切な中間視点画像
を生成することができる。

【００７７】＜５．変形例＞上記実施形態では、図１の
フローチャートからわかるように、重み係数Ｍ１，Ｍ２
を指定することにより一つの中間視点を設定し、その中
間視点からの画像を生成しているが、重み係数Ｍ１，Ｍ
２を少しずつ変化させながら図１のステップＳ１６〜Ｓ
２０を繰り返し実行することにより、例えば第１画像の
視点から第２画像の視点へと視点が連続的に変化するよ
うに見える画像を生成することができる。このとき、入
力操作によって重み係数Ｍ１，Ｍ２を変更しているが、
これに代えて、図６に示したＣＰＵ１６が重み係数Ｍ
１，Ｍ２を自動的に変化させるようにしてもよい。

【００７８】また、上記実施形態において隠れパッチか
ら補間パッチへのマッピングの際に採用した手法（図５
および図１５参照）は、所定の図形を含む画像に対して
アフィン変換などに基づく所定の画像変換を行った後の
画像において、その図形が例えば表向きか裏向きかに応
じて表示態様を変えたい場合（色彩を変えたい場合な
ど）に利用することができる。また、この手法は、多面
体から成る対象物の画像に対しアフィン変換などに基づ
く画像変換を行った後の画像における隠面消去に有効で
ある。この場合、例えば以下のような手順で変換後の画
像を生成することにより隠面消去を実現できる。 （１）対象物である多面体を構成する各３角形の頂点
を、多面体の外部から見たとき常に時計回り方向となる
ように順序づける。 （２）前記多面体の各３角形の頂点の前記順序づけが、
変換後の画像において時計回り方向となるか反時計回り
方向となるかを判定する。 （３）前記多面体を構成する３角形のうち、頂点の前記
順序づけが変換後の画像において時計回り方向であると
判定された３角形を非隠面として設定し、頂点の前記順
序付けが変換後の画像において反時計回り方向であると
判定された３角形を隠面として設定する。 （４）変換後の画像の生成において、前記多面体を構成
する３角形のうち隠面として設定された３角形の画像を
生成せずに、非隠面として設定された３角形の画像を生
成する。

【図面の簡単な説明】

【図１】本発明の一実施形態である画像生成方法を示す
フローチャート。

【図２】上記実施形態における２視点画像の特徴点の対
応付け処理を示すフローチャート。

【図３】上記実施形態における３角パッチの設定処理を
示すフローチャート。

【図４】上記実施形態における補間パッチの生成処理を
示すフローチャート。

【図５】上記実施形態における補間パッチへのマッピン
グ処理を示すフローチャート。

【図６】上記実施形態において使用される画像生成シス
テムのハードウェア構成を示すブロック図。

【図７】２視点画像における特徴点の対応付けを説明す
るための図。

【図８】２視点画像における湧出特徴点による対応付け
を説明するための図。

【図９】２視点画像における隠れ特徴点による対応付け
を説明するための図。

【図１０】湧出パッチの設定を説明するための図。

【図１１】隠れパッチの設定を説明するための図。

【図１２】補間パッチを生成する処理を説明するための
図。

【図１３】補間パッチへのマッピング処理を説明するた
めの図。

【図１４】湧出パッチからのマッピング処理を説明する
ための図。

【図１５】隠れパッチからのマッピング処理を説明する
ための図。

【図１６】湧出領域を含む２視点画像を示す図。

【図１７】隠れ領域を含む２視点画像を示す図。

【符号の説明】

１０ …デジタルカメラ １２ …Ｉ／Ｏインタフェース部 １４ …入力インタフェース部 １６ …ＣＰＵ ２０ …画像メモリ ２２ …メインメモリ Ｐ２ …隠れ特徴点 Ｑ１，Ｑ２，Ｑ３ …湧出特徴点

Claims (10)

【特許請求の範囲】
1. 【請求項１】 同一対象物に対する２つの視点からの画
   像である第１および第２画像より、前記２つの視点の間
   の中間視点からの前記対象物に対する画像を生成する画
   像生成方法であって、 前記対象物の同一箇所と見なせる特徴点を第１および第
   ２画像において選定し、該特徴点を第１画像と第２画像
   との間で対応付けるステップと、 第１画像と第２画像との間で対応付けられた特徴点を３
   個ずつ選んで該３個の特徴点を頂点として含む３角パッ
   チを設定することにより、第１および第２画像を３角形
   領域に分割するステップと、 第１および第２画像に対する重み係数をそれぞれ指定す
   ることにより前記中間視点を決定するステップと、 第１および第２画像における対応付けられた特徴点を有
   する２つの３角パッチと前記重み係数とを用いて、前記
   ２つの３角パッチに対応する前記中間視点の画像の３角
   パッチである補間パッチを求めるステップと、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２画像における前記２つの３角パッチの画像を前
   記補間パッチにマッピングすることにより、前記補間パ
   ッチの画像を生成するステップと、を有し、 第１および第２画像において設定された各３角パッチに
   つき、補間パッチを求める前記ステップおよび補間パッ
   チの画像を生成する前記ステップを実行することによ
   り、前記対象物に対する前記中間視点からの画像を生成
   することを特徴とする画像生成方法。
2. 【請求項２】 第１画像と第２画像との間で特徴点を対
   応付ける前記ステップにおいて、前記対象物を構成する
   物体の中に少なくとも一部が他の物体に隠れているため
   に第１画像には現れ第２画像には現れない領域である湧
   出領域を有する物体が存在する場合に、該湧出領域の特
   徴点として第１画像にのみ存在する特徴点を湧出特徴点
   として設定し、該湧出特徴点を、第１画像における前記
   湧出領域の他の所定の特徴点に対応付けられた第２画像
   における特徴点と対応付け、 補間パッチの画像を生成する前記ステップにおいて、前
   記補間パッチにマッピングされる第１または第２画像の
   ３角パッチが前記湧出領域に含まれる場合に、該３角パ
   ッチの領域を前記重み係数に応じて狭めた部分領域の画
   像を前記補間パッチへのマッピングに使用することを特
   徴とする、請求項１に記載の画像生成方法。
3. 【請求項３】 第１画像と第２画像との間で特徴点を対
   応付ける前記ステップにおいて、前記対象物を構成する
   面の中に視点に応じて見え隠れする面が存在し該面が第
   １画像には現れず第２画像に現れる場合に、該面の特徴
   点として第２画像にのみ存在する特徴点に対応すべき第
   １画像の特徴点の位置として前記対象物の形状に基づい
   て推定された位置に、第１画像の特徴点を隠れ特徴点と
   して設定し、該隠れ特徴点を第２画像にのみ存在する前
   記特徴点と対応付け、 補間パッチの画像を生成する前記ステップにおいて、前
   記補間パッチにマッピングされる第１または第２画像の
   ３角パッチが第１画像には現れず第２画像に現れる前記
   面に含まれる場合に、前記補間パッチが前記中間視点か
   ら見えるか否かを判定し、前記補間パッチが見えないと
   判定されたときには前記補間パッチの画像を生成しない
   ことを特徴とする、請求項１に記載の画像生成方法。
4. 【請求項４】 第１画像と第２画像との間で特徴点を対
   応付ける前記ステップにおいて、 前記対象物を構成する物体の中に少なくとも一部が他の
   物体に隠れているために第１画像には現れ第２画像には
   現れない領域である湧出領域を有する物体が存在する場
   合に、該湧出領域の特徴点として第１画像にのみ存在す
   る特徴点を湧出特徴点として設定し、該湧出特徴点を、
   第１画像における前記湧出領域の他の所定の特徴点に対
   応付けられた第２画像における特徴点と対応付け、 前記対象物を構成する面の中に視点に応じて見え隠れす
   る面が存在し該面が第１画像には現れず第２画像に現れ
   る場合に、該面の特徴点として第２画像にのみ存在する
   特徴点に対応すべき第１画像の特徴点の位置として前記
   対象物の形状に基づいて推定された位置に、第１画像の
   前記特徴点を隠れ特徴点として設定し、該隠れ特徴点を
   第２画像にのみ存在する前記特徴点と対応付け、 補間パッチの画像を生成する前記ステップにおいて、 前記補間パッチにマッピングされる第１または第２画像
   の３角パッチが前記湧出領域に含まれる場合に、該３角
   パッチの領域を前記重み係数に応じて狭めた部分領域の
   画像を前記補間パッチへのマッピングに使用し、 前記補間パッチにマッピングされる第１または第２画像
   の３角パッチが第１画像には現れず第２画像に現れる前
   記面に含まれる場合に、前記補間パッチが前記中間視点
   から見えるか否かを判定し、前記補間パッチが見えない
   と判定されたときには前記補間パッチの画像を生成しな
   いことを特徴とする、請求項１に記載の画像生成方法。
5. 【請求項５】 第１および第２画像を３角形領域に分割
   するステップにおいて、３角パッチを設定する際に選ば
   れる前記３個の特徴点を、第１または第２画像のうち該
   ３角パッチが現れている画像において前記３個の特徴点
   が時計回り順と反時計回り順のうちのいずれか一方のみ
   の順となるように並べたデータをパッチデータとして生
   成し、 補間パッチの画像を生成する前記ステップにおいて、前
   記補間パッチにマッピングされる第１または第２画像の
   ３角パッチが第１画像には現れず第２画像に現れる前記
   面に含まれる場合に、前記補間パッチに含まれる特徴点
   がパッチデータにおいて時計回り順に並んでいるか否か
   により、前記補間パッチが前記中間視点から見えるか否
   かを判定することを特徴とする、請求項３または４に記
   載の画像生成方法。
6. 【請求項６】 時計回り方向と反時計回り方向のうちの
   いずれか一方向となるように順序付けられた複数の点で
   囲まれた領域を有する図形が表示された第１画像に対し
   て所定の変換を行った後の画像である第２画像を生成す
   る画像生成方法であって、 第２画像において前記複数の点の順序付けが前記一方向
   に対し同方向となるか逆方向となるかを判定し、 前記判定の結果、前記一方向と同方向になる場合は、第
   ２画像における前記図形の表示態様を第１画像における
   表示態様と同じものとし、前記一方向と逆方向になる場
   合は、第２画像における前記図形の表示態様を第１画像
   における表示態様と異なるものとすることを特徴とする
   画像生成方法。
7. 【請求項７】 同一対象物に対する２つの視点からの画
   像である第１および第２画像より、前記２つの視点の間
   の中間視点からの前記対象物に対する画像を生成するた
   めの画像生成プログラムを、コンピュータ装置において
   実行されるプログラムとして記録した記録媒体であっ
   て、 前記対象物の同一箇所と見なせる特徴点を第１および第
   ２画像において選定し、該特徴点を第１画像と第２画像
   との間で対応付けるステップと、 第１画像と第２画像との間で対応付けられた特徴点を３
   個ずつ選んで該３個の特徴点を頂点として含む３角パッ
   チを設定することにより、第１および第２画像を３角形
   領域に分割するステップと、 第１および第２画像に対する重み係数をそれぞれ指定す
   ることにより前記中間視点を決定するステップと、 第１および第２画像における対応付けられた特徴点を有
   する２つの３角パッチと前記重み係数とを用いて、前記
   ２つの３角パッチに対応する前記中間視点の画像の３角
   パッチである補間パッチを求めるステップと、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２画像における前記２つの３角パッチの画像を前
   記補間パッチにマッピングすることにより、前記補間パ
   ッチの画像を生成するステップと、 を含み、第１および第２画像において設定された各３角
   パッチにつき、補間パッチを求める前記ステップおよび
   補間パッチの画像を生成する前記ステップを実行するこ
   とにより、前記対象物に対する前記中間視点からの画像
   を生成する動作環境を前記コンピュータ装置上で実現す
   るための画像生成プログラムを記録した記録媒体。
8. 【請求項８】 第１画像と第２画像との間で特徴点を対
   応付ける前記ステップにおいて、前記対象物を構成する
   物体の中に少なくとも一部が他の物体に隠れているため
   に第１画像には現れ第２画像には現れない領域である湧
   出領域を有する物体が存在する場合に、該湧出領域の特
   徴点として第１画像にのみ存在する特徴点を湧出特徴点
   として設定し、該湧出特徴点を、第１画像における前記
   湧出領域の他の所定の特徴点に対応付けられた第２画像
   における特徴点と対応付け、 補間パッチの画像を生成する前記ステップにおいて、前
   記補間パッチにマッピングされる第１または第２画像の
   ３角パッチが前記湧出領域に含まれる場合に、該３角パ
   ッチの領域を前記重み係数に応じて狭めた部分領域の画
   像を前記補間パッチへのマッピングに使用することを特
   徴とする、請求項７に記載の画像生成プログラムを記録
   した記録媒体。
9. 【請求項９】 第１画像と第２画像との間で特徴点を対
   応付ける前記ステップにおいて、前記対象物を構成する
   面の中に視点に応じて見え隠れする面が存在し該面が第
   １画像には現れず第２画像に現れる場合に、該面の特徴
   点として第２画像にのみ存在する特徴点に対応すべき第
   １画像の特徴点の位置として前記対象物の形状に基づい
   て推定された位置に、第１画像の特徴点を隠れ特徴点と
   して設定し、該隠れ特徴点を第２画像にのみ存在する前
   記特徴点と対応付け、 補間パッチの画像を生成する前記ステップにおいて、前
   記補間パッチにマッピングされる第１または第２画像の
   ３角パッチが第１画像には現れず第２画像に現れる前記
   面に含まれる場合に、前記補間パッチが前記中間視点か
   ら見えるか否かを判定し、前記補間パッチが見えないと
   判定されたときには前記補間パッチの画像を生成しない
   ことを特徴とする、請求項７に記載の画像生成プログラ
   ムを記録した記録媒体。
10. 【請求項１０】 時計回り方向と反時計回り方向のうち
    のいずれか一方向となるように順序付けられた複数の点
    で囲まれた領域を有する図形が表示された第１画像に対
    して所定の変換を行った後の画像である第２画像を生成
    するための画像生成プログラムを、コンピュータ装置に
    おいて実行されるプログラムとして記録した記録媒体で
    あって、 第２画像において前記複数の点の順序付けが前記一方向
    に対し同方向となるか逆方向となるかを判定し、 前記判定の結果、前記一方向と同方向になる場合は、第
    ２画像における前記図形の表示態様を第１画像における
    表示態様と同じものとし、前記一方向と逆方向になる場
    合は、第２画像における前記図形の表示態様を第１画像
    における表示態様と異なるものとする動作環境を前記コ
    ンピュータ装置上で実現するための画像生成プログラム
    を記録した記録媒体。