JP2000163469A - 棚割シミュレーション方法、棚割シミュレーション装置、および棚割シミュレーションプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元形状等の情報を必要とせずに、低コス
トで商品の自由な配置や複数視点からの配置画像の表示
を可能とする棚割シミュレーションを実現する。 【解決手段】 棚及び各商品を所定の複数視点から個別
に撮影し（Ｓ１０）、棚画像及び各商品画像のデータを
棚割シミュレーション装置に入力する（Ｓ１２）。この
装置では、まず、各視点からの棚画像及び各商品画像に
対し特徴点の対応づけ及び３角パッチの設定を行う（Ｓ
１４，Ｓ１６）。次に、２視点からの棚画像及び各商品
画像を用いて操作者が商品の配置を決定すると共に（Ｓ
２０）、生成すべき配置画像の視点を指定する（Ｓ２
０）。その後、この配置決定及び視点の指定に対応する
配置画像をモーフィング技術を利用して生成する（Ｓ２
２）。このとき、商品の位置の前後関係に応じた順に商
品画像を画像メモリに上書きすることにより、配置画像
のデータを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、棚等の商品配置用
備品への商品の配置を示す配置画像を生成することによ
り商品の配置を検討するための棚割シミュレーション方
法および装置に関する。

【０００２】

【従来の技術】棚等への商品の配置や店舗内における商
品のレイアウトを検討するために棚割シミュレーション
のソフトウェアとして、２次元シミュレーションソフト
ウェアや３次元ＣＡＤソフトウェアが使用されている。
２次元シミュレーションソフトウェアは安価であるが、
一つの視点から見た商品の配置しか検討できない。これ
に対し、３次元ＣＡＤソフトウェアによる棚割シミュレ
ーションによれば、商品の自由な配置や複数視点から見
た配置状態の画像表示が可能であり、また店舗内の仮想
的なウォークスルーも可能である。しかし、３次元ＣＡ
Ｄソフトウェアは高価であり、３次元ＣＡＤソフトウェ
アにより棚割シミュレーションを行うには、配置すべき
商品等の素材や棚等の商品配置用備品の３次元形状等に
関する情報を収集するための計測が必要となる。

【０００３】

【発明が解決しようとする課題】そこで本発明では、配
置すべき商品の３次元形状等の情報を必要とすることな
く、低コストで、商品の自由な配置や複数視点から見た
配置状態の画像表示を可能とし、また店舗内の仮想的な
ウォークスルーも実現可能な棚割シミュレーション方法
や装置を提供することを目的とする。

【０００４】

【課題を解決するための手段および発明の効果】第１の
発明は、棚等の商品配置用備品への商品の配置を示す配
置画像を生成することにより商品の配置をシミュレーシ
ョンする棚割シミュレーション方法であって、予め設定
された視点群の各視点からの前記商品配置用備品と前記
商品配置用備品へ配置すべき各商品とのそれぞれの画像
である個別画像を獲得する個別画像獲得ステップと、前
記視点群の各視点からの個別画像において前記商品配置
用備品および各商品のそれぞれの同一箇所と見なせる特
徴点を選定し、該特徴点を前記視点群の各視点からの個
別画像の間で対応付ける対応付けステップと、前記商品
配置用備品および各商品のそれぞれにつき、前記視点群
の各視点からの個別画像の間で対応付けられた特徴点を
３個ずつ選んで該３個の特徴点を頂点として含む３角パ
ッチを設定することにより、前記視点群の各視点からの
個別画像を３角形領域に分割する分割ステップと、前記
視点群より選ばれた視点からの個別画像を用いて前記商
品配置用備品への各商品の配置を決定し、該配置に基づ
き、前記視点群の各視点からの前記商品配置用備品の個
別画像に対し、対応する視点からの各商品の個別画像を
配置する配置ステップと、前記視点群における隣接する
２視点の間の中間視点を指定する視点指定ステップと、
隣接する前記２視点である第１および第２視点のそれぞ
れからの個別画像の前記配置ステップによる配置に基づ
き、第１および第２視点からの個別画像における対応付
けられた特徴点を有する２つの３角パッチに対応する前
記中間視点からの画像の３角パッチである補間パッチを
求める補間パッチ算出ステップと、前記補間パッチに対
応するアフィン変換に基づき第１および第２視点からの
個別画像における前記２つの３角パッチの画像を前記補
間パッチにマッピングすることにより、前記補間パッチ
の画像を生成する補間パッチ画像生成ステップと、第１
および第２視点からの個別画像において設定された各３
角パッチにつき前記補間パッチ算出ステップおよび前記
補間パッチ画像生成ステップを実行することにより前記
中間視点からの前記商品配置用備品および各商品のそれ
ぞれの画像を生成するとともに、前記配置ステップで決
定された配置に基づき、前記中間視点からの前記商品配
置用備品の画像に対し前記中間視点からの各商品の画像
を重ねて合成することにより、前記中間視点からの配置
画像を生成する配置画像生成ステップと、を有すること
を特徴とする。

【０００５】このような第１の発明によれば、配置すべ
き商品の３次元形状等の情報を必要とすることなく、商
品配置用備品や各商品の個別画像を用いて商品の配置を
決定し、所望の視点からの配置画像を生成することがで
きるため、低コストで商品の配置をシミュレーションす
ることができる。また、所望の視点を繰り返し指定して
複数視点からの配置画像を生成することにより、商品配
置をより詳細に検討することも可能である。さらに、視
点移動の経路を設定しその経路に沿った複数の視点を順
次指定して、その視点からの配置画像を順次生成するこ
とにより、店舗のウォークスルーをシミュレーションす
ることもできる。

【０００６】第２の発明は、第１の発明において、前記
視点群のうちの２つの視点のそれぞれからの各個別画像
における各特徴点の位置を該個別画像上の２次元座標で
ある画像座標で表した座標値と該個別画像に対応するカ
メラパラメータとを用いて、ステレオ３次元画像センシ
ングにより、前記商品配置用備品および各商品のそれぞ
れに対して予め設定された３次元座標である個別３次元
座標で前記特徴点の位置を表した座標値を算出する個別
３次元座標値算出ステップを更に有し、前記配置ステッ
プは、前記視点群から視点を選び、選んだ視点からの前
記商品配置用備品の個別画像に対し、選んだ視点からの
各商品の個別画像を手動操作によって配置することによ
り、前記商品配置用備品への各商品の配置を決定する配
置決定ステップと、前記配置決定ステップで決定された
配置に基づき、前記商品配置用備品および各商品に共通
の３次元座標として予め設定された配置３次元座標で各
商品における特徴点の位置を表した座標値を、前記個別
３次元座標値算出ステップで得られた座標値から算出す
る配置３次元座標値算出ステップと、前記配置３次元座
標値算出ステップで得られた座標値に基づき、前記配置
決定ステップで選ばれた視点以外の前記視点群の各視点
からの前記商品配置用備品の個別画像に対し、対応する
視点からの各商品の個別画像を配置する画像配置ステッ
プとを含み、前記配置画像生成ステップでは、前記中間
視点からの前記商品配置用備品の画像に対し、前記配置
３次元座標値算出ステップで得られた座標値に基づき、
前記中間視点からの各商品の画像を重ねて合成すること
により、前記中間視点からの配置画像を生成することを
特徴とする。

【０００７】このような第２の発明によれば、予め設定
された視点群より選ばれた視点についてのみ手動操作に
よる商品画像の配置を行えばよく、前記視点群の他の視
点については、ステレオ３次元画像センシングにより得
られる特徴点の３次元座標値に基づき商品画像の配置を
行うことができる。そして、これらの商品画像の配置に
基づき、所望の中間視点からの配置画像を生成すること
ができる。また、第２の発明によれば、各商品の特徴点
の配置３次元座標値により、所望の中間視点から見た商
品の前後関係を判断できるため、その中間視点を挟む第
１視点と第２視点とで商品配置用備品における商品の前
後関係が異なる場合であっても、その中間視点からの配
置画像を正しく生成することができる。

【０００８】第３の発明は、第２の発明において、前記
個別３次元座標値算出ステップでは、前記商品配置用備
品および各商品のそれぞれにつき、６点の位置を前記個
別３次元座標および前記画像座標のそれぞれで表した座
標値から成る６組の座標値を用いて各個別画像に対する
カメラキャリブレーションを行い、該カメラキャリブレ
ーションにより得られるカメラパラメータを用いて、ス
テレオ３次元画像センシングにより、前記特徴点の位置
を前記個別３次元座標で表した座標値を算出することを
特徴とする。

【０００９】このような第３の発明によれば、カメラパ
ラメータが予め与えられていない場合であっても、６点
の位置を個別３次元座標および画像座標のそれぞれで表
した座標値から成る６組の座標値を用いてカメラキャリ
ブレーションを行うことで、ステレオ３次元画像センシ
ングにより特徴点の個別３次元座標による座標値を算出
できるため、第２の発明と同様の効果を得ることができ
る。

【００１０】第４の発明は、棚等の商品配置用備品への
商品の配置を示す画像である配置画像を生成することに
より商品の配置をシミュレーションする棚割シミュレー
ション装置であって、予め設定された視点群の各視点か
らの前記商品配置用備品と前記商品配置用備品へ配置す
べき各商品とのそれぞれの画像である個別画像を入力す
る画像入力手段と、前記視点群の各視点からの個別画像
において前記商品配置用備品および各商品のそれぞれの
同一箇所と見なせる特徴点を選定するための選定情報を
入力する第１入力手段と、前記商品配置用備品および各
商品のそれぞれにつき、前記選定情報により選定される
特徴点を前記視点群の各視点からの個別画像の間で対応
付けるための対応付け情報を入力する第２入力手段と、
前記商品配置用備品および各商品のそれぞれにつき、前
記視点群の各視点からの個別画像の間で対応付けられた
特徴点を３個ずつ選ぶための３点情報を入力する第３入
力手段と、前記商品配置用備品および各商品のそれぞれ
につき、前記３点情報により３個ずつ選ばれた特徴点に
基づき、該３個の特徴点を頂点として含む３角パッチを
設定することにより、前記視点群の各視点からの個別画
像を３角形領域に分割する分割手段と、前記視点群より
選ばれた視点からの個別画像を用いて前記商品配置用備
品への各商品の配置を決定するための配置情報を入力す
る第４入力手段と、前記配置情報に基づき、前記視点群
の各視点からの前記商品配置用備品の個別画像に対し、
対応する視点からの各商品の個別画像を配置する配置手
段と、前記視点群における隣接する２視点の間の中間視
点を指定するための視点指定手段と、隣接する前記２視
点である第１および第２視点のそれぞれからの個別画像
の前記配置手段による配置に基づき、第１および第２視
点からの個別画像における対応付けられた特徴点を有す
る２つの３角パッチに対応する前記中間視点からの画像
の３角パッチである補間パッチを求める補間パッチ算出
手段と、前記補間パッチに対応するアフィン変換に基づ
き第１および第２視点からの個別画像における前記２つ
の３角パッチの画像を前記補間パッチにマッピングする
ことにより、前記補間パッチの画像を生成する補間パッ
チ画像生成手段と、第１および第２視点からの個別画像
において設定された各３角パッチにつき前記補間パッチ
算出手段により補間パッチを求めて前記補間パッチ画像
生成手段により該補間パッチの画像を生成することで前
記中間視点からの前記商品配置用備品および各商品のそ
れぞれの画像を生成するとともに、前記配置情報に基づ
き、前記中間視点からの前記商品配置用備品の画像に対
し前記中間視点からの各商品の画像を重ねて合成するこ
とにより、前記中間視点からの配置画像を生成する配置
画像生成手段と、を備えることを特徴とする。

【００１１】第５の発明は、棚等の商品配置用備品への
商品の配置を示す画像である配置画像を生成することに
より商品の配置をシミュレーションするための棚割シミ
ュレーションプログラムを、コンピュータ装置において
実行されるプログラムとして記録した記録媒体であっ
て、予め設定された視点群の各視点からの前記商品配置
用備品と前記商品配置用備品へ配置すべき各商品とのそ
れぞれの画像である個別画像を入力する画像入力ステッ
プと、前記視点群の各視点からの個別画像において前記
商品配置用備品および各商品のそれぞれの同一箇所と見
なせる特徴点を選定するための選定情報を入力する選定
情報入力ステップと、前記商品配置用備品および各商品
のそれぞれにつき、前記選定情報により選定される特徴
点を前記視点群の各視点からの個別画像の間で対応付け
るための対応付け情報を入力する対応付け情報入力ステ
ップと、前記商品配置用備品および各商品のそれぞれに
つき、前記視点群の各視点からの個別画像の間で対応付
けられた特徴点を３個ずつ選ぶための３点情報を入力す
る３点情報入力ステップと、前記商品配置用備品および
各商品のそれぞれにつき、前記３点情報により３個ずつ
選ばれた特徴点に基づき、該３個の特徴点を頂点として
含む３角パッチを設定することにより、前記視点群の各
視点からの個別画像を３角形領域に分割する分割ステッ
プと、前記視点群より選ばれた視点からの個別画像を用
いて前記商品配置用備品への各商品の配置を決定するた
めの配置情報を入力する配置情報入力ステップと、前記
配置情報に基づき、前記視点群の各視点からの前記商品
配置用備品の個別画像に対し、対応する視点からの各商
品の個別画像を配置する配置ステップと、前記視点群に
おける隣接する２視点の間の中間視点を指定する視点指
定ステップと、隣接する前記２視点である第１および第
２視点のそれぞれからの個別画像の前記配置ステップに
よる配置に基づき、第１および第２視点からの個別画像
における対応付けられた特徴点を有する２つの３角パッ
チに対応する前記中間視点からの画像の３角パッチであ
る補間パッチを求める補間パッチ算出ステップと、前記
補間パッチに対応するアフィン変換に基づき第１および
第２視点からの個別画像における前記２つの３角パッチ
の画像を前記補間パッチにマッピングすることにより、
前記補間パッチの画像を生成する補間パッチ画像生成ス
テップと、第１および第２視点からの個別画像において
設定された各３角パッチにつき前記補間パッチ算出ステ
ップおよび前記補間パッチ画像生成ステップを実行する
ことにより前記中間視点からの前記商品配置用備品およ
び各商品のそれぞれの画像を生成するとともに、前記配
置情報に基づき、前記中間視点からの前記商品配置用備
品の画像に対し前記中間視点からの各商品の画像を重ね
て合成することにより、前記中間視点からの配置画像を
生成する配置画像生成ステップと、を含む動作環境を前
記コンピュータ装置上で実現することを特徴とする。

【００１２】＜課題解決手段の他の態様および効果＞課
題解決手段の他の第１の態様は、第１の発明において、
前記配置ステップでは、前記特徴点を前記個別画像毎に
グループ化し、前記視点群の各視点からの各商品の個別
画像に対応するグループ化された特徴点群に対し、決定
された配置に基づく各商品の前後関係に応じたグループ
番号を付与し、前記配置画像生成ステップでは、前記中
間視点からの前記商品配置用備品の画像に対し前記中間
視点からの各商品の画像を前記グループ番号に応じた順
に重ねて合成することにより、前記中間視点からの配置
画像を生成することを特徴とする。

【００１３】このような課題解決手段の他の第１の態様
によれば、指定された中間視点からの配置画像の生成の
際に、各商品の個別画像に対応する特徴点群のグループ
番号に応じた順に各商品の個別画像が重ねて合成される
ため、商品画像間の重なりが商品の前後関係に応じたも
のとなって適切な配置画像が生成される。

【００１４】課題解決手段の他の第２の態様は、第１の
発明、課題解決手段の他の第１の態様、第２の発明また
は第３の発明のいずれかにおいて、前記対応付けステッ
プでは、前記商品配置用備品および各商品から成る対象
物を構成する物品の面の中に視点に応じて見え隠れする
面が存在し該面が前記視点群における隣接する２視点の
一方の視点からの個別画像には現れず他方の視点からの
個別画像に現れる場合に、該面の特徴点として前記他方
の視点からの個別画像にのみ存在する特徴点に対応すべ
き前記一方の視点からの個別画像の特徴点の位置として
前記物品の形状に基づいて推定された位置に、前記一方
の視点からの個別画像の特徴点を隠れ特徴点として設定
し、該隠れ特徴点を前記他方の視点からの個別画像にの
み存在する前記特徴点と対応付け、前記補間パッチ画像
生成ステップでは、前記補間パッチにマッピングされる
第１または第２視点からの個別画像の３角パッチが第１
視点からの個別画像には現れず第２視点からの個別画像
に現れる前記面に含まれる場合に、前記中間視点から前
記補間パッチが見えるか否かを判定し、前記補間パッチ
が見えないと判定されたときには前記補間パッチの画像
を生成しないことを特徴とする。

【００１５】このような課題解決手段の他の第２の態様
によれば、商品配置用備品および各商品から成る対象物
を構成する物品の面の中に視点に応じて見え隠れする面
が存在しその面が前記視点群における隣接する２視点の
一方の視点からの個別画像には現れず他方の視点からの
個別画像に現れる場合には、隠れ特徴点が導入されて、
補間パッチにマッピングされる前記面内の３角パッチが
指定した中間視点から見えるか否かが判定され、その判
定結果に基づいて中間視点からの配置画像が生成され
る。したがって、このような場合であっても中間視点か
らの配置画像を適切に生成することができる。

【００１６】課題解決手段の他の第３の態様は、第１の
発明、課題解決手段の他の第１の態様、第２の発明また
は第３の発明のいずれかにおいて、前記対応付けステッ
プでは、前記商品配置用備品および各商品から成る対象
物を構成する物体の中に少なくとも一部が他の部分に隠
れているために前記視点群における隣接する２視点の一
方の視点からの個別画像には現れ他方の視点からの個別
画像には現れない領域である湧出領域を有する物体が存
在する場合に、該湧出領域の特徴点として前記一方の視
点からの個別画像にのみ存在する特徴点を湧出特徴点と
して設定し、該湧出特徴点を、前記一方の視点からの個
別画像における前記湧出領域の他の所定の特徴点に対応
付けられた前記他方の視点からの個別画像における特徴
点と対応付け、前記補間パッチ画像生成ステップでは、
前記補間パッチにマッピングされる第１または第２視点
からの個別画像の３角パッチが前記湧出領域に含まれる
場合に、該３角パッチの領域を前記補間パッチに対する
前記中間視点に応じて狭めた部分領域の画像を前記補間
パッチへのマッピングに使用することを特徴とする。

【００１７】このような課題解決手段の他の第３の態様
によれば、商品配置用備品および各商品から成る対象物
を構成する物体の中に少なくとも一部が他の部分に隠れ
ているために前記視点群における隣接する２視点の一方
の視点からの個別画像には現れ他方の視点からの個別画
像には現れない領域である湧出領域を有する物体が存在
する場合には、湧出特徴点が導入されて、補間パッチに
マッピングされる湧出領域内の３角パッチの領域が指定
した中間視点に応じて狭められる。したがって、このよ
うな場合であっても中間視点からの配置画像を適切に生
成することができる。

【００１８】

【発明の実施の形態】以下、本発明の実施形態について
添付図面を参照して説明する。 ＜１．基礎技術＞本発明に係る棚割シミュレーションで
は、棚等への商品の配置を示す画像（以下「配置画像」
という）を得るために、まず、各商品と棚等の商品配置
用備品とを所定の複数視点から個別に撮影し、または、
３次元ＣＡＤソフトウェアで所定の複数視点からの各商
品および棚などの画像を個別に生成する（以下、このよ
うな各商品および棚等のそれぞれの個別の画像を「個別
画像」という）。次に、これらの個別画像を用いて商品
の棚等への配置を決定し、その配置状態の商品および棚
等を所望の視点から見た配置画像を得るために、上記所
定の複数視点からの個別画像より所望の視点からの個別
画像を生成し、生成した個別画像を決定された配置に応
じて合成する。ここで所望の視点は、一般的には、上記
所定の複数視点のうちの２つの視点の間の中間視点であ
る。したがって発明では、２つの視点からの画像より中
間視点からの画像（以下「中間視点画像」という）を生
成することが必須となっており、この中間視点画像を生
成する方法として、本願出願人が特願平１０−１９１６
５４号において開示した画像生成方法を利用する。そこ
で、まず、本発明の実施形態の基礎技術として、特願平
１０−１９１６５４号において開示した画像生成方法
（以下「基礎画像生成方法」という）について説明す
る。

【００１９】＜１.１ 基礎画像生成方法を実施するた
めのハードウェア＞基礎画像生成方法を実施するための
ハードウェアとしては、デジタルカメラなどの外部機器
との間でデータの入出力を行うためのＩ／Ｏインタフェ
ース部、マウスやキーボードなどの入力操作部、および
画像を表示するモニタ等の画像表示部を備えたパーソナ
ルコンピュータを使用することができる。この場合、入
力操作部による操作に基づき、パーソナルコンピュータ
の本体においてメモリに格納された所定のプログラムを
ＣＰＵが実行することにより、Ｉ／Ｏインタフェース部
によって入力される画像データから中間視点画像が生成
され、その中間視点画像が画像表示部に表示される。

【００２０】＜１.２ 基礎画像生成方法の概要＞基礎
画像生成方法は、同一対象物に対する２つの視点からの
２つの画像（以下「２視点画像」という）を用いてそれ
ら２つの視点の間の中間視点からの画像（中間視点画
像）を生成する方法であり、モーフィングと呼ばれる手
法を利用する。すなわち、基礎画像生成方法では、アフ
ィン変換により、２視点画像である２つの画像（以下、
これらの一方を「第１画像」、他方を「第２画像」とい
う）の補間画像として中間視点画像を生成する。具体的
には、以下の手順（１）〜（５）により中間視点画像を
生成する。 （１）第１画像と第２画像との間で同一と見なせる箇所
を特徴点として対応付ける。 （２）第１および第２画像のそれぞれにおいて、対応す
る特徴点を３個ずつ選んで３角パッチを設定することに
より、第１および第２画像を３角形の領域に分割する。
なお、このとき３個ずつ選ばれる特徴点により、第１画
像における３角パッチと第２画像における３角パッチと
は１対１に対応付けられる。 （３）第１画像と第２画像のそれぞれに対する重み係数
Ｍ１，Ｍ２を指定することにより、生成すべき中間視点
画像の視点を決定する。 （４）第１画像と第２画像について対応付けられた各２
つの３角パッチの頂点である特徴点の座標と重み係数Ｍ
１，Ｍ２より、その対応付けられた各２つの３角パッチ
に対応する、中間視点画像の３角パッチ（以下「補間パ
ッチ」という）の頂点である特徴点の座標を算出する。 （５）第１および第２画像の各３角パッチの画素をアフ
ィン変換を用いて各３角パッチに対応する補間パッチに
マッピングすることにより、中間視点画像における各補
間パッチの画素値を算出する。

【００２１】上記手順により中間視点画像を生成する際
に、第１画像と第２画像との間で特徴点の対応付けがと
れない場合がある。例えば図２５に示すように、手前の
物体１０１によって奥の物体１０２の一部が隠れている
場合には、これらの物体に対する２視点画像は図２５
（ａ）および（ｂ）に示すような画像となる。この場
合、奥の物体１０２の或る領域が視点の変更に応じて見
え隠れする。すなわち、図２５（ａ）の画像に現れてい
る物体１０２の或る領域は、図２５（ｂ）の画像には現
れない。このように２視点画像のうち一方の画像には現
れ他方の画像には現れない領域については特徴点を対応
付けるのが困難である。このため、上記手順をそのまま
適用したのでは適切な中間視点画像を生成することがで
きない。

【００２２】また、物体の或る面が視点の変更に応じて
見え隠れするために、その面が２視点画像のうち一方の
画像には現れ他方の画像には現れない場合がある。例え
ば、図２６（ａ）に示す第１画像と図２６（ｂ）に示す
第２画像から成る２視点画像の場合、第１画像には面Ｓ
1aが現れているが、第２画像には面Ｓ1aは現れていな
い。逆に、面Ｓ2bは、第２画像には現れているが第１画
像には現れていない。このような面Ｓ1a、Ｓ2bについて
は特徴点の対応付けや補間パッチの画素値の算出が困難
である。このため、上記手順をそのまま適用したのでは
適切な中間視点画像を生成することができない。

【００２３】そこで基礎画像生成方法では、図２５に示
す２視点画像に対処すべく湧出特徴点を、図２６に示す
２視点画像に対処すべく隠れ特徴点をそれぞれ導入し、
これらの特徴点を通常の特徴点と区別している。そし
て、湧出特徴点を含む３角パッチに対応する補間パッチ
の画素値、および、隠れ特徴点を含む３角パッチに対応
する補間パッチの画素値を、それぞれ後述の特有の方法
に基づいて算出することにより、適切な中間視点画像を
生成している。

【００２４】＜１.３ 基礎画像生成方法の詳細＞以
下、図１１に示すフローチャートを参照しつつ基礎画像
生成方法を説明する。基礎画像生成方法では、デジタル
カメラなどによって撮影した２視点画像を入力し、その
２視点画像から以下の工程により中間視点画像を生成す
る。

【００２５】＜１.３.１ 特徴点を対応付ける工程（ス
テップＳ５２）＞基礎画像生成方法では、中間視点画像
を生成するために、２視点画像を２視点画像の間で対応
する３角形領域すなわち３角パッチに分割する。このた
めにステップＳ５２において、対象物の同一箇所と見な
せる２視点画像の特徴点を選定し、２視点画像の間でそ
れらの特徴点を対応付ける。例えば、図１６（ａ）に示
す第１画像と図１６（ｂ）に示す第２画像から成る２視
点画像の場合には、それらの図に示されているような特
徴点１〜７の対応付けが可能である。ここで、第１画像
と第２画像とにおいて同一の番号の特徴点が互いに対応
付けられているものとする。

【００２６】しかし、前述の図２５または図２６に示す
ような画像の場合は、特徴点の対応付けができない領域
が存在する。そこで基礎画像生成方法では、図２５に示
したように、手前の物体１０１によって奥の物体１０２
の一部が隠れているために視点の変更によって奥の物体
の或る領域が見え隠れする場合（以下、この場合の見え
隠れする領域を「湧出領域」という）については湧出特
徴点を、図２６に示したように、物体の或る面が視点の
変更に応じて見え隠れする場合（以下、この場合の見え
隠れする面に相当する領域を「隠れ領域」という）につ
いては隠れ特徴点を、それぞれ導入することにより、特
徴点の対応付けを可能としている。これら湧出特徴点に
よる対応付けと隠れ特徴点による対応付けは通常の特徴
点の対応付けとは異なるので以下に説明する。

【００２７】＜１.３.１.１ 湧出特徴点による対応付
け＞図２５に示すように湧出領域が存在する場合、湧出
領域における特徴点の中に、対応する特徴点が２視点画
像の他方の画像に存在しないものがある。また、この場
合、視点の移動に伴って、湧出領域のうち見えている部
分が隠れていったり、隠れている部分が見えてきたりす
るようにしなければならない。このため、生成したい中
間視点画像の視点に応じて湧出領域のどの部分を見せる
のかも決定しなければならない。

【００２８】そこで基礎画像生成方法では、既に対応付
けられている所定の特徴点を湧出特徴点として利用する
ことにより、湧出領域における対応付けを行っている。
これを、図１７（ａ）に示す第１画像と図１７（ｂ）に
示す第２画像とから成る２視点画像を例にとって説明す
る。この２視点画像のうち第１画像において斜線が付さ
れた領域が湧出領域であり、第２画像にはこの湧出領域
に対応する領域が現れていない。この場合、湧出領域の
特徴点として第１および第２画像の双方に存在する特徴
点Ｐ１，Ｐ２，Ｐ３をあらかじめ対応付けておく。そし
て、湧出領域の対応付けを可能にするために、図１７
（ａ）に示すように湧出領域の特徴点として第１画像に
のみ存在する点Ｑ１，Ｑ２，Ｑ３を湧出特徴点として設
定する。これらの湧出特徴点Ｑ１，Ｑ２，Ｑ３と同一箇
所と見なせる特徴点は、第２画像には存在しない。そこ
で、第１画像における湧出特徴点Ｑ１，Ｑ２，Ｑ３を、
図１７（ｂ）に示すように、第２画像における前述の特
徴点Ｐ１，Ｐ２，Ｐ３にそれぞれ対応付ける。このよう
にして、湧出特徴点Ｑ１，Ｑ２，Ｑ３を導入することに
より２視点画像における湧出領域（点Ｐ１，Ｐ２，Ｐ
３，Ｑ１，Ｑ２，Ｑ３で囲まれた領域）の対応付けが可
能となる。

【００２９】また、図１７に示した例では、第１画像の
視点から第２画像の視点へと視点を移動させていくと、
湧出領域が「Ｃ」，「Ｒ」，「Ｅ」，「Ｅ」の順で左か
ら徐々に隠れていき、第２画像の視点になると湧出領域
はすべて隠れて表示されなくなる。したがって、湧出領
域のこの見え方に対応するように、生成したい中間視点
画像の視点に応じて湧出領域のどの部分を表示するかを
求める必要がある。これについては、後述の「３.５.１
湧出パッチのマッピング処理」において説明する。

【００３０】＜１.３.１.２ 隠れ特徴点による対応付
け＞図２６に示すように隠れ領域が存在する場合も、隠
れ領域における特徴点の中に、対応する特徴点が２視点
画像の他方の画像に存在しないものがある。また、隠れ
領域は、視点を移動させると、或る視点を境にして見え
たり隠れたりする。このため、湧出領域と同様、生成し
たい中間視点画像の視点に応じて、隠れ領域のどの部分
を見せるのかを決定しなければならない。

【００３１】そこで基礎画像生成方法では、視点の変化
によって見えなくなった箇所の特徴点を推定し、推定し
た特徴点を隠れ特徴点として対応付けを行っている。こ
れを、図１８（ａ）に示す第１画像と図１８（ｂ）に示
す第２画像とから成る２視点画像を例にとって説明す
る。この２視点画像では、第２画像において、斜線を付
した右側面すなわち点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれ
た側面が見えているが、第１画像においては、この右側
面は隠れている。したがって、第１画像における右側面
は隠れ領域であり、第２画像における右側面における特
徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４のうち点Ｐ２については、
これに対応する特徴点が第１画像に存在しない。そこ
で、第２画像における特徴点Ｐ２に対応する第１画像の
特徴点の位置を、図１８（ａ）に示すように対象物（こ
の例では直方体）の形状を考慮して推定し、その位置に
隠れ特徴点Ｐ２を設定する。このように第１画像に隠れ
特徴点Ｐ２を導入することにより、第２画像において点
Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた領域を、第１画像に
おいて点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた隠れ領域と
対応付けることができる。

【００３２】また、図１８に示した例では、第１画像の
視点から第２画像の視点へと視点を移動させていくと、
或る視点を境に、特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲ま
れた隠れ領域が見えるようになる。したがって、隠れ領
域について、生成したい中間視点画像の視点に応じて隠
れ領域を表示させるか否かを判断する必要がある。これ
については、後述の「３.５.２ 隠れパッチのマッピン
グ処理」において説明する。

【００３３】＜１.３.１.３ 特徴点を対応付ける処理
の手順＞上述の湧出特徴点および隠れ特徴点を導入した
特徴点の対応付け処理の手順を、図１２に示すフローチ
ャートを参照しつつ説明する。

【００３４】特徴点の対応付けに際しては、まず操作者
が、モニタ等の画像表示部に表示された第１画像と第２
画像とから成る２視点画像を見比べ、特徴点を対応付け
るべき箇所として第１画像の領域と第２画像の領域を選
び出し、それらの領域において特徴点を対応付けること
ができるか否かを判定する（ステップＳ１２２）。前述
の図２５または図２６に示すような２視点画像の場合
は、特徴点の対応付けができない領域が存在するが、こ
のような２視点画像でなければ、特徴点の対応付けが可
能である。ステップＳ１２２において特徴点の対応付け
が可能な領域であると判定された場合は、ステップＳ１
３２へ進んで、２視点画像におけるそれらの領域におい
て２つの特徴点を対応付ける（図１６参照）。

【００３５】ステップＳ１２２において特徴点の対応付
けができない領域であると判定された場合は、２視点画
像において特徴点を対応付けるべき領域として選んだも
のが湧出領域か隠れ領域かを判定する（ステップＳ１２
４、Ｓ１２６）。そして、その判定結果に基づき、湧出
領域の場合には湧出特徴点による対応付けを行い（ステ
ップＳ１３４）、隠れ領域の場合には隠れ特徴点による
対応付けを行う（ステップＳ１３６）。この後、２視点
画像において特徴点を対応付けるべきすべての箇所につ
き対応付けが終了したか否かを判定し（ステップＳ１２
８）、対応付けが終了していなければ新たな箇所につ
き、上記と同様にして特徴点の対応付けを行う。以降、
２視点画像に対する特徴点の対応付けが終了するまでス
テップＳ１２２〜Ｓ１２８を繰り返し実行する。

【００３６】＜１.３.２ ３角パッチを設定する工程
（ステップＳ５４）＞上記のようにして２視点画像に対
する特徴点の対応付けが終了すると、ステップＳ５４に
進んで、２視点画像の対応する特徴点を３個ずつ選んで
３角パッチを設定することにより、２視点画像をそれぞ
れ３角形の領域に分割していく。このとき基礎画像生成
方法では、選んだ３個の特徴点を３角パッチに対し時計
回り順または反時計回り順のいずれか一方のみの順とな
るように並べたものを、パッチデータとして生成する。
例えば、選択した特徴点を時計回り順となるように並べ
たものをパッチデータを生成するものとすると、図１６
に示すように３角パッチを設定する場合には、（１，
２，５），（１，４，２），（２，３，７），（２，
４，３），（２，６，５），（２，７，６）というパッ
チデータを生成する。以下では、選択した特徴点を時計
回りに並べてパッチデータを生成するものとして説明を
進める。なお以下では、説明の便宜のために、「３角パ
ッチ（１，２，５）」というようにパッチデータを３角
パッチを特定する符号としても使用するものとする。

【００３７】＜１.３.２.１ 湧出パッチの設定＞上記
３角パッチの設定処理において、湧出領域に対する３角
パッチは湧出パッチとし、通常の３角パッチとは区別し
て設定する。３角パッチが湧出パッチか否かは、その３
角パッチが湧出特徴点を含むか否かにより判定すること
ができる。図１９は、図１７に示した２視点画像におけ
る湧出パッチの設定例を示しており、この例では、（Ｑ
１，Ｐ１，Ｐ２），（Ｑ１，Ｐ２，Ｑ２），（Ｑ２，Ｐ
２，Ｑ３），（Ｑ３，Ｐ２，Ｐ３）という４個のパッチ
データが湧出パッチのデータとして生成される。また、
この場合、図１９（ａ）に示した第１画像の湧出パッチ
に対応する第２画像のパッチは、すべて領域の無い線分
となる。

【００３８】＜１.３.２.２ 隠れパッチの設定＞基礎
画像生成方法では、隠れ領域に対する３角パッチについ
ても、これを隠れパッチとして通常の３角パッチと区別
する。ここで隠れ領域は、２視点画像のうち一方の画像
に含まれ、他方の画像ではその隠れ領域に対応する領域
が見えている。このため、３角パッチのパッチデータに
おける特徴点の並びは、隠れパッチの場合は反時計回り
となり、その隠れパッチに対応する他方のパッチについ
ては時計回りとなる。図２０は、２視点画像における隠
れパッチの設定例を示しており、図２０（ａ）に示す第
１画像には点Ｐ１，Ｐ２，Ｐ３，Ｐ４で囲まれた隠れ領
域が存在し、図２０（ｂ）に示す第２画像では、この隠
れ領域に対応する領域は見えている。この場合、基礎画
像生成方法では、その領域の３角パッチの頂点に相当す
る特徴点が第２画像（すなわち、その領域が見えている
方の画像）において時計回りとなるようにパッチデータ
を生成する。すなわち、（Ｐ１，Ｐ２，Ｐ４），（Ｐ
２，Ｐ３，Ｐ４）をパッチデータとして生成する。これ
らのパッチデータにおける特徴点の並びは、第１画像で
は反時計回りとなっている。

【００３９】＜１.３.２.３ ３角パッチの設定処理の
手順＞上述の３角パッチの設定方法に基づく３角パッチ
の設定処理の手順を、図１３に示すフローチャートを参
照しつつ説明する。

【００４０】まず、操作者がモニタ等を見ながらマウス
等のポインティングデバイスで２視点画像から３つの特
徴点を選択し、これにより、この３つの特徴点を頂点と
する３角パッチを、２視点画像内の対応する２つの３角
パッチとして指定する（ステップＳ１６２）。このと
き、隠れ領域における３角パッチを指定する際には、図
２０（ａ）に示すように、３角パッチが常に隠れ特徴点
を含むようにする。

【００４１】次に、３角パッチのパッチデータにおける
３つの特徴点の並びを全て時計回り順に並べ替える（ス
テップＳ１６４）。ただし、対応する２つの３角パッチ
内に隠れ特徴点を含む場合は、隠れ特徴点を含まない３
角パッチに注目し、パッチデータの特徴点をその３角パ
ッチについて時計回り順になるように並べかえる。これ
により、隠れパッチについての特徴点の並びは必然的に
反時計回り順となる。

【００４２】３角パッチの特徴点についての上記並び替
えの後は、上記対応する２つの３角パッチの３つの特徴
点に湧出特徴点が含まれるか否かを判定する（ステップ
Ｓ１６６）。その結果、湧出特徴点が含まれていれば、
この３つの特徴点から成るデータを湧出パッチのパッチ
データとしてメモリに保存することにより、その対応す
る２つの３角パッチを湧出パッチとして設定する（ステ
ップＳ１７２）。その後、ステップＳ１７０へ進む。

【００４３】ステップＳ１６６で湧出特徴点が含まれて
いないと判定された場合は、ステップＳ１６８へ進ん
で、上記対応する２つの３角パッチの３つの特徴点に隠
れ特徴点が含まれているか否かを判定する。その結果、
隠れ特徴点が含まれていれば、その３つの特徴点から成
るデータを隠れパッチのパッチデータとしてメモリに保
存することにより、その対応する２つの３角パッチを隠
れパッチとして設定する（ステップＳ１７４）。その
後、ステップＳ１７０へ進む。一方、ステップＳ１６８
で、隠れ特徴点が含まれていないと判定された場合は、
そのままステップＳ１７０へ進む。

【００４４】ステップＳ１７０では、２視点画像を特徴
点によって３角形領域に分割して得られたすべての３角
パッチにつき設定が終了したか否か判定し、３角パッチ
の設定が終了していなければステップＳ１６２へ戻る。
以降、３角パッチの設定が終了するまで上記ステップＳ
１６２〜Ｓ１７０を繰り返し実行する。

【００４５】なお、上記の３角パッチの設定処理手順で
は、３角パッチが隠れパッチか否かを判定するために
（ステップＳ１６８参照）、隠れ領域において３角パッ
チを設定する際に３角パッチが常に隠れ特徴点を含むよ
うに操作者が特徴点を選んでいたが、３個の特徴点を選
んで３角パッチを指定する際にその３角パッチが隠れパ
ッチか否かを示す情報を操作者が例えばダイアログボッ
クスを使用して入力するようにしてもよい。このように
すれば、ステップＳ１６８のように隠れ特徴点の有無に
よって隠れパッチか否かを判断する必要はなくなるた
め、操作者は、隠れ領域において３角パッチを指定する
際に隠れ特徴点を含めなくてもよい。

【００４６】＜１.３.３ 中間視点を設定する工程（ス
テップＳ５６）＞上記のようにして３角パッチの設定が
行われると、次に、生成したい中間視点画像の視点すな
わち中間視点を設定する。具体的には、操作者が所望の
中間視点に対応する重み係数Ｍ１，Ｍ２をキーボードや
マウスなどを用いて入力する（ステップＳ５６）。ここ
で、Ｍ１は第１画像に対する重み係数、Ｍ２は第２画像
に対する重み係数であり、Ｍ１＋Ｍ２＝１である。

【００４７】＜１.３.４ 補間パッチを生成する工程
（ステップＳ５８）＞次に、ステップＳ５４で設定され
た３角パッチに対応する、中間視点画像の３角パッチで
ある補間パッチを生成する（ステップＳ５８）。すなわ
ち、２視点画像の対応する２つの３角パッチと、設定さ
れた中間視点に対応する上記重み係数Ｍ１，Ｍ２とを用
いて、補間パッチの特徴点の２次元座標を求める。以
下、このような補間パッチの生成処理を、図１４に示す
フローチャートを参照しつつ説明する。

【００４８】まず、変数ｉを１に初期化し（ステップＳ
１８２）、次に、上記ステップＳ５４でｉ番目に設定さ
れた３角パッチから補間パッチの３つの特徴点の座標を
次式（１）〜（６）により算出する（ステップＳ１８
４）。 XC_i1＝X1_i1＊M1＋X2_i1＊M2 …(1) YC_i1＝Y1_i1＊M1＋Y2_i1＊M2 …(2) XC_i2＝X1_i2＊M1＋X2_i2＊M2 …(3) YC_i2＝Y1_i2＊M1＋Y2_i2＊M2 …(4) XC_i3＝X1_i3＊M1＋X2_i3＊M2 …(5) YC_i3＝Y1_i3＊M1＋Y2_i3＊M2 …(6) ただし、第１画像のｉ番目に設定された３角パッチの３
つの特徴点の座標を (X1_i1,Y1_i1),(X1_i2,Y1_i2),(X1_i3,Y1_i3) 第２画像のｉ番目に設定された３角パッチの３つの特徴
点の座標を (X2_i1,Y2_i1),(X2_i2,Y2_i2),(X2_i3,Y2_i3) ｉ番目に設定された上記３角パッチに対応する補間パッ
チ（以下「ｉ番目の補間パッチ」という）の３つの特徴
点の座標を (XC_i1,YC_i1),(XC_i2,YC_i2),(XC_i3,YC_i3) とする。また、上記式（１）〜（６）において「＊」は
乗算を示すものとする（以下における式についても同様
である）。

【００４９】図２１は、上記のようにして補間パッチを
生成する処理例を示すものであり、この例は、図１６に
おいて６番目に設定された２つの３角パッチ（２，７，
６）から補間パッチを生成する場合の処理例である。

【００５０】上記のようにして補間パッチの３つの特徴
点の座標が得られると、次に変数ｉの値を１だけ増やし
た後、変数ｉの値が設定された３角パッチ数以下か否か
を判定する（ステップＳ１８６、Ｓ１８８）。その結
果、設定された３角パッチ数以下の場合は、ステップＳ
１８４へ戻る。以降、変数ｉの値が設定された３角パッ
チ数よりも大きくなるまで、ステップＳ１８４→Ｓ１８
６→Ｓ１８８を繰り返し実行する。変数ｉの値が設定さ
れた３角パッチ数よりも大きくなると、補間パッチの生
成処理を終了する。

【００５１】＜１.３.５ 補間パッチのマッピングを行
う工程（ステップＳ６０）＞上述の補間パッチの生成処
理が終了すると、ステップＳ６０へ進み、生成された補
間パッチに、その補間パッチに対応する２視点画像の３
角パッチの画像を重み係数Ｍ１，Ｍ２に応じてマッピン
グする。ここで、重み係数Ｍ１，Ｍ２は、２視点画像の
うちの第１画像および第２画像にそれぞれ対応し、対応
する画像からの影響の大きさを表している。

【００５２】補間パッチのマッピングにはアフィン変換
を用いる。２視点画像のうちの第１画像の特徴点の座標
から補間パッチの特徴点の座標を与えるアフィン変換の
式は、次の通りである。 XC_i1＝A＊X1_i1＋B＊Y1_i1＋C …(7) YC_i1＝D＊X1_i1＋E＊Y1_i1＋F …(8) XC_i2＝A＊X1_i2＋B＊Y1_i2＋C …(9) YC_i2＝D＊X1_i2＋E＊Y1_i2＋F …(10) XC_i3＝A＊X1_i3＋B＊Y1_i3＋C …(11) YC_i3＝D＊X1_i3＋E＊Y1_i3＋F …(12) 上記式においてＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆはアフィン変換
を与える定数である。式（１）〜（６）により得られる
補間パッチの３つの特徴点の座標(XC_i1,YC_i1),(XC_i
2,YC_i2),(XC_i3,YC_i3) と、第１画像のｉ番目に設定
された３角パッチの３つの特徴点の座標(X1_i1,Y1_i1),
(X1_i2,Y1_i2),(X1_i3,Y1_i3) とを上記式（７）〜（１
２）に代入することにより、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに
ついての６つの式が得られる。これら６つの式から、
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを一意的に求めることができ
る。

【００５３】このようにして求めたＡ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆを用いたアフィン変換の式により、第１画像の３
角パッチの各画素が補間パッチ内のどの画素にマッピン
グされるかを求めることができる。すなわち、図２２に
示すように、第１画像のｉ番目の３角パッチにおける点
(X1_i,Y1_i) の画素は、次式により補間パッチにおける
点(XC_i,YC_i)の画素にマッピングされる。 XC_i＝A＊X1_i＋B＊Y1_i＋C …(13) YC_i＝D＊X1_i＋E＊Y1_i＋F …(14)

【００５４】第２画像の３角パッチの各画素が補間パッ
チ内のどの画素にマッピングされるかも上記と同様にし
て求めることができる。すなわち、式（１）〜（６）に
より得られる補間パッチの３つの特徴点の座標(XC_i1,Y
C_i1),(XC_i2,YC_i2),(XC_i3,YC_i3)と、第２画像のｉ
番目に設定された３角パッチの３つの特徴点の座標(X2_
i1,Y2_i1),(X2_i2,Y2_i2),(X2_i3,Y2_i3)とを上記式
（７）〜（１２）に代入して、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ
の値を求めればよい。第２画像に対するこれらＡ，Ｂ，
Ｃ，Ｄ，Ｅ，Ｆの値は第１画像に対するものとは異なっ
ており、これらの値を用いた次式により、第２画像のｉ
番目の３角パッチにおける点(X2_i,Y2_i) の画素が補間
パッチにおける点(XC_i,YC_i)の画素にマッピングされ
る。 XC_i＝A＊X2_i＋B＊Y2_i＋C …(15) YC_i＝D＊X2_i＋E＊Y2_i＋F …(16)

【００５５】上記のようにして、第１および第２画像の
３角パッチ内の各画素が補間パッチのどの画素にマッピ
ングされるのかが求められると、第１および第２画像と
中間視点画像との間での画素位置の対応関係が得られた
ことになる。このような画素位置の対応関係に基づき画
素値のマッピングを行う。すなわち上記のようにして、
第１画像のｉ番目の３角パッチの点(X1_i,Y1_i) と第２
画像のｉ番目の３角パッチの点(X2_i,Y2_i)とが共に補
間パッチの点(XC_i,YC_i)と対応付けられる場合には、
補間パッチの点(XC_i,YC_i) の画素値 Fc(XC_i,YC_i)は
次式により得られる。 Fc(XC_i,YC_i)＝F1(X1_i,Y1_i)＊M1＋F2(X2_i,Y2_i)＊M2 …(17) ここで、F1(X1_i,Y1_i)は第１画像における点(X1_i,Y1_
i)の画素値であり、F2(X2_i,Y2_i)は第２画像における
点(X2_i,Y2_i)の画素値である。このように、第１およ
び第２画像の画素値に、それぞれ対応する重み係数を乗
じて加算することにより、補間パッチへの画素値のマッ
ピングを行う。なお、実際のマッピング処理では、後述
のように、第１画像の各画素の補間パッチへのマッピン
グを行った後に、第２画像の各画素の補間パッチへのマ
ッピングを行っているため、上記式(17)をそのまま使用
しているわけではない。

【００５６】基礎画像生成方法では、基本的には上記の
ようにして補間パッチへの画素値のマッピングを行う
が、湧出パッチや隠れパッチについてのマッピングの場
合は、２視点画像の対応する２つの３角パッチのうちい
ずれか一方にしか画像が存在しないため、上記のマッピ
ング方法をそのまま適用することはできない。そこで、
以下では、湧出パッチと隠れパッチのマッピング処理の
詳細について説明する。

【００５７】＜１.３.５.１ 湧出パッチのマッピング
処理＞湧出パッチの画像は２視点画像のうちの一方にし
か存在しないため、湧出パッチから補間パッチへの画素
のマッピングは、湧出領域における湧出パッチの画像の
みを用いて行わなければならない。また、湧出領域は視
点に応じて見え隠れするため、生成したい中間視点画像
の視点を決める重み係数Ｍ１，Ｍ２に応じて、中間視点
画像にマッピングする湧出領域を変化させなければなら
ない。

【００５８】そこで基礎画像生成方法では、湧出パッチ
からのマッピングの際に、湧出特徴点を、第１画像にお
ける位置と第２画像における位置との間で、重み係数Ｍ
１，Ｍ２に応じて移動させて、湧出パッチの一部の領域
をマッピングに使用するようにしている。図２３（ａ）
に示す第１画像と図２３（ｂ）に示す第２画像とから成
る２視点画像の場合には、このようなマッピングによ
り、重み係数Ｍ１，Ｍ２に応じて湧出特徴点が移動し
て、例えば湧出パッチ（Ｑ２，Ｐ２，Ｑ３）および（Ｐ
２，Ｐ３，Ｑ３）に対応する補間パッチは、図２３
（ｃ）〜（ｇ）に示すようになる。ここで、図２３
（ｃ）は重み係数（Ｍ１，Ｍ２）＝（１００％，０％）
に対応する補間パッチすなわち第１画像における湧出パ
ッチを示し、図２３（ｇ）は重み係数（Ｍ１，Ｍ２）＝
（０％，１００％）に対応する補間パッチすなわち第２
画像における線分のパッチを示し、図２３（ｄ），
（ｅ），（ｆ）は、それぞれ、重み係数（Ｍ１，Ｍ２）
＝（７５％，２５％），（５０％，５０％），（２５
％，７５％）に対応する補間パッチを示している。特に
湧出パッチ（Ｑ２，Ｐ２，Ｑ３）に注目すると、第２画
像に対する重み係数Ｍ２が大きくなるにしたがって辺Ｑ
２Ｑ３が点Ｐ２に近づいて湧出パッチが狭められ、補間
パッチへのマッピングに使用する画像領域が変化してい
ることがわかる。

【００５９】＜１.３.５.２ 隠れパッチのマッピング
処理＞隠れパッチの画像も２視点画像のうちの一方にし
か存在しないため、隠れパッチから補間パッチへの画素
のマッピングも、隠れ領域における隠れパッチの画像の
みを用いて行わなければならない。また、隠れパッチに
ついてのマッピングでは、補間パッチを表示させるか否
かを中間視点画像の視点に応じて決定しなければならな
い。

【００６０】そこで基礎画像生成方法では、隠れパッチ
からマッピングされる補間パッチの３つの特徴点の座標
に基づき、それらの特徴点が時計回りに並んでいるか否
かを調べることにより、中間視点画像において補間パッ
チを表示するか否かを決定する。補間パッチは、或る視
点を境にして面の向きが反転するからである。

【００６１】例えば、図２４（ａ）に示す第１画像と図
２４（ｂ）に示す第２画像とから成る２視点画像の場合
において、隠れパッチ（Ｐ１，Ｐ２，Ｐ３）に着目する
と、この隠れパッチは第１画像では表示されるが第２画
像では表示されない。この隠れパッチに対応する補間パ
ッチの形状は、ステップＳ５８で算出される補間パッチ
の特徴点のＰ１，Ｐ２，Ｐ３の座標によって決まり、中
間視点を決める重み係数Ｍ１，Ｍ２に応じて図２４
（ｃ）〜（ｉ）に示すようになる。ここで、図２４
（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），
（ｉ）は、それぞれ、重み係数（Ｍ１，Ｍ２）＝（９０
％，１０％），（８０％，２０％），（７０％，３０
％），（５０％，５０％），（３０％，７０％），（２
０％，８０％），（１０％，９０％）に対応する補間パ
ッチを示している。この例では、重み係数（Ｍ１，Ｍ
２）が（１００％，０％）〜（５０％，５０％）のと
き、補間パッチ（Ｐ１，Ｐ２，Ｐ３）の特徴点は時計回
り順となり、重み係数（Ｍ１，Ｍ２）が（５０％，５０
％）〜（０％，１００％）のとき、補間パッチ（Ｐ１，
Ｐ２，Ｐ３）の特徴点は反時計回り順となっている。と
ころで基礎画像生成方法では、既述のように、隠れパッ
チと対応した３角パッチの特徴点は、時計回り順に並ぶ
ように設定される。したがって、重み係数（Ｍ１，Ｍ
２）が（１００％，０％）〜（５０％，５０％）のと
き、中間視点画像において補間パッチを表示し、重み係
数（Ｍ１，Ｍ２）が（５０％，５０％）〜（０％，１０
０％）のとき、補間パッチは隠れ領域に含まれて見えな
いと判断し、これを表示しない。

【００６２】＜１.３.５.３ 補間パッチのマッピング
処理の手順＞上述の補間パッチへのマッピング方法に基
づく補間パッチへのマッピング処理の手順を図１５に示
すフローチャートを参照しつつ説明する。

【００６３】まず、変数ｉ，ｊにｉ＝１，ｊ＝１を初期
値として設定するとともに、生成したい中間視点画像に
おける各画素の値 Fc(x,y)をすべて０に初期化する（ス
テップＳ２０２）。

【００６４】次に、第ｊ画像のｉ番目に設定された３角
パッチ（以下、説明の便宜上、単に「ｉ番目の３角パッ
チ」という）が隠れパッチか否かを判定する（ステップ
Ｓ２０４）。この結果、ｉ番目の３角パッチが隠れパッ
チであれば、ステップＳ５８で求めた対応する補間パッ
チすなわちｉ番目の補間パッチの特徴点の座標に基づき
（ステップＳ１８４参照）、その補間パッチのパッチデ
ータにおいて特徴点が反時計回り順に並んでいるか否か
を判定する（ステップＳ２０６）。その結果、反時計回
り順に並んでいれば、その補間パッチは設定された中間
視点からは見えずこれを中間視点画像において表示しな
いため、画素のマッピングをせずにステップＳ２１８へ
進む。一方、時計回り順に並んでいる場合には、その補
間パッチへのマッピングを行うべくステップＳ２１２へ
進む。

【００６５】ステップＳ２０４で隠れパッチでないと判
定された場合は、ステップＳ２０８へ進み、ｉ番目の３
角パッチが湧出パッチか否か判定する。この結果、湧出
パッチであれば、第ｊ画像においてその湧出パッチの湧
出特徴点を重み係数Ｍ１，Ｍ２に応じて移動させて、湧
出パッチの一部の領域を後述のマッピングに使用するよ
うに設定し（ステップＳ２１０）、その後、ステップＳ
２１２へ進む。一方、ｉ番目の３角パッチが湧出パッチ
でないと判定された場合は、そのままステップＳ２１２
へ進む。

【００６６】ステップＳ２１２では、補間パッチの生成
処理（ステップＳ５８）で得られている補間パッチの３
つの特徴点の座標(XC_i1,YC_i1),(XC_i2,YC_i2),(XC_i
3,YC_i3) と、第ｊ画像のｉ番目の３角パッチの３つの
特徴点の座標(Xj_i1,Yj_i1),(Xj_i2,Yj_i2),(Xj_i3,Yj_
i3) とをアフィン変換の式（７）〜（１２）に代入し
て、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの値を求める。次に、アフ
ィン変換の式（１３）（１４）または（１５）（１６）
により、第ｊ画像のｉ番目の３角パッチの各画素がｉ番
目の補間パッチのどの画素にマッピングされるかを求め
る（ステップＳ２１４）。これにより、第ｊ画像のｉ番
目の３角パッチと生成したい中間視点画像のｉ番目の補
間パッチとの間における、画素位置の対応関係が得られ
る。この画素位置の対応関係に基づき、第ｊ画像のｉ番
目の３角パッチの各画素値のｉ番目の補間パッチへのマ
ッピングを行う（ステップＳ２１６）。すなわち、第ｊ
画像のｉ番目の３角パッチの座標(a,b) における画素が
ｉ番目の補間パッチにおける座標(c,d)における画素に
マッピングされるとき、第ｊ画像における座標(a,b)の
画素値 Fj(a,b) に重み係数Ｍｊを乗じた値を、中間視
点画像における座標(c,d)のこの時点までの画素値 Fc
(c,d)に加算する。つまり、 Fc(c,d)＋Fj(a,b)＊Mj …(18) を新たなFc(c,d) として設定する。これは、前述の式
（１７）によりｉ番目の補間パッチの画素値 Fc(XC_i,Y
C_i)を求める計算の一部を構成する。

【００６７】上記のような画素値のマッピング処理の
後、変数ｉの値を１だけ増やす（ステップＳ２１８）。
その後、変数ｉが設定した３角パッチ数以下か否かを判
定し、設定３角パッチ数以下であればステップＳ２０４
へ戻る。以降、変数ｉが設定３角パッチ数以下である
間、ステップＳ２０４〜Ｓ２２０を繰り返し実行する。
この間に変数ｉが設定３角パッチ数を越えれば、第ｊ画
像のすべての３角パッチからのマッピングが終了したた
め、ステップＳ２２２へ進む。

【００６８】ステップＳ２２２では、変数ｊの値を１だ
け増やすとともに、変数ｉの値を１に初期化する。そし
て次に、変数ｊが２以下か否かを判定し（ステップＳ２
２４）、２以下であれば、ステップＳ２０４へ戻る。以
降、ｊ＝２について、ステップＳ２０４〜Ｓ２２２を実
行する。そして、ステップＳ２２４を再度実行した時点
ではｊ＝３であるので、この補間パッチへのマッピング
処理を終了する（ステップＳ２２４）。以上の処理によ
り、中間視点画像における各画素値が前記式（１７）に
より算出されたことになる。

【００６９】このようにして得られた中間視点画像の各
画素値を示す画像データを用いて、モニタ等に中間視点
画像が表示される。

【００７０】＜１.４ 基礎画像生成方法の効果＞以上
のように基礎画像生成方法によれば、対象物の３次元形
状に関する情報を必要とすることなく、モーフィング技
術を利用して２視点画像から所望の中間視点画像を生成
することができる。また基礎画像生成方法では、湧出特
徴点および隠れ特徴点を導入し、湧出パッチや隠れパッ
チに応じたマッピング処理（ステップＳ２０４〜Ｓ２１
０参照）などを行うことにより、図２５に示すように手
前の物体によって奥の物体の一部が隠れている場合や、
図２６に示すように対象物の或る面が２視点画像の一方
の画像には現れ他方の画像には現れていない場合であっ
ても、適切な中間視点画像を生成することができる。

【００７１】＜２．実施形態１＞以下、本発明の一実施
形態（以下「実施形態１」という）である棚割シミュレ
ーション方法について説明する。この棚割シミュレーシ
ョン方法は、商品（例えば、服、靴、バッグ等）の棚へ
の配置を検討するためのシミュレーション方法であっ
て、操作者の指定に基づき、棚への商品を配置を決定
し、商品の配置された棚を所望の視点から見た画像すな
わち配置画像を生成する。

【００７２】＜２.１ 実施形態１で使用するハードウ
ェアの構成＞図３は、本実施形態の棚割シミュレーショ
ン方法を実施するための棚割シミュレーション装置のハ
ードウェア構成を示すブロック図である。この棚割シミ
ュレーション装置のハードウェアは、デジタルカメラ１
０などの外部機器との間でデータの入出力を行うための
Ｉ／Ｏインタフェース部１２と、キーボード２４やマウ
ス２６などの入力操作手段からデータを受け取る入力イ
ンタフェース部１４と、各部の制御やデータ処理を行う
ＣＰＵ（中央処理装置）１６と、画像表示手段としての
モニタ１８と、画像データを格納するための画像メモリ
２０と、ＣＰＵ１６によって実行されるプログラムや作
業用データを格納するためのメインメモリ２２とをバス
５０で接続した構成となっており、例えばパーソナルコ
ンピュータとして実現されるものである。

【００７３】上記構成の棚割シミュレーション装置は、
メインメモリ２２に格納された所定のプログラムをＣＰ
Ｕ１６が実行することにより、棚などの商品配置用備品
への商品の配置を検討するための棚割シミュレーション
を行う。本実施形態においてＣＰＵ１６が実行する上記
プログラム（以下「棚割シミュレーションプログラム」
という）は、典型的には、当該プログラムを記憶した記
憶媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ
等）によって提供される。すなわち、ユーザは、購入し
た記憶媒体を上記棚割シミュレーション装置にセット
し、そこに記憶されている棚割シミュレーションプログ
ラムを読み取らせて、ハードディスク装置等の記憶装置
（図示せず）にインストールする。また、バス５０を介
してオンラインで伝送されてくる棚割シミュレーション
プログラムを記憶装置にインストールするようにしても
よい。さらに、メーカが棚割シミュレーション装置を出
荷する前に、予め記憶装置に棚割シミュレーションプロ
グラムをインストールしておくようにしてもよい。この
ようにしてインストールされたプログラムは、記憶装置
からメインメモリ２２にロードされてＣＰＵ１６により
実行される。

【００７４】＜２.２ 棚割シミュレーション方法の詳
細＞以下、本実施形態の棚割シミュレーション方法の詳
細につき、予め設定された複数の視点から各商品および
棚を個別に撮影して得られた個別画像（以下「個別撮影
画像」という）を用いて、操作者からの指定に基づき、
所望の視点からの配置画像を生成する場合を例にとって
説明する。

【００７５】＜２.２.１ 商品および棚の撮影と撮影画
像の入力＞図１は、本実施形態の棚割シミュレーション
方法の手順を示すフローチャートである。この棚割シミ
ュレーション方法では、まず、外部機器であるデジタル
カメラ１０により、予め設定された複数の視点（以下
「撮影視点」という）のそれぞれから、棚および棚に配
置すべき各商品を個別に撮影する（ステップＳ１０）。
この個別撮影の際に、各商品画像間のサイズ比が実際の
各商品間のサイズ比に一致するようにズームを調整す
る。また、商品画像と棚画像とのサイズ比についてもズ
ーム調整により実際の商品と棚とのサイズ比に一致させ
るようにしてもよいが、実際の棚と商品のサイズ比を棚
割シミュレーション装置に操作者が入力し、棚画像と商
品画像とのサイズ比が入力されたサイズ比に一致するよ
うに装置内で画像サイズを調整するようにしてもよい。

【００７６】上記個別撮影の具体的な方法としては、商
品や棚を載置するターンテーブルを用意し、そのターン
テーブルとカメラ１０との間を固定して撮影するという
方法を用いることができる。この場合、ターンテーブル
を回転させることにより左右方向の複数視点からの個別
撮影画像を得ることができる。また、この場合におい
て、上下方向の複数視点から撮影するときには、カメラ
１０の位置および角度を予め設定しておいて移動させる
か、または複数台のカメラを使用する。このようなター
ンテーブルを用いる方法の他、商品や棚を固定しカメラ
１０を複数の指定位置に順次移動させて撮影する方法
や、複数のカメラを複数の所定位置に１台ずつ固定して
撮影する方法を使用してもよい。

【００７７】図４（ａ）は、３つの撮影視点から棚を撮
影する場合を示している。この場合、それらの撮影視点
に対応して図４（ｂ），（ｃ），（ｄ）にそれぞれ示す
ような棚画像が得られる。また、図５（ａ）は、棚に配
置すべき商品のうちの一つを３つの撮影視点から撮影す
る場合を示している。この場合、それらの撮影視点に対
応して図５（ｂ），（ｃ），（ｄ）にそれぞれ示すよう
な商品画像が得られる。なお、図４および図５では左右
方向に撮影視点が設けられているが、上下にも視点を変
えて配置を検討したい場合には、上下方向にも撮影視点
を設け、それらの撮影視点からも棚および各商品を撮影
する。

【００７８】このようにして複数の撮影視点からの棚画
像および各商品画像が個別撮影画像として得られると、
これらの個別撮影画像のデータをＩ／Ｏインタフェース
部１２を介して装置に入力し画像メモリ２０に格納する
（ステップＳ１２）。

【００７９】＜２.２.２ 個別撮影画像に対する特徴点
の対応付けおよび３角パッチの設定＞次に、このように
して装置内に取り込まれた個別撮影画像において、それ
に対応する商品または棚の同一箇所と見なせる特徴点を
各個別撮影画像間で対応付ける（ステップＳ１４）。具
体的には、上記複数の撮影視点のうち隣接する２つの撮
影視点を順次抽出し、抽出した２つの撮影視点（以下、
これら２つの撮影視点を「第１抽出視点」および「第２
抽出視点」という）からの２つの個別撮影画像の間での
特徴点の対応付けを行う。すなわち、２つの撮影視点が
抽出される毎に、第１抽出視点からの商品画像と第２抽
出視点からの商品画像との間で特徴点の対応付けを各商
品について行うとともに、第１抽出視点からの棚画像と
第２抽出視点からの棚画像との間での特徴点の対応付け
を行う。例えば、図４（ｂ），（ｃ），（ｄ）は３つの
撮影視点からの棚画像に対する特徴点の対応付けの途中
の状態を示すものであり、同一の番号の特徴点が互いに
対応付けられている。同様に、図５（ｂ），（ｃ），
（ｄ）は３つの撮影視点からの商品画像に対する特徴点
の対応付けの途中の状態を示すものである。このような
各商品および棚のそれぞれの第１および第２抽出視点か
らの個別撮影画像という２視点画像の間での特徴点の対
応付け処理は、図１１のステップＳ５２に相当し、その
詳細な手順は、基礎画像生成方法の場合と同様であって
図１２に示す通りである。ただし、本実施形態では、視
点の変更による商品間での見え隠れや商品と棚の間での
見え隠れは、後述のように配置画像生成の際の商品画像
データの上書き処理により対処し、湧出領域について
は、商品または棚の一部がそれ自身の他の部分よって見
え隠れする領域のみを考慮して湧出特徴点による対応付
けを行う。

【００８０】個別撮影画像に対する特徴点の対応付け処
理が終了すると、各個別画像において対応する３つの特
徴点を選んで３角パッチを設定することにより、各個別
画像を３角形の領域に分割する（ステップＳ１６）。す
なわち、上記複数の撮影視点のうち隣接する２つの撮影
視点を順次抽出し、抽出した２つの撮影視点（第１抽出
視点および第２抽出視点）からの２つの個別撮影画像に
おいて対応する特徴点を頂点とする３角形の領域に分割
する。このような各商品および棚のそれぞれの第１およ
び第２抽出視点からの個別撮影画像という２視点画像に
対する３角パッチの設定処理は、図１１のステップＳ５
４に相当し、その詳細な手順は、基礎画像生成方法の場
合と同様であって図１３に示す通りである。

【００８１】なお、上記の特徴点の対応付け処理のステ
ップＳ１４と３角パッチの設定処理のステップＳ１６と
を一つにまとめてもよい。すなわち、上記複数の撮影視
点のうち隣接する２つの撮影視点を順次抽出し、２つの
撮影視点を抽出する毎に、２視点画像に対する特徴点の
対応付けに続けて３角パッチの設定処理を行うようにし
てもよい。

【００８２】＜２.２.３ 商品配置の決定＞上記のよう
にして特徴点の対応付け処理および３角パッチの設定処
理が行われると、次に、棚への商品の配置を決定する
（ステップＳ１８）。本実施形態では、撮影画像に対し
各商品画像を配置することにより商品配置を決定し、決
定すべき商品配置に対応した各商品画像の棚画像への配
置を全ての撮影視点について行う。具体的には、モニタ
１８に棚画像および商品画像を表示し、各撮影視点から
の棚画像に対して対応する撮影視点からの各商品の商品
画像を操作者がマウス２６等の操作手段を使用してモニ
タ１８上で配置していく。このとき、棚における商品の
前後関係を考慮しつつ配置する。すなわち、商品画像の
示す商品の配置位置がその視点から見て手前か奥かを考
慮しつつ商品画像を棚画像に配置することにより、棚に
おける商品の配置を商品画像間での重なりに反映させ
る。そして、この商品画像間での重なり関係を示す情報
を、棚における商品の前後関係を示す情報（以下「商品
前後関係情報」という）としてメインメモリ２２に記憶
しておく。本実施形態では、特徴点を個別撮影画像毎に
グループ化し、各商品の個別撮影画像に対応するグルー
プ化された特徴点群に対して、その特徴点群に対応する
商品の前後関係に応じたグループ番号を付与し、このグ
ループ番号を商品前後関係情報とする。グループ番号の
付与は、例えば、視点から見て手前に配置される商品に
対応するグループ番号が奥に配置される商品に対応する
グループ番号よりも常に大きい番号となるようにすれば
よい。以下では、手前の商品に対応するグループ番号が
奥の商品に対応するグループ番号よりも常に大きいもの
として説明を進める。

【００８３】このようにして棚画像への商品画像の配置
を指定することにより、棚に対する各商品の３次元的な
位置関係が与えられる。これは、棚への商品の配置を決
定することを意味する。

【００８４】＜２.２.４ 視点の指定＞棚への商品の配
置が決定されると、その配置を検討するために操作者が
所望の視点を指定する。この所望の視点は、一般的に
は、予め設定されている複数の撮影視点のうちの隣接す
る２つの撮影視点の間の中間視点である（以下、所望の
視点を挟んで隣接する２つの撮影視点を「第１視点」お
よび「第２視点」という）。本実施形態では、操作者が
所望の中間視点に対応する重み係数Ｍ１，Ｍ２をキーボ
ードやマウスなどを用いて入力することにより所望の視
点を指定する（ステップＳ２０）。ここで、Ｍ１は第１
視点からの個別撮影画像に対する重み係数、Ｍ２は第２
視点からの個別撮影画像に対する重み係数であり、Ｍ１
＋Ｍ２＝１である。

【００８５】＜２.２.５ 配置画像の生成＞上記のよう
にして第１および第２視点の間の中間視点である所望の
視点が指定されると、第１および第２視点からの個別撮
影画像を用いて、所望の視点からの配置画像を生成する
（ステップＳ２２）。

【００８６】図２は、この配置画像を生成する手順を示
すフローチャートである。配置画像を生成するには、ま
ず、棚および各商品のそれぞれについて、第１および第
２視点からの個別撮影画像の対応する２つの３角パッチ
と、指定された所望の視点である中間視点に対応する上
記重み係数Ｍ１，Ｍ２とを用いて、補間パッチの特徴点
の２次元座標を求める（ステップＳ１００）。このステ
ップＳ１００は、図１１のステップＳ５８に相当し、ス
テップＳ１００の詳細手順も、基礎画像生成方法の場合
と同様であって図１４に示す通りである。ただし、第１
および第２視点からの各個別撮影画像はそれぞれの視点
からの配置画像に応じた位置関係にあるものとして、補
間パッチの特徴点の２次元座標を求める。

【００８７】このような補間パッチの生成処理が終了す
ると、棚および各商品のそれぞれにつき、各補間パッチ
に、その補間パッチに対応する第１および第２視点から
の個別撮影画像の３角パッチの画像を重み係数Ｍ１，Ｍ
２に応じてマッピングする（ステップＳ１０２）。この
ステップＳ１０２は、図１１のステップＳ６０に相当
し、ステップＳ１０２の詳細手順も、基礎画像生成方法
の場合と同様であって図１５に示す通りである。このよ
うにして生成される中間視点からの個別画像である棚画
像および各商品画像のそれぞれは、ステップＳ１８で決
定された配置に基づく位置関係となり、生成される商品
画像の間では重なりが生じうる。本実施形態では、この
商品画像間での重なり関係が、ステップＳ１８でメイン
メモリ２２に記憶された商品前後関係情報によって示さ
れる重なり関係に一致するように、中間視点からの各個
撮影画像を生成する。すなわち、中間視点からの配置画
像のデータを画像メモリ２０内に生成する際において、
棚画像のデータを画像メモリ２０に書き込んだ後に、上
記の商品前後関係情報に基づき棚における商品の前後関
係に対応する順に、中間視点からの商品画像のデータを
画像メモリ２０に上書きしていく。具体的には、グルー
プ番号の大きい商品画像をグループ番号の小さい商品画
像の上に上書きすればよい。これにより、中間視点から
の配置画像のデータとして、ステップＳ１８で決定され
た配置に対応した画像データが画像メモリ２０内に生成
される。

【００８８】なお、指定された所望の視点に対応する第
１視点および第２視点とで棚における商品配置の前後関
係が異なる場合は、商品前後関係情報の基づく商品画像
データの上書きによる手法では、正しく配置画像を生成
することができない。この場合には、第１視点と第２視
点との間に撮影視点を追加することにより、隣接撮影視
点間で棚における商品配置の前後関係が異ならないよう
にすればよい。

【００８９】＜２.２.６ 配置画像の表示および商品配
置の検討＞上記のようにして所望の中間視点からの配置
画像のデータが画像メモリ２０内に生成されると、この
データを用いてモニタ１８に中間視点からの配置画像を
表示する。図６は、モニタ１８に表示される中間視点か
らの配置画像の一例を示している。操作者は、この表示
を見て商品配置が適切か否かを検討する。この商品配置
の検討において操作者は、必要に応じて他の視点を指定
し、他の視点からの配置画像を生成して表示しつつ（ス
テップＳ２６，Ｓ２０，Ｓ２２，Ｓ２４）、商品配置が
適切か否かを検討する（ステップＳ２８）。このように
して検討した結果、商品配置が適切でないと操作者が判
断した場合は、商品を配置し直し（ステップＳ１８）、
新たな商品配置に対して、配置画像の生成および表示な
どを行う。以降、商品配置が適切と判断されるまで、ス
テップＳ１８〜Ｓ２８を繰り返し実行し、商品配置が適
切と判断されると、棚割シミュレーションを終了する。
なお、棚の商品配置が完了してから配置画像を生成し表
示する代わりに、商品の配置を進めながら所望の視点か
らの配置画像を生成して表示してもよい。例えば図６に
示した配置画像は棚の最上段への商品配置のみが終了し
た配置途中の画像と考えることができ、この後に、棚の
下段への商品配置並びにその商品配置に対応する配置画
像の生成および表示を行うようにしてもよい。

【００９０】上記では所望の視点からの配置画像が静止
画としてモニタ１８に表示されるが、所望の視点を指定
する代わりに視点移動を指定して配置画像を動画的に表
示することも可能である。すなわち、指定された視点移
動の経路に沿った複数の視点を順次抽出し、抽出した視
点からの配置画像を順次生成して、生成した配置画像を
所定の時間間隔でモニタ１８に順次表示していくことに
より、配置画像を動画的に表示するができる。

【００９１】＜２.３ 実施形態１の効果＞本実施形態
によれば、配置すべき商品の３次元形状等の情報を必要
とすることなく、棚画像および商品画像を用いて商品の
配置を決定し、所望の視点からの配置画像を生成するこ
とができるため、低コストで棚への商品の配置をシミュ
レーションすることができる。また、商品配置をより詳
細に検討するために、所望の視点を繰り返し指定して複
数視点からの配置画像を生成することも可能である。例
えば、左右の視点からの配置画像を生成したり、図７に
示すように大人の視点と子供の視点にそれぞれ対応する
上下の視点からの配置画像を生成したりすることもでき
る。さらに、本実施形態の棚割シミュレーションにおい
て、２つの視点からの棚画像および商品画像を用いて傾
斜した棚へ商品を配置したり種々の方向を向けて商品を
配置したりする等、自由な商品配置が可能であり、その
ような自由な商品配置に対して違和感のない適切な配置
画像を生成することができる。

【００９２】＜３．実施形態２＞本発明の他の実施形態
（以下「実施形態２」という）である棚割シミュレーシ
ョン方法について説明する。本実施形態の棚割シミュレ
ーション方法を実施するためのハードウェアは実施形態
１と同様であって、その構成は図３に示す通りである。

【００９３】＜３.１ 実施形態２における棚割シミュ
レーション方法の詳細＞図８は、本実施形態の棚割シミ
ュレーション方法の手順を示すフローチャートである。
この棚割シミュレーション方法は、実施形態１と異な
り、商品配置の決定の前に特徴点の３次元座標値を算出
するステップＳ３７を有する。また、商品配置の決定の
ステップＳ３８と配置画像の生成のステップＳ４２の内
容が実施形態１の場合と相違する。他のステップＳ３
０，Ｓ３２，Ｓ３４，Ｓ３６，Ｓ４０，Ｓ４４，Ｓ４
６，Ｓ４８は、実施形態１の場合におけるステップＳ１
０，Ｓ１２，Ｓ１４，Ｓ１６，Ｓ２０，Ｓ２４，Ｓ２
６，Ｓ２８とそれぞれ同様である。そこで以下では、図
４に示すフローチャートにおけるステップのうちステッ
プＳ３７，Ｓ３８，Ｓ４２について説明する。

【００９４】＜３.１.１ 特徴点の３次元座標値の算出
（ステップＳ３７）＞本実施形態では、特徴点の対応付
け処理（ステップＳ３４）および３角パッチの設定処理
（ステップＳ３６）を行った後に、各個別撮影画像の各
特徴点の３次元座標値を算出する（ステップＳ３７）。
すなわち、棚および各商品のそれぞれの個別撮影に対し
て予め３次元座標（以下「個別３次元座標」という）を
設定しておき、棚および各商品における特徴点の位置を
個別３次元座標で表した座標値をステレオ３次元画像セ
ンシングにより算出する。３次元座標値の算出される特
徴点は、異なる視点からの画像に存在するものに限定さ
れる。基礎画像生成方法の説明において述べた隠れ特徴
点および湧出特徴点は１視点からの画像にのみ存在し、
これらの特徴点については３次元座標値を得ることはで
きない。ただし、棚への商品の配置は、３次元座標値の
得られる特徴点により決定することができる。ステレオ
３次元画像センシングによれば、図９に示すように、異
なる２つの撮影視点Ｅ_L，Ｅ_Rから同一の対象物を撮影し
た２つの画像Ｉm_L，Ｉm_Rが得られている場合、それらの
撮影におけるカメラパラメータ、即ちその２つの撮影視
点Ｅ _L，Ｅ_Rに対応する２台のカメラの位置関係を表すパ
ラメータｂやそれらカメラの焦点距離ｆなどが既知であ
れば、それらの画像上の投影点の位置Ｐ_L，Ｐ_Rからその
点の３次元位置Ｐ(Ｘ，Ｙ，Ｚ)を算出することができる
（例えば、富岡正敏「ステレオ３次元画像センシング」
第４回画像センシングシンポジウムチュートリアル講演
会基礎コーステキスト 参照）。そこで本実施形態で
は、予め設定されている複数の撮影視点のうちから２つ
の撮影視点を抽出し、その２つの視点からの個別撮影画
像の各特徴点の位置を画像座標で表した座標値から、そ
の各特徴点の位置をその個別撮影画像に対応する個別３
次元座標で表した座標値を算出する。ここで、「画像座
標」は、各個別撮影画像上に設定された２次元座標であ
り、図９におけるｘ_Lｙ_L座標またはｘ_Rｙ_R座標に相当す
る。

【００９５】このようにして個別撮影画像における特徴
点の個別３次元座標による座標値を算出する際におい
て、カメラパラメータが既知でない場合には、例えば次
のようにしてカメラパラメータを求める。上記の基礎コ
ーステキストの論文「ステレオ３次元画像センシング」
における第２９頁〜第３０頁に記載されているように、
撮影の対象物における６点に対する画像座標値と３次元
座標値とからなる６組の座標値からその撮影におけるカ
メラパラメータに相当する透視投影行列を算出するとい
うカメラキャリブレーションが知られている。そこで本
実施形態では、カメラパラメータが既知でない場合に
は、各個別撮影画像の示す棚または商品における６点の
位置を上記２つの視点に対応するそれぞれの画像座標で
表した座標値と３次元座標で表した座標値とからなる６
組の座標値を与え、その６組の座標値を用いてカメラキ
ャリブレーションを行うことによりカメラパラメータを
算出する。

【００９６】＜３.１.２ 商品配置の決定（ステップＳ
３８）＞図１０は、本実施形態における商品配置の決定
（ステップＳ３８）の詳細を示すフローチャートであ
る。本実施形態では商品配置の決定のために、まず、予
め設定されている複数の撮影視点から２つの撮影視点を
選ぶ（ステップＳ１１０）。次に、選ばれた２視点から
の個別撮影画像である商品画像および棚画像を用いて、
これら２視点のそれぞれについて、棚画像に対し各商品
画像を配置する（ステップＳ１１２）。具体的には、２
視点からの棚画像を同時にモニタ１８に表示しておき、
それぞれの視点からの棚画像に対して、対応する視点か
らの各商品の商品画像を操作者がマウス２６等のポイン
ティングデバイスを使用してモニタ１８上で配置してい
く。なお、２つの撮影視点を選ぶ代わりに、商品画像の
配置に都合の良い中間視点を選び、その中間視点を含め
た２つの視点からの商品画像および棚画像を用いて商品
画像の配置を行ってもよい。また、３つ以上の視点から
の商品画像および棚画像を用いて商品画像の配置を行っ
てもよい。

【００９７】一般に、商品配置を決定するには、棚と商
品との３次元的な位置関係を与えなければならないた
め、上記のように少なくとも２視点について棚画像に対
する商品画像の配置を指定する必要がある。しかし、所
定の条件の下では、１視点のみについて棚画像に対する
商品画像の配置を指定することにより商品配置を決定す
ることができる。すなわち、正面以外の斜め方向の視点
のように棚の各段の上面全体が見える撮影視点を一つ選
べば、その撮影視点からの棚画像および商品画像のみを
用いて商品配置を決定することができる。この場合、例
えば、棚画像に現れている棚の各段のいずれかの段に商
品画像が重ねられると、その段の上面にその商品画像の
商品が載置されるものと見なすことにより（すなわち棚
のその段の上面とその商品の底面とが同一平面上に存在
するという拘束条件を導入することにより）、その段の
上面におけるその商品の位置である２次元な位置を指定
するだけで商品の配置が決定される。これは、１つの撮
影視点のみについて棚画像への商品画像の配置を指定す
ることにより商品配置が決定されることを意味する。

【００９８】ところで本実施形態では、個別撮影画像の
特徴点の３次元座標値が得られているため（ステップＳ
３７）、棚画像および商品画像における２点間の実際の
長さを算出することができる。したがって、棚画像と商
品画像とのサイズ比が実際の棚と商品とのサイズ比に一
致していない場合に、これらのサイズ比が一致するよう
に商品画像のサイズを自動的に調整する機能を装置に持
たせることができる。このようにすれば、商品画像間の
サイズ比や棚画像と商品画像とのサイズ比を個別撮影時
等に予め調整しなくとも、操作者は棚画像に対し商品画
像を適切に配置することができる。

【００９９】本実施形態における商品配置の決定の際に
は、実施形態１とは異なり、商品前後関係情報を作成し
ない。その代わりに、棚および各商品に共通の３次元座
標として、商品を配置すべき棚の存在する空間に対して
予め３次元座標（以下「配置３次元座標」という）を設
定しておき、２視点についての商品画像の配置（ステッ
プＳ１１２）で決定された商品配置に基づき、棚に配置
された各商品の特徴点の位置を配置３次元座標で表した
座標値を算出する（ステップＳ１１４）。すなわち、配
置の決定によって棚に対する各商品の位置関係が与えら
れるため、この位置関係に基づき、個別３次元座標によ
る各商品の特徴点の座標値を配置３次元座標による座標
値に変換する。

【０１００】その後、各商品の特徴点の配置３次元座標
による座標値を用いて、ステップＳ１１０で選ばれた２
つの撮影視点以外の他の全ての撮影視点につき配置画像
を生成する（ステップＳ１１６）。このために、まず、
上記２つの撮影視点以外の他の撮影視点を一つずつ順次
抽出し、抽出した撮影視点からの棚画像における画像座
標で各商品画像の特徴点の位置を表した座標値（以下
「画像座標値」という）を算出する。すなわち、配置３
次元座標で特徴点の位置を表した座標値（以下「配置３
次元座標値」という）を画像座標値に変換する。次に、
このようにして得られた画像座標値に基づく位置に、棚
における商品の前後関係に対応する順に、抽出した撮影
視点からの各商品画像を重ねて配置する。具体的には、
抽出した撮影視点からの各商品画像のデータを、画像座
標値に対応する画像メモリ２０の領域に、配置３次元座
標値に応じた順に上書きしていく。このようにして、全
ての撮影視点からの配置画像データを画像メモリ２０内
に生成する。

【０１０１】＜３.１.３ 配置画像の生成（ステップＳ
４２）＞次に、指定された所望の視点に対応する２つの
撮影視点である第１および第２視点からの個別撮影画像
を用いて、第１および第２視点の間の中間視点である所
望の視点からの配置画像を生成する（ステップＳ４
２）。

【０１０２】本実施形態における配置画像の生成手順
は、基本的には実施形態１と同様であって（図２参
照）、まず、第１および第２視点からの各個別撮影画像
がそれぞれの視点からの配置画像に応じた位置関係にあ
るものとして、それら各３角パッチに対応する、所望の
視点（中間視点）からの画像における補間パッチの特徴
点の２次元座標を求める。次に、棚および各商品のそれ
ぞれにつき、各補間パッチに、その補間パッチに対応す
る第１および第２視点からの個別撮影画像の３角パッチ
の画像を重み係数Ｍ１，Ｍ２に応じてマッピングする。
このようにして中間視点からの個別画像が、決定された
配置に対応した位置関係を保って生成され、これにより
中間視点からの配置画像が得られる。このとき実施形態
１では、商品前後関係情報に基づき中間視点からの個別
画像のデータが画像メモリ２０に上書きされるが、本実
施形態では、各商品の特徴点の配置３次元座標値に基づ
き、棚における商品の前後関係に対応する順に中間視点
からの商品画像のデータを画像メモリ２０に上書きして
いく。これにより、ステップＳ３８で決定された配置に
対応した、中間視点からの配置画像のデータが画像メモ
リ２０内に生成される。

【０１０３】＜３.２ 実施形態２の効果＞本実施形態
によれば、低コストで棚への商品の配置をシミュレーシ
ョンすることができる等、実施形態１と同様の効果が得
られる。これに加え本実施形態では、操作者は選ばれた
撮影視点（本実施形態では２つの撮影視点）について商
品画像の配置を行えばよく、他の撮影視点については、
ステレオ３次元画像センシングにより得られる特徴点の
３次元座標値に基づき装置内で配置画像を生成すること
ができる（ステップＳ１１６）。さらに本実施形態によ
れば、各商品の特徴点の配置３次元座標値により、所望
の視点から見た商品の前後関係を判断できるため、実施
形態１とは異なり、所望の視点に対応する隣接撮影視点
である第１視点と第２視点とで棚における商品の前後関
係が異なる場合であっても、所望の視点からの配置画像
を正しく生成することができる。

【０１０４】＜４．変形例＞上述の実施形態１および２
では、棚への商品の配置を検討するための棚割シミュレ
ーションを例に挙げて説明したが、本発明は、棚以外の
他の商品配置用備品への商品の配置の他、店舗内の各場
所への商品の配置を検討するためのシミュレーションに
も適用可能である。また、店舗内での客の移動に対応し
た視点移動の経路を設定し、その視点移動の経路に沿っ
た複数の視点を順次抽出して、その視点からの配置画像
を順次生成することにより、店舗のウォークスルーをシ
ミュレーションすることができる。

【０１０５】なお、上述の実施形態１および２では、予
め設定された複数の視点から棚および各商品を撮影する
ことにより棚画像および各商品画像を得ているが、３次
元ＣＡＤソフトウェアにより複数の視点からの棚画像お
よび各商品画像を生成し、これらを用いて所望の視点か
らの配置画像を生成するようにしてもよい。また、予め
設定された複数視点からの配置画像自体を３次元ＣＡＤ
ソフトウェアで生成し、それらの複数視点の間の所望の
視点からの配置画像を基礎画像生成方法により生成する
ことも可能である。これらの場合、その複数の視点から
の棚画像および商品画像や配置画像の生成には、３次元
ＣＡＤソフトウェアを使用するため、商品の３次元形状
等の情報が必要でありコストを要するが、３次元ＣＡＤ
ソフトウェアによりこれらの画像が生成された後は、２
次元画像データに対する処理のみで所望の視点からの配
置画像が生成される。したがって、これらの場合におい
ても、３次元ＣＡＤソフトウェアを用いた従来の棚割シ
ミュレーションに比べ、コストを抑えることができ、ま
た処理時間も短縮できる。

【図面の簡単な説明】

【図１】本発明の一実施形態（実施形態１）である棚割
シミュレーション方法の手順を示すフローチャート。

【図２】実施形態１の棚割シミュレーションにおける配
置画像の生成手順を示すフローチャート。

【図３】実施形態１の棚割シミュレーション方法を実施
するための棚割シミュレーション装置のハードウェア構
成を示すブロック図。

【図４】棚の撮影および撮影により得られる棚画像を示
す図。

【図５】商品の撮影および撮影により得られる商品画像
を示す図。

【図６】所望の視点である中間視点からの配置画像の一
例を示す図。

【図７】大人の視点と子供の視点にそれぞれ対応する上
下の視点からの配置画像を示す図。

【図８】本発明の他の実施形態（実施形態２）である棚
割シミュレーション方法の手順を示すフローチャート。

【図９】ステレオ３次元画像センシングにおけるカメラ
構成と座標系とを示す図。

【図１０】本発明の実施形態２における商品配置の決定
の詳細を示すフローチャート。

【図１１】本発明の基礎技術である基礎画像生成方法を
示すフローチャート。

【図１２】上記基礎画像生成方法における２視点画像の
特徴点の対応付け処理を示すフローチャート。

【図１３】上記基礎画像生成方法における３角パッチの
設定処理を示すフローチャート。

【図１４】上記基礎画像生成方法における補間パッチの
生成処理を示すフローチャート。

【図１５】上記基礎画像生成方法における補間パッチへ
のマッピング処理を示すフローチャート。

【図１６】２視点画像における特徴点の対応付けを説明
するための図。

【図１７】２視点画像における湧出特徴点による対応付
けを説明するための図。

【図１８】２視点画像における隠れ特徴点による対応付
けを説明するための図。

【図１９】湧出パッチの設定を説明するための図。

【図２０】隠れパッチの設定を説明するための図。

【図２１】補間パッチを生成する処理を説明するための
図。

【図２２】補間パッチへのマッピング処理を説明するた
めの図。

【図２３】湧出パッチからのマッピング処理を説明する
ための図。

【図２４】隠れパッチからのマッピング処理を説明する
ための図。

【図２５】湧出領域を含む２視点画像を示す図。

【図２６】隠れ領域を含む２視点画像を示す図。

【符号の説明】

１０ …デジタルカメラ １２ …Ｉ／Ｏインタフェース部 １４ …入力インタフェース部 １６ …ＣＰＵ １８ …モニタ ２０ …画像メモリ ２２ …メインメモリ ２４ …キーボード ２６ …マウス Ｐ２ …隠れ特徴点 Ｑ１，Ｑ２，Ｑ３ …湧出特徴点

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井根 英一 京都市上京区堀川通寺之内上る４丁目天神 北町１番地の１ 大日本スクリーン製造株 式会社内 Ｆターム(参考） 5B049 AA06 BB11 EE01 EE03 EE07 EE41 FF03 FF09

Claims (5)

【特許請求の範囲】
1. 【請求項１】 棚等の商品配置用備品への商品の配置を
   示す配置画像を生成することにより商品の配置をシミュ
   レーションする棚割シミュレーション方法であって、 予め設定された視点群の各視点からの前記商品配置用備
   品と前記商品配置用備品へ配置すべき各商品とのそれぞ
   れの画像である個別画像を獲得する個別画像獲得ステッ
   プと、 前記視点群の各視点からの個別画像において前記商品配
   置用備品および各商品のそれぞれの同一箇所と見なせる
   特徴点を選定し、該特徴点を前記視点群の各視点からの
   個別画像の間で対応付ける対応付けステップと、 前記商品配置用備品および各商品のそれぞれにつき、前
   記視点群の各視点からの個別画像の間で対応付けられた
   特徴点を３個ずつ選んで該３個の特徴点を頂点として含
   む３角パッチを設定することにより、前記視点群の各視
   点からの個別画像を３角形領域に分割する分割ステップ
   と、 前記視点群より選ばれた視点からの個別画像を用いて前
   記商品配置用備品への各商品の配置を決定し、該配置に
   基づき、前記視点群の各視点からの前記商品配置用備品
   の個別画像に対し、対応する視点からの各商品の個別画
   像を配置する配置ステップと、 前記視点群における隣接する２視点の間の中間視点を指
   定する視点指定ステップと、 隣接する前記２視点である第１および第２視点のそれぞ
   れからの個別画像の前記配置ステップによる配置に基づ
   き、第１および第２視点からの個別画像における対応付
   けられた特徴点を有する２つの３角パッチに対応する前
   記中間視点からの画像の３角パッチである補間パッチを
   求める補間パッチ算出ステップと、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２視点からの個別画像における前記２つの３角パ
   ッチの画像を前記補間パッチにマッピングすることによ
   り、前記補間パッチの画像を生成する補間パッチ画像生
   成ステップと、 第１および第２視点からの個別画像において設定された
   各３角パッチにつき前記補間パッチ算出ステップおよび
   前記補間パッチ画像生成ステップを実行することにより
   前記中間視点からの前記商品配置用備品および各商品の
   それぞれの画像を生成するとともに、前記配置ステップ
   で決定された配置に基づき、前記中間視点からの前記商
   品配置用備品の画像に対し前記中間視点からの各商品の
   画像を重ねて合成することにより、前記中間視点からの
   配置画像を生成する配置画像生成ステップと、を有する
   ことを特徴とする棚割シミュレーション方法。
2. 【請求項２】 前記視点群のうちの２つの視点のそれぞ
   れからの各個別画像における各特徴点の位置を該個別画
   像上の２次元座標である画像座標で表した座標値と該個
   別画像に対応するカメラパラメータとを用いて、ステレ
   オ３次元画像センシングにより、前記商品配置用備品お
   よび各商品のそれぞれに対して予め設定された３次元座
   標である個別３次元座標で前記特徴点の位置を表した座
   標値を算出する個別３次元座標値算出ステップを更に有
   し、 前記配置ステップは、 前記視点群から視点を選び、選んだ視点からの前記商品
   配置用備品の個別画像に対し、選んだ視点からの各商品
   の個別画像を手動操作によって配置することにより、前
   記商品配置用備品への各商品の配置を決定する配置決定
   ステップと、 前記配置決定ステップで決定された配置に基づき、前記
   商品配置用備品および各商品に共通の３次元座標として
   予め設定された配置３次元座標で各商品における特徴点
   の位置を表した座標値を、前記個別３次元座標値算出ス
   テップで得られた座標値から算出する配置３次元座標値
   算出ステップと、 前記配置３次元座標値算出ステップで得られた座標値に
   基づき、前記配置決定ステップで選ばれた視点以外の前
   記視点群の各視点からの前記商品配置用備品の個別画像
   に対し、対応する視点からの各商品の個別画像を配置す
   る画像配置ステップとを含み、 前記配置画像生成ステップでは、前記中間視点からの前
   記商品配置用備品の画像に対し、前記配置３次元座標値
   算出ステップで得られた座標値に基づき、前記中間視点
   からの各商品の画像を重ねて合成することにより、前記
   中間視点からの配置画像を生成することを特徴とする請
   求項１に記載の棚割シミュレーション方法。
3. 【請求項３】 前記個別３次元座標値算出ステップで
   は、前記商品配置用備品および各商品のそれぞれにつ
   き、６点の位置を前記個別３次元座標および前記画像座
   標のそれぞれで表した座標値から成る６組の座標値を用
   いて各個別画像に対するカメラキャリブレーションを行
   い、該カメラキャリブレーションにより得られるカメラ
   パラメータを用いて、ステレオ３次元画像センシングに
   より、前記特徴点の位置を前記個別３次元座標で表した
   座標値を算出することを特徴とする請求項２に記載の棚
   割シミュレーション方法。
4. 【請求項４】 棚等の商品配置用備品への商品の配置を
   示す画像である配置画像を生成することにより商品の配
   置をシミュレーションする棚割シミュレーション装置で
   あって、 予め設定された視点群の各視点からの前記商品配置用備
   品と前記商品配置用備品へ配置すべき各商品とのそれぞ
   れの画像である個別画像を入力する画像入力手段と、 前記視点群の各視点からの個別画像において前記商品配
   置用備品および各商品のそれぞれの同一箇所と見なせる
   特徴点を選定するための選定情報を入力する第１入力手
   段と、 前記商品配置用備品および各商品のそれぞれにつき、前
   記選定情報により選定される特徴点を前記視点群の各視
   点からの個別画像の間で対応付けるための対応付け情報
   を入力する第２入力手段と、 前記商品配置用備品および各商品のそれぞれにつき、前
   記視点群の各視点からの個別画像の間で対応付けられた
   特徴点を３個ずつ選ぶための３点情報を入力する第３入
   力手段と、 前記商品配置用備品および各商品のそれぞれにつき、前
   記３点情報により３個ずつ選ばれた特徴点に基づき、該
   ３個の特徴点を頂点として含む３角パッチを設定するこ
   とにより、前記視点群の各視点からの個別画像を３角形
   領域に分割する分割手段と、 前記視点群より選ばれた視点からの個別画像を用いて前
   記商品配置用備品への各商品の配置を決定するための配
   置情報を入力する第４入力手段と、 前記配置情報に基づき、前記視点群の各視点からの前記
   商品配置用備品の個別画像に対し、対応する視点からの
   各商品の個別画像を配置する配置手段と、 前記視点群における隣接する２視点の間の中間視点を指
   定するための視点指定手段と、 隣接する前記２視点である第１および第２視点のそれぞ
   れからの個別画像の前記配置手段による配置に基づき、
   第１および第２視点からの個別画像における対応付けら
   れた特徴点を有する２つの３角パッチに対応する前記中
   間視点からの画像の３角パッチである補間パッチを求め
   る補間パッチ算出手段と、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２視点からの個別画像における前記２つの３角パ
   ッチの画像を前記補間パッチにマッピングすることによ
   り、前記補間パッチの画像を生成する補間パッチ画像生
   成手段と、 第１および第２視点からの個別画像において設定された
   各３角パッチにつき前記補間パッチ算出手段により補間
   パッチを求めて前記補間パッチ画像生成手段により該補
   間パッチの画像を生成することで前記中間視点からの前
   記商品配置用備品および各商品のそれぞれの画像を生成
   するとともに、前記配置情報に基づき、前記中間視点か
   らの前記商品配置用備品の画像に対し前記中間視点から
   の各商品の画像を重ねて合成することにより、前記中間
   視点からの配置画像を生成する配置画像生成手段と、を
   備えることを特徴とする棚割シミュレーション装置。
5. 【請求項５】 棚等の商品配置用備品への商品の配置を
   示す画像である配置画像を生成することにより商品の配
   置をシミュレーションするための棚割シミュレーション
   プログラムを、コンピュータ装置において実行されるプ
   ログラムとして記録した記録媒体であって、 予め設定された視点群の各視点からの前記商品配置用備
   品と前記商品配置用備品へ配置すべき各商品とのそれぞ
   れの画像である個別画像を入力する画像入力ステップ
   と、 前記視点群の各視点からの個別画像において前記商品配
   置用備品および各商品のそれぞれの同一箇所と見なせる
   特徴点を選定するための選定情報を入力する選定情報入
   力ステップと、 前記商品配置用備品および各商品のそれぞれにつき、前
   記選定情報により選定される特徴点を前記視点群の各視
   点からの個別画像の間で対応付けるための対応付け情報
   を入力する対応付け情報入力ステップと、 前記商品配置用備品および各商品のそれぞれにつき、前
   記視点群の各視点からの個別画像の間で対応付けられた
   特徴点を３個ずつ選ぶための３点情報を入力する３点情
   報入力ステップと、 前記商品配置用備品および各商品のそれぞれにつき、前
   記３点情報により３個ずつ選ばれた特徴点に基づき、該
   ３個の特徴点を頂点として含む３角パッチを設定するこ
   とにより、前記視点群の各視点からの個別画像を３角形
   領域に分割する分割ステップと、 前記視点群より選ばれた視点からの個別画像を用いて前
   記商品配置用備品への各商品の配置を決定するための配
   置情報を入力する配置情報入力ステップと、 前記配置情報に基づき、前記視点群の各視点からの前記
   商品配置用備品の個別画像に対し、対応する視点からの
   各商品の個別画像を配置する配置ステップと、 前記視点群における隣接する２視点の間の中間視点を指
   定する視点指定ステップと、 隣接する前記２視点である第１および第２視点のそれぞ
   れからの個別画像の前記配置ステップによる配置に基づ
   き、第１および第２視点からの個別画像における対応付
   けられた特徴点を有する２つの３角パッチに対応する前
   記中間視点からの画像の３角パッチである補間パッチを
   求める補間パッチ算出ステップと、 前記補間パッチに対応するアフィン変換に基づき第１お
   よび第２視点からの個別画像における前記２つの３角パ
   ッチの画像を前記補間パッチにマッピングすることによ
   り、前記補間パッチの画像を生成する補間パッチ画像生
   成ステップと、 第１および第２視点からの個別画像において設定された
   各３角パッチにつき前記補間パッチ算出ステップおよび
   前記補間パッチ画像生成ステップを実行することにより
   前記中間視点からの前記商品配置用備品および各商品の
   それぞれの画像を生成するとともに、前記配置情報に基
   づき、前記中間視点からの前記商品配置用備品の画像に
   対し前記中間視点からの各商品の画像を重ねて合成する
   ことにより、前記中間視点からの配置画像を生成する配
   置画像生成ステップと、を含む動作環境を前記コンピュ
   ータ装置上で実現するための棚割シミュレーションプロ
   グラムを記録した記録媒体。