JP2000315261A - 画像データの作成方法およびその装置ならびに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数の物体の何れかの画像および複数の背景
の何れかの画像を合成して合成画像を作成するに当たっ
て必要とされるデータ量を大幅に低減し、しかも物体、
背景の追加に簡単に対処する。 【解決手段】 物体データ選択部によって物体データ保
持部から所望の物体データを選択し、背景データ選択部
によって背景データ保持部から所望の背景データを選択
し、環境光情報選択部によって、環境光情報保持部から
選択された背景情報に対応する環境光情報を選択し、色
情報修正部によって、選択された物体データのうち、色
情報を選択された環境光情報に基づいて修正し、色情報
が修正された物体データと選択された背景データとを合
成して合成画像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像データの作成
方法およびその装置に関し、さらに詳細にいえば、物体
の画像および背景の画像を合成して合成画像を作成する
ための方法およびその装置に関する。

【０００２】

【従来の技術】従来から、３次元ＣＧ（コンピュータグ
ラフィックス）において、その表示要素には、３次元の
形状と３次元空間自体の属性（環境）とがある。このう
ち、属性は一般にシーンと呼ばれ、光源の位置、色、明
るさ、背景など様々な構成要素がある。

【０００３】そして、あるオブジェクトに対して複数の
シーンの何れかを描画する場合には、各シーンとして描
画する全ての情報（オブジェクト関連、背景、照明な
ど）を１つのシーンファイルとして保存するようにして
いる。

【０００４】したがって、あるオブジェクトと何れかの
シーンとを選択して画像を合成することにより、シーン
中にオブジェクトを描画することができる。

【０００５】

【発明が解決しようとする課題】上記の方法を採用した
場合において、オブジェクトを表すデータとシーンを表
すデータとは別個に作成されているのであるから、オブ
ジェクトを表すデータを作成するための条件（光源の位
置、方向、色など）とシーンを表すデータを作成するた
めの条件（光源の位置、方向、色など）とが一致してい
る場合には高品質の合成画像を作成することができる。
しかし、オブジェクトを表すデータを作成するための条
件（光源の位置、方向、色など）とシーンを表すデータ
を作成するための条件（光源の位置、方向、色など）と
が一致していない場合には、シーンに対してオブジェク
トが不自然に表示されてしまうという不都合がある。例
えば、ブティックにおいて、お客の選択した生地の試着
イメージをＣＧ技術を用いたシミュレーション画像とし
て表示するシステムを作成する場合、お客に魅力を感じ
てもらうためには、オブジェクトとしてのお客の画像を
シーンとしての背景の画像にマッチさせる必要がある。

【０００６】このような不都合の発生を防止するため
に、オブジェクトとシーンとを合成してなる画像データ
を予め作成しておくことが考えられるが、この場合に
は、オブジェクトの数とシーンとの組み合わせの数だけ
画像データを作成しておかなければならず、必要なデー
タ量が著しく多くなってしまう。また、新たなオブジェ
クト、シーンを追加することが必要になった場合には、
追加すべきオブジェクト、もしくはシーンとすでに採用
されているシーン、もしくはオブジェクトとを合成して
なる画像データを作成しなければならないので、新たな
オブジェクト、シーンを追加するために必要な作業が煩
雑になってしまう。

【０００７】この発明は上記の問題点に鑑みてなされた
ものであり、複数の物体の何れかの画像および複数の背
景の何れかの画像を合成して合成画像を作成するに当た
って必要とされるデータ量を大幅に低減し、しかも物
体、背景の追加に簡単に対処することができる画像デー
タの作成方法およびその装置を提供することを目的とし
ている。

【０００８】また、この発明は、オブジェクトとしての
人物画像をシーンとしての背景画像の中に重ねて表示す
る試着シミュレーションシステムに好適な画像表示方法
と、当該表示方法をコンピュータで実行するためのコン
ピュータプログラムを記憶した記憶媒体を提供すること
を目的としている。

【０００９】

【課題を解決するための手段】請求項１の画像データの
作成方法は、物体の画像および背景の画像を合成して合
成画像を作成するに当たって、前記物体の画像の色情報
を背景画像に関連付けて記憶された前記背景中の環境光
に関する情報に基づいて修正し、該修正した物体の画像
と前記背景の画像とを合成する方法である。

【００１０】請求項２の画像データの作成方法は、前記
物体の画像として前記物体の３次元空間中の形状を表す
物体３次元形状モデルに基づいて作成されたものを採用
し、前記背景中の環境光に関する情報として３次元空間
中の背景光の光源の位置および色情報を含むものを採用
し、前記物体の画像の色情報の修正は前記光源の位置か
ら背景光が物体に照射された様子を計算により求めて行
う方法である。

【００１１】請求項３の画像データの作成装置は、物体
の画像および背景の画像を合成して合成画像を作成する
ものであって、前記背景中の環境光に関する情報を背景
画像に関連付けて保持する環境光情報保持手段と、前記
物体の画像の色情報を背景画像に関連付けて記憶された
前記背景中の環境光に関する情報に基づいて修正する色
情報修正手段と、該修正した物体の画像と前記背景の画
像とを合成する合成手段と、を含むものである。

【００１２】請求項４の画像データの作成装置は、前記
物体の３次元空間中の形状を表す物体３次元形状モデル
に基づいて前記物体の画像を作成する物体画像作成手段
をさらに含み、前記環境光情報保持手段として、３次元
空間中の背景光の光源の位置および色情報を含む前記背
景中の環境光に関する情報を背景画像に関連付けて保持
するものを採用し、前記色情報修正手段として、前記物
体の画像の色情報を背景画像に関連付けて記憶された前
記背景中の環境光に関する情報に基づいて前記光源の位
置から背景光が物体に照射された様子を計算により求め
て修正するものを採用するものである。

【００１３】請求項５の記憶媒体は、物体の画像および
背景の画像を合成して合成画像を作成するための画像デ
ータ作成プログラムが格納されたものであって、予め記
憶された背景画像を選択可能に表示するステップと、選
択された背景画像に対して、予め対応付けられて記憶さ
れている環境光に関する情報を取得するステップと、取
得した環境光情報に基づいて、物体の画像の色情報を修
正するステップと、修正した物体の画像と選択された背
景画像とを合成するステップと、前記合成画像を表示す
るステップとを実行させるためのプログラムを記憶した
ものである。

【００１４】

【作用】請求項１の画像データの作成方法であれば、物
体の画像および背景の画像を合成して合成画像を作成す
るに当たって、前記物体の画像の色情報を背景画像に関
連付けて記憶された前記背景中の環境光に関する情報に
基づいて修正し、該修正した物体の画像と前記背景の画
像とを合成するのであるから、予め複数の物体の画像
と、複数の背景の画像と、各背景中の環境光に関する情
報を予め準備しておくことにより、任意の物体の画像と
任意の背景の画像とを合成して、合成画像を作成するこ
とができる。したがって、複数の物体と複数の背景との
組み合わせの数だけ合成画像を準備しておく場合と比較
して、必要なデータ量を大幅に低減することができる。
そして、合成画像を作成するに当たって、物体の画像の
色情報を環境光に関する情報に基づいて修正するのであ
るから、合成画像に品質を高めることができる。

【００１５】請求項２の画像データの作成方法であれ
ば、前記物体の画像として前記物体の３次元空間中の形
状を表す物体３次元形状モデルに基づいて作成されたも
のを採用し、前記背景中の環境光に関する情報として３
次元空間中の背景光の光源の位置および色情報を含むも
のを採用し、前記物体の画像の色情報の修正は前記光源
の位置から背景光が物体に照射された様子を計算により
求めて行うのであるから、請求項１と同様の作用を達成
することができる。

【００１６】請求項３の画像データの作成装置であれ
ば、物体の画像および背景の画像を合成して合成画像を
作成するに当たって、環境光情報保持手段によって前記
背景中の環境光に関する情報を背景画像に関連付けて保
持し、色情報修正手段によって前記物体の画像の色情報
を背景画像に関連付けて記憶された前記背景中の環境光
に関する情報に基づいて修正し、合成手段によって該修
正した物体の画像と前記背景の画像とを合成することが
できる。

【００１７】したがって、予め複数の物体の画像と、複
数の背景の画像と、各背景中の環境光に関する情報を予
め準備しておくことにより、任意の物体の画像と任意の
背景の画像とを合成して、合成画像を作成することがで
きる。したがって、複数の物体と複数の背景との組み合
わせの数だけ合成画像を準備しておく場合と比較して、
必要なデータ量を大幅に低減することができる。そし
て、合成画像を作成するに当たって、物体の画像の色情
報を環境光に関する情報に基づいて修正するのであるか
ら、合成画像に品質を高めることができる。

【００１８】請求項４の画像データの作成装置であれ
ば、前記物体の３次元空間中の形状を表す物体３次元形
状モデルに基づいて前記物体の画像を作成する物体画像
作成手段をさらに含み、前記環境光情報保持手段とし
て、３次元空間中の背景光の光源の位置および色情報を
含む前記背景中の環境光に関する情報を背景画像に関連
付けて保持するものを採用し、前記色情報修正手段とし
て、前記物体の画像の色情報を背景画像に関連付けて記
憶された前記背景中の環境光に関する情報に基づいて前
記光源の位置から背景光が物体に照射された様子を計算
により求めて修正するものを採用するのであるから、請
求項３と同様の作用を達成することができる。

【００１９】請求項５の記憶媒体であれば、予め記憶さ
れた背景画像を選択可能に表示するステップと、選択さ
れた背景画像に対して、予め対応付けられて記憶されて
いる環境光に関する情報を取得するステップと、取得し
た環境光情報に基づいて、物体の画像の色情報を修正す
るステップと、修正した物体の画像と選択された背景画
像とを合成するステップと、前記合成画像を表示するス
テップとを実行させるためのプログラムを記憶している
ので、このプログラムをコンピュータで実行させること
により、物体と背景とを合成した合成画像を作成して表
示することができる。

【００２０】

【発明の実施の形態】以下、添付図面を参照して、この
発明の画像データの作成方法およびその装置の実施の態
様を詳細に説明する。

【００２１】図１はこの発明の画像データの作成装置の
一実施態様を示すブロック図である。

【００２２】この装置は、物体データ保持部１と、背景
データ保持部２と、環境光情報保持部３と、物体データ
保持部１から所望の物体データを選択する物体データ選
択部４と、背景データ保持部２から所望の背景データを
選択する背景データ選択部５と、環境光情報保持部３か
ら選択された背景情報に対応する環境光情報を選択する
環境光情報選択部６と、選択された物体データのうち、
色情報（ＲＧＢなどの輝度情報そのもの、またはこれか
ら得られるその他の色空間中の座標）を選択された環境
光情報に基づいて修正する色情報修正部７と、色情報が
修正された物体データと選択された背景データとを合成
して合成画像を得る画像合成部８とを有している。ま
た、この装置は、各部の制御のための制御部９、データ
や命令入力用のキーボード１０ならびに表示部１１を含
んでいる。

【００２３】前記物体データ保持部１は、人体、建物、
自動車などの３次元的な形状を有する物体を表す３次元
データ、物体の表面の色情報などを、複数の物体のそれ
ぞれに対応させて保持するものである。このデータ保持
部１には、また、図示しないけれども外部からデジタル
ビデオカメラで撮像した人物の顔のイメージデータを取
り込む機能、および予め記憶しているボディの三次元イ
メージデータを任意の方向を指定して顔のイメージデー
タと組み合わせる機能が含まれてもよい。このような機
能は、本発明者等の一部が同日付けで特許出願した特願
平１１−５４１８５号に詳しく述べられている。

【００２４】前記背景データ保持部２は、前記物体を表
示するに当たって割り当てられるべき複数の背景のそれ
ぞれの風景を表す２次元データなどを保持するものであ
る。

【００２５】前記環境光情報保持部３は、環境光（夕方
の風景を背景とするときの夕日や夕空からの光、ホテル
のロビーの風景を背景とするときのロビーのシャンデリ
アからの光、海辺の風景を背景とするときの青空からの
光など）を表すデータ（光源の位置、光の色など）を保
持するものである。

【００２６】前記環境光情報選択部６は、背景データ選
択部５の選択動作に応答して、自動的に該当する環境光
情報を選択するものである。ただし、背景データ選択部
５の選択動作が行われた後に、対応する環境光情報を選
択するようにしてもよい。

【００２７】前記色情報修正部７は、選択された環境光
に基づいて、選択された物体の表面の色情報を修正する
ものであり、具体的には、従来公知のレンダリング手法
を適用することにより、選択された物体の表面の色情報
を修正する。

【００２８】前記画像合成部８は、背景の前方に物体が
表示されるように物体データと背景データとを合成して
画像データを得るものである。ここで、画像データは、
静止画であってもよいが動画であってもよい。もちろ
ん、色情報を付与された物体形状の３次元モデルを含
む。

【００２９】前記制御部９は、実質的にメインメモリを
含んだコンピュータのＣＰＵに相当し、後述のような記
憶媒体に記憶された以下のステップを実行するプログラ
ムによって上記各部の動作を制御する。そして、それら
の動作はキーボード１０で代表される入力デバイスによ
って指示され、結果がＣＲＴやＬＣＤからなる表示部１
１に出力されることになる。

【００３０】次いで、図１の画像データの作成装置の作
用を図２のフローチャートを参照して説明する。

【００３１】ステップＳＰ１において、物体データ選択
部４によって物体データ保持部１から所望の物体データ
を選択し、ステップＳＰ２において、背景データ選択部
５によって背景データ保持部２から所望の背景データを
選択し、ステップＳＰ３において、環境光情報選択部６
によって、環境光情報保持部３から選択された背景情報
に対応する環境光情報を選択し、ステップＳＰ４におい
て、色情報修正部７によって、選択された物体データの
うち、色情報を選択された環境光情報に基づいて修正
し、ステップＳＰ５において、色情報が修正された物体
データと選択された背景データとを合成して合成画像を
得ることができる。

【００３２】次いで、ステップＳＰ２、ステップＳＰ３
の処理の一具体例を説明する。

【００３３】図３に示すように、表示部１１の画面には
合成画像のウインドウ１１ａと、この場合４つのシーン
１〜４を含むシーン選択ウインドウ１１ｂが表示され、
４つのシーンの内の１つがセレクトボタン１１ｃを選択
的にクリックすることによって合成画像ウインドウ１１
ａに表示されたオブジェクトとしての人物画像１１ｄの
背景画像１１ｅとして重ねられる。シーン選択用ＧＵＩ
ウインドウ１１ｂの各シーンに対応して、各シーンコー
ド、シーン名、画像ファイル名、背景のＲ値、背景のＧ
値、背景のＢ値などの対応関係を示すテーブル（背景デ
ータ保持部２）（図４参照）が設定されているととも
に、各シーンコードに対応して、光源の種別、光源の色
（Ｒ、Ｇ、Ｂ値）、明るさ、光源の位置（Ｘ、Ｙ、Ｚ
値）などの照明情報（環境光情報に対応する情報）を示
すテーブル（環境光情報保持部３）（図５参照）が設定
されている。１つのシーンに複数の光源が設定されてい
てもよい。

【００３４】なお、この装置が最初に述べたような試着
シミュレーションシステムとして用いられる場合におい
ては、図３に示した人物画像は、好みのウエアを着た三
次元ボディ画像とお客の顔画像との合成イメージとして
与えられ、選択すべき背景シーン１〜４は公園や外国の
飛行場や朝の湖畔など、予め蓄積された複数の風景イメ
ージとなる。

【００３５】したがって、ＧＵＩ選択画面においてポイ
ンティングデバイスなどの背景データ選択部５を用いて
所望の背景データを選択し、次いでポインティングデバ
イスなどの環境光情報選択部６を用いて所望の照明情報
を選択することができる。もちろん、選択された照明情
報は色情報の修正のために用いられる。

【００３６】また、図３においては、単色の背景のみを
示しているが、好みの写真をその都度イメージスキャナ
やデジタルカメラから入力して、例えば、家の前の画像
のような任意の画像を採用してもよい。

【００３７】さらに、前記の実施態様において、前記物
体の３次元空間中の形状を表す物体３次元形状モデルに
基づいて前記物体の画像を作成する物体画像作成手段を
さらに設けることが可能である。

【００３８】図６は上記の画像データ作成表示動作を実
行するコンピュータシステムの構成を示す概略図であ
る。

【００３９】このコンピュータシステムは、ＲＡＭ、ハ
ードディスクなどの本体メモリ２２と処理装置本体２１
とを有する処理装置と、この処理装置２１に対して取り
出し可能に装着される可搬媒体メモリ（ＣＤ−ＲＯＭ、
フロッピーディスクなど）２３と、通信回線２４を介し
て接続された回線先メモリ（ＤＡＳＤなど）２５とを有
している。

【００４０】そして、上記の画像データ作成表示動作を
実行するためのプログラムおよび必要なデータは、本体
メモリ２２、可搬媒体メモリ２３、回線先メモリ２５の
何れかに記憶されている。このプログラムは、物体の画
像および背景の画像を合成して合成画像を作成するため
の画像データ作成プログラムであって、予め記憶された
背景画像を選択可能に表示するステップと、選択された
背景画像に対して、予め対応付けられて記憶されている
環境光に関する情報を取得するステップと、取得した環
境光情報に基づいて、物体の画像の色情報を修正するス
テップと、修正した物体の画像と選択された背景画像と
を合成するステップと、前記合成画像を表示するステッ
プとを含むものである。

【００４１】したがって、画像データ作成表示方法を実
行するためのプログラムおよび必要なデータを処理装置
本体２１にローディングし、主メモリ上で実行すること
により、画像データの作成を達成することができる。

【００４２】以上の説明から分かるように、この発明の
記憶媒体は、本体メモリ２２、可搬媒体メモリ２３、回
線先メモリ２５の何れであってもよい。

【００４３】

【発明の効果】この発明は、予め複数の物体の画像と、
複数の背景の画像と、各背景中の環境光に関する情報を
予め準備しておくことにより、任意の物体の画像と任意
の背景の画像とを合成して、合成画像を作成することが
でき、複数の物体と複数の背景との組み合わせの数だけ
合成画像を準備しておく場合と比較して、必要なデータ
量を大幅に低減することができ、しかも、合成画像を作
成するに当たって、物体の画像の色情報を環境光に関す
る情報に基づいて修正するのであるから、合成画像に品
質を高めることができるという特有の効果を奏する。

【図面の簡単な説明】

【図１】この発明の画像データの作成装置の一実施態様
を示すブロック図である。

【図２】この発明の画像データの作成方法の一実施態様
を説明するフローチャートである。

【図３】ＧＵＩ選択画面の一具体例を示す図である。

【図４】背景データ保持部の一具体例を示す図である。

【図５】環境光情報保持部の一具体例を示す図である。

【図６】画像データ作成表示動作を実行するコンピュー
タシステムの構成を示す概略図である。

【符号の説明】

１ 物体データ保持部 ２ 背景データ保持部 ３ 環境光情報保持部 ４ 物体データ選択部 ５ 背景データ選択部 ６ 環境光情報選択部 ７ 色情報修正部 ８ 画像合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉谷 博史 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 田中 義人 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 竹本 清二 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 大竹 聡 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 定行 輝 兵庫県西脇市鹿野町1352 株式会社ブレイ ン内 (72)発明者 関口 憲恒 滋賀県大津市園山町１丁目１番１号 東レ 株式会社滋賀事業場内 Ｆターム(参考） 5B050 BA07 BA09 EA09 EA19 EA30 5B057 CA01 CB01 CE08 CE17 5C076 AA12

Claims (5)

【特許請求の範囲】
1. 【請求項１】 物体の画像および背景の画像を合成して
   合成画像を作成する画像データの作成方法であって、 前記物体の画像の色情報を背景画像に関連付けて記憶さ
   れた前記背景中の環境光に関する情報に基づいて修正
   し、該修正した物体の画像と前記背景の画像とを合成す
   ることを特徴とする画像データの作成方法。
2. 【請求項２】 前記物体の画像は前記物体の３次元空間
   中の形状を表す物体３次元形状モデルに基づいて作成さ
   れたものであり、前記背景中の環境光に関する情報は３
   次元空間中の背景光の光源の位置および色情報を含むも
   のであり、前記物体の画像の色情報の修正は前記光源の
   位置から背景光が物体に照射された様子を計算により求
   めて行うことを特徴とする請求項１に記載の画像データ
   の作成方法。
3. 【請求項３】 物体の画像および背景の画像を合成して
   合成画像を作成する画像データの作成装置であって、 前記背景中の環境光に関する情報を背景画像に関連付け
   て保持する環境光情報保持手段（３）と、 前記物体の画像の色情報を背景画像に関連付けて記憶さ
   れた前記背景中の環境光に関する情報に基づいて修正す
   る色情報修正手段（７）と、 該修正した物体の画像と前記背景の画像とを合成する合
   成手段（８）と、を含むことを特徴とする画像データの
   作成装置。
4. 【請求項４】 前記物体の３次元空間中の形状を表す物
   体３次元形状モデルに基づいて前記物体の画像を作成す
   る物体画像作成手段をさらに含み、 前記環境光情報保持手段（３）は、３次元空間中の背景
   光の光源の位置および色情報を含む前記背景中の環境光
   に関する情報を背景画像に関連付けて保持するものであ
   り、 前記色情報修正手段（７）は、前記物体の画像の色情報
   を背景画像に関連付けて記憶された前記背景中の環境光
   に関する情報に基づいて前記光源の位置から背景光が物
   体に照射された様子を計算により求めて修正するもので
   あることを特徴とする請求項３に記載の画像データの作
   成装置。
5. 【請求項５】 物体の画像および背景の画像を合成して
   合成画像を作成するための画像データ作成プログラムが
   格納されたコンピュータ読み取り可能な記憶媒体であっ
   て、 予め記憶された背景画像を選択可能に表示するステップ
   と、 選択された背景画像に対して、予め対応付けられて記憶
   されている環境光に関する情報を取得するステップと、 取得した環境光情報に基づいて、物体の画像の色情報を
   修正するステップと、 修正した物体の画像と選択された背景画像とを合成する
   ステップと、 前記合成画像を表示するステップとを実行させるための
   プログラムを記憶したコンピュータ読み取り可能な記憶
   媒体。