JP2002150315A - 画像処理装置および記録媒体 - Google Patents

画像処理装置および記録媒体

Info

Publication number
JP2002150315A
JP2002150315A JP2000342078A JP2000342078A JP2002150315A JP 2002150315 A JP2002150315 A JP 2002150315A JP 2000342078 A JP2000342078 A JP 2000342078A JP 2000342078 A JP2000342078 A JP 2000342078A JP 2002150315 A JP2002150315 A JP 2002150315A
Authority
JP
Japan
Prior art keywords
image
illumination
dimensional
data
object color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000342078A
Other languages
English (en)
Inventor
Fumiko Uchino
文子 内野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2000342078A priority Critical patent/JP2002150315A/ja
Priority to US09/983,678 priority patent/US20020080148A1/en
Publication of JP2002150315A publication Critical patent/JP2002150315A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Abstract

(57)【要約】 【課題】 コンピュータにて生成された３次元画像と背
景画像とを合成して違和感のない画像を生成する。 【解決手段】 画像処理装置１００において、３次元画
像を生成する３次元画像生成部１０１、３次元画像への
照明を決定する照明決定部１０２、背景用の照明のデー
タを求める照明成分データ生成部１０３、背景画像を生
成する背景画像生成部１０４、および、３次元画像と背
景画像とを合成する合成部１０５を設ける。照明成分デ
ータ生成部１０３では、３次元画像への照明光のＲＧＢ
値から照明光の分光分布を求め、さらに、照明光の強度
を変更する。生成された照明光のデータは実質的に被写
体の分光反射率を示す物体色成分データ１３２と合成さ
れ、３次元画像への照明特性を反映した背景画像が生成
される。３次元画像を背景画像に合成することにより、
違和感のない合成画像が得られる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、２次元画像と３次
元画像（または、３次元モデル）とを合成する技術に関
する。
【０００２】
【従来の技術】従来より、３次元グラフィックスの分野
において、コンピュータ上にて作成された３次元モデル
と撮影により取得された２次元画像（以下、「実写画
像」という。）との合成が行われている。このような処
理の一例として、３次元モデルに色を付すとともに照明
光の影響を反映する処理（色合いの変更やシェーディン
グ等）を行い、得られた３次元モデル（以下、着色され
た３次元モデルを「３次元画像」と呼ぶこととする。）
に風景などの実写画像を背景として合成する処理があ
る。
【０００３】また、他の例として、実写画像を３次元モ
デルの表面に張り付けるイメージベースレンダリングが
ある。イメージベースレンダリングにより、より現実的
な３次元画像がコンピュータ上にて生成される。
【０００４】
【発明が解決しようとする課題】ところで、実写画像で
ある背景画像とコンピュータにより生成された３次元画
像とを合成する際には、両画像の雰囲気を合わせる処理
が必要となる。このとき、実写画像に対して色合いの修
正が行われてもよく、３次元画像に与える照明光が修正
されてもよい。しかしながら、ＲＧＢ値やＣＭＹ値等を
調整することにより両画像の雰囲気を容易に合わせるこ
とはできず、調整作業はノウハウを有する専門家に頼ら
ざるを得ない。
【０００５】一方、実写画像を３次元モデルの表面に張
り付ける場合、実写画像には撮影時の照明環境の影響が
含まれているため、得られた３次元画像の雰囲気を変更
することが困難となる。したがって、３次元画像を他の
画像と合成した際に、違和感を除去することが困難とな
る。
【０００６】本発明は上記課題に鑑みなされたものであ
り、実写画像である２次元画像とコンピュータやレンジ
ファインダ等を用いて生成される３次元画像や３次元モ
デルとを適切に合成することを目的としている。
【０００７】
【課題を解決するための手段】請求項１に記載の発明
は、画像処理装置であって、３次元画像に作用させる照
明環境の決定を受け付ける手段と、３次元画像を生成す
るとともに決定された照明環境を前記３次元画像に作用
させる手段と、撮影により取得された画像から照明環境
の影響を取り除くことにより生成された物体色成分画像
に前記決定された照明環境から導かれるデータを合成し
て２次元画像を生成する手段と、前記３次元画像と前記
２次元画像とを合成する手段とを備える。
【０００８】請求項２に記載の発明は、請求項１に記載
の画像処理装置であって、前記２次元画像を生成する手
段が、前記決定された照明環境における照明光の相対分
光分布を一定に保ったまま前記照明光の強度を変更した
後、前記物体色成分画像と前記決定された照明成分デー
タとを合成する。
【０００９】請求項３に記載の発明は、画像処理装置で
あって、３次元モデルを取得する手段と、撮影により取
得された画像から照明環境の影響を取り除くことにより
生成された物体色成分画像を前記３次元モデルの表面に
対応付ける手段とを備える。
【００１０】請求項４に記載の発明は、請求項３に記載
の画像処理装置であって、撮影により取得された画像か
ら前記物体色成分画像を生成する手段をさらに備える。
【００１１】請求項５に記載の発明は、請求項３または
４に記載の画像処理装置であって、前記物体色成分画像
のデータと前記３次モデルのデータとを１つのファイル
として保存する手段をさらに備える。
【００１２】請求項６に記載の発明は、請求項３または
４に記載の画像処理装置であって、照明が画像に与える
影響を示す照明成分データの決定を受け付ける手段と、
前記３次元モデルの表面に対応付けられた前記物体色成
分画像に、決定された照明成分データを合成する手段と
をさらに備える。
【００１３】請求項７に記載の発明は、画像処理装置で
あって、照明が画像に与える影響を示す照明成分データ
の決定を受け付ける手段と、撮影により取得された画像
から照明環境の影響を取り除くことにより生成された物
体色成分画像に決定された照明成分データを合成して２
次元画像を生成する手段と、前記物体色成分画像または
前記２次元画像を３次元モデルの表面に対応付ける手段
とを備える。
【００１４】請求項８に記載の発明は、コンピュータに
画像処理を実行させるプログラムを記録した記録媒体で
あって、前記プログラムのコンピュータによる実行は、
前記コンピュータに、３次元画像に作用させる照明環境
の決定を受け付ける工程と、決定された照明環境を３次
元画像に作用させる工程と、撮影により取得された画像
から照明環境の影響を取り除くことにより生成された物
体色成分画像に前記決定された照明環境から導かれるデ
ータを合成して２次元画像を生成する工程と、前記３次
元画像と前記２次元画像とを合成する工程とを実行させ
る。
【００１５】請求項９に記載の発明は、コンピュータに
画像処理を実行させるプログラムを記録した記録媒体で
あって、前記プログラムのコンピュータによる実行は、
前記コンピュータに、３次元モデルを取得する工程と、
撮影により取得された画像から照明環境の影響を取り除
くことにより生成された物体色成分画像を前記３次元モ
デルの表面に対応付ける工程とを実行させる。
【００１６】請求項１０に記載の発明は、コンピュータ
に画像処理を実行させるプログラムを記録した記録媒体
であって、前記プログラムのコンピュータによる実行
は、前記コンピュータに、照明が画像に与える影響を示
す照明成分データの決定を受け付ける工程と、撮影によ
り取得された画像から照明環境の影響を取り除くことに
より生成された物体色成分画像に決定された照明成分デ
ータを合成して２次元画像を生成する工程と、前記２次
元画像を生成する工程の前または後に、前記物体色成分
画像または前記２次元画像を３次元モデルの表面に対応
付ける工程とを実行させる。
【００１７】
【発明の実施の形態】＜１． 物体色成分画像の取得例
＞まず、様々な照明環境下の被写体の画像を生成するた
めに利用される物体色成分画像およびその取得方法の例
について説明する。
【００１８】物体色成分画像とは、被写体への照明環境
が画像に与える影響を画像から取り除いた成分に相当す
る画像であり、被写体の分光反射率におよそ相当するデ
ータが画素に与えられた画像をいう。物体色成分画像の
データ（以下、「物体色成分データ」という。）は、様
々な手法により取得することが可能であるが、ここでは
その一例について説明する。
【００１９】図１は、フラッシュ光を利用した撮影によ
り取得される第１画像とフラッシュを用いずに取得され
る第２画像とに基づいて物体色成分データを生成するた
めの構成および他の関連する構成を示す図である。例え
ば、コンピュータのＣＰＵがプログラムに従って演算処
理を実行することにより、図１中の差分画像生成部１
１、物体色成分データ生成部１２および画像再生部１３
として示される機能が実現される。
【００２０】これらの機能構成の全てまたは一部は専用
の電気的回路となっていてもよく、専用の装置やデジタ
ルカメラ等がこれらの機能構成を有していてもよい。以
下の説明にて参照される機能構成を示すブロック図にお
いても同様である。
【００２１】画像再生部１３には、物体色成分データ３
５に基づいて生成された画像を表示するディスプレイ２
１および操作者からの入力を受け付ける操作部２２が接
続される。メモリ３０には、第１画像データ３１、第２
画像データ３２、フラッシュ分光データ３４および照明
成分データ３６が予め準備される。第１画像データ３１
はフラッシュを発光さつつデジタルカメラにて取得され
た画像に相当し、第２画像データ３２はフラッシュを発
光させることなく取得された画像に相当する。２回の撮
影は、連写のように迅速に行われ、第１画像と第２画像
との撮影範囲は同一とされる。また、２回の撮影はシャ
ッタ速度（ＣＣＤの積分時間）および絞り値が同一の条
件にて行われる。
【００２２】フラッシュの発光は、フラッシュ光の分光
分布が一定となるように制御される。具体的には、発光
時間およびフラッシュの電源の電圧が一定に制御され
る。フラッシュ光の分光分布は予め計測されてフラッシ
ュ分光データ３４としてメモリ３０に記憶される。正確
にはフラッシュ光の相対的な分光分布（最大の分光強度
を１として正規化された分光分布をいい、以下「相対分
光分布」という。）がフラッシュ分光データ３４とされ
る。
【００２３】図２は、第１画像データ３１、第２画像デ
ータ３２およびフラッシュ分光データ３４から物体色成
分データ３５を算出する処理の流れを示す図である。
【００２４】まず、差分画像生成部１１が第１画像デー
タ３１から第２画像データ３２を減算して差分画像デー
タ３３を求める。すなわち、第１画像の各画素のＲ，
Ｇ，Ｂの値から第２画像の対応する画素のＲ，Ｇ，Ｂの
値がそれぞれ減算され、第１画像と第２画像との差分画
像が得られる（ステップＳ１１）。
【００２５】次に、物体色成分データ生成部１２が、差
分画像データ３３およびフラッシュ分光データ３４を用
いて画像から照明環境の影響を取り除いた成分に相当す
る物体色成分画像のデータ（物体色成分データ３５）と
して求める（ステップＳ１２）。既述のように物体色成
分データ３５は被写体の分光反射率にほぼ相当する。以
下、被写体の分光反射率を求める原理について説明す
る。
【００２６】被写体を照明する照明光（光源からの直接
的な光および間接的な光を含む照明環境における照明光
いう。）の分光分布をＥ(λ)とし、この分光分布Ｅ(λ)
を３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)および加
重係数ε1，ε2，ε3を用いて、
【００２７】
【数１】
【００２８】と表す。同様に、ある画素（以下、「対象
画素」という。）に対応する被写体上の位置の分光反射
率をＳ(λ)を３つの基底関数Ｓ1(λ)，Ｓ2(λ)，Ｓ
3(λ)および加重係数σ1，σ2，σ3を用いて、
【００２９】
【数２】
【００３０】と表すと、ＣＣＤ上の対象画素に入射する
光Ｉ(λ)（ＣＣＤ前方に位置するフィルタ等を無視した
場合の入射光）は、
【００３１】
【数３】
【００３２】と表現される。また、対象画素のＲ，Ｇ，
Ｂのいずれかの色（以下、「対象色」という。）に関す
る値がρcであり、ＣＣＤの対象色の分光感度をＲc(λ)
とすると、値ρcは、
【００３３】
【数４】
【００３４】により導かれる。
【００３５】ここで、フラッシュＯＮの第１画像の対象
画素の対象色の値がρc1であり、フラッシュＯＦＦの第
２画像の対応する値がρc2である場合、差分画像の対応
する値ρsは、
【００３６】
【数５】
【００３７】となる。Ｉ1(λ)はフラッシュＯＮの際に
対象画素に入射する光であり、ε11，ε12，ε13はフラ
ッシュ光を含む照明光に関する基底関数の加重係数であ
る。同様に、Ｉ2(λ)はフラッシュＯＦＦの際に対象画
素に入射する光であり、ε21，ε22，ε23はフラッシュ
光を含まない照明光に関する基底関数の加重係数であ
る。さらに、εsi（ｉ＝１，２，３）は（ε1i−ε2i）
である。
【００３８】数５において、基底関数Ｅi(λ)，Ｓj(λ)
は予め定められた関数であり、分光感度Ｒc(λ)は予め
計測により求めることができる関数である。これらの情
報は予めメモリ３０に記憶される。一方、２回の撮影に
おいてシャッタ速度（あるいは、ＣＣＤの積分時間）お
よび絞り値が同一に制御されることから、第１画像から
第２画像を減算した差分画像は照明環境の変更のみの影
響を受けた画像、すなわち、フラッシュ光のみを照明光
源とする画像に相当する。したがって、加重係数εsiは
後述する手法によりフラッシュ光の相対分光分布から導
くことができる。
【００３９】数５に示す方程式において未知数は３つの
加重係数σ1，σ2，σ3のみである。また、数５に示す
方程式は対象画素におけるＲ，Ｇ，Ｂの３つの色のそれ
ぞれに関して求めることができ、これら３つの方程式を
解くことにより３つの加重係数σ1，σ2，σ3を求める
ことができる。すなわち、対象画素に対応する被写体上
の位置の分光反射率が得られる。
【００４０】次に、加重係数εsiを求める手法について
説明する。既述のように差分画像はフラッシュ光のみを
照明光とする画像に相当し、差分画像における照明光の
相対分光分布は既知である。一方で、フラッシュから遠
い被写体上の領域はフラッシュに近い領域よりもフラッ
シュ光を受ける度合いが小さい。したがって、差分画像
では通常、フラッシュから遠い位置ほど暗く現れる。
【００４１】そこで、３つの加重係数εs1，εs2，εs3
の値の相対関係を一定に保ったまま差分画像中の対象画
素（あるいは、対象画素を中心とする領域）の輝度に比
例してこれらの加重係数の値を増減する。具体的には、
差分画像中の対象画素の輝度が小さい場合には加重係数
εs1，εs2，εs3の値は小さな値として決定され、輝度
が大きい場合には加重係数εs1，εs2，εs3の値は大き
な値として決定される。３つの加重係数εs1，εs2，ε
s3の相対関係は３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ
3(λ)の加重和がフラッシュ光の分光分布と比例するよ
うに予め求められており、輝度と加重係数εsiとの比例
関係は予め測定により求められる。
【００４２】なお、加重係数εsiは対象画素に対応する
被写体上の位置に照射されるフラッシュ光の分光分布を
示す値であり、第１画像および第２画像間におけるフラ
ッシュによる照明光の変更量の分光分布を示す値であ
る。したがって、フラッシュ分光データ３４より加重係
数εsiを求める処理は、フラッシュ光の相対分光分布か
らフラッシュによる照明環境（照明光）の分光変更量を
求める処理に相当する。
【００４３】以上の原理に基づき差分画像データ３３の
画素値およびフラッシュ分光データ３４を参照しなが
ら、各画素に対応する被写体上の位置の分光反射率（加
重係数σ1，σ2，σ3）が求められる。被写体の分光反
射率は、照明環境の影響が取り除かれた画像データに相
当し、物体色成分データ３５としてメモリ３０に保存さ
れる（ステップＳ１３）。
【００４４】加重係数σ1，σ2，σ3が求められると、
撮影時の照明光の分光分布を求めることも可能となる。
すなわち、数３および数４より第２画像の各画素のＲ，
Ｇ，Ｂの値に基づいて加重係数ε21，ε22，ε23に関す
る３つの方程式が求められ、これらの方程式を解くこと
により第２画像における各画素に関する加重係数ε2iを
求める。求められた各画素の加重係数ε2iは第２画像に
おけるフラッシュ光を含まない照明環境の影響を示す成
分となる。
【００４５】ここで、およそ均一な照明光による照明環
境の場合には画素ごとの加重係数ε 2iのばらつきは少な
い。そこで、加重係数ε21，ε22，ε23のそれぞれにつ
いて全画素の平均値を求め、求められた３つの加重係数
εiおよび基底関数Ｅi(λ)が照明光の分光分布を示すデ
ータとして利用可能となる。
【００４６】次に、物体色成分データ３５の基本的な利
用方法について説明する。図３は、物体色成分データ３
５から画像を再生する際の処理の流れを示す図である。
【００４７】まず、操作部２２を介して物体色成分デー
タ３５に合成すべき照明光の種類の選択が行われ（ステ
ップＳ２１）、選択された照明光に対応した照明成分デ
ータ３６がメモリ３０から画像再生部１３へと入力され
る。画像再生部１３には物体色成分データ３５も入力さ
れる。
【００４８】照明成分データ３６は、数１に示される加
重係数εiと基底関数Ｅi(λ)とにより照明光の分光分布
を示す形式となっている。メモリ３０には、予め標準光
（Ｄ６５やＤ５０）、太陽光、蛍光灯の光等の分光分布
や物体色成分データ３５を生成する際に生成された照明
光の分光分布が照明成分データ３６として準備される。
【００４９】次に、画像再生部１３が物体色成分データ
３５および選択された照明成分データ３６とを合成する
（ステップＳ２２）。すなわち、数３および数４にて示
す演算を行う。これにより、表示可能な画像データが生
成され、物体色成分データ３５により決定される被写体
を照明成分データ３６が示す照明光にて照明した際の画
像がディスプレイ２１に再生される（ステップＳ２
３）。
【００５０】以上のように、物体色成分データ３５は照
明成分データ３６とを合成されることにより、照明成分
データ３６が示す照明環境の影響を取り込んだ画像のデ
ータとなる。したがって、物体色成分データ３５を用い
ることにより様々な照明環境の雰囲気を取り込んだ同一
の被写体の画像を生成することが可能となる。
【００５１】＜２． 第１の実施の形態＞図４は、第１
の実施の形態に係る画像処理装置１００の構成を示すブ
ロック図である。画像処理装置１００では物体色成分デ
ータを利用することにより、違和感のないコンピュータ
グラフィックスが容易に実現される。
【００５２】画像処理装置１００は、通常のコンピュー
タと同様の構成となっており、各種演算処理を行うＣＰ
Ｕ１１１、基本プログラムを記憶するＲＯＭ１１２およ
び各種情報を記憶するＲＡＭ１３０がバスラインに接続
される。バスラインにはさらに、情報記憶を行う固定デ
ィスク１１４、各種情報の表示を行うディスプレイ１２
１、操作者からの入力を受け付けるキーボード１２２ａ
およびマウス１２２ｂ、光ディスク、磁気ディスク、光
磁気ディスク等の記録媒体９１からデータやプログラム
の読み取りを行う読取装置１１５、並びに、メモリカー
ド９２との間でデータの受け渡しを行うカードスロット
１１６が、適宜、インターフェイス（Ｉ／Ｆ）を介して
接続される。
【００５３】画像処理装置１００には、事前に読取装置
１１５を介して記録媒体９１からプログラム１１４ａが
読み出され、固定ディスク１１４に記憶される。そし
て、プログラムがＲＡＭ１３０にコピーされるとともに
ＣＰＵ１１１がＲＡＭ１３０内のプログラムに従って演
算処理を実行することにより以下に説明する動作を行
う。
【００５４】図５は、ＣＰＵ１１１がプログラム１１４
ａに従って動作することにより実現される機能構成を示
すブロック図である。図５において、３次元画像生成部
１０１、照明決定部１０２、照明成分データ生成部１０
３、背景画像生成部１０４、および、合成部１０５がＣ
ＰＵ１１１により実現される機能を示す。なお、操作部
１２２は図４中のキーボード１２２ａおよびマウス１２
２ｂに相当する。
【００５５】また、ＲＡＭ１３０には予め物体色成分デ
ータ１３２が記憶される。物体色成分データ１３２は、
デジタルカメラにて取得された既述の第１および第２画
像データ３１，３２がメモリカード９２およびカードス
ロット１１６を介して取り込まれた後、画像処理装置１
００により生成されてもよく（図１参照）、予めデジタ
ルカメラや他のコンピュータにより生成された物体色成
分データ１３２がＲＡＭ１３０に転送されてもよい。
【００５６】図６は画像処理装置１００の動作の流れを
示す図であり、図７は画像処理装置１００による処理の
様子を示す図である。以下、図５ないし図７を参照して
画像処理装置１００の動作について説明する。
【００５７】まず、操作部１２２が受け付ける操作者の
入力に従って３次元画像生成部１０１が３次元モデルを
生成し、さらに、３次元モデルに色を付与して３次元画
像とする（ステップＳ３１、図７中の符号８０１参
照）。照明決定部１０２では、操作部１２２が受け付け
る操作者の入力に従って、３次元画像に付与する照明光
の色および照明光の照射方向が決定される。照明光の色
は、Ｒ，Ｇ，Ｂの値を用いて決定され、照明光の方向
は、光源の位置や方向ベクトルにて指定される（ステッ
プＳ３２）。
【００５８】照明光が決定されると、３次元画像に照明
環境の影響を作用させる処理、すなわち、色合いの変更
やシェーディングが施される（ステップＳ３３、図７中
の符号８０２参照）。修正後の３次元画像のデータは、
ＲＡＭ１３０に３次元画像データ１３１として保存され
る。
【００５９】一方、決定された照明光のＲ，Ｇ，Ｂの値
は、照明成分データ生成部１０３へと入力され、Ｒ，
Ｇ，Ｂの値から照明光の分光分布へと変換される。照明
光の分光分布は数１にて示した形式にて求められる。な
お、基底関数Ｅi(λ)としてはＣＩＥ昼光用基底関数や
蛍光灯用基底関数が予め定められており、基底関数に応
じた加重係数εiが照明成分データとして求められる
（ステップＳ３４）。
【００６０】照明成分データは背景画像生成部１０４へ
と転送され、背景画像生成部１０４には操作部１２２を
介して加重係数εiに乗算される係数が入力される。背
景画像生成部１０４は入力された係数を各加重係数εi
に乗算することにより、照明成分データを修正する（ス
テップＳ３５）。これにより、照明成分データが示す照
明光の相対分光分布を一定に保ったまま照明光の強度が
調整される。
【００６１】その後、物体色成分データ１３２と修正後
の照明成分データとが数３および数４にて示す演算にて
合成され、背景として利用される画像のデータ（以下、
「背景画像データ」という。）１３３が生成される（ス
テップＳ３６）。すなわち、物体色成分画像（図７中の
符号８０３参照）に３次元画像に作用させた照明環境か
ら導かれるデータを合成することにより、表示可能な背
景画像（符号８０４参照）が生成される。なお、数３お
よび数４は拡散光による照明を前提としており、この場
合、好ましくは背景画像として遠景が好ましい。
【００６２】合成部１０５には３次元画像データ１３１
および背景画像データ１３３が入力され、これらの画像
データを合成することにより合成済データ１３４が生成
される。ディスプレイ１２１には合成済データ１３４に
基づいて背景画像と３次元画像とを合成した合成画像が
表示される（ステップＳ３７、図７中の符号８０５参
照）。
【００６３】操作者が合成画像を見て、３次元画像に対
して背景が明るすぎる、または、暗すぎると判断した場
合（ステップＳ３８）、加重係数εiに乗算する係数を
変更した上で、ステップＳ３５〜Ｓ３７が繰り返され
る。これにより、背景画像における照明光の相対分光分
布を一定に保ったまま照明光の強度がさらに変更され
る。３次元画像に対して背景の明るさが適切である場合
には、画像処理装置１００における画像生成処理が終了
する。
【００６４】以上のように、画像処理装置１００では３
次元画像を生成する際の照明光の分光分布を用いて物体
色成分画像から背景画像を生成する。したがって、背景
画像を生成する際の照明光の強度を変更するのみで、３
次元画像と背景画像との雰囲気を適切に合わせることが
できる。すなわち、３次元画像と背景画像との違和感の
ない合成画像を容易に生成することができる。
【００６５】なお、通常、背景に対する照明光の強度
は、３次元画像に対する照明光よりも弱く設定される
が、背景が明るい場合には照明光の強度は増大されても
よい。また、物体色成分画像に合成される照明光の分光
特性が調整可能とされてもよい。この場合、最初に生成
される背景画像は既におよそ適切な画像として生成され
ることから、照明光の分光特性の調整は僅かな調整で済
む。
【００６６】また、上記説明では、照明光はＲ，Ｇ，Ｂ
の値を用いてバーチャルに決定されるが、照明光の分光
分布が直接決定されたり、分光分布が外部から読み込ま
れてもよい。
【００６７】背景画像も背景の全体である必要はなく、
最終的に生成される画像の一部として３次元画像と様々
な態様にて合成が可能である。
【００６８】＜３． 第２の実施の形態＞図８は、本発
明の第２の実施の形態に係る画像取得装置２００の正面
図である。画像取得装置２００は、本体前面に被写体の
カラーの２次元画像を取得する撮像部２４０、光切断法
を用いて被写体の距離画像（奥行き情報が付与された画
像）を取得するためのレーザ光を発する走査部２５０、
および、被写体に向けてフラッシュ光を発するフラッシ
ュ２６１を有する。本体背面には、ディスプレイや操作
ボタンが配置される。
【００６９】図９は画像取得装置２００の内部構成を示
すブロック図である。撮像部２４０は、複数のレンズを
有するレンズ系２４１、および、レンズ系２４１を介し
て被写体の像を取得するＣＣＤ２４２を有する。ＣＣＤ
２４２から出力される画像信号はＡ／Ｄ変換部２４３に
よりデジタル画像信号へと変換され、ＲＡＭ２３０に記
憶される。なお、ＣＣＤ２４２は各画素の値としてＲ，
Ｇ，Ｂの各色に関する値を取得する３バンドの撮像セン
サとなっている。
【００７０】走査部２５０は、レーザ光を発するレーザ
光源２５１、被写体に対してレーザ光を走査させる走査
機構２５２、および、レーザ光源２５１および走査機構
２５２を制御する計測制御回路２５３を有する。レーザ
光を照射している間、被写体（すなわち、計測対象）の
画像が撮像部２４０にて取得され、ＣＰＵ２１１が撮像
部２４０と走査部２５０との位置関係、および、レーザ
光の出射方向から被写体の表面の形状を距離画像として
求める。
【００７１】フラッシュ２６１は発光制御回路２６１ａ
を介してＣＰＵ２１１に接続されており、ＣＰＵ２１１
からフラッシュ２６１を点灯する旨の指示を受けた場合
には、発光制御回路２６１ａがフラッシュ２６１の発光
特性が撮影ごとにばらつかないように発光制御を行う。
これにより、フラッシュ２６１からの光の分光分布（分
光強度）が一定に保たれる。
【００７２】ＣＰＵ２１１には、さらに、操作者に各種
情報や画像を表示するディスプレイ２２１、および、操
作者からの入力を受け付ける操作部２２２が接続され
る。カードスロット２１６は、ＣＰＵ２１１の制御の
下、ＲＡＭ２３０とメモリカード９２との間にてデータ
の受け渡しを行う。これにより、メモリカード９２を介
してコンピュータ等の他の装置との間にてデータの転送
が行われる。
【００７３】ＲＯＭ２１２にはプログラム２１２ａが記
憶されており、ＣＰＵ２１１がプログラム２１２ａに従
って動作することにより、後述する画像データの取得や
画像データの処理が実現される。すなわち、画像取得装
置２００は部分的にコンピュータの構成を有する。
【００７４】画像取得装置２００により画像が取得され
る際には、まず、ＣＰＵ２１１がプログラム２１２ａに
従って動作することにより、図１に示した第１画像デー
タ３１および第２画像データ３２の取得が行われる。す
なわち、フラッシュＯＮにて撮影が行われ、撮像部２４
０にて第１画像が取得され、続いて、フラッシュＯＦＦ
にて撮影が行われ、第２画像が取得される。このとき、
発光制御回路２６１ａの制御によりフラッシュ光の分光
分布が所定の分布となるように制御される。
【００７５】そして、ＣＰＵ２１１が図１に示す差分画
像生成部１１および物体色成分データ生成部１２と同様
に機能することにより、物体色成分データが生成され
る。
【００７６】図１０は、画像取得装置２００において、
物体色成分データ２３１がＲＡＭ２３０に保存された
後、ＣＰＵ２１１がプログラム２１２ａに従って動作す
ることにより実現される機能構成を示すブロック図であ
る。図１０において、３次元モデル取得部２０１および
ファイル作成部２０２がＣＰＵ２１１が実現する機能を
示している。図１１は、３次元モデル取得部２０１およ
びファイル作成部２０２の動作の流れを示す図である。
【００７７】物体色成分データ２３１の取得とおよそ同
時に、３次元モデル取得部２０１は、撮像部２４０およ
び走査部２５０により取得された距離画像から３次元モ
デルを生成する（ステップＳ４１）。すなわち、画像取
得装置２００から被写体上の多数の点までの距離を示す
データから、被写体の形状を表す３次元モデル（例え
ば、サーフェスモデル）のデータが生成され、３次元モ
デルデータ２３２としてＲＡＭ２３０に保存される。
【００７８】３次元モデルデータ２３２が取得される
と、ファイル作成部２０２に物体色成分データ２３１お
よび３次元モデルデータ２３２が入力される。そして、
マッピング部２０２ａにより、３次元モデルの表面の代
表的な点（例えば、３次元モデルを構成する各面の頂
点）に対応する物体色成分画像の画素が特定される（ス
テップＳ４２）。なお、３次元モデル上の点と物体色成
分画像の画素との対応関係は撮像部２４０と走査部２５
０との位置関係から容易に求めることができる。
【００７９】その後、ファイル作成部２０２はカードス
ロット２１６を介してメモリカード９２内に３次元被写
体ファイル９２１を作成して物体色成分データ２３１お
よび３次元モデルデータ２３２をその中に格納する（ス
テップＳ４３）。
【００８０】図１２は、３次元被写体ファイル９２１の
構造を示す図である。３次元被写体ファイル９２１のヘ
ッダ部９２２には、３次元被写体ファイルであることを
示す識別子、ヘッダサイズ、データサイズ、物体色成分
画像と３次元モデルの表面との対応関係を示すマッピン
グデータ、物体色成分データに対する演算を行う際の波
長範囲、および、物体色成分データの基底関数Ｓi(λ)
が格納される。データ部９２３には、物体色成分データ
（すなわち、基底関数の加重係数σi）および３次元モ
デルデータが格納される。
【００８１】以上のように、画像取得装置２００では、
被写体の分光反射率におよそ相当する物体色成分画像、
および、被写体の形状を示す３次元モデルが互いの関連
づけられて１つのファイルとして取得される。これによ
り、物体色成分データおよび３次元モデルデータの転
送、複写、削除等を一体的に行うことができ、データの
取り扱いが容易となる。
【００８２】なお、上記説明では、被写体を１つの方向
から捉えた３次元モデルおよび物体色成分画像を生成し
ているが、必要に応じて被写体を複数の方向から捉えて
複数の距離画像および複数の物体色成分画像を取得し、
これらを合成することにより被写体のほぼ全体を示す３
次元モデルおよび３次元モデルの表面に対応付けられた
物体色成分画像が生成されてもよい。
【００８３】次に、画像再生装置による３次元被写体フ
ァイル９２１を用いた画像の再生について説明する。
【００８４】図１３は画像再生装置３００の機能構成を
示すブロック図である。画像再生装置３００の物理的構
成は通常のコンピュータと同様となっており、図４に示
す構成となっている。すなわち、画像再生装置３００に
予め記録媒体を介してプログラムがインストールされ、
プログラムをＣＰＵが実行することによりコンピュータ
が画像再生装置３００として動作する。
【００８５】図１３において、照明選択部３０１はＣＰ
Ｕ、キーボード、マウス等により実現される機能を示
し、画像再生部３０２はＣＰＵによる演算処理により実
現される機能を示す。表示制御部３０３はＣＰＵや専用
のグラフィックボードによる機能を示す。
【００８６】図１４は３次元被写体ファイル９２１を用
いて３次元画像を再生する際の画像再生装置３００の動
作の流れを示す図である。
【００８７】画像再生装置３００のＲＡＭ３３０内に
は、予め複数種類の照明光の分光分布に実質的に相当す
る照明成分データ３３１（数１における加重係数εiお
よび基底関数Ｅi(λ)）が準備されている。そして、照
明選択部３０１が操作者による照明光の選択を受け付け
る（ステップＳ５１）。図１５は照明光を選択する際の
ディスプレイの表示内容を例示する図である。図１５に
示すように、Ｄ６５、Ｄ５０等の標準光、太陽光、蛍光
灯等の照明光が選択可能とされている。なお、照明光は
操作者により作成されてもよい。
【００８８】照明光が選択されると、画像再生部３０２
における数３および数４に示す演算により、物体色成分
データ２３１と選択された照明成分データとが合成さ
れ、再生データ３３２が生成される（ステップＳ５
２）。すなわち、物体色成分画像を利用した画像の再生
が行われる。
【００８９】次に、表示制御部３０３に３次元モデルデ
ータ２３２、マッピングデータ２３３および再生データ
３３２が入力され、マッピングデータ２３３に従って３
次元モデルの表面に再生画像を張り付けた３次元画像が
生成され、ディスプレイ３２１に照明光の影響を反映し
た３次元画像が表示される（ステップＳ５３）。
【００９０】ここで、数３および数４に示す演算は、拡
散光による照明を前提としているが、既知のシェーディ
ング手法を用いて点光源による照明や平行光による照明
の影響を３次元画像に反映することも可能である。例え
ば、富永昌治「色知覚と色彩メディア処理［Ｖ・完］−
色の計算機知覚とカラー画像解析−」（電気情報通信学
会誌 vol.82, No.1, pp.62-69, １９９９年１月）に
は、二色性反射モデル(dichromatic reflection model)
を利用したカラー反射モデルが記載されている。この手
法では、数６にて示す演算により、対象物上の分光放射
輝度Ｙ(θ,λ)（被写体から観察者に入射する光の分光
強度）が求められる。
【００９１】
【数６】
【００９２】数６において、λは波長、θは入射角、位
相角、観測角等の幾何学的パラメータ、ＳS(λ)、Ｓ
D(λ)はそれぞれ鏡面反射および拡散反射に対応する分
光反射率、ｃS(θ)、ｃD(θ)はそれぞれ幾何学的パラメ
ータによる重み係数、Ｅ(λ)は照明光の分光分布を示
す。
【００９３】ただし、物体色成分データ２３１には鏡面
反射に対応する分光反射率ＳS(λ)が含まれないため、
演算の際にはＳS(λ)を１に固定し、係数ｃS(θ)、ｃ
D(θ)を適宜決定する。これにより、照明光の方向を考
慮した３次元画像を生成することができる。また、この
手法を利用する場合、３次元モデルデータ２３２やマッ
ピングデータ２３３が画像再生部３０２に入力される。
【００９４】以上のように、画像再生装置３００では３
次元被写体ファイル９２１を用いることにより、様々な
照明環境による影響を反映した３次元画像を適切に再生
することができる。
【００９５】特に、仮想現実感の分野において、様々な
照明光の影響を反映した３次元画像の生成により、実写
画像に基づいたリアリティのある様々な映像を実現する
ことができる。例えば、ヘッドマウントディスプレイや
偏光眼鏡を利用して３次元映像が鑑賞できる映写ドーム
においてリアリティのある３次元映像を展開することが
できる。
【００９６】なお、上記説明では、画像取得装置２００
にて物体色成分データ２３１が生成され、画像再生装置
３００にて３次元画像が表示されるが、物体色成分デー
タ２３１の生成やマッピング等の処理は画像再生装置３
００にて行われてもよい。この場合、画像取得装置２０
０として距離画像および２次元画像を取得する既存の画
像取得装置をそのまま利用することができる。
【００９７】また、距離画像もいわゆるレンジファイン
ダを用いて取得される必要はなく、例えば、ステレオ視
にて取得されてもよい。ステレオ視を利用する場合、通
常のデジタルカメラを２カ所に位置させることにより距
離画像を取得することができる。
【００９８】＜４． 第３の実施の形態＞第２の実施の
形態では、物体色成分画像と３次元モデルとを同一の被
写体から取得するが、物体色成分画像と３次元モデルと
は個別に（すなわち、別ファイルとして）取得されても
よい。図１６は個別に取得された物体色成分データ４３
１と３次元モデルデータ４３３とから３次元画像を再生
する画像再生装置４００の機能構成を示す図である。
【００９９】画像再生装置４００の物理的構成は通常の
コンピュータと同様となっており、図４に示す構造とな
っている。すなわち、画像再生装置４００に予め記録媒
体を介してプログラムがインストールされ、プログラム
をＣＰＵが実行することによりコンピュータが画像再生
装置４００として動作する。
【０１００】図１６において、照明選択部４０１および
マッピング部４０３はＣＰＵ、キーボード、マウス等に
より実現される機能を示し、画像再生部４０２はＣＰＵ
による演算処理により実現される機能を示す。
【０１０１】図１７は３次元画像を再生する際の画像再
生装置４００の動作の流れを示す図であり、図１８は３
次元画像の再生の様子を例示する図である。
【０１０２】第２の実施の形態と同様に、画像再生装置
４００のＲＡＭ４３０内には、予め複数種類の照明光の
分光分布に実質的に相当する照明成分データ４３２が準
備されており、照明選択部４０１が操作者による照明光
の選択を受け付ける（ステップＳ６１）。
【０１０３】照明光が選択されると、画像再生部４０２
における数３および数４に示した演算により、物体色成
分データ４３１（図１８中の符号８１１参照）と選択さ
れた照明成分データとが合成され、２次元の再生画像
（符号８１２参照）のデータが生成される（ステップＳ
６２）。すなわち、物体色成分画像を利用した画像の再
生が行われる。
【０１０４】次に、マッピング部４０３に２次元再生画
像のデータおよび３次元モデルデータ４３３が入力され
る。ここで、操作者はディスプレイ４２１に表示された
２次元再生画像と３次元モデル（符号８１３参照）とを
参照しつつマウスを用いて２次元再生画像を３次元モデ
ルの表面に対応付ける（ステップＳ６３）。これによ
り、３次元モデルの表面に再生画像を張り付けた３次元
画像が生成され、ディスプレイ４２１に照明光の影響を
反映した３次元画像が表示される（ステップＳ６４）。
このとき、既知のシェーディング手法を用いて点光源に
よる照明や平行光による照明の影響が３次元画像に反映
されてもよい。
【０１０５】以上のように、画像再生装置４００では物
体色成分画像に照明光が画像に与える影響を付与して２
次元画像を再生し、２次元画像を３次元モデルの表面に
張り付けて３次元画像を生成する。これにより、様々な
照明環境による影響を反映した違和感のない３次元画像
を適切に生成することができる。すなわち、物体色成分
画像をコンピュータグラフィックス用の素材画像として
イメージベースレンダリング（実写画像の３次元モデル
への張り付け）の技術に応用することにより、高品質の
３次元画像が生成される。
【０１０６】物体色成分画像を用いたイメージベースレ
ンダリングは、第２の実施の形態と同様に、仮想現実感
の分野において利用することができ、実写画像に基づく
リアリティのある様々な映像を実現することができる。
【０１０７】＜５． 変形例＞以上、本発明の実施の形
態について説明してきたが、本発明は上記実施の形態に
限定されるものではなく様々な変形が可能である。
【０１０８】上記実施の形態では物体色成分画像を取得
する手法として、フラッシュがＯＮおよびＯＦＦにて取
得される２つの画像を利用する手法を説明したが、物体
色成分画像を取得する手法として様々な手法が利用可能
である。
【０１０９】例えば、デジタルカメラにマルチバンドセ
ンサを設け、照明光のおよその分光分布、すなわち、照
明成分データを取得し、画像データおよび照明成分デー
タから物体色成分データが求められてもよい。小型で高
分解能のマルチバンドセンサとしては、川越宣和、他２
名による「分光測色計ＣＭ−１００」、Minolta Techno
Report No.5 1988（９７〜１０５頁）に記載されてい
るように、ＣＣＤ上に階段状に厚みが異なる金属膜干渉
フィルタを設けたものも知られている。このマルチバン
ドセンサでは、ＣＣＤのエリアごとに金属膜干渉フィル
タの厚みが変えられており、ＣＣＤのエリアごとに所定
の波長帯の光の強度を得ることが実現されている。
【０１１０】また、モノクロＣＣＤの前に複数のカラー
フィルタを順次位置させて複数の画像を取得し、これら
の画像から物体色成分データが求められてもよい。例え
ば、富永昌治、「色恒常性を実現するカメラ系とアルゴ
リズム」、信学技報 PRU95-11(1995-05)（７７〜８４
頁）に記載された手法が採用可能である。
【０１１１】上記手法の変形として、カラーＣＣＤの前
において、少なくとも１つのフィルタの有無を切り替え
ることにより複数の画像を取得し、物体色成分データが
求められてもよい。
【０１１２】照明成分データは照明環境が画像に与えて
いる影響を示すデータであればどのようなものであって
もよく、照明環境の影響をある程度示すものであれば足
りる。物体色成分データも画像から照明環境の影響を取
り除いた成分を示すデータであればどのようなものであ
ってもよく、照明環境が与える影響を厳密に取り除いた
成分を示すデータである必要はない。
【０１１３】上記実施の形態では、物体色成分データや
照明成分データが複数の加重係数（および基底関数）と
して取得されると説明したが、これらのデータは他の形
式であってもよい。例えば、物体色成分データが分光反
射率の特性曲線として保存されてもよく、照明成分デー
タが分光分布の特性曲線として保存されてもよい。
【０１１４】さらに、第１の実施の形態と第２、第３の
実施の形態とが組み合わされてもよい。この場合、背景
画像と３次元画像との合成をより自然に行うことができ
る。
【０１１５】
【発明の効果】請求項１，２および８の発明では、２次
元画像と３次元画像との違和感のない合成画像を容易に
得ることができる。
【０１１６】請求項３ないし７、並びに、請求項９およ
び１０の発明では、様々な照明環境による影響を反映し
た３次元画像を適切に再生することが可能となる。ま
た、請求項５の発明では、物体色成分画像のデータと３
次元モデルのデータとを一体的に取り扱うことができ
る。
【図面の簡単な説明】
【図１】物体色成分データを生成する構成および他の関
連する構成を示す図である。
【図２】物体色成分データを算出する処理の流れを示す
図である。
【図３】物体色成分データから画像を再生する処理の流
れを示す図である。
【図４】第１の実施の形態に係る画像処理装置の構成を
示すブロック図である。
【図５】画像処理装置の機能構成を示すブロック図であ
る。
【図６】画像処理装置の動作の流れを示す図である。
【図７】画像処理装置による処理の様子を示す図であ
る。
【図８】第２の実施の形態に係る画像取得装置の正面図
である。
【図９】画像取得装置の内部構成を示すブロック図であ
る。
【図１０】画像取得装置の機能構成を示すブロック図で
ある。
【図１１】３次元モデル取得部およびファイル作成部の
動作の流れを示す図である。
【図１２】３次元被写体ファイルの構造を示す図であ
る。
【図１３】第２の実施の形態に係る画像再生装置の機能
構成を示すブロック図である。
【図１４】画像再生装置の動作の流れを示す図である。
【図１５】照明光を選択する際のディスプレイの表示内
容を例示する図である。
【図１６】第３の実施の形態に係る画像再生装置の機能
構成を示すブロック図である。
【図１７】画像再生装置の動作の流れを示す図である。
【図１８】３次元画像の再生の様子を示す図である。
【符号の説明】
１２ 物体色成分データ生成部 ９１ 記録媒体 １００ 画像処理装置 １０１ ３次元画像生成部 １０２ 照明決定部 １０３ 照明成分データ生成部 １０４ 背景画像生成部 １０５ 合成部 １１１，２１１ ＣＰＵ １１４ａ，２１２ａ プログラム １２２ａ キーボード １２２ｂ マウス １３１ ３次元画像データ １３２，２３１，４３１ 物体色成分データ １３３ 背景画像データ ２００ 画像取得装置 ２０１ ３次元モデル取得部 ２０２ ファイル作成部 ２０２ａ，４０３ マッピング部 ２１２ ＲＯＭ ２３２，４３３ ３次元モデルデータ ２４０ 撮像部 ２５０ 走査部 ３００，４００ 画像再生装置 ３０１，４０１ 照明選択部 ３０２，４０２ 画像再生部 ３３１，４３２ 照明成分データ Ｓ３２〜Ｓ３７，Ｓ４１，Ｓ４２，Ｓ５１〜Ｓ５３，Ｓ
６１〜Ｓ６３ ステップ

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 画像処理装置であって、 ３次元画像に作用させる照明環境の決定を受け付ける手
    段と、 ３次元画像を生成するとともに決定された照明環境を前
    記３次元画像に作用させる手段と、 撮影により取得された画像から照明環境の影響を取り除
    くことにより生成された物体色成分画像に前記決定され
    た照明環境から導かれるデータを合成して２次元画像を
    生成する手段と、 前記３次元画像と前記２次元画像とを合成する手段と、
    を備えることを特徴とする画像処理装置。
  2. 【請求項２】 請求項１に記載の画像処理装置であっ
    て、 前記２次元画像を生成する手段が、前記決定された照明
    環境における照明光の相対分光分布を一定に保ったまま
    前記照明光の強度を変更した後、前記物体色成分画像と
    前記決定された照明成分データとを合成することを特徴
    とする画像処理装置。
  3. 【請求項３】 画像処理装置であって、 ３次元モデルを取得する手段と、 撮影により取得された画像から照明環境の影響を取り除
    くことにより生成された物体色成分画像を前記３次元モ
    デルの表面に対応付ける手段と、 を備えることを特徴とする画像処理装置。
  4. 【請求項４】 請求項３に記載の画像処理装置であっ
    て、 撮影により取得された画像から前記物体色成分画像を生
    成する手段、をさらに備えることを特徴とする画像処理
    装置。
  5. 【請求項５】 請求項３または４に記載の画像処理装置
    であって、 前記物体色成分画像のデータと前記３次モデルのデータ
    とを１つのファイルとして保存する手段、をさらに備え
    ることを特徴とする画像処理装置。
  6. 【請求項６】 請求項３または４に記載の画像処理装置
    であって、 照明が画像に与える影響を示す照明成分データの決定を
    受け付ける手段と、 前記３次元モデルの表面に対応付けられた前記物体色成
    分画像に、決定された照明成分データを合成する手段
    と、をさらに備えることを特徴とする画像処理装置。
  7. 【請求項７】 画像処理装置であって、 照明が画像に与える影響を示す照明成分データの決定を
    受け付ける手段と、 撮影により取得された画像から照明環境の影響を取り除
    くことにより生成された物体色成分画像に決定された照
    明成分データを合成して２次元画像を生成する手段と、 前記物体色成分画像または前記２次元画像を３次元モデ
    ルの表面に対応付ける手段と、を備えることを特徴とす
    る画像処理装置。
  8. 【請求項８】 コンピュータに画像処理を実行させるプ
    ログラムを記録した記録媒体であって、前記プログラム
    のコンピュータによる実行は、前記コンピュータに、 ３次元画像に作用させる照明環境の決定を受け付ける工
    程と、 決定された照明環境を３次元画像に作用させる工程と、 撮影により取得された画像から照明環境の影響を取り除
    くことにより生成された物体色成分画像に前記決定され
    た照明環境から導かれるデータを合成して２次元画像を
    生成する工程と、 前記３次元画像と前記２次元画像とを合成する工程と、
    を実行させることを特徴とする記録媒体。
  9. 【請求項９】 コンピュータに画像処理を実行させるプ
    ログラムを記録した記録媒体であって、前記プログラム
    のコンピュータによる実行は、前記コンピュータに、 ３次元モデルを取得する工程と、 撮影により取得された画像から照明環境の影響を取り除
    くことにより生成された物体色成分画像を前記３次元モ
    デルの表面に対応付ける工程と、を実行させることを特
    徴とする記録媒体。
  10. 【請求項１０】 コンピュータに画像処理を実行させる
    プログラムを記録した記録媒体であって、前記プログラ
    ムのコンピュータによる実行は、前記コンピュータに、 照明が画像に与える影響を示す照明成分データの決定を
    受け付ける工程と、 撮影により取得された画像から照明環境の影響を取り除
    くことにより生成された物体色成分画像に決定された照
    明成分データを合成して２次元画像を生成する工程と、 前記２次元画像を生成する工程の前または後に、前記物
    体色成分画像または前記２次元画像を３次元モデルの表
    面に対応付ける工程と、を実行させることを特徴とする
    記録媒体。
JP2000342078A 2000-11-09 2000-11-09 画像処理装置および記録媒体 Pending JP2002150315A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000342078A JP2002150315A (ja) 2000-11-09 2000-11-09 画像処理装置および記録媒体
US09/983,678 US20020080148A1 (en) 2000-11-09 2001-10-25 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000342078A JP2002150315A (ja) 2000-11-09 2000-11-09 画像処理装置および記録媒体

Publications (1)

Publication Number Publication Date
JP2002150315A true JP2002150315A (ja) 2002-05-24

Family

ID=18816701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000342078A Pending JP2002150315A (ja) 2000-11-09 2000-11-09 画像処理装置および記録媒体

Country Status (2)

Country Link
US (1) US20020080148A1 (ja)
JP (1) JP2002150315A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
JP2005038426A (ja) * 2003-07-14 2005-02-10 Samsung Electronics Co Ltd 映像基盤レンダリングおよび編集の方法ならびにその装置
JP2008175538A (ja) * 2007-01-16 2008-07-31 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2008249438A (ja) * 2007-03-30 2008-10-16 Ntt Data Corp 画像処理装置およびそのプログラム
JP2017059233A (ja) * 2015-09-15 2017-03-23 株式会社リコー 画像合成方法及び装置
JP2019049572A (ja) * 2018-12-26 2019-03-28 株式会社ニコン 撮像装置、情報処理装置、及び撮像システム
US11151733B2 (en) 2016-03-09 2021-10-19 Nikon Corporation Detection device, information processing device, detection method, storage medium, and detection system
US11151783B2 (en) 2014-09-03 2021-10-19 Nikon Corporation Image pickup device, information processing device, and image pickup system
JP7118217B1 (ja) 2021-06-18 2022-08-15 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232838A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd デジタルカメラ
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7102683B2 (en) * 2002-04-17 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Single lens 3D camera
US7527888B2 (en) * 2003-08-26 2009-05-05 Hewlett-Packard Development Company, L.P. Current collector supported fuel cell
GB2412808B (en) * 2004-04-02 2010-03-03 Canon Europa Nv Image-based rendering
WO2005115016A1 (ja) * 2004-04-26 2005-12-01 Olympus Corporation 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
US8976174B2 (en) * 2006-01-27 2015-03-10 Tandent Vision Science, Inc. Bi-illuminant dichromatic reflection model for image manipulation
US8976173B2 (en) * 2006-01-27 2015-03-10 Tandent Vision Science, Inc. Bi-illuminant dichromatic reflection model for image manipulation
US7760912B2 (en) * 2007-08-01 2010-07-20 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US20100142846A1 (en) * 2008-12-05 2010-06-10 Tandent Vision Science, Inc. Solver for image segregation
US8139867B2 (en) 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Image segregation system architecture
US8260050B2 (en) * 2008-12-05 2012-09-04 Tandent Vision Science, Inc. Test bed for optimizing an image segregation
US8139850B2 (en) * 2008-12-05 2012-03-20 Tandent Vision Science, Inc. Constraint generation for use in image segregation
US8194975B2 (en) * 2009-06-29 2012-06-05 Tandent Vision Science, Inc. Use of an intrinsic image in face recognition
JP2011214933A (ja) * 2010-03-31 2011-10-27 Kawasaki Heavy Ind Ltd 軌道用距離画像取得システム
KR20130098042A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
US10477184B2 (en) * 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US9367955B2 (en) * 2012-11-26 2016-06-14 Nvidia Corporation System, method, and computer program product for tiled screen space sample scrambling for parallel deterministic consistent light transport simulation
CN104157007B (zh) * 2014-03-03 2018-02-27 腾讯科技（北京）有限公司 视频处理的方法及装置
US10055881B2 (en) * 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity
EP3264250B1 (de) * 2016-06-27 2020-12-09 Volkswagen Aktiengesellschaft Verfahren und system zum auswählen eines betriebsmodus für ein fahrzeug
JP2019087008A (ja) 2017-11-07 2019-06-06 東芝テック株式会社 画像処理システム及び画像処理方法
CN112511815B (zh) * 2019-12-05 2022-01-21 中兴通讯股份有限公司 图像或视频生成方法及装置
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568194A (en) * 1994-05-31 1996-10-22 Asahi Kogaku Kogyo Kabushiki Kaisha Adjusting a white balance in a camera using a flash
JP3727711B2 (ja) * 1996-04-10 2005-12-14 富士通株式会社 画像情報処理装置
US5781195A (en) * 1996-04-16 1998-07-14 Microsoft Corporation Method and system for rendering two-dimensional views of a three-dimensional surface
JP3181877B2 (ja) * 1998-04-14 2001-07-03 株式会社島精機製作所 ３次元画像作成装置
JP3646969B2 (ja) * 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
US6556195B1 (en) * 1998-06-02 2003-04-29 Sony Corporation Image processing device and image processing method
JP2000090289A (ja) * 1998-07-13 2000-03-31 Sony Corp 画像処理装置および画像処理方法、並びに媒体
JP2000090290A (ja) * 1998-07-13 2000-03-31 Sony Corp 画像処理装置および画像処理方法、並びに媒体
JP3231029B2 (ja) * 1999-09-14 2001-11-19 株式会社スクウェア レンダリング方法及び装置、ゲーム装置、並びに立体モデルをレンダリングするためのプログラムを格納したコンピュータ読み取り可能な記録媒体

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
JP2005038426A (ja) * 2003-07-14 2005-02-10 Samsung Electronics Co Ltd 映像基盤レンダリングおよび編集の方法ならびにその装置
JP4500614B2 (ja) * 2003-07-14 2010-07-14 三星電子株式会社 映像基盤レンダリングおよび編集の方法ならびにその装置
JP2008175538A (ja) * 2007-01-16 2008-07-31 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2008249438A (ja) * 2007-03-30 2008-10-16 Ntt Data Corp 画像処理装置およびそのプログラム
US11151783B2 (en) 2014-09-03 2021-10-19 Nikon Corporation Image pickup device, information processing device, and image pickup system
JP2017059233A (ja) * 2015-09-15 2017-03-23 株式会社リコー 画像合成方法及び装置
US11151733B2 (en) 2016-03-09 2021-10-19 Nikon Corporation Detection device, information processing device, detection method, storage medium, and detection system
JP2019049572A (ja) * 2018-12-26 2019-03-28 株式会社ニコン 撮像装置、情報処理装置、及び撮像システム
JP7118217B1 (ja) 2021-06-18 2022-08-15 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2023000949A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Also Published As

Publication number Publication date
US20020080148A1 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
JP2002150315A (ja) 画像処理装置および記録媒体
Debevec et al. Recovering high dynamic range radiance maps from photographs
JP4231661B2 (ja) 色再現装置
JP4295612B2 (ja) 書式付き情報をイメージ処理手段に供給する方法およびシステム
Wenger et al. Performance relighting and reflectance transformation with time-multiplexed illumination
JP4236433B2 (ja) 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法
JP3962588B2 (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
JP2001078202A (ja) デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
WO1992004803A1 (en) Standardized color calibration of electronic imagery
JP2003348501A (ja) 画像表示装置
JP6611576B2 (ja) 画像処理装置および画像処理方法
JP4427891B2 (ja) 画像管理装置、デジタル撮像装置および画像生成装置
WO2013190645A1 (ja) 自動画像合成装置
JP2003198867A (ja) プロファイルを作成するプログラム、および、プロファイル作成システム
Menk et al. Interactive visualization technique for truthful color reproduction in spatial augmented reality applications
JP4006105B2 (ja) 画像処理装置およびその方法
JP2001008224A (ja) 画像保存装置、画像再生装置、画像保存方法、画像再生方法および記録媒体
JPH1093859A (ja) 画像処理装置及び画像処理方法
JP7169841B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JPH11232430A (ja) 物体画像の色変更方法
JP3761263B2 (ja) コンピュータグラフィックス再現方法
JP2001016607A (ja) デジタル撮影装置およびデジタル撮影方法
JP2002238056A (ja) デジタル撮像装置、プログラムおよび記録媒体
JP4448416B2 (ja) 画像処理方法および装置
WO2023176269A1 (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20041116

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041130