JP2002123830A - 照明環境仮想変換装置 - Google Patents
照明環境仮想変換装置Info
- Publication number
- JP2002123830A JP2002123830A JP2000317281A JP2000317281A JP2002123830A JP 2002123830 A JP2002123830 A JP 2002123830A JP 2000317281 A JP2000317281 A JP 2000317281A JP 2000317281 A JP2000317281 A JP 2000317281A JP 2002123830 A JP2002123830 A JP 2002123830A
- Authority
- JP
- Japan
- Prior art keywords
- image
- environment
- virtual
- illumination environment
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
換する。また、自然で作業効率のよい画像合成・特殊効
果を可能にする。 【解決手段】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、撮像時の照明環境の情報と所
望の照明環境の情報から、入力画像と所望の仮想照明環
境下での画像における空間周波数スペクトル間の関係を
表わす伝達関数を計算する伝達関数生成手段と、前記入
力画像の空間周波数スペクトルに前記伝達関数を掛け合
わせて仮想照明環境における空間周波数スペクトルを求
める掛け算手段と、前記仮想照明環境における空間周波
数スペクトルを仮想照明環境における画像に変換する逆
フーリエ変換手段とを具備する照明環境仮想変換装置で
ある。
Description
像合成装置に係わり、特に、映像の特殊効果装置や合成
画像の作業効率向上及び画質改善のための装置に関する
ものである。
作成する場合は、通常は撮像の段階で実際に照明光を移
動、増減し、さらに照明光の輝度や拡散および色合いの
程度等を調節することで効果的な合成結果を得ている。
画像合成の段階で合成画像を作成する場合には、画像処
理を用いて輝度や色の変換により微調整を行うこともあ
る。一方、第1段階として被撮像物体の3次元表面形状
を推定し、第2段階としてこの形状に対し陰影処理を行
うことで、仮想的に照明環境を変化させることができ
る。この場合に、入力画像から被撮像物体の3次元表面
形状を求める手法としては、陰影情報に基づく手法(参
考文献1:A.P.Pentland,Linear shape fromshading,
International Journal of Computer Vision,Vol.4,p
p.153-162(1990)、参考文献2:K.M.Lee等,shape fr
om shading with a linear triangularelement surface
model,IEEE Trans.PAMI,Vol.15,No.8,pp.815-822
(Aug.1993))がある。さらに、照明環境や被撮像対象
の反射特性に関する研究もある(参考文献3:B.K.P.Ho
rn,Hill shading and the reflectance map,Proc.of
IEEE,Vol.69,No.1,pp.14-47(Jan.1981))。参考文
献1,2の手法は、形状を求めることのみを目的として
おり、照明環境を変化させるための手法ではない。しか
し、参考文献3による情報とともにコンピュータグラフ
ィクス技術を用いることで仮想的に照明環境を変化させ
ることは理論上は可能である。
実際に移動・増減することにより輝度・色等を変化させ
ることは自然な合成画像や特殊効果を効果的に得るため
には不可欠な作業である。しかし、画像合成の素材の組
み合わせによってそれぞれ適した照明環境が異なるた
め、一度撮影された画像素材を他の映像シーンに流用す
ることは不適当であることが多い。また、合成結果や映
像効果が照明環境の不一致などにより所望のものでなか
った場合には、再度撮影し直す必要がある。従来の3次
元形状推定と陰影処理の処理を用いて合成画像を得る場
合には、2段階の処理を要するため演算量が大きかっ
た。本発明の目的は、既に撮像された画像の照明環境を
仮想的に変換することが可能な技術を提供し、自然で作
業効率のよい画像合成・特殊効果が可能で、被撮像対象
の3次元形状を求めることなく、照明環境を変化させた
場合の画像を少ない演算量で合成することが可能な技術
を提供することにある。本発明の前記ならびにその他の
目的と新規な特徴は、本明細書の記述及び添付図面によ
って明らかにする。
発明の概要を簡単に説明すれば、下記のとおりである。 (1)入力画像を空間周波数スペクトルに写像するフー
リエ変換手段と、撮像時の照明環境の情報と所望の照明
環境の情報から、入力画像と所望の仮想照明環境下での
画像とにおける空間周波数スペクトル間の関係を表わす
伝達関数を計算する伝達関数生成手段と、前記入力画像
の空間周波数スペクトルに前記伝達関数を掛け合わせて
仮想照明環境における空間周波数スペクトルを求める掛
け算手段と、前記仮想照明環境における空間周波数スペ
クトルを仮想照明環境における画像に変換する逆フーリ
エ変換手段とを具備する照明環境仮想変換装置である。
写像するフーリエ変換手段と、既に撮像された未知の照
明環境下の画像から撮影時の照明環境情報を推定する照
明環境推定手段と、前記撮像時の照明環境の情報と所望
の照明環境の情報から、前記入力画像の撮影時の照明環
境情報と所望の仮想照明環境下での画像とにおける空間
周波数スペクトル間の関係を表わす伝達関数を計算する
伝達関数生成手段と、前記入力画像の空間周波数スペク
トルに前記伝達関数を掛け合わせて仮想照明環境におけ
る空間周波数スペクトルを求める掛け算手段と、前記仮
想照明環境における空間周波数スペクトルを仮想照明環
境における画像に変換する逆フーリエ変換手段とを具備
する照明環境仮想変換装置である。
境仮想変換装置において、前記照明環境の情報に、照明
光の入射方向を用いる。
ずれか1つの照明環境仮想変換装置において、前記の既
知の照明環境情報に基づいて所望の照明環境での画像に
変換する手法として、空間周波数領域もしくは空間領域
におけるフィルタ処理を用いる。
れた各部分画像ごとに前記手段(1)乃至(4)のうち
いずれか1つの処理を行い、照明環境や被撮像物体表面
特性の異なる画像領域ごとの適応的な画像処理を行う画
像処理手段を具備する照明環境仮想変換装置である。
を空間周波数スペクトルに写像するフーリエ変換手段
と、撮像時の照明環境の情報と所望の照明環境の情報か
ら、入力画像と所望の仮想照明環境下での画像とにおけ
る空間周波数スペクトル間の関係を表わす伝達関数を計
算する伝達関数生成手段と、前記入力画像の空間周波数
スペクトルに前記伝達関数を掛け合わせて仮想照明環境
における空間周波数スペクトルを求める掛け算手段と、
前記仮想照明環境における空間周波数スペクトルを仮想
照明環境における画像に変換する逆フーリエ変換手段と
を具備することである。また、既に撮像された画像から
照明環境を推定するために、照明環境推定手段を付加す
ることもできる。
記逆フーリエ変換手段として、高速フーリエ変換アルゴ
リズム及び高速逆フーリエ変換アルゴリズムを用いる。
これによって演算の高速化がなされる。好適には、前記
照明環境の記述に入射光の方向ベクトルを用いる。これ
によって前記照明環境推定手段を効率的に実行すること
ができる。本発明によれば、既に撮影された画像の照明
環境から、再び撮影をすることなく別の照明環境におけ
る画像を生成することができるようになる。
施形態(実施例)とともに図面を参照して詳細に説明す
る。なお、実施形態(実施例)を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。
よる実施形態1の照明環境仮想変換装置の概略構成を示
すブロック図である。本実施形態の照明環境仮想変換装
置は、空間周波数領域におけるフィルタ処理によって入
力画像を変換し、所望の照明環境で撮像された画像を仮
想的に生成するものである。図1に示すように、本実施
形態の照明環境仮想変換装置は、画像信号を空間周波数
スペクトルに変換するフーリエ変換回路1と、撮像時照
明環境情報と所望照明環境情報から空間周波数伝達関数
を生成する伝達関数生成回路2と、空間周波数スペクト
ルと空間周波数伝達関数の掛け算を行う掛け算回路3
と、空間周波数スペクトルを画像に変換する逆フーリエ
変換回路4とを具備する。
置の動作を説明する。先ず、画像信号がフーリエ変換回
路1に入力される。前記入力される画像は水平画素数H
及び垂直画素数Vからなるものとし、画像座標(x,
y)における輝度値をI(x,y)で表現する。前記フ
ーリエ変換回路1は、入力された画像を離散フーリエ変
換する。入力画像を離散フーリエ変換した結果である空
間周波数スペクトルをS(u,v)とする。ここで、u
及びvはそれぞれ水平方向及び垂直方向の空間周波数と
する。
像時照明環境情報及び所望照明環境情報から空間周波数
伝達関数を生成する。本実施形態1では、撮像時照明環
境情報及び所望照明環境情報の表現方法として、被撮像
対象における入射光の方向ベクトルを用いる。画像平面
xyに直交する光軸方向をz軸と定義し、撮像時照明環
境情報である入射光単位ベクトルを(Lx,Ly,L
z)、所望照明環境情報である入射光単位ベクトルを
(Mx,My,Mz)とする。被撮像対象の表面を完全
拡散面でモデル化し、表面の向きと観測輝度の関係を線
形近似することで得られる異照明環境間の空間周波数伝
達関数をT(u,v)とすると、数1の式で定式化でき
る。
Linear Shape from Shadingで用いられているWiene
rフィルタを応用すれば、前記数1の式における極の問
題が避けられ、安定な結果が得られる。
関数生成回路2は、前記数1もしくは数2の式に記載の
T(u,v)を出力する。前記掛け算回路3は、空間周
波数(u,v)の定義域において入力画像の空間周波数
スペクトルS(u,v)と、空間周波数伝達関数T
(u,v)の積を演算し、出力する。すなわち、出力を
S’(u,v)とおくと、次の数3の式となる。
v) 前記逆フーリエ変換回路4は、S’(u,v)を離散逆
フーリエ変換し、仮想的に照明環境を変換した画像I’
(x,y)を出力する。
形態2の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態2の照明環境仮想変換装置は、
前記図1に示す本実施形態1の照明環境仮想変換装置に
照明環境推定回路5を内蔵させることにより、未知の照
明環境における照明環境仮想変換を可能としたものであ
る。入射光の方向が(Lx,Ly,Lz)であるとき、
空間周波数スペクトルS(u,v)は直線Lxu+Ly
v=0付近において零に近い値をとることから、照明環
境推定回路5は、次の数4の式の演算により、Lx及び
Lyを変化させながら直線Lxu+Lyv=0付近にお
ける空間周波数スペクトルの絶対値|S(u,v)|の
総和を最小化するKx及びKyの対を求める。
ルの視線直交成分が計算される。なお、閾値tは直線に
若干の幅を持たせるためのパラメータである。照明環境
推定回路5の出力(Lx,Ly,Lz)は、比例式L
x:Ly:Lz=Kx:Ky:Kzを満たす単位ベクト
ルとする。ここで、Lzは推定不能であるため、適当な
固定値とするか、調整パラメータの1つとして人が外部
から入力するか、入力画像のコントラスト等から適宜決
定するなどにより与える。
形態3の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態3の照明環境仮想変換装置は、
入力画像を領域分割回路9により撮像時の照明条件や物
体色の異なる領域に分割し、分割された領域ごとに図2
に示す照明環境仮想変換回路6の処理を行うことによ
り、画像の局所的な性質を反映し変換後の画質を向上す
るものである。
やテクスチャなどの情報に基づいてK平均アルゴリズム
(参考文献4:S.Z.Selim等,K-means-type algorithm
s,IEEE Trans.PAMI.Vol.6,No.1,pp.81-87,1984)
などにより領域分割処理を行う。例えば、色の差と画素
間の距離の自乗和の平方根で定義される距離を最小化す
るよう画像を分割する。分割された各領域は一般に不定
形であるため、パディング回路10−1、10−2、
…、10−Nにより適宜数値を埋めることで矩形形状と
する。埋め合わせる数値は任意であるが、好適には値を
有する最近傍の画素値を用いる。前記パディング回路出
力の画像は照明環境仮想変換回路6−1、6−2、…6
−Nの画像信号入力7−1、7−2、…、7−Nに入力
される。一方、所望照明環境情報は8−1、8−2、
…、8−Nの各入力に入力される。照明環境仮想変換回
路6−1、6−2、…、6−Nにより仮想的に照明環境
を変換された画像は画像合成回路11によって1枚の画
像に合成され出力される。
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。
られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、既に撮像された画像の照明環境を仮想
的に変換することができ、自然で作業効率のよい画像合
成・特殊効果が可能となる。また、被撮像対象の3次元
形状を求めることなく、照明環境を変化させた場合の画
像を少ない演算量で合成することができる。
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
路 7,7−1,7−2,…,7−N…画像信号入力 8,8−1,8−2,…,8−N…所望照明環境情報入
力 9…領域分割回路 10,10−1,10−2,…,10−N…パディング
回路 11…画像合成回路
Claims (5)
- 【請求項1】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、撮像時の照明環境の情報と所
望の照明環境の情報から、入力画像と所望の仮想照明環
境下での画像における空間周波数スペクトル間の関係を
表わす伝達関数を計算する伝達関数生成手段と、前記入
力画像の空間周波数スペクトルに前記伝達関数を掛け合
わせて仮想照明環境における空間周波数スペクトルを求
める掛け算手段と、前記仮想照明環境における空間周波
数スペクトルを仮想照明環境における画像に変換する逆
フーリエ変換手段とを具備することを特徴とする照明環
境仮想変換装置。 - 【請求項2】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、既に撮像された未知の照明環
境下の画像から撮影時の照明環境情報を推定する照明環
境推定手段と、前記撮像時の照明環境の情報と所望の照
明環境の情報から、前記入力画像の撮影時の照明環境情
報と所望の仮想照明環境下での画像とにおける空間周波
数スペクトル間の関係を表わす伝達関数を計算する伝達
関数生成手段と、前記入力画像の空間周波数スペクトル
に前記伝達関数を掛け合わせて仮想照明環境における空
間周波数スペクトルを求める掛け算手段と、前記仮想照
明環境における空間周波数スペクトルを仮想照明環境に
おける画像に変換する逆フーリエ変換手段とを具備する
ことを特徴とする照明環境仮想変換装置。 - 【請求項3】 前記照明環境の情報に、照明光の入射方
向を用いることを特徴とする請求項1又は2に記載の照
明環境仮想変換装置。 - 【請求項4】 前記の既知の照明環境情報に基づいて所
望の照明環境での画像に変換する手法として、空間周波
数領域もしくは空間領域におけるフィルタ処理を用いる
ことを特徴とする請求項1乃至3のうちいずれか1項に
記載の照明環境仮想変換装置。 - 【請求項5】 入力画像を分割する手段と、分割された
各部分画像ごとに前記請求項1乃至4のうちいずれか1
項に記載の処理を行い、照明環境や被撮像物体表面特性
の異なる画像領域ごとの適応的な画像処理を行う画像処
理手段を具備することを特徴とする照明環境仮想変換装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000317281A JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000317281A JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002123830A true JP2002123830A (ja) | 2002-04-26 |
JP4331392B2 JP4331392B2 (ja) | 2009-09-16 |
Family
ID=18796092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000317281A Expired - Fee Related JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4331392B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101488647B1 (ko) | 2014-10-30 | 2015-02-04 | 권오형 | 모바일 단말의 가상 조명 동작방법 및 장치 |
JP2016072694A (ja) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラムならびに記録媒体 |
JP2017518548A (ja) * | 2014-03-13 | 2017-07-06 | クアルコム,インコーポレイテッド | 拡張現実環境における仮想オブジェクトの現実的な色の作成 |
US9836799B2 (en) | 2014-07-02 | 2017-12-05 | Fujitsu Limited | Service provision program |
JP2018036803A (ja) * | 2016-08-30 | 2018-03-08 | パナソニックIpマネジメント株式会社 | 照明空間シミュレーション装置及び照明空間シミュレーション方法 |
KR20180117835A (ko) * | 2017-04-20 | 2018-10-30 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
WO2022215163A1 (ja) * | 2021-04-06 | 2022-10-13 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2000
- 2000-10-18 JP JP2000317281A patent/JP4331392B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017518548A (ja) * | 2014-03-13 | 2017-07-06 | クアルコム,インコーポレイテッド | 拡張現実環境における仮想オブジェクトの現実的な色の作成 |
US9836799B2 (en) | 2014-07-02 | 2017-12-05 | Fujitsu Limited | Service provision program |
JP2016072694A (ja) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラムならびに記録媒体 |
KR101488647B1 (ko) | 2014-10-30 | 2015-02-04 | 권오형 | 모바일 단말의 가상 조명 동작방법 및 장치 |
JP2018036803A (ja) * | 2016-08-30 | 2018-03-08 | パナソニックIpマネジメント株式会社 | 照明空間シミュレーション装置及び照明空間シミュレーション方法 |
KR20180117835A (ko) * | 2017-04-20 | 2018-10-30 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
KR102085701B1 (ko) * | 2017-04-20 | 2020-03-06 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
WO2022215163A1 (ja) * | 2021-04-06 | 2022-10-13 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4331392B2 (ja) | 2009-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI524734B (zh) | 產生深度圖的方法及裝置 | |
WO2020242170A1 (en) | Electronic device and controlling method thereof | |
JP2013026669A (ja) | ノイズ低減装置、ノイズ低減方法及びプログラム | |
JP4331392B2 (ja) | 照明環境仮想変換装置 | |
CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
JPH08123969A (ja) | マッピング装置 | |
JPH1051811A (ja) | 立体感調整方法および立体感調整装置 | |
JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
JPH10191397A (ja) | 意図適応型の2次元映像を3次元映像に変換する装置 | |
Yamanaka et al. | Adaptive image projection onto non-planar screen using projector-camera systems | |
JPS6326783A (ja) | カラ−画像処理方式 | |
JP4173705B2 (ja) | 動画像合成方法および装置並びにプログラム | |
JPH0721365A (ja) | 画像処理方法および装置 | |
JP2002522982A (ja) | 静止画像生成方法及び装置 | |
Kang et al. | FPGA implementation for enhancing image using pixel-based median channel prior | |
JP4030655B2 (ja) | 階調変換方法および装置 | |
JP5515864B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP2883648B2 (ja) | 画像入出力装置 | |
JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
Torreao et al. | Single-image shape from defocus | |
CN101764915A (zh) | 一种基于包围盒的键调优方法和装置 | |
JPH09326040A (ja) | 画像合成装置 | |
KR20140121064A (ko) | 템플릿 모델 기반의 3d 영상 생성 방법 및 장치 | |
JP2916607B2 (ja) | 画像拡大装置 | |
JP2004152148A (ja) | 動画像合成方法および装置並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090618 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |