JP2002123830A - 照明環境仮想変換装置 - Google Patents
照明環境仮想変換装置Info
- Publication number
- JP2002123830A JP2002123830A JP2000317281A JP2000317281A JP2002123830A JP 2002123830 A JP2002123830 A JP 2002123830A JP 2000317281 A JP2000317281 A JP 2000317281A JP 2000317281 A JP2000317281 A JP 2000317281A JP 2002123830 A JP2002123830 A JP 2002123830A
- Authority
- JP
- Japan
- Prior art keywords
- image
- environment
- virtual
- illumination environment
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【課題】 既に撮像された画像の照明環境を仮想的に変
換する。また、自然で作業効率のよい画像合成・特殊効
果を可能にする。 【解決手段】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、撮像時の照明環境の情報と所
望の照明環境の情報から、入力画像と所望の仮想照明環
境下での画像における空間周波数スペクトル間の関係を
表わす伝達関数を計算する伝達関数生成手段と、前記入
力画像の空間周波数スペクトルに前記伝達関数を掛け合
わせて仮想照明環境における空間周波数スペクトルを求
める掛け算手段と、前記仮想照明環境における空間周波
数スペクトルを仮想照明環境における画像に変換する逆
フーリエ変換手段とを具備する照明環境仮想変換装置で
ある。
換する。また、自然で作業効率のよい画像合成・特殊効
果を可能にする。 【解決手段】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、撮像時の照明環境の情報と所
望の照明環境の情報から、入力画像と所望の仮想照明環
境下での画像における空間周波数スペクトル間の関係を
表わす伝達関数を計算する伝達関数生成手段と、前記入
力画像の空間周波数スペクトルに前記伝達関数を掛け合
わせて仮想照明環境における空間周波数スペクトルを求
める掛け算手段と、前記仮想照明環境における空間周波
数スペクトルを仮想照明環境における画像に変換する逆
フーリエ変換手段とを具備する照明環境仮想変換装置で
ある。
Description
【０００１】
【発明の属する技術分野】本発明は、映像制作技術や画
像合成装置に係わり、特に、映像の特殊効果装置や合成
画像の作業効率向上及び画質改善のための装置に関する
ものである。
像合成装置に係わり、特に、映像の特殊効果装置や合成
画像の作業効率向上及び画質改善のための装置に関する
ものである。
【０００２】
【従来の技術】従来、映像制作現場において合成画像を
作成する場合は、通常は撮像の段階で実際に照明光を移
動、増減し、さらに照明光の輝度や拡散および色合いの
程度等を調節することで効果的な合成結果を得ている。
画像合成の段階で合成画像を作成する場合には、画像処
理を用いて輝度や色の変換により微調整を行うこともあ
る。一方、第１段階として被撮像物体の３次元表面形状
を推定し、第２段階としてこの形状に対し陰影処理を行
うことで、仮想的に照明環境を変化させることができ
る。この場合に、入力画像から被撮像物体の３次元表面
形状を求める手法としては、陰影情報に基づく手法（参
考文献１：A.P.Pentland，Linear shape fromshading，
International Journal of Computer Vision，Vol.4，p
p.153-162（1990）、参考文献２：K.M.Lee等，shape fr
om shading with a linear triangularelement surface
model，IEEE Trans．PAMI，Vol.15，No.8，pp.815-822
（Aug.1993））がある。さらに、照明環境や被撮像対象
の反射特性に関する研究もある（参考文献３：B.K.P.Ho
rn，Hill shading and the reflectance map，Proc．of
IEEE，Vol.69，No.1，pp.14-47（Jan.1981））。参考文
献１，２の手法は、形状を求めることのみを目的として
おり、照明環境を変化させるための手法ではない。しか
し、参考文献３による情報とともにコンピュータグラフ
ィクス技術を用いることで仮想的に照明環境を変化させ
ることは理論上は可能である。
作成する場合は、通常は撮像の段階で実際に照明光を移
動、増減し、さらに照明光の輝度や拡散および色合いの
程度等を調節することで効果的な合成結果を得ている。
画像合成の段階で合成画像を作成する場合には、画像処
理を用いて輝度や色の変換により微調整を行うこともあ
る。一方、第１段階として被撮像物体の３次元表面形状
を推定し、第２段階としてこの形状に対し陰影処理を行
うことで、仮想的に照明環境を変化させることができ
る。この場合に、入力画像から被撮像物体の３次元表面
形状を求める手法としては、陰影情報に基づく手法（参
考文献１：A.P.Pentland，Linear shape fromshading，
International Journal of Computer Vision，Vol.4，p
p.153-162（1990）、参考文献２：K.M.Lee等，shape fr
om shading with a linear triangularelement surface
model，IEEE Trans．PAMI，Vol.15，No.8，pp.815-822
（Aug.1993））がある。さらに、照明環境や被撮像対象
の反射特性に関する研究もある（参考文献３：B.K.P.Ho
rn，Hill shading and the reflectance map，Proc．of
IEEE，Vol.69，No.1，pp.14-47（Jan.1981））。参考文
献１，２の手法は、形状を求めることのみを目的として
おり、照明環境を変化させるための手法ではない。しか
し、参考文献３による情報とともにコンピュータグラフ
ィクス技術を用いることで仮想的に照明環境を変化させ
ることは理論上は可能である。
【０００３】
【発明が解決しようとする課題】撮像の段階で照明光を
実際に移動・増減することにより輝度・色等を変化させ
ることは自然な合成画像や特殊効果を効果的に得るため
には不可欠な作業である。しかし、画像合成の素材の組
み合わせによってそれぞれ適した照明環境が異なるた
め、一度撮影された画像素材を他の映像シーンに流用す
ることは不適当であることが多い。また、合成結果や映
像効果が照明環境の不一致などにより所望のものでなか
った場合には、再度撮影し直す必要がある。従来の３次
元形状推定と陰影処理の処理を用いて合成画像を得る場
合には、２段階の処理を要するため演算量が大きかっ
た。本発明の目的は、既に撮像された画像の照明環境を
仮想的に変換することが可能な技術を提供し、自然で作
業効率のよい画像合成・特殊効果が可能で、被撮像対象
の３次元形状を求めることなく、照明環境を変化させた
場合の画像を少ない演算量で合成することが可能な技術
を提供することにある。本発明の前記ならびにその他の
目的と新規な特徴は、本明細書の記述及び添付図面によ
って明らかにする。
実際に移動・増減することにより輝度・色等を変化させ
ることは自然な合成画像や特殊効果を効果的に得るため
には不可欠な作業である。しかし、画像合成の素材の組
み合わせによってそれぞれ適した照明環境が異なるた
め、一度撮影された画像素材を他の映像シーンに流用す
ることは不適当であることが多い。また、合成結果や映
像効果が照明環境の不一致などにより所望のものでなか
った場合には、再度撮影し直す必要がある。従来の３次
元形状推定と陰影処理の処理を用いて合成画像を得る場
合には、２段階の処理を要するため演算量が大きかっ
た。本発明の目的は、既に撮像された画像の照明環境を
仮想的に変換することが可能な技術を提供し、自然で作
業効率のよい画像合成・特殊効果が可能で、被撮像対象
の３次元形状を求めることなく、照明環境を変化させた
場合の画像を少ない演算量で合成することが可能な技術
を提供することにある。本発明の前記ならびにその他の
目的と新規な特徴は、本明細書の記述及び添付図面によ
って明らかにする。
【０００４】
【課題を解決するための手段】本願において開示される
発明の概要を簡単に説明すれば、下記のとおりである。 （１）入力画像を空間周波数スペクトルに写像するフー
リエ変換手段と、撮像時の照明環境の情報と所望の照明
環境の情報から、入力画像と所望の仮想照明環境下での
画像とにおける空間周波数スペクトル間の関係を表わす
伝達関数を計算する伝達関数生成手段と、前記入力画像
の空間周波数スペクトルに前記伝達関数を掛け合わせて
仮想照明環境における空間周波数スペクトルを求める掛
け算手段と、前記仮想照明環境における空間周波数スペ
クトルを仮想照明環境における画像に変換する逆フーリ
エ変換手段とを具備する照明環境仮想変換装置である。
発明の概要を簡単に説明すれば、下記のとおりである。 （１）入力画像を空間周波数スペクトルに写像するフー
リエ変換手段と、撮像時の照明環境の情報と所望の照明
環境の情報から、入力画像と所望の仮想照明環境下での
画像とにおける空間周波数スペクトル間の関係を表わす
伝達関数を計算する伝達関数生成手段と、前記入力画像
の空間周波数スペクトルに前記伝達関数を掛け合わせて
仮想照明環境における空間周波数スペクトルを求める掛
け算手段と、前記仮想照明環境における空間周波数スペ
クトルを仮想照明環境における画像に変換する逆フーリ
エ変換手段とを具備する照明環境仮想変換装置である。
【０００５】（２）入力画像を空間周波数スペクトルに
写像するフーリエ変換手段と、既に撮像された未知の照
明環境下の画像から撮影時の照明環境情報を推定する照
明環境推定手段と、前記撮像時の照明環境の情報と所望
の照明環境の情報から、前記入力画像の撮影時の照明環
境情報と所望の仮想照明環境下での画像とにおける空間
周波数スペクトル間の関係を表わす伝達関数を計算する
伝達関数生成手段と、前記入力画像の空間周波数スペク
トルに前記伝達関数を掛け合わせて仮想照明環境におけ
る空間周波数スペクトルを求める掛け算手段と、前記仮
想照明環境における空間周波数スペクトルを仮想照明環
境における画像に変換する逆フーリエ変換手段とを具備
する照明環境仮想変換装置である。
写像するフーリエ変換手段と、既に撮像された未知の照
明環境下の画像から撮影時の照明環境情報を推定する照
明環境推定手段と、前記撮像時の照明環境の情報と所望
の照明環境の情報から、前記入力画像の撮影時の照明環
境情報と所望の仮想照明環境下での画像とにおける空間
周波数スペクトル間の関係を表わす伝達関数を計算する
伝達関数生成手段と、前記入力画像の空間周波数スペク
トルに前記伝達関数を掛け合わせて仮想照明環境におけ
る空間周波数スペクトルを求める掛け算手段と、前記仮
想照明環境における空間周波数スペクトルを仮想照明環
境における画像に変換する逆フーリエ変換手段とを具備
する照明環境仮想変換装置である。
【０００６】（３）前記手段（１）又は（２）の照明環
境仮想変換装置において、前記照明環境の情報に、照明
光の入射方向を用いる。
境仮想変換装置において、前記照明環境の情報に、照明
光の入射方向を用いる。
【０００７】（４）前記手段（１）乃至（３）のうちい
ずれか１つの照明環境仮想変換装置において、前記の既
知の照明環境情報に基づいて所望の照明環境での画像に
変換する手法として、空間周波数領域もしくは空間領域
におけるフィルタ処理を用いる。
ずれか１つの照明環境仮想変換装置において、前記の既
知の照明環境情報に基づいて所望の照明環境での画像に
変換する手法として、空間周波数領域もしくは空間領域
におけるフィルタ処理を用いる。
【０００８】（５）入力画像を分割する手段と、分割さ
れた各部分画像ごとに前記手段（１）乃至（４）のうち
いずれか１つの処理を行い、照明環境や被撮像物体表面
特性の異なる画像領域ごとの適応的な画像処理を行う画
像処理手段を具備する照明環境仮想変換装置である。
れた各部分画像ごとに前記手段（１）乃至（４）のうち
いずれか１つの処理を行い、照明環境や被撮像物体表面
特性の異なる画像領域ごとの適応的な画像処理を行う画
像処理手段を具備する照明環境仮想変換装置である。
【０００９】すなわち、本発明のポイントは、入力画像
を空間周波数スペクトルに写像するフーリエ変換手段
と、撮像時の照明環境の情報と所望の照明環境の情報か
ら、入力画像と所望の仮想照明環境下での画像とにおけ
る空間周波数スペクトル間の関係を表わす伝達関数を計
算する伝達関数生成手段と、前記入力画像の空間周波数
スペクトルに前記伝達関数を掛け合わせて仮想照明環境
における空間周波数スペクトルを求める掛け算手段と、
前記仮想照明環境における空間周波数スペクトルを仮想
照明環境における画像に変換する逆フーリエ変換手段と
を具備することである。また、既に撮像された画像から
照明環境を推定するために、照明環境推定手段を付加す
ることもできる。
を空間周波数スペクトルに写像するフーリエ変換手段
と、撮像時の照明環境の情報と所望の照明環境の情報か
ら、入力画像と所望の仮想照明環境下での画像とにおけ
る空間周波数スペクトル間の関係を表わす伝達関数を計
算する伝達関数生成手段と、前記入力画像の空間周波数
スペクトルに前記伝達関数を掛け合わせて仮想照明環境
における空間周波数スペクトルを求める掛け算手段と、
前記仮想照明環境における空間周波数スペクトルを仮想
照明環境における画像に変換する逆フーリエ変換手段と
を具備することである。また、既に撮像された画像から
照明環境を推定するために、照明環境推定手段を付加す
ることもできる。
【００１０】好ましくは、前記フーリエ変換手段及び前
記逆フーリエ変換手段として、高速フーリエ変換アルゴ
リズム及び高速逆フーリエ変換アルゴリズムを用いる。
これによって演算の高速化がなされる。好適には、前記
照明環境の記述に入射光の方向ベクトルを用いる。これ
によって前記照明環境推定手段を効率的に実行すること
ができる。本発明によれば、既に撮影された画像の照明
環境から、再び撮影をすることなく別の照明環境におけ
る画像を生成することができるようになる。
記逆フーリエ変換手段として、高速フーリエ変換アルゴ
リズム及び高速逆フーリエ変換アルゴリズムを用いる。
これによって演算の高速化がなされる。好適には、前記
照明環境の記述に入射光の方向ベクトルを用いる。これ
によって前記照明環境推定手段を効率的に実行すること
ができる。本発明によれば、既に撮影された画像の照明
環境から、再び撮影をすることなく別の照明環境におけ
る画像を生成することができるようになる。
【００１１】以下に、本発明について、本発明による実
施形態（実施例）とともに図面を参照して詳細に説明す
る。なお、実施形態（実施例）を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。
施形態（実施例）とともに図面を参照して詳細に説明す
る。なお、実施形態（実施例）を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。
【００１２】
【発明の実施の形態】（実施形態１）図１は、本発明に
よる実施形態１の照明環境仮想変換装置の概略構成を示
すブロック図である。本実施形態の照明環境仮想変換装
置は、空間周波数領域におけるフィルタ処理によって入
力画像を変換し、所望の照明環境で撮像された画像を仮
想的に生成するものである。図１に示すように、本実施
形態の照明環境仮想変換装置は、画像信号を空間周波数
スペクトルに変換するフーリエ変換回路１と、撮像時照
明環境情報と所望照明環境情報から空間周波数伝達関数
を生成する伝達関数生成回路２と、空間周波数スペクト
ルと空間周波数伝達関数の掛け算を行う掛け算回路３
と、空間周波数スペクトルを画像に変換する逆フーリエ
変換回路４とを具備する。
よる実施形態１の照明環境仮想変換装置の概略構成を示
すブロック図である。本実施形態の照明環境仮想変換装
置は、空間周波数領域におけるフィルタ処理によって入
力画像を変換し、所望の照明環境で撮像された画像を仮
想的に生成するものである。図１に示すように、本実施
形態の照明環境仮想変換装置は、画像信号を空間周波数
スペクトルに変換するフーリエ変換回路１と、撮像時照
明環境情報と所望照明環境情報から空間周波数伝達関数
を生成する伝達関数生成回路２と、空間周波数スペクト
ルと空間周波数伝達関数の掛け算を行う掛け算回路３
と、空間周波数スペクトルを画像に変換する逆フーリエ
変換回路４とを具備する。
【００１３】以下、本実施形態１の照明環境仮想変換装
置の動作を説明する。先ず、画像信号がフーリエ変換回
路１に入力される。前記入力される画像は水平画素数Ｈ
及び垂直画素数Ｖからなるものとし、画像座標（ｘ，
ｙ）における輝度値をＩ（ｘ，ｙ）で表現する。前記フ
ーリエ変換回路１は、入力された画像を離散フーリエ変
換する。入力画像を離散フーリエ変換した結果である空
間周波数スペクトルをＳ（ｕ，ｖ）とする。ここで、ｕ
及びｖはそれぞれ水平方向及び垂直方向の空間周波数と
する。
置の動作を説明する。先ず、画像信号がフーリエ変換回
路１に入力される。前記入力される画像は水平画素数Ｈ
及び垂直画素数Ｖからなるものとし、画像座標（ｘ，
ｙ）における輝度値をＩ（ｘ，ｙ）で表現する。前記フ
ーリエ変換回路１は、入力された画像を離散フーリエ変
換する。入力画像を離散フーリエ変換した結果である空
間周波数スペクトルをＳ（ｕ，ｖ）とする。ここで、ｕ
及びｖはそれぞれ水平方向及び垂直方向の空間周波数と
する。
【００１４】前記伝達関数生成回路２は、入力された撮
像時照明環境情報及び所望照明環境情報から空間周波数
伝達関数を生成する。本実施形態１では、撮像時照明環
境情報及び所望照明環境情報の表現方法として、被撮像
対象における入射光の方向ベクトルを用いる。画像平面
ｘｙに直交する光軸方向をｚ軸と定義し、撮像時照明環
境情報である入射光単位ベクトルを（Ｌｘ，Ｌｙ，Ｌ
ｚ）、所望照明環境情報である入射光単位ベクトルを
（Ｍｘ，Ｍｙ，Ｍｚ）とする。被撮像対象の表面を完全
拡散面でモデル化し、表面の向きと観測輝度の関係を線
形近似することで得られる異照明環境間の空間周波数伝
達関数をＴ（ｕ，ｖ）とすると、数１の式で定式化でき
る。
像時照明環境情報及び所望照明環境情報から空間周波数
伝達関数を生成する。本実施形態１では、撮像時照明環
境情報及び所望照明環境情報の表現方法として、被撮像
対象における入射光の方向ベクトルを用いる。画像平面
ｘｙに直交する光軸方向をｚ軸と定義し、撮像時照明環
境情報である入射光単位ベクトルを（Ｌｘ，Ｌｙ，Ｌ
ｚ）、所望照明環境情報である入射光単位ベクトルを
（Ｍｘ，Ｍｙ，Ｍｚ）とする。被撮像対象の表面を完全
拡散面でモデル化し、表面の向きと観測輝度の関係を線
形近似することで得られる異照明環境間の空間周波数伝
達関数をＴ（ｕ，ｖ）とすると、数１の式で定式化でき
る。
【００１５】
【数１】
【００１６】参考文献１に記述されているＰentlandの
Ｌinear Ｓhape from Ｓhadingで用いられているＷiene
rフィルタを応用すれば、前記数１の式における極の問
題が避けられ、安定な結果が得られる。
Ｌinear Ｓhape from Ｓhadingで用いられているＷiene
rフィルタを応用すれば、前記数１の式における極の問
題が避けられ、安定な結果が得られる。
【００１７】
【数２】
【００１８】ただし、０.５＜ｄ＜０.７５とする。伝達
関数生成回路２は、前記数１もしくは数２の式に記載の
Ｔ（ｕ，ｖ）を出力する。前記掛け算回路３は、空間周
波数（ｕ，ｖ）の定義域において入力画像の空間周波数
スペクトルＳ（ｕ，ｖ）と、空間周波数伝達関数Ｔ
（ｕ，ｖ）の積を演算し、出力する。すなわち、出力を
Ｓ’（ｕ，ｖ）とおくと、次の数３の式となる。
関数生成回路２は、前記数１もしくは数２の式に記載の
Ｔ（ｕ，ｖ）を出力する。前記掛け算回路３は、空間周
波数（ｕ，ｖ）の定義域において入力画像の空間周波数
スペクトルＳ（ｕ，ｖ）と、空間周波数伝達関数Ｔ
（ｕ，ｖ）の積を演算し、出力する。すなわち、出力を
Ｓ’（ｕ，ｖ）とおくと、次の数３の式となる。
【００１９】
【数３】 Ｓ’（ｕ，ｖ）＝Ｔ（ｕ，ｖ）Ｓ（ｕ，
ｖ） 前記逆フーリエ変換回路４は、Ｓ’（ｕ，ｖ）を離散逆
フーリエ変換し、仮想的に照明環境を変換した画像Ｉ’
（ｘ，ｙ）を出力する。
ｖ） 前記逆フーリエ変換回路４は、Ｓ’（ｕ，ｖ）を離散逆
フーリエ変換し、仮想的に照明環境を変換した画像Ｉ’
（ｘ，ｙ）を出力する。
【００２０】（実施形態２）図２は、本発明による実施
形態２の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態２の照明環境仮想変換装置は、
前記図１に示す本実施形態１の照明環境仮想変換装置に
照明環境推定回路５を内蔵させることにより、未知の照
明環境における照明環境仮想変換を可能としたものであ
る。入射光の方向が（Ｌｘ，Ｌｙ，Ｌｚ）であるとき、
空間周波数スペクトルＳ（ｕ，ｖ）は直線Ｌｘｕ＋Ｌｙ
ｖ＝０付近において零に近い値をとることから、照明環
境推定回路５は、次の数４の式の演算により、Ｌｘ及び
Ｌｙを変化させながら直線Ｌｘｕ＋Ｌｙｖ＝０付近にお
ける空間周波数スペクトルの絶対値｜Ｓ（ｕ，ｖ）｜の
総和を最小化するＫｘ及びＫｙの対を求める。
形態２の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態２の照明環境仮想変換装置は、
前記図１に示す本実施形態１の照明環境仮想変換装置に
照明環境推定回路５を内蔵させることにより、未知の照
明環境における照明環境仮想変換を可能としたものであ
る。入射光の方向が（Ｌｘ，Ｌｙ，Ｌｚ）であるとき、
空間周波数スペクトルＳ（ｕ，ｖ）は直線Ｌｘｕ＋Ｌｙ
ｖ＝０付近において零に近い値をとることから、照明環
境推定回路５は、次の数４の式の演算により、Ｌｘ及び
Ｌｙを変化させながら直線Ｌｘｕ＋Ｌｙｖ＝０付近にお
ける空間周波数スペクトルの絶対値｜Ｓ（ｕ，ｖ）｜の
総和を最小化するＫｘ及びＫｙの対を求める。
【００２１】
【数４】
【００２２】これにより、視覚的に重要な入射光ベクト
ルの視線直交成分が計算される。なお、閾値ｔは直線に
若干の幅を持たせるためのパラメータである。照明環境
推定回路５の出力（Ｌｘ，Ｌｙ，Ｌｚ）は、比例式Ｌ
ｘ：Ｌｙ：Ｌｚ＝Ｋｘ：Ｋｙ：Ｋｚを満たす単位ベクト
ルとする。ここで、Ｌｚは推定不能であるため、適当な
固定値とするか、調整パラメータの１つとして人が外部
から入力するか、入力画像のコントラスト等から適宜決
定するなどにより与える。
ルの視線直交成分が計算される。なお、閾値ｔは直線に
若干の幅を持たせるためのパラメータである。照明環境
推定回路５の出力（Ｌｘ，Ｌｙ，Ｌｚ）は、比例式Ｌ
ｘ：Ｌｙ：Ｌｚ＝Ｋｘ：Ｋｙ：Ｋｚを満たす単位ベクト
ルとする。ここで、Ｌｚは推定不能であるため、適当な
固定値とするか、調整パラメータの１つとして人が外部
から入力するか、入力画像のコントラスト等から適宜決
定するなどにより与える。
【００２３】（実施形態３）図３は、本発明による実施
形態３の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態３の照明環境仮想変換装置は、
入力画像を領域分割回路９により撮像時の照明条件や物
体色の異なる領域に分割し、分割された領域ごとに図２
に示す照明環境仮想変換回路６の処理を行うことによ
り、画像の局所的な性質を反映し変換後の画質を向上す
るものである。
形態３の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態３の照明環境仮想変換装置は、
入力画像を領域分割回路９により撮像時の照明条件や物
体色の異なる領域に分割し、分割された領域ごとに図２
に示す照明環境仮想変換回路６の処理を行うことによ
り、画像の局所的な性質を反映し変換後の画質を向上す
るものである。
【００２４】前記領域分割回路９は、入力画像信号の色
やテクスチャなどの情報に基づいてＫ平均アルゴリズム
（参考文献４：S.Z.Selim等，K-means-type algorithm
s，IEEE Trans．PAMI．Vol.6，No.1，pp.81-87，1984）
などにより領域分割処理を行う。例えば、色の差と画素
間の距離の自乗和の平方根で定義される距離を最小化す
るよう画像を分割する。分割された各領域は一般に不定
形であるため、パディング回路１０−１、１０−２、
…、１０−Ｎにより適宜数値を埋めることで矩形形状と
する。埋め合わせる数値は任意であるが、好適には値を
有する最近傍の画素値を用いる。前記パディング回路出
力の画像は照明環境仮想変換回路６−１、６−２、…６
−Ｎの画像信号入力７−１、７−２、…、７−Ｎに入力
される。一方、所望照明環境情報は８−１、８−２、
…、８−Ｎの各入力に入力される。照明環境仮想変換回
路６−１、６−２、…、６−Ｎにより仮想的に照明環境
を変換された画像は画像合成回路１１によって１枚の画
像に合成され出力される。
やテクスチャなどの情報に基づいてＫ平均アルゴリズム
（参考文献４：S.Z.Selim等，K-means-type algorithm
s，IEEE Trans．PAMI．Vol.6，No.1，pp.81-87，1984）
などにより領域分割処理を行う。例えば、色の差と画素
間の距離の自乗和の平方根で定義される距離を最小化す
るよう画像を分割する。分割された各領域は一般に不定
形であるため、パディング回路１０−１、１０−２、
…、１０−Ｎにより適宜数値を埋めることで矩形形状と
する。埋め合わせる数値は任意であるが、好適には値を
有する最近傍の画素値を用いる。前記パディング回路出
力の画像は照明環境仮想変換回路６−１、６−２、…６
−Ｎの画像信号入力７−１、７−２、…、７−Ｎに入力
される。一方、所望照明環境情報は８−１、８−２、
…、８−Ｎの各入力に入力される。照明環境仮想変換回
路６−１、６−２、…、６−Ｎにより仮想的に照明環境
を変換された画像は画像合成回路１１によって１枚の画
像に合成され出力される。
【００２５】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。
【００２６】
【発明の効果】本願において開示される発明によって得
られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、既に撮像された画像の照明環境を仮想
的に変換することができ、自然で作業効率のよい画像合
成・特殊効果が可能となる。また、被撮像対象の３次元
形状を求めることなく、照明環境を変化させた場合の画
像を少ない演算量で合成することができる。
られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、既に撮像された画像の照明環境を仮想
的に変換することができ、自然で作業効率のよい画像合
成・特殊効果が可能となる。また、被撮像対象の３次元
形状を求めることなく、照明環境を変化させた場合の画
像を少ない演算量で合成することができる。
【図１】本発明による実施形態１の照明環境仮想変換装
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
【図２】本発明による実施形態２の照明環境仮想変換装
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
【図３】本発明による実施形態３の照明環境仮想変換装
置の概略構成を示すブロック図である。
置の概略構成を示すブロック図である。
１…フーリエ変換回路 ２…伝達関数生成回路 ３…掛け算回路 ４…逆フーリエ変換回路 ５…照明環境推定回路 ６，６−１，６−２，…，６−Ｎ…照明環境仮想変換回
路 ７，７−１，７−２，…，７−Ｎ…画像信号入力 ８，８−１，８−２，…，８−Ｎ…所望照明環境情報入
力 ９…領域分割回路 １０，１０−１，１０−２，…，１０−Ｎ…パディング
回路 １１…画像合成回路
路 ７，７−１，７−２，…，７−Ｎ…画像信号入力 ８，８−１，８−２，…，８−Ｎ…所望照明環境情報入
力 ９…領域分割回路 １０，１０−１，１０−２，…，１０−Ｎ…パディング
回路 １１…画像合成回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 境田 慎一 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 鄭 文涛 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5B057 AA20 CA08 CA12 CB08 CB12 CC01 CD14 CE06 CE11 CH20 DB02 DB09 5C023 AA01 AA11 CA01 CA08 EA05 5C066 AA11 CA01 GB01 KE00 KE03
Claims (5)
- 【請求項１】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、撮像時の照明環境の情報と所
望の照明環境の情報から、入力画像と所望の仮想照明環
境下での画像における空間周波数スペクトル間の関係を
表わす伝達関数を計算する伝達関数生成手段と、前記入
力画像の空間周波数スペクトルに前記伝達関数を掛け合
わせて仮想照明環境における空間周波数スペクトルを求
める掛け算手段と、前記仮想照明環境における空間周波
数スペクトルを仮想照明環境における画像に変換する逆
フーリエ変換手段とを具備することを特徴とする照明環
境仮想変換装置。 - 【請求項２】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、既に撮像された未知の照明環
境下の画像から撮影時の照明環境情報を推定する照明環
境推定手段と、前記撮像時の照明環境の情報と所望の照
明環境の情報から、前記入力画像の撮影時の照明環境情
報と所望の仮想照明環境下での画像とにおける空間周波
数スペクトル間の関係を表わす伝達関数を計算する伝達
関数生成手段と、前記入力画像の空間周波数スペクトル
に前記伝達関数を掛け合わせて仮想照明環境における空
間周波数スペクトルを求める掛け算手段と、前記仮想照
明環境における空間周波数スペクトルを仮想照明環境に
おける画像に変換する逆フーリエ変換手段とを具備する
ことを特徴とする照明環境仮想変換装置。 - 【請求項３】 前記照明環境の情報に、照明光の入射方
向を用いることを特徴とする請求項１又は２に記載の照
明環境仮想変換装置。 - 【請求項４】 前記の既知の照明環境情報に基づいて所
望の照明環境での画像に変換する手法として、空間周波
数領域もしくは空間領域におけるフィルタ処理を用いる
ことを特徴とする請求項１乃至３のうちいずれか１項に
記載の照明環境仮想変換装置。 - 【請求項５】 入力画像を分割する手段と、分割された
各部分画像ごとに前記請求項１乃至４のうちいずれか１
項に記載の処理を行い、照明環境や被撮像物体表面特性
の異なる画像領域ごとの適応的な画像処理を行う画像処
理手段を具備することを特徴とする照明環境仮想変換装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000317281A JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000317281A JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002123830A true JP2002123830A (ja) | 2002-04-26 |
| JP4331392B2 JP4331392B2 (ja) | 2009-09-16 |
Family
ID=18796092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000317281A Expired - Fee Related JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4331392B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101488647B1 (ko) | 2014-10-30 | 2015-02-04 | 권오형 | 모바일 단말의 가상 조명 동작방법 및 장치 |
| JP2016072694A (ja) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラムならびに記録媒体 |
| JP2017518548A (ja) * | 2014-03-13 | 2017-07-06 | クアルコム，インコーポレイテッド | 拡張現実環境における仮想オブジェクトの現実的な色の作成 |
| US9836799B2 (en) | 2014-07-02 | 2017-12-05 | Fujitsu Limited | Service provision program |
| JP2018036803A (ja) * | 2016-08-30 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | 照明空間シミュレーション装置及び照明空間シミュレーション方法 |
| KR20180117835A (ko) * | 2017-04-20 | 2018-10-30 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
| WO2022215163A1 (ja) * | 2021-04-06 | 2022-10-13 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2000
- 2000-10-18 JP JP2000317281A patent/JP4331392B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017518548A (ja) * | 2014-03-13 | 2017-07-06 | クアルコム，インコーポレイテッド | 拡張現実環境における仮想オブジェクトの現実的な色の作成 |
| US9836799B2 (en) | 2014-07-02 | 2017-12-05 | Fujitsu Limited | Service provision program |
| JP2016072694A (ja) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラムならびに記録媒体 |
| KR101488647B1 (ko) | 2014-10-30 | 2015-02-04 | 권오형 | 모바일 단말의 가상 조명 동작방법 및 장치 |
| JP2018036803A (ja) * | 2016-08-30 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | 照明空間シミュレーション装置及び照明空間シミュレーション方法 |
| KR20180117835A (ko) * | 2017-04-20 | 2018-10-30 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
| KR102085701B1 (ko) * | 2017-04-20 | 2020-03-06 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
| WO2022215163A1 (ja) * | 2021-04-06 | 2022-10-13 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4331392B2 (ja) | 2009-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI524734B (zh) | 產生深度圖的方法及裝置 | |
| WO2020242170A1 (en) | Electronic device and controlling method thereof | |
| JP2013026669A (ja) | ノイズ低減装置、ノイズ低減方法及びプログラム | |
| JP4331392B2 (ja) | 照明環境仮想変換装置 | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| JPH08123969A (ja) | マッピング装置 | |
| JPH1051811A (ja) | 立体感調整方法および立体感調整装置 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| JPH10191397A (ja) | 意図適応型の２次元映像を３次元映像に変換する装置 | |
| Yamanaka et al. | Adaptive image projection onto non-planar screen using projector-camera systems | |
| JPS6326783A (ja) | カラ−画像処理方式 | |
| JP4173705B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JPH0721365A (ja) | 画像処理方法および装置 | |
| JP2002522982A (ja) | 静止画像生成方法及び装置 | |
| Kang et al. | FPGA implementation for enhancing image using pixel-based median channel prior | |
| JP4030655B2 (ja) | 階調変換方法および装置 | |
| JP5515864B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| JP2883648B2 (ja) | 画像入出力装置 | |
| JP6854629B2 (ja) | 画像処理装置、画像処理方法 | |
| Torreao et al. | Single-image shape from defocus | |
| CN101764915A (zh) | 一种基于包围盒的键调优方法和装置 | |
| JPH09326040A (ja) | 画像合成装置 | |
| KR20140121064A (ko) | 템플릿 모델 기반의 3d 영상 생성 방법 및 장치 | |
| JP2916607B2 (ja) | 画像拡大装置 | |
| JP2004152148A (ja) | 動画像合成方法および装置並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090618 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |