JP2016086246A5

JP2016086246A5 -

Info

Publication number: JP2016086246A5
Application number: JP2014216631A
Authority: JP
Filing date: 2014-10-23
Publication date: 2017-12-07
Anticipated expiration: 2034-10-23

Description

上記目的を達成するために、被写体に照明装置から光が照射された状態で撮影して得られた第１の画像に対して画像処理を行う本発明の画像処理装置は、前記被写体と前記照明装置の位置関係に基づいて、撮影時に存在しなかった仮想光源の位置を前記照明装置と異なる位置に決定する決定手段と、前記決定手段によって決定された前記仮想光源の位置と前記被写体の形状に基づいて、前記被写体における前記仮想光源から照射された光の反射成分を算出する算出手段と、前記第１の画像に対して、画像における前記被写体の領域について、前記照明装置からの光成分を低減するように明るさを補正するとともに、前記仮想光源からの光の反射成分を付加するように明るさを補正する処理手段とを有する。

また、逆光でないと判断した場合は、さらに詳細な環境光源の方向を推定する。本実施形態では、環境光源の方向は、フラッシュ１２３の発光前に取得した画像における主被写体への陰影のつき方から判断する。図４（ｂ）を用いて、具体的な例を説明すると、主被写体が人物であった場合、その顔領域４０１中から肌色部分の平均輝度を取得する。４０２は、顔の肌色領域の水平方向の輝度分布を示している。水平方向の輝度分布に基づき、顔の左右のどちらの輝度が高いか、即ち、顔の左右のどちらが明るいかを判定する。図４（ｂ）の例では左側の方が明るい分布をしている。そのため、環境光源は人物に向かって左側に位置していると推定する。同様に４０３は顔の肌色領域の垂直方向の輝度分布を示している。垂直方向の輝度分布に基づき、顔の上下でどちらの輝度が高いか、即ち、顔の上下のどちらが明るいかを判定する。図４（ｂ）の例では、上下方向で大きな差はないため、環境光源の高さが顔の中心の高さ付近であると推定する。

デガンマ処理部６０２は、画像処理部１０５の輝度ガンマ処理部２０４及び色ガンマ処理部２０６におけるガンマ補正のガンマ特性と逆の特性の演算（デガンマ処理）を行い、リニアデータに変換する。デガンマ処理部６０２は、リニアデータに変換後のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、仮想光源反射成分算出部６０４及び仮想光源付加処理部６０５に出力する。

Claims

被写体に照明装置から光が照射された状態で撮影して得られた第１の画像に対して画像処理を行う画像処理装置であって、
前記被写体と前記照明装置の位置関係に基づいて、撮影時に存在しなかった仮想光源の位置を前記照明装置と異なる位置に決定する決定手段と、
前記決定手段によって決定された前記仮想光源の位置と前記被写体の形状に基づいて、前記被写体における前記仮想光源から照射された光の反射成分を算出する算出手段と、
前記第１の画像に対して、画像における前記被写体の領域について、前記照明装置からの光成分を低減するように明るさを補正するとともに、前記仮想光源からの光の反射成分を付加するように明るさを補正する処理手段と
を有することを特徴とする画像処理装置。
前記決定手段は、前記第１の画像が逆光で撮影された画像であるかどうかを判断し、逆光で撮影された画像である場合に、前記仮想光源の位置を、予め決められた位置に設定することを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、前記被写体の向き、または、前記第１の画像における前記被写体の位置に基づいて、前記仮想光源の位置を決定することを特徴とする請求項１または２に記載の画像処理装置。
前記第１の画像と、前記照明装置を発光させずに前記被写体を撮影した第２の画像を取得する取得手段を備え、
前記決定手段は、前記第１の画像が逆光で撮影された画像でない場合に、前記第２の画像を照明している環境光の方向を判定し、該環境光の方向に前記仮想光源の位置を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記処理手段は、前記照明装置から被写体における複数の位置までの距離情報に基づいて、前記第１の画像における被写体の予め決められた複数の位置に対応する、前記被写体の複数の部分における法線を算出し、前記仮想光源からの光が前記被写体により反射される反射成分として、前記仮想光源からの光の強度を、前記法線と前記仮想光源からの光の方向との内積に比例させ、且つ、前記被写体の複数の部分までの距離に反比例させて求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記処理手段は、前記第１の画像における被写体の輝度を予め決められた割合で低減した後に、前記反射成分を付加することを特徴とする請求項５に記載の画像処理装置。
照明装置を発光させて被写体を撮影した第１の画像と、前記被写体における複数の位置までの距離情報とを取得する取得手段と、
仮想的な光を照射する仮想光源の位置を決定する決定手段と、
前記距離情報に基づいて前記被写体の形状情報を求め、求めた前記被写体の形状情報、前記距離情報、及び前記被写体に対する前記仮想光源の位置に基づいて、前記第１の画像を処理して、前記仮想光源により前記被写体に光を照射した画像を生成する処理手段と
を有し、
前記処理手段は、前記被写体の形状情報、前記距離情報、及び前記被写体に対する前記仮想光源の位置に基づいて、前記被写体の陰影成分を求め、求めた前記陰影成分を前記第１の画像に付加することを特徴とする画像処理装置。
前記処理手段は、前記距離情報に基づいて、前記第１の画像における被写体の予め決められた複数の位置に対応する、前記被写体の複数の部分における法線を算出し、前記法線と前記仮想的な光の方向との内積に比例させ、且つ、前記被写体の複数の部分までの距離に反比例させて求めた前記仮想的な光の強度が小さいほど、前記第１の画像における被写体の輝度が小さくなる値を、前記陰影成分として求めることを特徴とする請求項７に記載の画像処理装置。
被写体を撮影する撮像手段と、
請求項１乃至６のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
被写体を撮影する撮像手段と、
前記被写体における複数の位置までの距離を測定して、距離情報を取得する測距手段と、
請求項７または８に記載の画像処理装置と
を有することを特徴とする撮像装置。
被写体に照明装置から光が照射された状態で撮影して得られた第１の画像に対して画像処理を行う画像処理方法であって、
決定手段が、前記被写体と前記照明装置の位置関係に基づいて、撮影時に存在しなかった仮想光源の位置を前記照明装置と異なる位置に決定する決定工程と、
処理手段が、前記決定工程で決定された前記仮想光源の位置と前記被写体の形状に基づいて、前記被写体における前記仮想光源から照射された光の反射成分を算出する算出工程と、
前記処理手段が、前記第１の画像に対して、画像における前記被写体の領域について、前記照明装置からの光成分を低減するように明るさを補正するとともに、前記仮想光源からの光の反射成分を付加するように明るさを補正する処理工程と
を有することを特徴とする画像処理方法。
コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
請求項１２に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。