JP2021182670A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像における被写体の質感の変化を抑制しつつ映り込み情報を処理することが可能な画像処理装置を提供する。【解決手段】画像処理装置１は、入力画像における処理領域の各画素の輝度情報を映り込み成分１ｒと被写体成分Ｉｓとに分離する反射成分分離部１２と、映り込み成分が第１の成分Ｉｂまたは第２の成分ＩＬのいずれであるかを判定する判定部１３と、第１の成分に基づいて第１の情報を生成する背景像処理部１４と、第１の情報と第２の成分と被写体成分とに基づいて出力画像を生成する画像生成部１５とを有する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、カメラの画角外にある物体からの光が被写体の一部で反射してセンサに入射することで画像に生じる映り込み情報を、画像処理によって除去する方法が知られている。特許文献１には、偏光センサを用いて取得した偏光情報を利用して、画像の成分を鏡面反射成分（映り込み情報）と拡散反射成分（被写体情報）とに分離することで、鏡面反射成分のみを除去する方法が開示されている。

特許第６４０９０８８号公報

鏡面反射成分は、映り込んだ物体の情報だけでなく被写体の質感の情報も含んでいる。このため、特許文献１に開示されている方法により鏡面反射成分を除去すると、被写体の質感が変化してしまう。

そこで本発明は、画像における被写体の質感の変化を抑制しつつ映り込み情報を処理することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、入力画像における処理領域の各画素の輝度情報を映り込み成分と被写体成分とに分離する分離部と、前記映り込み成分が第１の成分または第２の成分のいずれであるかを判定する判定部と、前記第１の成分に基づいて第１の情報を生成する処理部と、前記第１の情報と前記第２の成分と前記被写体成分とに基づいて出力画像を生成する画像生成部とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画像における被写体の質感の変化を抑制しつつ映り込み情報を処理することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

各実施例における画像処理装置のブロック図である。 各実施例における画像処理方法の模式図である。 各実施例における３つの輝度情報から求められる近似曲線を示す図である。 各実施例における平滑化フィルターと、平滑化フィルターを畳み込み積分される画素領域を示す図である。 実施例１における画像処理方法のフローチャートである。 実施例２における撮像装置のブロック図である。 実施例３における撮像装置のブロック図である。 実施例３における撮像装置の撮像素子の画素配列図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１および図２を参照して、各実施例における画像処理装置および画像処理方法について説明する。図１は、画像処理装置１のブロック図である。図２は、画像処理装置１により実施される画像処理方法の模式図である。

画像処理装置１は、選択部１１、反射成分分離部（分離部）１２、判定部１３、背景像処理部（処理部）１４、および画像生成部１５を備えている。選択部１１は、画像処理装置１に入力された入力画像２１の一部の領域を背景像処理領域（処理領域）２２として選択する。背景像処理領域２２として選択される領域は、１つの領域または複数の領域のいずれでもよい。背景像処理領域２２は、映り込みを起こしやすい対象が含まれる領域である。映り込みを起こしやすい対象とは、例えば目や眼鏡、窓ガラス、水面などが挙げられる。図２に示される例において、選択部１１は、入力画像２１中に破線で示される目を含む２つの領域を背景像処理領域２２として選択している。

反射成分分離部１２は、背景像処理領域２２の各画素の輝度情報Ｉ（輝度成分）を被写体成分Ｉｓと映り込み成分Ｉｒとに分離する。ここでは、主に被写体自身の情報が含まれている輝度成分を被写体成分Ｉｓ、主に周囲の物体や光源などの映り込んだ物体の情報が含まれている輝度成分を映り込み成分Ｉｒとする。また、被写体成分Ｉｓからなる画像を被写体像２３、映り込み成分Ｉｒからなる画像を映り込み像２４とする。

輝度情報Ｉを被写体成分Ｉｓと映り込み成分Ｉｒとに分離する方法としては、例えば偏光情報を利用して分離する方法が知られている。偏光情報は、特定の偏光方位の光を選択的に透過する偏光素子をカメラやレンズの前に取り付け、偏光素子の向きを変えながら撮影した複数枚の偏光画像から算出することができる。複数枚の偏光画像は、互いに向きの異なる複数の偏光素子をセンサの各画素に取り付けた偏光センサを利用して取得することもできる。

複数枚の偏光画像で同じ位置にある画素の輝度情報Ｉと、各偏光画像を取得したときの偏光素子の角度（向き）θとの関係は、余弦関数で近似することができる。図３は、θ＝０度、４５度、９０度で取得した偏光画像で同じ位置にある画素の３つの輝度情報Ｉ（白丸）と、３つの輝度情報Ｉから求められる近似曲線（破線）をそれぞれ示す。偏光画像の輝度情報から推定された近似曲線は、曲線の最小値Ｉｍｉｎ、最大値Ｉｍａｘ、曲線が最大となる偏光素子の角度（向き）θｍａｘを用いて、以下の式（１）のように表される。

ここでは、Ｉｍｉｎ、Ｉｍａｘ、θｍａｘの３つを合わせて偏光情報とする。なお、偏光情報は式（１）を一意に表す係数であれば、Ｉｍｉｎ、Ｉｍａｘ、θｍａｘの３つの組に限定されるものではない。例えば、Ｉｍａｘの代わりにＩｍａｘとＩｍｉｎとの差Ｉｍａｘ−Ｉｍｉｎ、θｍａｘの代わりに曲線が最小となる偏光素子の角度（向き）θｍｉｎとしてもよい。

一般に、被写体の表面で鏡面反射した光は偏光度が大きく、拡散反射した光は偏光度が小さい。また、拡散反射した光は主に被写体自身の情報が含まれた被写体成分であり、鏡面反射した光は主に周囲の物体や光源などの映り込んだ物体の情報が含まれた映り込み成分である。すなわち、映り込み成分は偏光素子の向きに応じて変化するが、被写体成分は偏光素子の向きによらず略一定である。したがって、偏光素子の角度（向き）θに依らない成分である最小値Ｉｍｉｎを被写体成分Ｉｓ、それ以外の成分を映り込み成分Ｉｒと推定することができる。

また、二色性反射モデルに基づいて分離する方法も知られている。二色性反射モデルによれば、物体からの反射光は、物体色の被写体成分Ｉｓと光源色の映り込み成分Ｉｒとの和で表すことができる。したがって、光源色と物体色を推定することで、それぞれの色の成分を被写体成分Ｉｓと映り込み成分Ｉｒとして分離することができる。

また、その他の方法として、視差情報を利用する方法もある。視差情報は、同じ被写体を異なる位置のカメラで撮影した複数の画像から得られる。異なる位置のカメラで撮影した画像では、背景像処理領域２２、被写体像２３、および、映り込み像２４の画像内における相対位置が異なり、これらの位置のずれ量が視差として求められる。背景像処理領域２２と被写体像２３との視差は略同等であるが、映り込み像２４は背景像処理領域２２と視差が異なり、背景像処理領域２２に対する映り込み像２４の相対位置が変化する。したがって、背景像処理領域２２に対して相対位置が変化しない成分を被写体成分Ｉｓ、相対位置が変化する成分を映り込み成分Ｉｒと推定することができる。

判定部１３は、映り込み成分Ｉｒが背景成分Ｉｂまたは光源成分ＩＬのいずれであるかを判定する。例えば、判定部１３は、主に周囲の物体の情報からなる映り込み成分Ｉｒを背景成分Ｉｂと判定し、主に光源の情報からなる映り込み成分Ｉｒを光源成分ＩＬと判定する。また、背景成分Ｉｂからなる画像を背景像２５、光源成分ＩＬからなる画像を光源像２６とする。

映り込み成分Ｉｒが背景成分Ｉｂまたは光源成分ＩＬのいずれであるかの判定の基準としては、例えば、映り込み成分Ｉｒ（映り込み像２４）の輝度情報や色情報を用いることができる。また、映り込み成分Ｉｒ（映り込み像２４）の形状に基づいて判定してもよい。輝度情報による判定は、例えば輝度値の大小によってなされる。一般に、映り込んだ光源の像は、映り込んだ周囲の物体の像と比べて輝度値が大きい。したがって、判定部１３は、映り込み成分Ｉｒの中で比較的大きい成分を光源成分ＩＬとして判定する。例えば、判定部１３は、背景像処理領域２２内の映り込み成分Ｉｒの平均値よりも大きい成分を光源成分ＩＬとして判定する。すなわち判定部１３は、輝度値が所定値よりも小さい場合に映り込み成分Ｉｒが背景成分Ｉｂであると判定し、輝度値が所定値よりも大きい場合、映り込み成分Ｉｒが光源成分ＩＬであると判定する。または、判定部１３は、映り込み成分Ｉｒと被写体成分Ｉｓとを合わせた画素の輝度情報が飽和輝度値の８割以上の画素の映り込み成分Ｉｒを光源成分ＩＬと判定してもよい。色情報を用いた判定では、判定部１３は、例えば、推定または指定した光源色と同等の色情報を有する映り込み成分Ｉｒを光源成分ＩＬとして判定する。

なお、これらの基準は一例であり、任意の基準を用いることができる。また、基準は予め与えられてもよいが、適宜設定してもよい。また、各画素の映り込み成分Ｉｒの判定には各画素の情報のみ用いてもよいが、近傍画素の情報を含めて判定してもよい。

背景像処理部１４は、背景像２５に処理を加えて処理背景像２７を生成する。処理背景像２７の各画素の輝度情報を処理背景成分Ｉｂ’とする。背景像処理部１４での処理としては、例えば、背景成分に対応する背景像２５に対する高周波成分の除去（解像度を低下させること）、輝度情報の除去（輝度値を低下させること）、色情報の変更、別画像による置き換え、または、モザイク処理などが挙げられる。

高周波成分を除去する方法は、例えば画像に平滑化フィルターを畳み込み積分する平滑化処理がある。平滑化処理は周辺画素の値の平均値や重み付き平均値を各画素の値とすることで、近傍画素との差を小さくし、高周波成分を除去する。図４は、一例として、５×５画素の平滑化フィルター４１と、平滑化フィルター４１を畳み込み積分される画像の一部である５×５画素の画素領域４２とを示す図である。平滑化フィルター４１と画素領域４２の各画素内にはそれぞれ、フィルターの画素値ｆ（ｉ，ｊ）と画像の画素値Ｉ（ｉ，ｊ）が記されており、（ｉ，ｊ）は各画素の位置を表している。平滑化フィルター４１を畳み込み積分して得られる位置（０，０）の画素の画素値Ｉ’（０，０）は、以下の式（２）のように表される。

なお、フィルターの画素値ｆ（ｉ，ｊ）は、各画素で全て等しくてもよいし、ガウシアンフィルタのように画素ごとに異なっていてもよい。

また、画像をフーリエ変換して空間周波数ごとの情報にし、高周波成分を０としたあと逆変換することで高周波成分を除去した画像を生成する方法もある。また、例えば画像をモノクロ化することで色情報を除去したり、各画素の輝度値を小さくすることで輝度情報を除去したりすることができる。別画像による置き換えは、予め用意した画像リストの中から背景像２５に近い画像を選択し置き換えることや、背景像をレタッチした画像で置き換えることで行うことができる。

背景像処理部１４は、前述の処理を複数の領域に実施してもよく、または、一つのみの領域に実施してもよい。また、背景像２５の全体に同じ処理を実施してもよく、または、背景像２５の一部ごとに異なる処理を実施してもよい。

画像生成部１５は、背景像処理領域２２における被写体像２３と光源像２６と処理背景像２７、および、背景像処理領域２２以外の領域における入力画像を合成して生成画像（出力画像）２８を生成する。生成画像２８の各画素の輝度情報は、背景像処理領域２２以外の領域では入力画像の輝度情報Ｉとなり、背景像処理領域２２では被写体成分Ｉｓと光源成分ＩＬと処理背景成分Ｉｂ’との和になる。

なお、生成画像２８において背景像処理領域２２の境界付近で処理の有無によってエッジが生じるような弊害が発生する場合がある。そのような場合、背景像処理領域２２の境界付近を遷移領域とし、輝度情報を入力画像の輝度情報Ｉと被写体成分Ｉｓ、光源成分ＩＬ、処理背景成分Ｉｂ’の和との平均値として生成画像２８を生成するなどしてもよい。

画像処理装置１で生成された生成画像２８は、被写体や映り込んだ光源の情報を保ったまま、映り込んだ周囲の物体の情報が除去された画像になっている。したがって、被写体の情報の喪失や質感の変化を抑制しながら、映り込んだ周囲の物体の情報を除去することができている。なお各実施例において、画像処理装置１が行う画像処理と同等の画像処理方法をプログラムなどで実行してもよい。

次に、図５を参照して、本発明の実施例１における画像処理方法について説明する。図５は、本実施例における画像処理方法のフローチャートである。本実施例の画像処理方法は、図１を参照して説明した画像処理装置１の選択部１１、反射成分分離部１２、判定部１３、背景像処理部１４、または画像生成部１５により実行される。

まずステップＳ１０１において、画像処理装置１の選択部１１は、画像を入力する（入力画像２１を取得する）。続いてステップＳ１０２において、選択部１１は、入力画像２１の被写体から目を検出する。続いてステップＳ１０３において、選択部１１は、入力画像２１から検出された目を含む領域を背景像処理領域２２として選択する。なお、被写体から目を検出する方法は、公知の種々の技術を用いることができる。

続いてステップＳ１０４において、反射成分分離部１２は、顔認証を行う。続いてステップＳ１０５において、反射成分分離部１２は、顔認証により個人を特定できたか否かを判定する。個人を特定できない場合、ステップＳ１０６に進み、画像処理装置１は、画像処理が中断したことを通知する。画像処理装置１は、例えば、外部の表示装置に処理が中断したことを知らせる表示などをしてもよい。一方、個人を特定できた場合、ステップＳ１０７に進む。

ステップＳ１０７において、反射成分分離部１２は、二色性反射モデルに基づいて、背景像処理領域２２の各画素の輝度情報を映り込み成分Ｉｒと被写体成分Ｉｓ（すなわち目の成分）とに分離する。本実施例において、反射成分分離部１２は、顔認証により特定された個人と紐づけられた目の色情報を物体色として与えることで、物体色の被写体成分Ｉｓと光源色の映り込み成分Ｉｒに分離する。

続いてステップＳ１０８において、判定部１３は、映り込み成分Ｉｒが背景成分Ｉｂ（第１の成分）または光源成分ＩＬ（第２の成分）のいずれであるかを判定する。本実施例において、判定部１３は、輝度値が背景像処理領域２２における最大値の半分以上である画素の映り込み成分Ｉｒを光源成分ＩＬ、それ以外の映り込み成分Ｉｒを背景成分Ｉｂとする。

続いてステップＳ１０９において、背景像処理部（処理部）１４は、フィルターのサイズを算出する。続いてステップＳ１１０において、背景像処理部１４は、背景像２５に対して平滑化処理を行い、高周波成分を除去する。すなわち背景像処理部１４は、背景成分Ｉｂに基づいて処理背景像２７（第１の情報）を生成する。

背景像処理部１４は、背景像２５に対して平滑化処理を行い、高周波成分を除去する。本実施例において、平滑化処理は、フィルターのサイズがＦ１×Ｆ２画素で画素値が全て等しい平滑化フィルターを背景像２５に畳み込み積分することで行われる。フィルターのサイズＦ１、Ｆ２はそれぞれ奇数値であり、背景像処理領域２２の大きさに基づいて決定される。背景像処理領域２２の大きさは、背景像処理領域２２に外接する長方形のうち面積が最小となる長方形の大きさＮ１×Ｎ２画素で表す。このときフィルターのサイズＦ１、Ｆ２は、Ｎ１／Ｆ１、Ｎ２／Ｆ２が略１０となるように決定される。フィルターサイズを前述のようにすることで、平滑化処理後の画像の解像度が背景像処理領域２２内を略１０×１０画素としたときの解像度程度となり、映り込んだ物体の判別が困難になる。なお、平滑化処理の際には、外接する長方形の２辺が画像の画素配列方向と一致するように背景像処理領域２２を回転処理してから平滑化フィルターを背景像２５に畳み込み積分する。その後、平滑化処理された背景像２５を逆回転処理することで処理背景像２７を生成する。

続いてステップＳ１１１において、画像生成部１５は、背景像処理領域２２における処理背景像２７と光源成分ＩＬ（光源像２６）と被写体成分Ｉｓ（被写体像２３）と、背景像処理領域２２以外の領域の入力画像とを合成して、生成画像２８を生成する。

本実施例の画像処理装置１で得られた生成画像２８は、入力画像２１と比較すると、背景像２５の高周波成分が除去され、映り込んだ物体の判別を困難にすることができる。一方、被写体像２３や光源像２６には変化がないため、被写体の情報が失われず質感の変化を抑制することができる。

次に、図６を参照して、本発明の実施例２における撮像装置について説明する。図６は、本実施例における撮像装置２のブロック図である。撮像装置２は、画像処理装置１、光学系２０２、撮像素子２０３、および照明装置２０４を備えている。撮像素子２０３は、光学系２０２からの光を受光し、入力画像を生成する。撮像装置２において、被写体で反射された照明装置２０４からの照明光が光学系２０２により撮像素子２０３上に結像され、撮像素子２０３から得られた画像が入力画像２１として画像処理装置１に入力される。

本実施例では、照明装置２０４として白色のリング形状の照明が用いられ、照明装置２０４の情報として照明光の色情報と形状情報が画像処理装置１の判定部１３に入力される。判定部１３は、映り込み像２４の色情報および形状情報を判定基準の一つとして用いる。すなわち判定部１３は、映り込み成分Ｉｒに対応する映り込み像２４から照明光の色情報（白色）と形状情報（リング形状）に近い形状の像を抽出し、抽出された像のうち輝度値が基準値（所定値）以上の像を光源像２６と判定する。光源情報を既知の情報として反射成分の判定に利用することで、照明装置２０４によって意図的に付与した光源成分をより正確に判定することができる。これにより、意図した質感に近い生成画像２８を得ることができる。

また、本実施例の画像処理装置１の背景像処理部１４は、背景像２５を別画像で置き換える。置き換える画像は、予め用意した画像リストの中から背景像２５に近い画像を選択することができる。置き換え処理の際、置き換える画像に対して、画像サイズを背景像処理領域２２の大きさに合わせて拡大縮小する処理や、全体の輝度を背景像２５の輝度に合わせる処理を行うことができる。背景像２５を別画像で置き換えることにより、背景像２５の持つ情報を消去することができ、情報流出の可能性を低減することができる。

次に、図７および図８を参照して、本発明の実施例３における撮像装置について説明する。図７は、本実施例における撮像装置３のブロック図である。図８は、本実施例における撮像素子３０３の画素配列図である。撮像装置３は、画像処理装置１、光学系３０２、撮像素子３０３、および、偏光情報算出部（算出部）３０４を備えている。撮像素子３０３は、光学系３０２からの光を受光する。

光学系３０２は、被写体からの反射光を撮像素子３０３上に結像し、撮像素子３０３から得られた画像が偏光情報算出部３０４へ入力される。本実施例において、撮像素子３０３は、０度、４５度、９０度、１３５度の角度（向き）の複数の偏光素子が各画素に配置された偏光撮像素子である。図８中の各画素の数字１、２、３、４はそれぞれ、各画素の偏光素子の角度（０度、４５度、９０度、１３５度）を表している。

偏光情報算出部３０４は、撮像素子３０３の偏光素子の向きが同じ画素で得られた情報をそれぞれ補間処理することで、各画素において異なる４つの偏光素子の向きで取得した輝度情報を得る。そして偏光情報算出部３０４は、各画素において、得られた４つの輝度値と各輝度値を得た偏光素子の角度（向き）とに基づいて、式（１）で表される近似曲線を求める。本実施例において、偏光情報算出部３０４は、得られた４つの輝度値と、各輝度値を得た偏光素子の角度に対して式（１）から算出される輝度値の差の二乗和が最小となる最小値Ｉｍｉｎ、最大値Ｉｍａｘ、角度θｍｉｎを偏光情報として算出する。偏光情報算出部３０４で算出された偏光情報からなる画像は、入力画像２１として画像処理装置１に入力される。

選択部１１は、最小値Ｉｍｉｎに関するＩｍｉｎ情報からなる画像を用いて背景像処理領域２２を選択する。Ｉｍｉｎ情報からなる画像は、主に被写体自身の情報からなるため、目や窓ガラスなど映り込みを起こしやすい対象を検出する際に映り込みによる検出精度の低下が起こりにくい。反射成分分離部１２は、Ｉｍｉｎ情報を被写体成分Ｉｓとし、Ｉｍａｘ−Ｉｍｉｎ情報を映り込み成分Ｉｒとする。判定部１３は、最大値Ｉｍａｘが基準値（所定値）以下の成分を背景成分Ｉｂと判定する。背景像処理部１４は、背景像２５の輝度情報を０とする処理を行う。すなわち背景像処理部１４は、各画素の処理背景成分Ｉｂ’＝０とした処理背景像２７を生成する。

画像生成部１５は、背景像処理領域２２内の被写体像２３、光源像２６、処理背景像２７と、背景像処理領域２２外の入力画像とから生成画像２８を生成する。背景像処理領域２２内での偏光情報は、Ｉｍｉｎ＝Ｉｓ、Ｉｍａｘ＝Ｉｓ＋ＩＬとなり、θｍａｘは入力画像のθｍａｘと同じとなる。本実施例において、生成画像２８の各画素の輝度情報Ｉは、３つの係数ｋ１、ｋ２、ｋ３を用いて、以下の式（３）で算出することができる。

３つの係数ｋ１、ｋ２、ｋ３を変えて画像を生成することで、被写体の質感を変化させることができる。なお、３つの係数ｋ１、ｋ２、ｋ３は全画素で同じでもよいが各画素で異なっていてもよい。

以上のように、本実施例の撮像装置３は、互いに異なる向きに配置された複数の偏光素子によりそれぞれ取得された複数の偏光画像から偏光情報を算出する偏光情報算出部３０４を有する。そして反射成分分離部１２は、偏光情報に基づいて、複数の偏光素子の向きに依らないと判定される成分を被写体成分Ｉｓとし、被写体成分Ｉｓとは異なる成分を映り込み成分Ｉｒとして分離する。

本実施例の画像処理装置１で得られた画像は、入力画像２１と比較すると、背景像２５の輝度情報が０となり、映り込んだ物体の情報が失われている。また、偏光情報を用いることで被写体の質感を変化させ、より好ましい質感の画像を得ることができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、画像における被写体の質感の変化を抑制しつつ映り込み情報を処理することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 画像処理装置
１２ 反射成分分離部（分離部）
１３ 判定部
１４ 背景像処理部（処理部）
１５ 画像生成部

Claims (15)

1. 入力画像における処理領域の各画素の輝度情報を映り込み成分と被写体成分とに分離する分離部と、
   前記映り込み成分が第１の成分または第２の成分のいずれであるかを判定する判定部と、
   前記第１の成分に基づいて第１の情報を生成する処理部と、
   前記第１の情報と前記第２の成分と前記被写体成分とに基づいて出力画像を生成する画像生成部と、を有することを特徴とする画像処理装置。
2. 前記処理部は、前記第１の成分に対応する背景像の解像度を低下させて前記第１の情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部は、前記第１の成分に対応する背景像の色情報を変更して前記第１の情報を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理部は、前記第１の成分に対応する背景像の輝度値を低下させて前記第１の情報を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記処理部は、前記第１の成分に対応する背景像を別画像で置き換えて前記第１の情報を生成することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記処理部は、前記第１の成分に対応する背景像に対してモザイク処理を行って前記第１の情報を生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記入力画像の一部を前記処理領域として選択する選択部を更に有し、
   前記選択部は、前記入力画像から検出された目を含む領域を前記処理領域とすることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記判定部は、前記映り込み成分の輝度情報を用いて、該映り込み成分が前記第１の成分または前記第２の成分のいずれであるかを判定することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記輝度情報は、前記映り込み成分の輝度値であり、
   前記判定部は、
   前記輝度値が所定値よりも小さい場合、前記映り込み成分が前記第１の成分であると判定し、
   前記輝度値が前記所定値よりも大きい場合、前記映り込み成分が前記第２の成分であると判定することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
10. 前記判定部は、前記映り込み成分の色情報を用いて、該映り込み成分が前記第１の成分または前記第２の成分のいずれあるかを判定することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記判定部は、前記映り込み成分の形状を用いて、該映り込み成分が前記第１の成分または前記第２の成分のいずれあるかを判定することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 互いに異なる向きに配置された複数の偏光素子によりそれぞれ取得された複数の偏光画像から偏光情報を算出する算出部を更に有し、
    前記分離部は、前記偏光情報に基づいて、前記複数の偏光素子の向きに依らないと判定される成分を前記被写体成分とし、該被写体成分とは異なる成分を前記映り込み成分として分離することを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 請求項１乃至１２のいずれか一項に記載の画像処理装置と、前記入力画像を生成する撮像素子とを有することを特徴とする撮像装置。
14. 入力画像における処理領域の各画素の輝度情報を映り込み成分と被写体成分とに分離するステップと、
    前記映り込み成分が第１の成分または第２の成分のいずれであるかを判定するステップと、
    前記第１の成分に基づいて第１の情報を生成するステップと、
    前記第１の情報と前記第２の成分と前記被写体成分とに基づいて出力画像を生成するステップと、を有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images