JP2006039845A - 肌色領域分類装置および方法、表面反射成分変更装置および方法並びにプログラム - Google Patents

Abstract

【課題】 どのような画像であっても肌色における表面反射成分が大きい部分を認識できるようにし、肌色における表面反射成分が大きい部分を変更することができるようにする。
【解決手段】 画像Ｓ０中の肌色画素をＲＧＢ色空間において主成分分析して第１主成分ベクトルを求め、肌色画素分布の近似関数を求める。第１主成分ベクトルと近似関数との交点（最も高輝度のもの）を分岐点として、肌色画素を高輝度画素とそれ以外の画素とに分類する。高輝度画素を主成分分析して高輝度画素第１主成分ベクトルを求め、このベクトルの方向に沿うように高輝度画素の画素値を変換する。
【選択図】 図１

Description

本発明は、画像に含まれる人物の顔等の肌色領域における肌色画素を、表面反射成分が大きい画素とそれ以外の画素とに分類する肌色領域分類装置および方法、肌色領域における表面反射成分を変更する肌色領域の表面反射成分変更装置および方法、並びに肌色領域分類方法および表面反射成分変更方法をコンピュータに実行させるためのプログラムに関するものである。

人物の顔が含まれる画像における肌色を変更することにより、肌色に美白効果を加えたり、顔からシミ等を除去する美顔処理が行われている。ところで、顔が含まれる画像には、撮影時の光源の方向、光源の種類、または顔のてかりの程度等に応じて、肌色領域に光源からの光が大きく反射することにより、肌色が白く飛んでしまっている部分（以下表面反射成分が大きい部分とする）が含まれる場合がある。このような表面反射成分が大きい部分は、その画像に含まれる本来の肌色とは異なる肌色となっているため、上述したような美顔処理を施す際には、表面反射成分が大きい部分をその画像に含まれる本来の肌色に変更したり、表面反射成分が大きい部分を無視して処理を行う必要がある。

このため、肌を含む画像において肌における表面反射成分を表す画像を得る手法が提案されている（特許文献１参照）。この手法は、偏光板が装着された撮影装置を固定して、偏光板を回転させつつ撮影を行うことにより、表面反射光成分を最も強調した画像および表面反射光成分を最も除去した画像を取得し、両画像の差分を求めることにより、表面反射光成分を表す画像を得、これにより処理対象の画像における表面反射成分が大きい部分を認識するようにしたものである。
特開２００２−１７６８９号公報

しかしながら、上記特許文献１に記載された手法においては、表面反射成分を表す画像を得るためには、偏光板が装着された撮影装置や撮影装置を固定する手段等の特別な装置が必要である。また、このような装置が必要であることから、スタジオ等のように限定された場所において撮影を行うことにより得られた画像からしか表面反射成分が大きい部分を認識することができない。

本発明は上記事情に鑑みなされたものであり、どのような画像であっても肌色における表面反射成分が大きい部分を認識できるようにすることを第１の目的とする。

また、本発明は、肌色における表面反射成分が大きい部分を変更できるようにすることを第２の目的とする。

本発明による肌色領域分類装置は、人物を含む画像の肌色領域に含まれる肌色画素の画素値に所定の色空間において主成分分析を施す主成分分析手段と、
前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出する近似関数算出手段と、
前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する分類手段とを備えたことを特徴とするものである。

ここで、主成分分析について説明する（以下、高木幹雄、下田陽久監修、画像解析ハンドブック、東京大学出版会、1991、pp40-44参照）。

主成分分析（principal component analysis）とは、多変量の測定値が得られたとき、線形変換によって変量間の相関をなくし、より少ない変量によって測定対象の特徴や特性を記述しようとするための変換である。この主成分分析は統計の分野において独立に開発されたものであるが、数学的には画像処理で用いられているＫ−Ｌ変換（Karhunen-Loeve変換）の一種であると考えることができる。

ここで、同一の標本についてＫ種類（Ｋ≧２）の変量（¹ｘ，²ｘ，…，^Kｘ）が測定されたｎ組のデータ（¹ｘ_j，²ｘ_j，…，^Kｘ_j）（ｊ＝１，２…ｎ）が得られたとする。新しい変量ｚを下記の式（１）に示すようにこれらの変量ⁱｘの１次結合により表す。

ｚ＝ａ₁ ¹ｘ＋ａ₂ ²ｘ＋…＋ａ_K ^Kｘ （１）
この際係数ａ_i（ｉ＝１，２，…Ｋ）をΣ（ａ_i ²）＝１という条件の下で、ｚの分散が最大となるように定める。このときの変量ｚを第１主成分とよび、係数ａ＝（ａ₁，ａ₂，…ａ_K）を第１主成分ベクトルとよぶ。図１０に示すように、２つの変量ｘ₁，ｘ₂があり、その観測値が図中の点で示されるように分布している場合、第１主成分ベクトルはこの分布の分散が最大の方向、すなわち、図中の直線で示される方向となる。ここで、第１主成分ｚを¹ｚ、第１主成分ベクトルａを¹ａとすると、第α主成分αｚおよび第α主成分ベクトルαａは下記の示す２つの条件により決定される。

１）αａ・αａ^t＝１ （２）
２）第α主成分αｚはβｚ（α≠β）と無相関でその分散ｖ｛αｚ｝が下記の式（３）を満足する。

ｖ｛αｚ｝≧ｖ｛βｚ｝ （３）
次いで、主成分の演算方法について説明する。

変量（¹ｘ，²ｘ，…，^Kｘ）を下記の式（４）に示すようにベクトルｘで表す。

ｘ＝（¹ｘ，²ｘ，…，^Kｘ） （４）
すると上記式（１）は下記の式（５）で表すことができる。

¹ｚ＝¹ａ・ｘ （５）
¹ｚの分散は、
ｖ｛¹ｚ｝＝ｖ｛¹ａ・ｘ｝＝¹ａ・ｖ｛ｘ｝・¹ａ^t＝¹ａ・Ｖ・¹ａ^t （６）
となる。ここで、Ｖはｘの分散共分散行列である。そしてこの分散共分散行列Ｖを固有値解析にかける。式（２）の条件から、
¹ａ・¹ａ^t＝１ （７）
であるから、ｚ１の分散を最大にするためには、Lagrangeの未定係数法より、
ｋ＝¹ａ・Ｖ・¹ａ^t−λ・（¹ａ・¹ａ^t−１） （８）
を最大にすればよい。両辺を¹ａ^tにより微分して０とおくと、
∂ｋ／∂¹ａ^t＝２Ｖ・¹ａ^t−２λ・¹ａ^t＝０ （９）
となる。式（９）を変形して、
Ｖ・¹ａ^t＝λ・¹ａ^t （１０）
となるから、結局分散共分散行列Ｖの固有値方程式を解けばよいことが分かる。式（１０）の両辺に左から¹ａをかけると、
¹ａ・Ｖ・¹ａ^t＝¹ａ・λ・¹ａ^t＝λ＝ｖ｛ｚ₁｝ （１１）
となり、式（１０）の最大固有値がｚ₁の最大の分散に相当する。

以上より、第１主成分を求めるためには、多変量測定値の分散共分散行列Ｖの固有値方程式を解き、その最大固有値に対応する固有ベクトルを第１主成分ベクトルとすればよいことが分かる。なお、第２主成分以下の主成分も同様にして求めることができる。式（１０）のＫ個の固有値λ_i（ｉ＝１，２，…Ｋ）を大きさの順に並べλ_i′とする。

λ_i′＞λ_j′（ｉ＞ｊ） （１２）
λ_i′とλ_j′が等しくなければその固有ベクトルは互いに直交する。したがって、この解は上述した条件１）を満たしている。また、同様にｎ番目に大きい固有値λ_nはｎ番目に大きい分散に対応している。

このようにして各主成分ベクトルαａ（α＝１，２，…Ｋ）が得られると、各主成分ｚαは，下記の式（１３）により与えられる。

ｚα＝αａ・ｘ （１３）
なお、本発明による肌色領域分類装置においては、前記近似関数算出手段を、前記第１主成分ベクトルの方向をｘ軸、前記主成分分析により得られた第２主成分ベクトルの方向をｙ軸としたときに、前記近似関数を下記の式（１４）により算出する手段としてもよい。

ｙ＝ａｘ＋ｂ＋ｃｅ^dx （１４）
ｅ：自然対数の底
ａ，ｂ，ｃ，ｄ：係数
本発明による肌色領域の表面反射成分変更装置は、人物を含む画像の肌色領域に含まれる肌色画素を、所定の色空間において前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する肌色画素分類手段と、
前記高輝度画素の画素値に前記所定の色空間において主成分分析を施す高輝度画素主成分分析手段と、
前記主成分分析により得られた高輝度画素第１主成分ベクトルの方向に沿って、前記高輝度画素の画素値を変換する変換手段とを備えたことを特徴とするものである。

なお、本発明による表面反射成分変更装置においては、前記変換手段を、前記高輝度画素第１主成分ベクトル上に前記表面反射成分の変更の程度を規定する基準線分を設定し、前記高輝度画素第１主成分ベクトルにおける低輝度側の端点および高輝度側の端点を、前記基準線分の低輝度側および高輝度側の端点にそれぞれ変換する関数または行列を算出し、該関数または行列により前記高輝度画素の画素値を変換する手段としてもよい。

この場合、前記変換手段を、前記基準線分の低輝度側の端点を前記高輝度画素第１主成分ベクトルの低輝度側の端点と一致させるよう前記基準線分を設定する手段としてもよい。

また、本発明による表面反射成分変更装置においては、前記肌色画素分類手段を、前記肌色画素の画素値に前記所定の色空間において主成分分析を施す主成分分析手段と、
前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出する近似関数算出手段と、
前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する分類手段とを備えるものとしてもよい。

この場合、前記近似関数算出手段を、前記第１主成分ベクトルの方向をｘ軸、前記主成分分析により得られた第２主成分ベクトルの方向をｙ軸としたときに、前記近似関数を上記式（１４）により算出する手段としてもよい。

本発明による肌色領域分類方法は、人物を含む画像の肌色領域に含まれる肌色画素の画素値に所定の色空間において主成分分析を施し、
前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出し、
前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類することを特徴とするものである。

本発明による肌色領域の表面反射成分変更方法は、人物を含む画像の肌色領域に含まれる肌色画素を、所定の色空間において前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類し、
前記高輝度画素の画素値に前記所定の色空間において主成分分析を施し、
前記主成分分析により得られた高輝度画素第１主成分ベクトルの方向に沿って、前記高輝度画素の画素値を変換することを特徴とするものである。

なお、本発明による肌色領域分類方法および表面反射成分変更方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の肌色領域分類装置および方法によれば、肌色画素の画素値に所定の色空間において主成分分析が施され、さらに、所定の色空間において主成分分析により得られた第１の主成分ベクトルと少なくとも１つの交点において交差する、肌色画素の分布を近似する近似関数が算出される。そして、輝度が最大となる最大輝度交点を分岐点として、肌色画素が肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類される。ここで、第１主成分ベクトルは、処理の対象となる画像に含まれる肌色の特性を表すものとなっているため、所定の色空間における第１主成分ベクトルの近傍の色空間は処理対象の画像に含まれる肌色を端的に表す色空間となっている。その一方で第１主成分ベクトルから高輝度側に離れた色空間ほど、肌色ではあるが輝度が高い色を表すものとなる。したがって、本発明の肌色領域分類装置および方法のように、第１主成分ベクトルと近似関数との最大輝度交点を分岐点として、肌色画素を高輝度画素とそれ以外の画素とに分類することにより、処理対象の画像に含まれる肌色画素を表面反射率が大きい高輝度画素とそれ以外の画素とに良好に分けることができ、その結果、特別な装置を使用することなく、またスタジオのような限定された場所で撮影された画像でなくても、画像に含まれる肌色の表面反射成分が大きい部分を認識することができる。

本発明の表面反射成分変更装置および方法によれば、肌色画素が所定の色空間において表面反射成分が大きい高輝度画素とそれ以外の画素とに分類され、高輝度画素の画素値に主成分分析が施され、さらにこれにより得られた高輝度画素第１主成分ベクトルの方向に沿って高輝度画素が変換される。ここで、高輝度画素第１主成分ベクトルは、処理の対象となる画像に含まれる肌色のうち、表面反射成分が大きい肌色の特性を表すものとなっているため、所定の色空間における高輝度画素第１主成分ベクトルの近傍の色空間は処理対象の画像に含まれる表面反射成分が大きい肌色を端的に表す色空間となっている。その一方で、高輝度画素第１主成分ベクトルに対して垂直な方向に離れた色空間ほど、その画像に含まれる肌色から離れた色を表すものとなる。したがって、高輝度画素第１主成分ベクトルに沿って高輝度画素の画素値を変換することにより、処理対象の画像に含まれる表面反射成分が大きい肌色を、処理対象の画像に含まれる他の肌色と比較して違和感なく変更することができる。

また、高輝度画素第１主成分ベクトル上に表面反射成分の変更の程度を規定する基準線分を設定し、高輝度画素第１主成分ベクトルにおける低輝度側および高輝度側の端点を基準線分の低輝度側および高輝度側のそれぞれの端点に変換する関数または行列により高輝度画素の画素値を変換することにより、処理対象の画像に含まれる表面反射成分が大きい肌色の範囲を超えることなく、表面反射成分が大きい肌色を変更することができる。

この場合、基準線分の低輝度側の端点を、高輝度画素第１主成分ベクトルの低輝度側の端点と一致させることにより、高輝度画素における最も低輝度の画素値を変更することなく表面反射成分が大きい肌色を変更することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による表面反射成分変更装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による表面反射成分変更装置は、人物の顔を含む処理対象の画像データＳ０により表される画像（以下、画像についても参照符号としてＳ０を用いる）に含まれる肌色領域を、表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する肌色領域分類部１および画像Ｓ０の肌色領域における高輝度画素の画素値を変更する表面反射成分変更部３を備える。

肌色領域分類部１は、肌色領域抽出部１１、主成分分析部１３、近似関数算出部１５および分類部１７を備える。

肌色領域抽出部１１は、画像Ｓ０から顔の肌色領域を抽出する。具体的には、画像Ｓ０における肌色の画素からなる領域のうち、人物の顔の形状に類似する長円形状をなす領域を肌色領域Ｆ０として抽出する。なお、肌色領域Ｆ０を抽出する手法としてはこれに限定されるものではなく、機知の種々の手法を適用することができる。また、画像Ｓ０をモニタ等に表示し、オペレータがそれを見ながら肌色の部分を指定することにより肌色領域Ｆ０を抽出するようにしてもよい。

主成分分析部１３は、肌色領域Ｆ０に含まれる肌色画素の画素値に、ＲＧＢ色空間において主成分分析を施して第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）および第２主成分ベクトル（ＶＢ２，ＶＧ２，ＶＲ２）を算出する。まず、第１主成分ベクトルの算出について説明する。

まず、肌色画素の色信号Ｂ，Ｇ，Ｒを説明変数（変量）と考えて色信号Ｂ，Ｇ，Ｒの分散共分散行列Ｖを求める。すなわち、各肌色画素における色信号Ｂ，Ｇ，Ｒをベクトルｘ＝（Ｂ，Ｇ，Ｒ）とし、変量ｚ_iを下記の式（１５）により求める。

ｚ_i＝ａ_i1Ｂ_i＋ａ_i2Ｇ_i＋ａ_i3Ｒ_i （１５）
但し、ｉ：画素数
ここで、ベクトルａ_i＝（ａ_i1，ａ_i2，ａ_i3）とすると、式（１５）は下記の式（１６）に示すように変形される。

ｚ_i＝ベクトルａ_i・ベクトルｘ （１６）
ｚ_iの分散は上記式（６）に示すように、
ｖ｛ｚ_i｝＝ベクトルａ・Ｖ・ベクトル¹ａ^t （１７）
但し、Ｖ：分散共分散行列
と表される。ここで、色信号はＢＧＲの３色であるため、分散共分散行列Ｖは３行３列の対称行列となる。そして、この分散共分散行列Ｖを固有値解析にかけて固有方程式を解くと、分散共分散行列のランク（階数）は３であることから、固有値と固有ベクトルの組は３つ得られる。第１主成分ベクトルは、最大固有値に対応する固有ベクトルであるため、得られた固有値の絶対値が最も大きい固有ベクトルを第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）として求める。また、得られた固有値の絶対値が２番目に大きい固有ベクトルを第２主成分ベクトル（ＶＢ２，ＶＧ２，ＶＲ２）として求める。なお、本実施形態においては、分散共分散行列から第１および第２主成分ベクトルを求めているが、上述した相関行列から第１および第２主成分ベクトルを求めるようにしてもよい。

図２は肌色画素の主成分分析を説明するための図である。なお、本実施形態においてはＲＧＢの３次元の色空間において肌色画素の主成分分析を行っているが、ここでは簡単のためＲＧの２次元の色空間における主成分分析について説明する。図２に示すように肌色画素をＲＧＢの色空間にプロットすると、肌色画素はある一定の範囲に分布するものとなる。第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）は、肌色画素の分布において分散が最大となる方向に求められるため、第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）は、図２に示す直線のように求められる。なお、第２主成分ベクトル（ＶＢ２，ＶＧ２，ＶＲ２）は、第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）に直交する方向において分散が最大となる方向に求められる。

近似関数算出部１５は、主成分分析部１３が算出した第１主成分ベクトルをｘ軸、第２主成分ベクトルをｙ軸としたときに、肌色画素の分布を下記の式（１８）により近似することにより、肌色画素分布の近似関数を算出する。

ｆ（ｘ）＝ａｘ＋ｂ＋ｃｅ^dx （１８）
ｅ：自然対数の底
ａ，ｂ，ｃ，ｄ：係数
このようにして算出した近似関数ｆ（ｘ）は例えば図３に示すものとなる。

分類部１７は、ＲＧＢ色空間上において、近似関数算出部１５が算出した近似関数ｆ（ｘ）と第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）との交点を、肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに肌色画素を分類する分岐点として求める。なお、近似関数ｆ（ｘ）と第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）との交点が複数ある場合には、第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）上において最も輝度が高くなる（すなわち画素値が大きくなる）交点を分岐点とする。例えば、図４に示すように、近似関数ｆ（ｘ）と第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）とが交点Ｃ１および交点Ｃ２の２カ所で交差する場合には、第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）上において画素値が大きい方の交点Ｃ１を分岐点とする。

そして、図５に示すように、交点Ｃ１を通り第１主成分ベクトル（ＶＢ１，ＶＧ１，ＶＲ１）に直交する平面Ｌ１をＲＧＢ色空間上に設定し、平面Ｌ１を境界として、肌色画素を高輝度画素とそれ以外の画素とに分類する。図５に示す例においては、平面Ｌ１から見て原点が存在する側とは反対側に分布する肌色画素を高輝度画素に、原点側に存在する画素を高輝度画素以外の画素に分類する。なお、図５においてはＲＧの２次元の色空間において説明を行っているため、平面Ｌ１を直線として示している。また、図５においては高輝度画素を白丸により、その他の画素を黒丸により示している。

表面反射成分変更部３は、主成分分析部３１と変換部３３とを備える。

主成分分析部３１は、分類部１７が分類した高輝度画素に上記主成分分析部１３と同様に、ＲＧＢ色空間において主成分分析を施して高輝度画素についての第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１、以下高輝度画素第１主成分ベクトルとする）を算出する。図６は高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）を示す図である。図６に示すように高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）は、高輝度画素の分布において分散が最大となる方向に求められる。

変換部３３は、まず図７に示すように、高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）の端点Ａ，Ｂを求める。なお、図７においては高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）を破線で示す。ここで、高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）は、画像Ｓ０に含まれる肌色のうち、表面反射成分が大きい肌色の特性を表すものとなっているため、ＲＧＢの色空間における高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）の近傍の色空間は画像Ｓ０に含まれる表面反射成分が大きい肌色を端的に表す色空間となっている。その一方で、ＲＧＢ色空間において高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）に垂直な方向に離れるほど、その色は画像Ｓ０に含まれる肌色から離れた色となる。したがって、変換部３３は、高輝度画素第１主成分ベクトル（ＨＶＢ１，ＨＶＧ１，ＨＶＲ１）に沿って高輝度画素の画素値を変換する。

このため、変換部３３は、図７に示すように、まず表面反射成分の変更の程度を規定する基準線分Ａ′Ｂ′を設定する。本実施形態においては、基準線分Ａ′，Ｂ′の端点Ａ′と端点Ａとを一致させ、端点Ｂ′は線分ＡＢ上に位置するように基準線分Ａ′，Ｂ′を設定する。そして、変換部３３は、端点Ａ′，Ｂ′を端点Ａ，Ｂに写像するための行列Ｍ１を求める。なお、行列Ｍ１に代えて端点Ａ′，Ｂ′を端点Ａ，Ｂに写像するための関数を求めてもよい。

そして、変換部３３は、行列Ｍ１により高輝度画素の画素値を変換することにより、画像Ｓ０の表面反射成分を変更して処理済み画像Ｓ１を得、これを出力する。ここで、端点Ｂ′を線分ＡＢ上に位置させることにより、高輝度画素は図８に示すように、画素値の値を小さくする方向、すなわち輝度が低くなる方向に変換されることとなる。

次いで、本実施形態の動作について説明する。図９は本実施形態の動作を示すフローチャートである。肌色領域分類部１に画像Ｓ０が入力されると処理が開始され、肌色領域抽出部１１が画像Ｓ０から肌色領域を抽出する（ステップＳＴ１）。次いで、主成分分析部１３が肌色領域の肌色画素に主成分分析を施して第１および第２主成分ベクトルを算出し（ステップＳＴ２）、近似関数算出部１５が肌色画素の分布の近似関数ｆ（ｘ）を算出する（ステップＳＴ３）。そして分類部１７が肌色画素を高輝度画素およびそれ以外の画素に分類する（ステップＳＴ４）。

続いて、表面反射成分変更部３の主成分分析部３１が、高輝度画素に主成分分析を施して高輝度画素第１主成分ベクトルを算出する（ステップＳＴ５）。そして、変換部３３が高輝度画素の画素値を高輝度画素第１主成分ベクトルに基づいて変換して処理済み画像Ｓ１を得（ステップＳＴ６）、処理を終了する。

このように、本実施形態においては、高輝度画素第１主成分ベクトルに沿って高輝度画素値を変換するようにしたため、画像Ｓ０に含まれる表面反射成分が大きい肌色を、画像Ｓ０に含まれる他の肌色と比較して違和感なく変更することができる。

また、高輝度画素第１主成分ベクトル上に表面反射成分の変更の程度を規定する基準線分Ａ′Ｂ′を設定し、高輝度画素第１主成分ベクトルの端点Ａ，Ｂを基準線分Ａ′Ｂ′の端点Ａ′，Ｂ′に変換する行列Ｍ１により高輝度画素の画素値を変換するようにしたため、画像Ｓ０に含まれる表面反射成分が大きい肌色の範囲を超えることなく、表面反射成分が大きい肌色を変更することができる。

また、基準線分Ａ′Ｂ′の低輝度側の端点Ａ′を、高輝度画素第１主成分ベクトルの低輝度側の端点Ａと一致させているため、高輝度画素における最も低輝度の画素値を変更することなく表面反射成分が大きい肌色を変更することができる。

一方、肌色画素についての第１主成分ベクトルは、画像Ｓ０に含まれる肌色の特性を表すものとなっているため、第１主成分ベクトルの近傍の色空間は画像Ｓ０に含まれる肌色を端的に表す色空間となっている。その一方で第１主成分ベクトルからＲＧＢ色空間において高輝度側に離れた色空間ほど、肌色ではあるが輝度が高い色を表すものとなる。したがって、第１主成分ベクトルと近似関数との交点を分岐点として、肌色画素を高輝度画素とそれ以外の画素とに分類することにより、画像Ｓ０に含まれる肌色画素を表面反射率が大きい高輝度画素とそれ以外の画素とに良好に分けることができ、その結果、特別な装置を使用することなく、またスタジオのような限定された場所で撮影された画像でなくても、画像Ｓ０に含まれる肌色の表面反射成分が大きい部分を認識することができる。

なお、上記実施形態においては、ＲＧＢ色空間において処理を行っているが、ＹＣｂＣＲ色空間、Ｌａｂ色空間等、ＲＧＢ以外の色空間においても同様に処理を行うことができることはもちろんである。

また、上記実施形態においては、式（１７）により肌色画素分布の近似関数を求めているが、これに限定されるものではなく、第１主成分ベクトルと交差するものであれば、任意の式により肌色画素の分布の近似関数を求めてもよい。

また、上記実施形態においては、線分ＡＢ上に位置する基準線分Ａ′Ｂ′を設定し、端点Ａ，Ｂを端点Ａ′，Ｂ′に写像する行列Ｍ１を求めて高輝度画素の画素値を変換しているが、高輝度画素第１主成分ベクトルに沿う方向に高輝度画素の画素値を変換できれば、どのような行列または関数により高輝度画素の画素値を変換してもよいものである。

また、上記実施形態においては、端点Ａ′と端点Ａとを同一の点としているが異なる点としてもよい。また、端点Ｂ′を端点ＡＢ上に位置するものとしているが、線分ＡＢの延長線上に位置するものとしてもよい。この場合、端点Ｂ′が線分ＡＢの延長線上の高輝度側にある場合には、高輝度画素はより輝度が高くなる方向に変換されることとなる。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の肌色領域抽出部１１、主成分分析部１３、近似関数算出部１５、分類部１７、主成分分析部３１および変換部３３に対応する手段として機能させ、図９に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による表面反射成分変更装置の構成を示す概略ブロック図 肌色画素の主成分分析を説明するための図 肌色画素の分布の近似関数を示す図 近似関数と第１主成分ベクトルとの交点の求め方を説明するための図 高輝度画素とそれ以外の画素との分類の仕方を説明するための図 高輝度画素第１主成分ベクトルを示す図 高輝度画素の変換を説明するための図（その１） 高輝度画素の変換を説明するための図（その２） 本実施形態の動作を示すフローチャート 主成分分析を説明するための図

符号の説明

１ 肌色領域分類部
３ 表面反射成分変更部
１１ 肌色領域抽出部
１３ 主成分分析部
１５ 近似関数算出部
１７ 分類部
３１ 主成分分析部
３３ 変更部

Claims (11)

1. 人物を含む画像の肌色領域に含まれる肌色画素の画素値に所定の色空間において主成分分析を施す主成分分析手段と、
   前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出する近似関数算出手段と、
   前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する分類手段とを備えたことを特徴とする肌色領域分類装置。
2. 前記近似関数算出手段は、前記第１主成分ベクトルの方向をｘ軸、前記主成分分析により得られた第２主成分ベクトルの方向をｙ軸としたときに、前記近似関数を下記の式により算出する手段であることを特徴とする請求項１記載の肌色領域分類装置。
   ｙ＝ａｘ＋ｂ＋ｃｅ^dx
   ｅ：自然対数の底
   ａ，ｂ，ｃ，ｄ：係数
3. 人物を含む画像の肌色領域に含まれる肌色画素を、所定の色空間において前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する肌色画素分類手段と、
   前記高輝度画素の画素値に前記所定の色空間において主成分分析を施す高輝度画素主成分分析手段と、
   前記主成分分析により得られた高輝度画素第１主成分ベクトルの方向に沿って、前記高輝度画素の画素値を変換する変換手段とを備えたことを特徴とする肌色領域の表面反射成分変更装置。
4. 前記変換手段は、前記高輝度画素第１主成分ベクトル上に前記表面反射成分の変更の程度を規定する基準線分を設定し、前記高輝度画素第１主成分ベクトルにおける低輝度側の端点および高輝度側の端点を、前記基準線分の低輝度側および高輝度側の端点にそれぞれ変換する関数または行列を算出し、該関数または行列により前記高輝度画素の画素値を変換する手段であることを特徴とする請求項３記載の表面反射成分変更装置。
5. 前記変換手段は、前記基準線分の低輝度側の端点を前記高輝度画素第１主成分ベクトルの低輝度側の端点と一致させるよう前記基準線分を設定する手段であることを特徴とする請求項４記載の表面反射成分変更装置。
6. 前記肌色画素分類手段が、前記肌色画素の画素値に前記所定の色空間において主成分分析を施す主成分分析手段と、
   前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出する近似関数算出手段と、
   前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する分類手段とを備えたことを特徴とする請求項３から５のいずれか１項記載の表面反射成分変更装置。
7. 前記近似関数算出手段は、前記第１主成分ベクトルの方向をｘ軸、前記主成分分析により得られた第２主成分ベクトルの方向をｙ軸としたときに、前記近似関数を下記の式により算出する手段であることを特徴とする請求項６記載の表面反射成分変更装置。
   ｙ＝ａｘ＋ｂ＋ｃｅ^dx
   ｅ：自然対数の底
   ａ，ｂ，ｃ，ｄ：係数
8. 人物を含む画像の肌色領域に含まれる肌色画素の画素値に所定の色空間において主成分分析を施し、
   前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出し、
   前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類することを特徴とする肌色領域分類方法。
9. 人物を含む画像の肌色領域に含まれる肌色画素を、所定の色空間において前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類し、
   前記高輝度画素の画素値に前記所定の色空間において主成分分析を施し、
   前記主成分分析により得られた高輝度画素第１主成分ベクトルの方向に沿って、前記高輝度画素の画素値を変換することを特徴とする肌色領域の表面反射成分変更方法。
10. 人物を含む画像の肌色領域に含まれる肌色画素の画素値に所定の色空間において主成分分析を施す手順と、
    前記所定の色空間において、前記主成分分析により得られた第１主成分ベクトルと少なくとも１つの交点において交差する、前記肌色画素の分布を近似する近似関数を算出する手順と、
    前記交点において輝度が最大となる最大輝度交点を分岐点として、前記肌色画素を前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する手順とを有することを特徴とする肌色領域分類方法をコンピュータに実行させるためのプログラム。
11. 人物を含む画像の肌色領域に含まれる肌色画素を、所定の色空間において前記肌色領域における表面反射成分が大きい高輝度画素とそれ以外の画素とに分類する手順と、
    前記高輝度画素の画素値に前記所定の色空間において主成分分析を施す手順と、
    前記主成分分析により得られた高輝度画素第１主成分ベクトルの方向に沿って、前記高輝度画素の画素値を変換する手順とを有することを特徴とする肌色領域の表面反射成分変更方法をコンピュータに実行させるためのプログラム。

Images