JP2011041036A - 画像処理装置、画像処理方法、及び電子機器 - Google Patents

Abstract

【課題】簡易な構成により、異なる波長の光源による照度分布の不一致を低減する。
【解決手段】カメラ６１は、被写体の撮像を行い、光源８１A及び８１Bは、カメラ６１の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射し、光源８２A及び８２Bは、撮像手段の位置に基づいて決定される第３及び第４の位置から、第１の波長とは異なる第２の波長の光を照射し、検出手段は、第１の波長の光が照射された被写体の撮像により得られる第１の撮像画像、及び第２の波長の光が照射された被写体の撮像により得られる第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像上の肌領域を検出する。本発明は、例えば、異なる波長の光を被写体に照射したときの反射光を受光して得られる撮像画像から、人間の肌を表す肌領域等を検出するコンピュータ等に適用できる。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、及び電子機器に関し、特に、例えば、簡易な構成により、異なる波長の光源による照度分布の不一致を低減できるようにした画像処理装置、画像処理方法、及び電子機器に関する。

従来、被写体（例えば人間）を撮像して得られる撮像画像から、一定の特徴を有する領域を検出する検出装置が存在する。

この検出装置は、例えば、デジタルカメラに応用されている。このデジタルカメラでは、例えば、構図決定用のスルー画から人間の顔を検出し、検出した顔が笑顔である場合にシャッタ動作を行うようになされている。

また、例えば、撮像により得られる撮像画像から人間の顔を検出し、その検出結果に基づいて、検出した顔の領域に生じた振れ等を補正するデジタルカメラが存在する。

さらに、例えば、内蔵するカメラにより被写体を撮像して得られる撮像画像から、人間の身振りや手振りを検出し、その検出結果に対応して、選局を切り換えるテレビジョン受像機が存在する。

その他、例えば、異なる波長の照射光それぞれを対象物に照射したときの反射光に基づいて、照射光が照射された対象物を解析する解析装置が存在する（例えば、特許文献１乃至３を参照）。

次に、解析装置の一例として、異なる波長の照射光それぞれを被写体に照射したときの反射光を受光して得られる撮像画像に基づいて、撮像画像上に存在する人間の肌を表す肌領域を検出する画像処理装置１を説明する。

図１は、従来の画像処理装置１の構成例を示している。

図１Aは画像処理装置１をZ軸上から見た平面図であり、図１Bは画像処理装置１の斜視図である。

この画像処理装置１は、主に、カメラ２１、光源２２、光源２３、及び画像処理部２４により構成されている。

カメラ２１は、被写体を撮像し、その結果得られる撮像画像を、画像処理部２４に供給する。光源２２は、例えばLED(light emitting diode)等であり、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）する。光源２３は、例えばLED等であり、波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射する。画像処理部２４は、カメラ２１からの撮像画像に基づいて、撮像画像上の肌領域を検出し、その検出結果に基づく処理を行う。

従来の画像処理装置１では、光源２２と光源２３を切り換えて交互に発光させ、カメラ２１が、例えば、波長λ１の照射光が照射されている被写体を撮像して第１の撮像画像を取得するとともに、波長λ２の照射光が照射されている被写体を撮像して第２の撮像画像を取得する。

そして、画像処理部２４が、カメラ２１により取得された第１及び第２の撮像画像の、対応する画素の輝度値の差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。

なお、一般的に、波長λ１の照射光を人間の肌に照射したときの反射率が、波長λ２の照射光を人間の肌に照射したときの反射率よりも小さくなる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。

また、波長λ１の照射光を人間の肌以外のものに照射したときの反射率と、波長λ２の照射光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。

したがって、画像処理装置１において、画像処理部２４では、例えば、差分絶対値が比較的大きな値となる場合に、対応する領域を肌領域として検出することができる。

ところで、画像処理装置１では、第１の撮像画像上の肌領域を正確に検出するために、波長λ１の照射光による被写体の照度分布と、波長λ２の照射光による被写体の照度分布と（の分布状態）を一致させる必要がある。

画像処理装置１において、光源２２と光源２３との指向性が一致する場合（指向性にばらつきがない場合）、仮に、波長λ１と波長λ２との照度分布が一致していなくても、第１及び第２の撮像画像それぞれに、一様な輝度補正因子を乗算する等の簡易な方法により、照度分布の不一致を改善することができる。

したがって、画像処理装置１では、光源２２と光源２３との指向性が一致する場合、照度分布の不一致に起因して、比較的大きな差分絶対値が算出されることを防止することができるため、肌領域以外の領域を誤って検出してしまう事態を防止することが可能である。

ところで、同一の製造ロット（同一の場所、時刻、及び方法等により製造される同一種類の光源の単位）により製造された光源それぞれは、（殆ど）指向性が一致するものとなる。

しかしながら、光源２２と光源２３は、異なる種類の光源どうしであるため、光源２２及び２３を、同一の製造ロットにより製造することができない。

このため、指向性が一致する光源２２と光源２３とを、画像処理装置１において使用するためには、製造された光源２２及び２３それぞれの指向性を検査し、指向性が一致する光源２２及び２３どうしを、画像処理装置１に用いる光源として選別しなければならない。

したがって、画像処理装置１によれば、指向性が一致する光源２２と光源２３とを用いることにより、比較的精度良く第１の撮像画像上の肌領域を検出することはできるものの、指向性が一致する光源２２と光源２３とを用いるためには、指向性が一致する光源どうしを選別する必要があった。

また、画像処理装置１において、光源２２と光源２３との指向性が異なる場合（指向性にばらつきがある場合）、波長λ１と波長λ２との照度分布が一致しないときには、照度分布の不一致に起因して、比較的大きな差分絶対値が算出されることを防止するための簡易な方法が存在しない。

したがって、光源２２と光源２３との指向性が異なる場合には、算出される差分絶対値が、波長λ１及び波長λ２それぞれに対する反射率特性に起因するものであるのか、照度分布の不一致に起因するものであるのかを区別することができなくなってしまう。

このため、例えば、照度分布の不一致に起因して、比較的大きな値の差分絶対値が算出されているにも拘わらず、第１の撮像画像上の、比較的大きな値の差分絶対値に対応する領域を、誤って肌領域として検出してしまう事態が生じ得る。

よって、画像処理装置１では、光源２２と光源２３との指向性が一致しない場合であっても、第１の撮像画像上の肌領域を正確に検出することができるように、波長λ１の光による照度分布と、波長λ２の光による照度分布との分布状態を一致させる必要がある。

なお、被写体である、ユーザの手等の撮像対象物体に照射される照射光の照度分布を均一化させる均一化技術が存在する。

均一化技術としては、例えば、図２に示されるように、被写体である、ユーザの手等の撮像対象物体を囲む形で、同一の波長の照射光を照射する複数の光源を配置した状態で、複数の光源から同一の波長の照射光を照射する第１の均一化技術が存在する。

また、例えば、図３に示されるように、例えば、波長λ１の照射光を照射する光源と、波長λ２の波長の照射光を照射する光源とを、撮像対象物体の方向に交互に配置した状態で、波長λ１の照射光と、波長λ２の波長の照射光とを別々に照射する第２の均一化技術が存在する。

特開２００６−４７０６７号公報 特開平０６−１２３７００号公報 特開平０５-３２９１６３号公報

しかしながら、図２に示されるような従来の第１の均一化技術では、撮像対象物体を囲む形で、複数の光源を配置することにより、撮像対象物体に影が生じにくくするとともに、撮像対象物体に対する照度分布の均一化をある程度図ることができるものの、複数の波長による光源については何ら考慮されておらず、波長λ１と波長λ２との照度分布の不一致を低減させることはできない。

また、図３に示されるような従来の第２の均一化技術では、波長λ１の照射光を照射する光源と、波長λ２の波長の照射光を照射する光源とを交互に配置することにより、光源の指向性に起因して、光源それぞれから照射される照射光の強さ（強度）のムラを均一化（平均化）することはできるものの、光源と撮像対象物体との距離等によっては、やはり、波長λ１と波長λ２との照度分布の不一致を低減させることはできない。

本発明は、このような状況に鑑みてなされたものであり、簡易な構成により、異なる波長の光源による照度分布の不一致を低減できるようにするものである。

本発明の第１の側面の画像処理装置は、被写体を撮像して得られる撮像画像から、人間の肌を表す肌領域を検出する画像処理装置であって、前記被写体の撮像を行う撮像手段と、前記撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射する第１の照射手段と、前記撮像手段の位置に基づいて決定される第３及び第４の位置から、前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射された前記被写体の撮像により得られる第１の撮像画像、及び前記第２の波長の光が照射された前記被写体の撮像により得られる第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段とを含む。

前記第１の照射手段は、前記第１の位置で前記第１の波長の光を照射する第１の出力手段と、前記第２の位置で前記第１の波長の光を照射する第２の出力手段とを有し、前記第１及び第２の出力手段は、それぞれ、前記撮像手段の基準軸が存在する方向に傾斜配置するようにすることができる。

前記第１及び第２の出力手段は、それぞれ、前記撮像手段の基準軸に対して対称となる位置関係の前記第１及び第２の位置に傾斜配置するようにすることができる。

前記第１及び第２の出力手段は、所定の傾斜角度で、それぞれ、前記撮像手段の基準軸が存在する方向に傾斜配置するようにすることができる。

前記第１及び第２の出力手段のうちの一方は、前記第１の位置に傾斜配置され、他方は、前記第１の位置から、前記所定の傾斜角度に応じた距離だけ離れた前記第２の位置に傾斜配置されるようにすることができる。

前記第２の照射手段は、前記第３の位置で前記第２の波長の光を照射する第３の出力手段と、前記第４の位置で前記第２の波長の光を照射する第４の出力手段とを有し、前記第３及び第４の出力手段は、それぞれ、前記撮像手段の基準軸が存在する方向に傾斜配置するようにすることができる。

前記第１及び第３の出力手段は、互いに近接した位置で傾斜配置し、前記第２及び第４の出力手段は、互いに近接した位置で傾斜配置するようにすることができる。

前記第１及び第２の照射手段では、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の閾値以上となる場合の波長の光を照射するようにすることができる。

前記第１及び第２の照射手段では、それぞれ異なる波長の赤外線を照射するようにすることができる。

前記第１又は第２の照射手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射するようにすることができる。

本発明の第１の側面の画像処理方法は、被写体を撮像して得られる撮像画像から、人間の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、撮像手段と、第１の照射手段と、第２の照射手段と、検出手段とを含み、前記第１の照射手段が、前記撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射し、前記第２の照射手段が、前記撮像手段の位置に基づいて決定される第３及び第４の位置から、前記第１の波長とは異なる第２の波長の光を照射し、前記撮像手段が、前記第１の波長の光が照射された前記被写体、及び前記第２の波長の光が照射された前記被写体の撮像を行い、前記検出手段が、前記第１の波長の光が照射された前記被写体の撮像により得られる第１の撮像画像、及び前記第２の波長の光が照射された前記被写体の撮像により得られる第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出するステップを含む。

本発明の第１の側面によれば、撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光が照射された被写体の撮像により得られる第１の撮像画像、及び、撮像手段の位置に基づいて決定される第３及び第４の位置から、第１の波長とは異なる第２の波長の光が照射された被写体の撮像により得られる第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像上の肌領域が検出される。

本発明の第２の側面の電子機器は、被写体を撮像して得られる撮像画像から、人間の肌を表す肌領域を検出する電子機器であって、前記被写体の撮像を行う撮像手段と、前記撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射する第１の照射手段と、前記撮像手段の位置に基づいて決定される第３及び第４の位置から、前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射された前記被写体の撮像により得られる第１の撮像画像、及び前記第２の波長の光が照射された前記被写体の撮像により得られる第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段と、検出された前記肌領域に対応する処理を行う処理手段とを含む。

本発明の第２の側面によれば、撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光が照射された被写体の撮像により得られる第１の撮像画像、及び、撮像手段の位置に基づいて決定される第３及び第４の位置から、第１の波長とは異なる第２の波長の光が照射された被写体の撮像により得られる第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像上の肌領域が検出される。そして、検出された肌領域に対応する処理が行われる。

本発明によれば、簡易な構成により、異なる波長の光源による照度分布の不一致を低減することができる。また、これにより、被写体を撮像して得られる撮像画像から、検出対象（例えば、人間の顔や手等の肌領域や所定動作等）を検出する際、検出精度の向上を図ることが可能となる。

従来の画像処理装置の構成例を示すブロック図である。 第１の均一化技術を説明するための図である。 第２の均一化技術を説明するための図である。 本実施の形態である画像処理装置の構成例を示すブロック図である。 光源群の配置方法を説明するための第１の図である。 光源群の配置方法を説明するための第２の図である。 照度比ばらつき指標に関するグラフを示す図である。 光量指標に関するグラフを示す図である。 光源群の配置方法を説明するための第３の図である。 光源群の配置方法を説明するための第４の図である。

以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（光源を傾斜配置した例）
２． 変形例

＜１．本実施の形態＞
[画像処理装置４１の構成例]
図４は、本実施の形態である画像処理装置４１の構成例を示している。

この画像処理装置４１は、カメラ６１、光源群６２、光源制御部６３、コントローラ６４、カメラ制御部６５、及び画像処理部６６により構成される。

カメラ６１は、被写体（撮像対象物体）を撮像し、その結果得られる撮像画像を、カメラ制御部６５に供給する。

光源群６２は、光源８１、光源８２、及び支持台８３により構成されている。光源８１は、例えばLED等であり、波長λ１の照射光（例えば、870[nm]の近赤外線）を照射する。光源８２は、例えばLED等であり、波長λ１とは異なる波長λ２の照射光（例えば、950[nm]の近赤外線）を照射する。支持台８３は、光源８１及び光源８２により照射される照射光が、撮像対象物体に照射されるように、光源８１及び光源８２を支持する。

なお、画像処理装置４１では、複数の光源群６２を有している。配置される光源群６２の個数や位置は、後述する図５、図６、図９及び図１０を参照して後述する。

光源制御部６３は、光源８１を制御し、波長λ１の照射光を照射させる。また、光源制御部６３は、光源部８２を制御し、波長λ２の照射光を照射させる。コントローラ６４は、光源制御部６３、及びカメラ制御部６５を制御する。カメラ制御部６５は、コントローラ６４の制御にしたがって、カメラ６１による撮像を制御する。また、カメラ制御部６５は、カメラ６１からの撮像画像を、画像処理部６６に供給する。

画像処理部６６は、カメラ制御部６５からの撮像画像に基づいて、例えば撮像画像上に存在する肌領域を検出する。そして、画像処理部６６は、検出した肌領域に対応する処理を行う。

[２個の光源群６２の配置]
次に、図５及び図６を参照して、光源群６２の配置の一例を説明する。

図５は、画像処理装置４１をZ軸上から見た平面図であり、図６は、画像処理装置４１の斜視図である。

なお、図５及び図６では、図面が煩雑になるのを避けるために、カメラ６１と（光源群６２の）光源８１及び８２のみを記載し、光源制御部６３乃至画像処理部６６、及び支持台８３の図示は省略している。

また、図５及び図６では、光源群６２として、２つの光源群６２A及び６２Bが採用されている。

カメラ６１は、カメラ６１の基準軸がY軸と一致するように、XYZ座標上の原点に配置される。ここで、基準軸とは、カメラ６１のレンズ面の法線方向（カメラ６１の撮像方向）に延びる線であって、レンズ面の中心を通る線（いわゆる光軸）を示している。

光源群６２Aは、波長λ１の照射光を照射する光源８１A、及び波長λ２の照射光を照射する光源８２Aにより構成される。光源群６２Bは、波長λ１の照射光を照射する光源８１B、及び波長λ２の照射光を照射する光源８２Bにより構成される。

また、光源群６２Aと光源群６２Bとは、X軸及びZ軸により定義されるXZ平面上の位置であって、カメラ６１の基準軸（Y軸）に対して、対称となる位置に配置される。

すなわち、ここでいう対称とは、光源群６２Aと光源群６２Bとを、カメラ６１の基準軸を対称軸として点対称に配置（カメラ６１の基準軸とXZ平面が交差する、XYZ座標上の原点に対して点対称に配置）する場合と、光源群６２Aと光源群６２Bとを、カメラ６１の基準軸（Y軸）と直交し、且つ、X軸とも直交する直線（Z軸）を対称軸として、線対称に配置する場合とを含む。

さらに、光源群６２Aにおいて、光源８１Aは、光源８１Aの機械軸Aが、撮像対象物体を通る位置に配置される。なお、機械軸Aとは、光源８１Aのほぼ中心部分を通り、照度分布が最大となる方向に平行な軸をいう。

また同様にして、光源８２Aは、光源８２Aの機械軸が、撮像対象物体を通る位置に配置される。

光源群６２Bにおいて、光源８１Bは、光源８１Bの機械軸Bが、撮像対象物体を通る位置に配置される。なお、機械軸Bとは、光源８１Bのほぼ中心部分を通り、照度分布が最大となる方向に平行な軸をいう。

また同様にして、光源８２Bは、光源８２Bの機械軸が、撮像対象物体を通る位置に配置される。

さらに、図５及び図６において、傾斜角度θ（度）は、機械軸AをY軸方向に傾けたときの角度（Y軸に平行な線分１０１と、機械軸Aとが挟む角の角度）、光源８２Aの機械軸をY軸方向に傾けたときの角度、機械軸BをY軸方向に傾けたときの角度（Y軸に平行な線分１０２と、機械軸Bとが挟む角の角度）、及び、光源８２Bの機械軸をY軸方向に傾けたときの角度を示している。

光源群６２A及び６２Bは、光源８１A，８１B，８２A及び８２Bそれぞれの機械軸が、同一の傾斜角度θで、Y軸方向に傾斜された状態で配置（傾斜配置）される。

また、図５及び図６において、距離L[m]は、光源群６２A及び６２B間の距離を示している。

傾斜角度θは、３度から４５度程度に設定される。そして、距離Lは、設定された傾斜角度θに応じて、それぞれの機械軸が撮像対象物体を通る距離に設定される。

これは、本発明者が行った実験により、傾斜角度θを３度から４５度程度に設定したときに、比較的良い結果が得られていることによる。

[実験の概要]
次に、本発明者が行った実験の概要を説明する。

本発明者は、光源群６２A及び６２Bを有する画像処理装置４１において、それぞれの機械軸が撮像対象物体を通るように、光源群６２A及び６２Bを配置したときの傾斜角度θ及び距離Lの組合せ（θ,L）毎に、照度比ばらつき指標α、及び光量指標βを算出する実験を行った。

ここで、照度比ばらつき指標αとは、波長λ１と波長λ２との照度分布の一致の度合いを表す指標を表す。また、光量指標βとは、撮像対象物体に照射される照射光の光量に比例する指標を表す。なお、照度比ばらつき指標α及び光量指標βのより詳細な説明は後述する。

また、本実験において、カメラ６１は、X軸方向（水平方向）に29.6度であって、Z軸方向（垂直方向）に22.4度となる画角のカメラを使用した。さらに、光源８１A及び８１Bは、照射光が放射（照射）されるときの放射角が16度であるLEDを使用し、光源８２A及び８２Bは、放射角が21度であるLEDを使用した。

次に、図７及び図８を参照して、本発明者が行った実験による実験結果の詳細を説明する。

[傾斜角度θと照度比ばらつき指標αとの関係]
図７は、傾斜角度θと照度比ばらつき指標αとの関係を示している。

図７において、横軸は、カメラ６１から撮像対象物体までの距離を示している。また、縦軸は、照度比ばらつき指標αを示している。

なお、照度比ばらつき指標αとは、第１の撮像画像を構成する画素の輝度値I1と、対応する第２の撮像画像を構成する画素の輝度値I2どうしの差分(I1-I2)それぞれを、第１及び第２の撮像画像を構成する画素の輝度値の平均値aveにより除算し、その結果得られる複数の除算値の絶対値|(I1-I2)/ave|のうちの最大値max|(I1-I2)/ave|をいう。

ここで、照度分布が一致しない程に、絶対値|(I1-I2)/ave|として、大きな値や小さな値がばらばらに算出される。また、照度分布が一致する程に、絶対値|(I1-I2)/ave|として、比較的小さな値のみが算出される。

したがって、照度分布が一致する程に、max|(I1-I2)/ave|は比較的小さな値（０に近い値）となる。

図７において、細線（細い実線）で示されるグラフは、組合せ（θ，L）が(0,0)である場合のグラフを示している。また、点線で示されるグラフは、組合せ（θ，L）が(9,0.5)である場合のグラフを示している。

より細かい（点の多い）点線で示されるグラフは、組合せ（θ，L）が(18,1)である場合のグラフを示している。また、一点鎖線で示されるグラフは、組合せ（θ，L）が(34,2)である場合のグラフを示している。

二点鎖線で示されるグラフは、組合せ（θ，L）が(45,3)である場合のグラフを示している。また、太線（太い実線）で示されるグラフは、組合せ（θ，L）が(53,4)である場合のグラフを示している。

図７に示されるように、傾斜角度θが大きくなる程に、照度比ばらつき指標αは０に近い値となる。すなわち、傾斜角度θが大きくなる程に、照度分布の一致の程度（度合い）は大きくなる。

ここで、以下、傾斜角度θが大きくなる程に、照度分布の一致の程度が大きくなる理由を説明する。

画像処理装置４１において、傾斜角度θが大きくなる程に、光源群６２A及び６２Bと、撮像対象物体との距離は長くなる。そして、その距離が長くなる程に、光源８１Aの機械軸Aと平行な方向に照射される、光の強さが平坦な照射光、及び、光源８２Aの機械軸と平行な方向に照射される、光の強さが平坦な照射光のみが、撮像対象物体に照射されることになる。

また、光源群６２A及び６２Bと、撮像対象物体との距離が長くなる程に、光源８１Bの機械軸Bと平行な方向に照射される、光の強さが平坦な照射光、及び、光源８２Bの機械軸と平行な方向に照射される、光の強さが平坦な照射光のみが、撮像対象物体に照射されることになる。

すなわち、光源群６２A及び６２Bと、撮像対象物体との距離が長くなる程に、あるタイミングにおいて、光源８１A及び８１Bにより、波長λ１の照射光であって、光の強さが平坦な照射光が照射され、他のタイミングにおいて、光源８２A及び８２Bにより、波長λ２の照射光であって、光の強さが平坦な照射光が照射されることになる。

この場合、あるタイミングにおいて、光の強さが平坦な、波長λ１の照射光が照射されることにより、波長λ１による照度分布は均一化される。また、他のタイミングにおいて、光の強さが平坦な、波長λ２の照射光が照射されることにより、波長λ２による照度分布は均一化される。

したがって、光源群６２A及び６２Bと、撮像対象物体との距離が大きくなる程（傾斜角度θが大きくなる程）に、波長λ１による照度分布と、波長λ２による照度分布は均一化されるため、波長λ１と波長λ２との照度分布の分布状態の不一致を低減する（照度分布の一致の程度を大きくする）ことができる。

[傾斜角度θと光量指標βとの関係]
次に、図８は、傾斜角度θと光量指標βとの関係を示している。

図８において、横軸は、カメラ６１から撮像対象物体までの距離を示している。また、縦軸は、光量指標βを示している。

なお、光量指標βとは、基準軸を法線とする平面のうち、カメラ６１の撮像範囲（撮像対象物体を含む範囲）に照射される光量を積算して得られる光量の和に比例する指標をいう。

図８では、図７と同様にして、組合せ（θ,L）によるグラフが示されている。

図８に示されるように、傾斜角度θが大きくなる程に、距離Lは長くなり、光源群６２A及び光源群６２Bそれぞれと撮像対象物体との距離は長くなるため、光量指標βは低減する。すなわち、傾斜角度θが大きくなる程に、撮像対象物体（撮像範囲）に照射される照射光の光量は少なくなる。

図７において、カメラ６１から撮像対象物体までの距離（横軸で示す）が1.5[m]程度である場合の照度比ばらつき指標αが、いずれの組合せ（θ,L）においても、比較的に小さい値となっている。

また、図８において、カメラ６１から撮像対象物体までの距離が1.5[m]から1.8[m]程度である場合の光量指標βが、いずれの組合せ（θ,L）においても、比較的に大きな値となっている。

そこで、例えば、カメラ６１から撮像対象物体までの距離を1.5[m]とした場合、第１の撮像画像上の肌領域を正確に検出することができる程に、波長λ１と波長λ２との照度分布の一致の程度は大きく、撮像対象物体に照射される照射光の光量が多くなる傾斜角度θを考える。

本実験では、カメラ６１から撮像対象物体までの距離を1.5[m]とした場合、傾斜角度θを３度に設定したとき、照度比ばらつき指標αは若干大きいものの、光量指標βが十分に大きいため、肌領域として、例えば手や腕等の大部分を正確に検出することができた。

また、本実験では、カメラ６１から撮像対象物体までの距離を1.5[m]とした場合、傾斜角度θを４６度以上に設定したとき、照度比ばらつき指標αは小さな値となり、照度分布の不一致が十分に改善されるものの、光量指標βも小さな値となってしまい、撮像対象物体に照射される照射光の光量が十分に得られなかったため、手や腕などを正確に検出できない場合があった。

したがって、本実施の形態では、傾斜角度θを、おおよそ３度から４５度程度に設定するようにした。なお、距離Lは傾斜角度θに設定に応じて、一意に設定（決定）される。

これにより、画像処理装置４１では、手や腕等の肌領域を、正確に検出することができる。

次に、傾斜角度θとして設定される３度乃至４５度のうち、手や腕等の肌領域を最も正確に検出することができる最適な傾斜角度θについて考える。例えば、傾斜角度が４５度である場合、カメラ６１から撮像対象物体までの距離が１０[cm]だけ変化する毎に、撮像対象物体に照射される照射光の強さが、約５[％]ほど低下する。

いま、カメラ６１から1.5[m]の位置に、撮像対象物体が存在することを前提としているが、実際には、カメラ６１からちょうど1.5[m]のところに、撮像対象物体すべてが存在するとは限らない。

したがって、例えば、そこから１０[cm]程度の奥行きに撮像対象物体が存在したとしても、第１の撮像画像上の肌色領域を正確に検出することができるように、波長λ１による反射率と、波長λ２による反射率の差として、5乃至10[％]程度の差が検出できるように、照射光の強さ（照射光の光量）を維持する必要がある。

傾斜角度θが４５度である場合、上述したように、カメラ６１から撮像対象物体までの距離が１０[cm]だけ変化する毎に、撮像対象物体に照射される照射光の強さが、約５[％]ほど低下してしまう。したがって、１０[cm]程度の奥行きに存在する撮像対象物体については、波長λ１による反射率と、波長λ２による反射率の差として、５乃至１０[％]程度の差が検出できる程度に、照射光の強さを維持することが困難となる場合が生じ得る。

この点について、例えば、傾斜角度θが３４度である場合、カメラ６１から撮像対象物体までの距離が１０[cm]だけ変化する毎に、撮像対象物体に照射される照射光の強さは、傾斜角度θが４５度である場合と比較して、約半分程度しか低下しない。

したがって、傾斜角度θが３４度である場合には、10[cm]程度の奥行きに存在する撮像対象物体に対しても、波長λ１による反射率と、波長λ２による反射率の差として、5乃至10[％]程度の差が検出できる程度に、照射光の強さをある程度維持することが可能となる。

このため、カメラ６１から撮像対象物体までの距離を1.5[m]とした場合、最適な傾斜角度は３４度となる。

以上、説明したように、本実施の形態では、光源群６２（例えば光源群６２A及び６２B）を、光源８１（例えば、光源８１A及び８１B）及び光源８２（例えば、光源８２A及び８２B）それぞれの機械軸が、基準軸の方向に、同一の傾斜角度θで傾斜された状態で傾斜配置するようにしたので、波長λ１と波長λ２との照度分布の不一致を低減することが可能となる。

したがって、例えば、光源８１と光源８２との指向性が異なる場合であっても、光源群６２を傾斜配置することにより、波長λ１と波長λ２との照度分布の不一致を低減することが可能となる。このため、画像処理装置４１では、光源８１と光源８２との指向性の違いを考慮することなく、光源８１と光源８２とを組み合わせて、様々な光源群６２を形成することができる。

また、本実施の形態では、光源群６２を傾斜配置するようにしたので、例えば図３に示されたように光源を配置した場合と比較して、撮像対象物体において、照射光が照射されずに、影となってしまう部分を減少させることが可能となる。このため、画像処理装置４１では、より正確に肌領域を検出するための第１及び第２の撮像画像を取得することが可能となる。

また、光源群６２を傾斜配置することにより、撮像対象物体に対して、より広範囲に照射光が照射されるようになったので、光源８１や光源８２それぞれの個数は、最低で２個（例えば、光源８１A及び８１Bの２個）と少なく抑えることが可能となる。このため、画像処理装置４１を製造するときの製造コストを削減することが可能となる。

＜２．変形例＞
なお、本実施の形態では、光源群６２として、２個の光源群６２A及び６２Bを傾斜配置するようにしたが、傾斜配置される光源群６２の個数や配置方法は、これに限定されない。

すなわち、例えば、画像処理装置４１は、４個の光源群６２を有するように構成することが可能である。

[４個の光源群６２の配置]
次に、図９及び図１０を参照して、４個の光源群６２の配置の一例を説明する。

なお、図９において図５と同様に構成されている部分、及び図１０において図６と同様に構成されている部分については、同一の符号を付しているため、それらの説明は以下省略する。

すなわち、図９及び図１０では、光源群６２C及び６２Dが新たに設けられている他は、図５及び図６の場合と同様に構成されている。

図９及び図１０に示されるように、光源群６２Cと光源群６２Dとは、Z軸上の位置であって、カメラ６１の基準軸に対して、対称となる位置に配置されている。

また、光源群６２C及び６２Dは、光源群６２A及び６２Bと同様に、傾斜角度θで傾斜配置されている。

このように、光源群６２の個数を増加させることにより、例えば、撮像対象物体に生じる影をより少なくすることが可能となる。

本実施の形態では、光源群６２A及び６２Bにより、撮像対象物体に対して照射光を照射するようにしたが、その他、例えば、光源群６２A及び６２Bとは別の位置に、波長λ１及びλ２それぞれの照射光の補助的な光源を配置することが可能である。この場合、撮像対象物体により影が生じ難くすることが可能となる。

なお、補助的な光源は、例えば基準軸の近くに配置することが可能であるが、基準軸に近い程、補助的な光源による指向性のばらつきが、照度分布の一致の程度に悪影響を及ぼし易い。したがって、補助的な光源は、基準軸から離れた位置に配置することが望ましい。

本実施の形態では、例えば、光源８１により照射される波長λ１を870[nm]とし、光源８２により照射される波長λ２を950[nm]としたが、波長の組合せはこれに限定されない。

すなわち、波長の組合せとしては、波長λ１における反射率と、波長λ２における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、充分に大きくなる組合せであれば、どのような組合せでもよい。

具体的には、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、光源８１が930[nm]未満の波長λ１の照射光を照射し、光源８２が930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。

また、本発明は、例えば、異なる波長の照射光それぞれを照射した状態で、撮像対象物体を撮像して得られる撮像画像に基づいて、撮像画像上の肌領域を検出し、その検出結果に対応した処理を行うコンピュータ等の電子機器に適用することが可能である。

なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

４１ 画像処理装置， ６１ カメラ， ６２，６２A乃至６２D 光源群， ６３ 光源制御部， ６４ コントローラ， ６５ カメラ制御部， ６６ 画像処理部， ８１，８１A乃至８１D，８２，８２A乃至８２D 光源， ８３ 支持台

Claims (12)

1. 被写体を撮像して得られる撮像画像から、人間の肌を表す肌領域を検出する画像処理装置において、
   前記被写体の撮像を行う撮像手段と、
   前記撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射する第１の照射手段と、
   前記撮像手段の位置に基づいて決定される第３及び第４の位置から、前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
   前記第１の波長の光が照射された前記被写体の撮像により得られる第１の撮像画像、及び前記第２の波長の光が照射された前記被写体の撮像により得られる第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段と
   を含む画像処理装置。
2. 前記第１の照射手段は、
   前記第１の位置で前記第１の波長の光を照射する第１の出力手段と、
   前記第２の位置で前記第１の波長の光を照射する第２の出力手段と
   を有し、
   前記第１及び第２の出力手段は、それぞれ、前記撮像手段の基準軸が存在する方向に傾斜配置される
   請求項１に記載の画像処理装置。
3. 前記第１及び第２の出力手段は、それぞれ、前記撮像手段の基準軸に対して対称となる位置関係の前記第１及び第２の位置に傾斜配置される
   請求項２に記載の画像処理装置。
4. 前記第１及び第２の出力手段は、所定の傾斜角度で、それぞれ、前記撮像手段の基準軸が存在する方向に傾斜配置される
   請求項３に記載の画像処理装置。
5. 前記第１及び第２の出力手段のうちの一方は、前記第１の位置に傾斜配置され、
   他方は、前記第１の位置から、前記所定の傾斜角度に応じた距離だけ離れた前記第２の位置に傾斜配置される
   請求項４に記載の画像処理装置。
6. 前記第２の照射手段は、
   前記第３の位置で前記第２の波長の光を照射する第３の出力手段と、
   前記第４の位置で前記第２の波長の光を照射する第４の出力手段と
   を有し、
   前記第３及び第４の出力手段は、それぞれ、前記撮像手段の基準軸が存在する方向に傾斜配置される
   請求項２に記載の画像処理装置。
7. 前記第１及び第３の出力手段は、互いに近接した位置で傾斜配置され、
   前記第２及び第４の出力手段は、互いに近接した位置傾斜配置される
   請求項６に記載の画像処理装置。
8. 前記第１及び第２の照射手段は、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の閾値以上となる場合の波長の光を照射する
   請求項１に記載の画像処理装置。
9. 前記第１及び第２の照射手段は、それぞれ異なる波長の赤外線を照射する
   請求項８に記載の画像処理装置。
10. 前記第１又は第２の照射手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射する
    請求項９に記載の画像処理装置。
11. 被写体を撮像して得られる撮像画像から、人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
    前記画像処理装置は、
    撮像手段と、
    第１の照射手段と、
    第２の照射手段と、
    検出手段と
    を含み、
    前記第１の照射手段が、前記撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射し、
    前記第２の照射手段が、前記撮像手段の位置に基づいて決定される第３及び第４の位置から、前記第１の波長とは異なる第２の波長の光を照射し、
    前記撮像手段が、前記第１の波長の光が照射された前記被写体、及び前記第２の波長の光が照射された前記被写体の撮像を行い、
    前記検出手段が、前記第１の波長の光が照射された前記被写体の撮像により得られる第１の撮像画像、及び前記第２の波長の光が照射された前記被写体の撮像により得られる第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する
    ステップを含む画像処理方法。
12. 被写体を撮像して得られる撮像画像から、人間の肌を表す肌領域を検出する電子機器において、
    前記被写体の撮像を行う撮像手段と、
    前記撮像手段の位置に基づいて決定される第１及び第２の位置から、第１の波長の光を照射する第１の照射手段と、
    前記撮像手段の位置に基づいて決定される第３及び第４の位置から、前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
    前記第１の波長の光が照射された前記被写体の撮像により得られる第１の撮像画像、及び前記第２の波長の光が照射された前記被写体の撮像により得られる第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段と、
    検出された前記肌領域に対応する処理を行う処理手段と
    を含む電子機器。

Images