JP2011109237A - 情報処理装置、情報処理方法、及び電子機器 - Google Patents

Abstract

【課題】被写体に光を照射するLEDの個数を減らす。
【解決手段】発光装置２１は、第１の波長の光を照射するLED２１a_n、及び第２の波長の光を照射するLED２１b_mを有し、カメラ２２は、被写体からの反射光を受光して得られる、反射光の受光強度に基づいて、受光強度に対応する撮像画像を生成し、画像処理装置２３は、生成された撮像画像に基づいて、撮像画像上の肌領域を検出する。なお、LED２１a_nの個数は、LED２１b_mの個数よりも少ない個数に予め決定されている。本発明は、例えば、撮像画像上から、被写体の肌領域を検出する情報処理装置に適用できる。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、及び電子機器に関し、特に、例えば、被写体を撮像して得られる撮像画像上から人間の手の形状等を検出する場合に用いて好適な情報処理装置、情報処理方法、及び電子機器に関する。

従来、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。

この肌認識システムは、波長λ１の光（例えば、870[nm]の近赤外線）を被写体に照射するLED(light emitting diode)、及び波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を被写体に照射するLEDを有する発光部、被写体の撮像を行うカメラ、並びに、カメラの撮像により得られる撮像画像上の肌領域を検出する画像処理部により構成される。

なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。また、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。

さらに、波長λ１の光を被写体に照射するLED、及び波長λ２の光を被写体に照射するLEDは、それぞれ、同一の個数により構成されている。

肌認識システムにおいては、発光部により各LEDが交互に発光される。そして、各LEDのうち、波長λ１の光を照射するLEDが発光している場合に、波長λ１の光を照射するLEDから照射された波長λ１の光が、被写体に反射してカメラに入射される。これにより、カメラは、被写体に反射した波長λ１の光を受光し、その受光により得られる第１の撮像画像を画像処理部に供給する。

また、各LEDのうち、波長λ２の光を照射するLEDが発光している場合に、波長λ２の光を照射するLEDから照射された波長λ２の光が、被写体に反射してカメラに入射される。これにより、カメラは、被写体に反射した波長λ２の光を受光し、その受光により得られる第２の撮像画像を画像処理部に供給する。

画像処理部では、カメラからの第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方から肌領域を検出する。

すなわち、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せが採用されている。

このため、第１の撮像画像上の肌領域を構成する画素の輝度値は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。

また、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せが採用されている。

このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。

よって、肌認識システムの画像処理部では、例えば、差分絶対値が比較的大きな値となる場合に、対応する領域を肌領域として検出することができる。

このように、従来の肌認識システムでは、被写体を撮像して得られる第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像上の肌領域を検出することができる。

鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号

ところで、従来の肌認識システムの発光部では、上述したように、波長λ１の光を照射するLEDと、波長λ２の光を照射するLEDとは、同一の個数で構成されている。

したがって、従来の肌認識システムの発光部では、例えば単一の波長の光を照射して肌領域を検出する場合と比較して、２倍の個数のLEDを用いる必要があった。このため、肌認識システムの規模が大きくなってしまい、肌認識システムを、テレビジョン受像機等の電子機器に実装する際の妨げとなっていた。

よって、従来の肌認識システムをテレビジョン受像機に内蔵する場合には、そのためのスペース（空き）を設ける必要が生じるため、テレビジョン受像機等の形状を自由に設計（デザイン）することができなくなってしまう。

また、波長λ１の光を照射するLED、及び波長λ２の光を照射するLEDを用いて肌領域を精度良く検出するためには、波長λ１及びλ２に対する反射率が同一の被写体に対して、波長λ１の光、及び波長λ２の光を照射した場合、その反射光の受光強度（強さ）として、同一の受光強度がカメラにより検出される必要がある。

しかしながら、波長λ１の光を照射するLEDと、波長λ２の光を照射するLEDの個数が同一である場合には、波長λ１及びλ２の光を照射する各LEDの光学特性やカメラの受光感度特性に起因して、波長λ１の反射光の受光強度と、波長λ２の反射光の受光強度とが、同一にならないことが生じ得る。この場合、従来の肌認識システムでは、肌領域を精度良く検出できなくなってしまう。

本発明は、このような状況に鑑みてなされたものであり、被写体に光を照射するLEDの個数を減らしつつ、精度良く被写体の肌領域を検出するものである。

本発明の第１の側面の情報処理装置は、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置であって、第１の波長の光を前記被写体に照射する第１の照射部を第１の個数だけ有するとともに、前記第１の波長とは異なる第２の波長の光を前記被写体に照射する第２の照射部を、前記第１の個数とは異なる第２の個数だけ有する発光手段と、前記被写体からの反射光を受光して得られる、前記反射光の受光強度に基づいて、前記受光強度に対応する撮像画像を生成する生成手段と、前記第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び前記第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段とを含み、前記第１の個数は、前記第２の個数よりも少ない個数に予め決定されている情報処理装置である。

前記第１の個数は、同一の電力が供給された場合における、前記第１の照射部により照射される光の第１のエネルギー量、及び前記第２の照射部により照射される光の第２のエネルギー量の違い、並びに、前記生成手段による、前記第１の波長の反射光に対する第１の受光感度、及び前記生成手段による、前記第２の波長の反射光に対する第２の受光感度の違いに基づいて決定されているようにすることができる。

前記第１の個数は、前記第２のエネルギー量を前記第１のエネルギー量で除算した除算結果、前記第２の受光感度を前記第１の受光感度で除算した除算結果、及び前記第２の個数のそれぞれを乗算して得られる閾値以上の個数であって、前記第２の個数未満の個数に予め決定されているようにすることができる。

前記エネルギー量は、単位時間あたりに放射される光のエネルギー量の総量を表す光出力であるようにすることができる。

前記エネルギー量は、単位立体角あたりのエネルギー量を表す放射強度であるようにすることができる。

前記第１及び第２の照射部では、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の差分閾値以上となる場合の波長の光を照射することができる。

前記第１及び第２の照射部では、それぞれ異なる波長の赤外線を照射することができる。

前記第２の照射部では930[nm]以上の波長の光を照射し、前記第１の照射部では930[nm]未満の光を照射することができる。

前記検出手段では、前記第１及び第２の撮像画像を構成する画素において、対応する画素の輝度値どうしの差分絶対値が所定の閾値以上であるか否かに基づいて、前記肌領域を検出することができる。

本発明の第１の側面の情報処理方法は、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置の情報処理方法であって、前記情報処理装置は、第１の照射部を第１の個数だけ有するとともに、第２の照射部を、前記第１の個数とは異なる第２の個数だけ有する発光手段と、生成手段と、検出手段とを含み、前記発光手段の前記第１の照射部が、第１の波長の光を前記被写体に照射し、前記発光手段の前記第２の照射部が、前記第１の波長とは異なる第２の波長の光を前記被写体に照射し、前記生成手段が、前記被写体からの反射光を受光して得られる、前記反射光の受光強度に基づいて、前記受光強度に対応する撮像画像を生成し、前記検出手段が、前記第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び前記第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出するステップを含み、前記第１の個数は、前記第２の個数よりも少ない個数に予め決定されている情報処理方法である。

本発明の第１の側面によれば、第１の照射部により、第１の波長の光が被写体に照射され、第２の照射部により、第１の波長とは異なる第２の波長の光が被写体に照射される。そして、被写体からの反射光を受光して得られる、反射光の受光強度に基づいて、受光強度に対応する撮像画像が生成され、第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像上の肌領域が検出される。なお、第１の照射部の個数は、第２の照射部の個数よりも少ない個数に予め決定されている。

本発明の第２の側面の電子機器は、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置を内蔵する電子機器であって、前記情報処理装置は、第１の波長の光を前記被写体に照射する第１の照射部を第１の個数だけ有するとともに、前記第１の波長とは異なる第２の波長の光を前記被写体に照射する第２の照射部を、前記第１の個数とは異なる第２の個数だけ有する発光手段と、前記被写体からの反射光を受光して得られる、前記反射光の受光強度に基づいて、前記受光強度に対応する撮像画像を生成する生成手段と、前記第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び前記第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段とを含み、前記第１の個数は、前記第２の個数よりも少ない個数に予め決定されている電子機器である。

本発明の第２の側面によれば、電子機器が内蔵する情報処理装置において、第１の照射部により、第１の波長の光が被写体に照射され、第２の照射部により、第１の波長とは異なる第２の波長の光が被写体に照射される。そして、被写体からの反射光を受光して得られる、反射光の受光強度に基づいて、受光強度に対応する撮像画像が生成され、第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像上の肌領域が検出される。なお、第１の照射部の個数は、第２の照射部の個数よりも少ない個数に予め決定されている。

本発明によれば、被写体に光を照射するLEDの個数を減らしつつ、精度良く被写体の肌領域を検出することが可能となる。

第１の実施の形態である情報処理システムの構成例を示すブロック図である。 LEDの光学特性を示す図である。 カメラの受光感度特性を示す図である。 人間の肌の分光反射特性を示す図である。 画像処理装置が行う処理の概要を説明するための図である。 画像処理装置の構成例を示すブロック図である。 肌検出処理を説明するためのフローチャートである。 第２の実施の形態である肌認識モジュールの一例を示す斜視図である。 肌認識モジュールを内蔵するテレビジョン受像機の一例を示す外観図である。

以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（LEDの個数を少なくした情報処理システムの例）
２． 第２の実施の形態（より小型化された肌認識モジュールの例）
３． 変形例

＜１． 第１の実施の形態＞
[情報処理システム１の構成例]
図１は、第１の実施の形態である情報処理システム１の構成例を示している。

この情報処理システム１は、発光装置２１、カメラ２２、及び画像処理装置２３により構成される。

発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するNUM_a個のLED２１a_n、及び波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するNUM_b個のLED２１b_mにより構成される。LED２１a_nとLED２１b_mとは、例えば交互に発光する。

なお、nは１からNUM_aまでの自然数を表しており、mは１からNUM_bまでの自然数を表している。

ここで、以下の説明において、NUM_a個のLED２１a_nをそれぞれ区別する必要がない場合には、単にLED２１aというとともに、NUM_b個のLED２１b_mをそれぞれ区別する必要がない場合には、単にLED２１bという。

LED２１aの個数NUM_aと、LED２１bの個数NUM_bは、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の対応する画素どうしの輝度値が同一となる個数とされている。

なお、個数NUM_a及び個数NUM_bは、LED２１a及びLED２１bによる光学特性（図２）、並びにカメラ２２の撮像素子による受光感度特性（図３）に基づいて決定される。この決定方法は、本発明のポイントとなるため、図２及び図３を参照して詳細に後述する。

また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。さらに、波長λ１と波長λ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性（図４）に基づいて決定される。

カメラ２２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ２２aにより覆われている。

このため、日光、或いは蛍光灯等の不可視光成分を除けば、カメラ２２は、発光装置２１によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、画像処理装置２３に供給することになる。

すなわち、例えば、カメラ２２は、LED２１aによって被写体に照射される不可視光である波長λ１の光の反射光のみを受光し、その結果得られる第１の撮像画像を、画像処理装置２３に供給する。

また、カメラ２２は、LED２１bによって被写体に照射される不可視光である波長λ２の光の反射光のみを受光し、その結果得られる第２の撮像画像を、画像処理装置２３に供給する。

画像処理装置２３は、発光装置２１及びカメラ２２を制御する。また、画像処理装置２３は、カメラ２２から供給される第１及び第２の撮像画像の、対応する画素の輝度値の差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。なお、画像処理装置２３の詳細については、図４乃至図６を参照して後述する。

[個数NUM_a及びNUM_bの決定方法]
次に、図２及び図３を参照して、発光装置２１におけるLED２１aの個数NUM_a、及びLED２１bの個数NUM_bの決定方法について説明する。

図２は、LED２１a及びLED２１bにおける光学特性の一例として、LED２１a及びLED２１bに一般に流通している同一のLEDメーカの２種類の製品を採用した場合の光学特性を示している。

図２に示されるように、同一の電流I_F＝50[mA]を流した場合、LED２１aは、波長λ１=870[nm]の光を光出力P_a=30[mW]で発光し、LED２１bは、波長λ２=950[nm]の光を光出力P_b=13[mW]で発光する。なお、光出力P_aとは、単位時間あたりに、LED２１aから照射される光のエネルギー量の総量を表しており、光出力P_bとは、単位時間あたりに、LED２１bから照射される光のエネルギー量の総量を表している。

図２に示されるように、一般的には、同一の電流を流した場合の光出力は、LEDによって異なることが知られている。

図３は、カメラによる相対感度特性の一例として、カメラ２２に、ソニー株式会社により製造されたCCD Camera XC-E150を採用した場合の相対感度特性を示している。

図３において、横軸は波長を表しており、縦軸は、630[nm]の波長の光に対する感度を1.0とした場合の相対感度を示している。

図３では、LED２１aから照射される光の波長λ１=870[nm]に対する相対感度S_aは0.28であり、LED２１bから照射される光の波長λ２=950[nm]に対する相対感度S_bは0.12となっている。

図３に示されるように、一般的には、LED２１aに対応する相対感度S_a（例えば、S_a=0.28）は、LED２１bに対応する相対感度S_b（例えば、S_b=0.12）よりも大きくなることがわかっている。

なお、第１の実施の形態において、情報処理システム１は、情報処理システム１から例えば２[m]程度離れた位置に存在する被写体の肌領域を検出する場合を想定している。

したがって、情報処理システム１から２[m]程度離れた位置に鏡等を配置し、これ（波長λ１及びλ２に対する反射率が100[%]の鏡面）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２により得られる撮像画像の対応する画素どうしの輝度値が同一となるように、LED２１aの個数NUM_a及びLED２１bの個数NUM_bを決定するようにする。

以下、LED２１aにより波長λ１の光を照射した場合に、カメラ２２の撮像により得られる輝度値、及びLED２１bにより波長λ２の光を照射した場合に、カメラ２２の撮像により得られる輝度値について説明する。

NUM_a個のLED２１aが、それぞれ、光出力P_aの光を照射する場合、NUM_a個分の光出力P_a×NUM_aの光が鏡面に照射される。そして、鏡面に照射された光出力P_a×NUM_aの光が反射してカメラ２２に受光される。

この場合、カメラ２２は、光出力P_a×NUM_aの光を受光し、受光した波長λ１の光の相対感度S_aに応じた受光強度S_a×P_a×NUM_aを検出する。そして、カメラ２２は、検出した受光強度S_a×P_a×NUM_aに対応する輝度値を、第１の撮像画像を構成する画素の輝度値として取得する。

また、同様に、NUM_b個のLED２１bが、それぞれ、光出力P_bの光を照射する場合、NUM_b個分の光出力P_b×NUM_bの光が鏡面に照射される。そして、鏡面に照射された光出力P_b×NUM_bの光が反射してカメラ２２に受光される。

この場合、カメラ２２では、光出力P_b×NUM_bの光を受光し、受光した波長λ２の光の相対感度S_bに応じた受光強度S_b×P_b×NUM_bを検出する。そして、カメラ２２は、検出した受光強度S_b×P_b×NUM_bに対応する輝度値を、第２の撮像画像を構成する画素の輝度値として取得する。

ここで、鏡面に対して波長λ１の光を照射した場合に得られる、受光強度S_a×P_a×NUM_aに対応する輝度値と、鏡面に対して波長λ２の光を照射した場合に得られる、受光強度S_b×P_b×NUM_bに対応する輝度値とは、（殆ど）同一の値となるように、個数NUM_a及び個数NUM_bは決定される。すなわち、個数NUM_a及び個数NUM_bは、情報処理システム１において肌領域を精度良く検出することができるように、次式（１）を満たす必要がある。
S_b×P_b×NUM_b = S_a×P_a×NUM_a ・・・（１）

式（１）の両辺を、(S_a×P_a)で割ると、次式（２）が得られる。
{(S_b×P_b)/(S_a×P_a)}×NUM_b = (S_b/S_a)×(P_b/P_a)×NUM_b = NUM_a・・・（２）

そして、式（２）の右辺NUM_aが自然数であり、式（２）の左辺(S_b/S_a)×(P_b/P_a)×NUM_bが正の実数（自然数、又は小数点付きの正の整数）であることを考慮すると、次式（３）が導出される。
(S_b/S_a)×(P_b/P_a)×NUM_b ≦ NUM_a ・・・（３）

なお、式（２）の右辺NUM_aが自然数であり、式（２）の左辺(S_b/S_a)×(P_b/P_a)×NUM_bが正の実数（自然数、又は小数点付きの正の整数）であることを考慮すると、式（３）の他、(S_b/S_a)×(P_b/P_a)×NUM_b ≧ NUM_a >0も導出されるが、この場合、受光強度S_a×P_a×NUM_aに対応する輝度値として、最低限必要な輝度値を満たさないことが生じ得るため、式（３）を採用することとしている。

また、個数NUM_a及び個数NUM_bが同一の値である場合には、S_a>S_b（>0）及びP_a>P_b（>0）から、S_b×P_b×NUM_b < S_a×P_a×NUM_aとなり、式（１）を満たさなくなってしまう。

そこで、式（１）を満たすために、個数NUM_a及び個数NUM_bは、さらに、次式（４）を満たす必要がある。
NUM_b > NUM_a ・・・（４）

したがって、式（３）及び式（４）から、次式（５）が得られる。
(S_b/S_a)×(P_b/P_a)×NUM_b ≦ NUM_a < NUM_b ・・・（５）

式（５）の各辺を個数NUM_bで除算すると、次式（６）が導出される。
(S_b/S_a)×(P_b/P_a) ≦ NUM_a/NUM_b < 1 ・・・（６）

したがって、LED２１aにより、LED２１bによる場合と同一の輝度値の撮像画像を得るようにするためには、次式（５）（又は式（６））を満たす必要がある。

このように、式（５）に示されるように、光出力P_a及びP_bの違いを利用して、LED２１aの個数NUM_aを、LED２１bの個数NUM_bの(P_b/P_a)倍までに減らすことが可能となる。また、相対感度S_a及びS_bの違いを利用して、LED２１aの個数NUM_aを、LED２１bの個数NUM_bの(S_b/S_a)倍までに減らすことが可能となる。

したがって、例えば、情報処理システム１を製造する製造業者が、LED２１bの個数NUM_bを、肌領域を検出するために最低限必要な個数に決定した場合、LED２１aの個数NUM_aを、LED２１bの個数NUM_bの(S_b/S_a)×(P_b/P_a)倍までに減らすことが可能となる。

第１の実施の形態では、図２及び図３に示されたように、P_a=30,P_b=13,S_a=0.28,S_b=0.12である。したがって、LED２１aの個数NUM_aを、LED２１bの個数NUM_bの(13/30)×(0.12/0.28)倍程度に減らすことが可能となる。具体的には、LED２１bの個数NUM_bを１０個とした場合、(13/30)×(0.12/0.28)×10 ≦ NUM_a < 10となり、LED２１aの個数NUM_aを２個まで減らすことができる。

この場合、S_b×P_b×NUM_b=15.6となり、S_a×P_a×NUM_a=16.8となって、式（１）を殆ど満たすため、肌領域を精度良く検出することが可能となる。

なお、より肌領域の検出精度を向上させるためには、式（１）を完全に満たす（S_b×P_b×NUM_b=S_a×P_a×NUM_aとなる）ようにすることが望ましい。具体的には、例えば、S_a×P_a×NUM_aの値が、S_b×P_b×NUM_bと同一の値15.6となるように、LED２１aに流す電流を調整して、光出力P_aを変更する必要がある。

以下、第１の実施の形態では、LED２１bの個数NUM_bが１０個であり、LED２１aの個数NUM_aが２個であるものとして説明するが、LED２１bの個数NUM_b、及びLED２１aの個数NUM_aは、これに限定されない。

すなわち、例えば、LED２１bの個数NUM_bを１０個とし、LED２１aの個数NUM_aを、式（５）を満たす個数として、例えば８個であるものとするようにしてもよい。但し、この場合、S_b×P_b×NUM_b=15.6となり、S_a×P_a×NUM_a=67.2となって、式（１）を満たさなくなるため、例えば、式（１）を完全に満たすように、LED２１aに流す電流が調整される。

次に、図４乃至図６を参照して、画像処理装置２３が行う処理について説明する。

[肌に対する分光反射特性]
図４は、人間の肌に対する分光反射特性を示している。

なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。

図４において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。

人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。

具体的には、例えば、図４に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。

これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。

第１の実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。

したがって、第１の撮像画像上の肌領域を構成する画素の輝度値と、対応する第２の撮像画像上の肌領域を構成する輝度値との差分絶対値は、人間の肌に対する反射率の差に対応して、比較的大きな値となる。

また、第１の撮像画像上の非肌領域（肌領域以外の領域）を構成する画素の輝度値と、対応する第２の撮像画像上の非肌領域を構成する輝度値との差分絶対値は、人間の肌以外の部分に対する反射率の差に対応して、比較的小さな値となる。

画像処理装置２３は、カメラ２２からの第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方から肌領域を検出する。

[画像処理装置２３が行う処理の概要]
図５は、画像処理装置２３が行う処理の概要を示している。

画像処理装置２３には、カメラ２２から、肌領域４１a及び非肌領域４１b(肌領域４１a以外の領域)により構成される第１の撮像画像４１、並びに、肌領域４２a及び非肌領域４２b(肌領域４２a以外の領域)により構成される第２の撮像画像４２が供給される。

画像処理装置２３は、カメラ２２から供給される第１の撮像画像４１、及び第２の撮像画像４２に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、画像処理装置２３は、平滑化後の第１の撮像画像４１、平滑化後の第２の撮像画像４２の対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像４３を生成する。

画像処理装置２３は、生成した差分画像４３に対して、差分画像４３を構成する画素値のうち、所定の閾値以上の画素値を１とし、所定の閾値未満の画素値を０とする２値化を行う。

いまの場合、差分画像４３における肌領域４３aは、肌領域４１aと肌領域４２aとの差分絶対値を画素値とする画素により構成されているため、肌領域４３aを構成する画素の画素値は比較的大きな値となっている。

また、差分画像４３における非肌領域４３bは、非肌領域４１bと非肌領域４２bとの差分絶対値を画素値とする画素により構成されているため、非肌領域４３bを構成する画素の画素値は比較的小さな値となっている。

したがって、差分画像４３は、画像処理装置２３により行われる２値化により、肌領域４３aを構成する画素の画素値が１とされた肌領域４４a、及び非肌領域４３bを構成する画素の画素値が０とされた非肌領域４４ｂにより構成される２値化画像４４に変換される。

そして、画像処理装置２３は、その２値化により得られる２値化画像４４を構成する画素のうち、画素値が１となる画素により構成される肌領域４４aを、肌領域として検出する。

[画像処理装置２３の構成例]
図６は、画像処理装置２３の構成例を示している。

この画像処理装置２３は、制御部６１、算出部６２、及び２値化部６３により構成される。

制御部６１は、発光装置２１を制御し、発光装置２１のLED２１a（いまの場合、２個のLED２１a）及びLED２１b（いまの場合、１０個のLED２１b）に、それぞれ、同一の大きさの電流（いまの場合、50[mA]）を流すようにして、発光装置２１のLED２１a及びLED２１bを交互に発光させる。また、制御部６１は、カメラ２２を制御し、カメラ２２による被写体の撮像を行わせる。

算出部６２には、カメラ２２から、第１及び第２の撮像画像が供給される。算出部６２は、カメラ２２からの第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。

そして、算出部６２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部６３に供給する。

２値化部６３は、算出部６２からの差分画像を２値化し、その結果得られる２値化画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果を出力する。

[情報処理システム１の動作説明]
次に、図７のフローチャートを参照して、情報処理システム１が行う肌検出処理について説明する。

この肌検出処理は、例えば、情報処理システム１の電源がオンされたときから繰り返し実行される。

ステップＳ１において、制御部６１は、発光装置２１のLED２１a（いまの場合、２個のLED２１a）を制御し、LED２１aに所定の大きさの電流（いまの場合、50[mA]）を流すようにして、波長λ１の光の発光を開始させる。なお、制御部６１は、LED２１bが発光している場合には、LED２１bの発光を停止した上で、LED２１aの発光を開始させる。

ステップＳ２において、カメラ２２は、波長λ１の光が照射されている被写体を撮像し、その結果得られる第１の撮像画像を、画像処理装置２３の算出部６２に供給する。

ステップＳ３において、制御部６１は、発光装置２１のLED２１aを制御し、波長λ１の光の発光を停止させ、発光装置２１のLED２１b（いまの場合、１０個のLED２１b）を制御し、LED２１bに、LED２１aに流した電流と同一の大きさの電流を流すようにして、波長λ２の光の発光を開始させる。

ステップＳ４において、カメラ２２は、波長λ２の光が照射されている被写体を撮像し、その結果得られる第２の撮像画像を、画像処理装置２３の算出部６２に供給する。

ステップＳ５において、算出部６２は、カメラ２２から供給される第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。そして、算出部６２は、平滑化後の第１及び第２の撮像画像の対応する画素の輝度値どうしの差分絶対値に基づいて、差分画像を生成し、２値化部６３に供給する。

ステップＳ６において、２値化部６３は、算出部６２から供給される差分画像を２値化する。そして、ステップＳ７において、２値化部６３は、２値化により得られる２値化画像から、肌領域を検出する。以上で肌検出処理は終了される。

以上説明したように、肌検出処理によれば、式（１）を殆ど満たす必要最小限のLED（いまの場合、２個のLED２１aと１０個のLED２１ｂ）を用いて肌領域を検出するようにしたので、例えば、同じ個数のLED（１０個のLED２１aと１０個のLED２１b）を用いて肌領域を検出する場合と比較して、より少ないLEDで肌領域を精度良く検出することが可能となる。

また、情報処理システム１では、同じ個数のLEDを用いて肌領域を検出する場合と比較して、LEDの個数を減らすことができるので、情報処理システム１の規模を小さくすることができる。

このため、情報処理システム１を、例えばテレビジョン受像機等の電子機器に内蔵する場合でも、そのために電子機器に設けるスペースを小さくできるため、比較的、電子機器の形状を自由に設計することが可能となる。

なお、電子機器として、例えばテレビジョン受像機に情報処理システム１を内蔵した場合には、テレビジョン受像機は、内蔵する情報処理システム１により、ユーザの手等を表す肌領域を検出し、その検出結果に基づいて、ユーザの手等による所定の操作に対応するジェスチャ等を認識することができる。そして、テレビジョン受像機は、その認識結果に基づいて、選局（チャンネル）を変更する等の動作を行なうことが可能となる。

また、LED２１a及びLED２１bのいずれにも、同一の大きさの電流を流すようにしたので、LED２１a及びLED２１b毎に流す電流の大きさを変更して、LED２１a及びLED２１bの出力を調整する必要がなくなる。

なお、LED２１a及びLED２１bのいずれにも、同一の大きさの電流を流すようにした場合、肌領域を精度良く検出するために必要な条件として、上述した式（１）を満たさないことが生じ得る。

したがって、この場合、式（１）を完全に満たす（S_b×P_b×NUM_b=S_a×P_a×NUM_aとなる）ように、LED２１a及びLED２１bに流す電流を調整すれば、少ないlED２１a及びLED２１bの個数で、より精度良く肌領域を検出することが可能となる。

なお、第１の実施の形態において、情報処理システム１として、発光装置２１、カメラ２２、及び画像処理装置２３を、それぞれ個別に構成するようにしたが、例えば、一体的に構成するようにすれば、より小型化することが可能となる。

＜２．第２の実施の形態＞
[肌認識モジュール８１の外観図]
次に、図８を参照して、発光装置２１、カメラ２２、及び画像処理装置２３それぞれと同様の機能を有する肌認識モジュール８１について説明する。

図８は、第２の実施の形態である肌認識モジュール８１の一例を示している。

この肌認識モジュール８１は、レンズ１０１、光源群１０２、基板１０３、カメラ１０４、画像処理部１０５、及び支持部材１０６により構成される。

レンズ１０１は、光源群１０２を構成するLEDそれぞれにより発光される光を集光し、集光した光を、例えばスポット状に補正して、カメラ１０４により撮像される撮像範囲である２次元平面上に照射する。

光源群１０２は、発光装置２１と同様に構成されており、波長λ１の光を照射（発光）するLED、及び波長λ１とは異なる波長λ２の光を照射するLEDにより構成される。なお、光源群１０２は、例えば、波長λ１の光と波長λ２の光とを交互に発光させる。

基板１０３は、光源群１０２が配置される光源用基板１０３a、並びに、カメラ１０４及び画像処理部１０５が配置される処理用基板１０３bにより構成される。なお、光源用基板１０３a及び処理用基板１０３bは、それぞれ、別々の基板として構成されている。

光源用基板１０３aは、横長の矩形の形状を有しており、その中央に、カメラ１０４が光源用基板１０３aの法線方向に貫通した状態で固定されている。また、光源用基板１０３aには、カメラ１０４を中心として一直線上に光源群１０２を構成するLEDが配置されている。

処理用基板１０３bは、例えば、多層（例えば、４層や６層等）の基板により構成されており、光源用基板１０３aと同様に横長の矩形の形状を有している。また、処理用基板１０３bは、光源用基板１０３aの後方に設けられており、処理用基板１０３bには、光源用基板１０３aに固定されたカメラ１０４、及び画像処理部１０５が配置される。

カメラ１０４は、カメラ２２と同様に構成されており、波長λ１の光が照射された被写体の撮像、及び波長λ２の光が照射された被写体の撮像を行い、その結果得られる撮像画像それぞれを、画像処理部１０５に供給する。

すなわち、カメラ１０４は、被写体に照射された波長λ１の照射光の反射光を受光し、その結果得られる第１の撮像画像を、画像処理部１０５に供給する。また、カメラ１０４は、被写体に照射された波長λ２の照射光の反射光を受光し、その結果得られる第２の撮像画像を、画像処理部１０５に供給する。

画像処理部１０５は、画像処理装置２３と同様に構成されており、カメラ１０４からの第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像内から、人間の肌領域等を検出する。

支持部材１０６は、レンズ１０１、光源用基板１０３a、及び処理用基板１０３bを支持する。

第２の実施の形態では、光源群１０２を一様に一直線上に配置するので（LEDを全幅に亘って一様に配置するので）、照度分布の均一化が図り易くなり、より肌領域を精度良く検出することが可能となる。

また、第２の実施の形態では、図８に示されるように、光源群１０２を光源用基板１０３aに、カメラ１０４及び画像処理部１０５を処理用基板１０３bにそれぞれ配置し、光源用基板１０３aと処理用基板１０３bとを重ねるように構成した。

したがって、例えば、光源群１０２を配置する基板と、カメラ１０４及び画像処理部１０５を配置する基板とを分けずに、光源群１０２、カメラ１０４、及び画像処理部１０５を１つの基板（例えば、光源用基板１０３a）に配置する場合と比較して、肌認識モジュール８１の幅（光源用基板１０３aの面積）を小さくすることができる。

その他、第２の実施の形態では、発光装置２１に対応する光源群１０２、カメラ２２に対応するカメラ１０４、及び画像処理装置２３に対応する画像処理部１０５を、肌認識モジュール８１として一体的に構成するようにしたので、情報処理システム１と比較して、より小さくすることができ、テレビジョン受像機等の電子機器に殆どスペースを設けずに、肌認識モジュール８１を内蔵することが可能となる。

[テレビジョン受像機１２１の正面図]
次に、図９を参照して、肌認識モジュール８１を内蔵したテレビジョン受像機１２１について説明する。

図９は、肌認識モジュール８１を内蔵したテレビジョン受像機１２１を示している。

このテレビジョン受像機１２１は、肌認識モジュール８１の他、主に、モニタ１４１、及び図示せぬチューナ等により構成される。なお、肌認識モジュール８１は、テレビジョン受像機１２１の筐体のうち、モニタ１４１の周辺部分に収まるように小型化されて、モニタ１４１の周辺部分に内蔵されている。

モニタ１４１は、例えば液晶ディスプレイや有機EL(electro-luminescent)ディスプレイ等により構成されており、放送されるテレビジョン放送信号に対応する画像（番組）等を表示する。

なお、肌認識モジュール８１は、内蔵するカメラ１０４（図８）により、モニタ１４１の前に存在する被写体（例えば、番組を視聴しているユーザ）を撮像する。そして、肌認識モジュール８１は、その撮像により得られる撮像画像内の肌領域を検出し、その検出結果を、例えば図示せぬチューナに供給する。

そして、図示せぬチューナは、肌認識モジュール８１からの検出結果に対応する処理として、例えば、テレビジョン受像機１２１の選局を変更する動作を行う。

＜３． 変形例＞
第１の実施の形態では、式（５）（又は式（６））において、LED２１a及びLED２１bの光のエネルギー量を表す指標として、光出力[mW]を用いるようにしたが、その他、例えば、LED２１a及びLED２１bの光の放射強度[W/sr]を採用することができる。なお、放射強度[W/sr]とは、LEDから照射される単位立体角（１ステラジアン）あたりの光のエネルギー量を表す。

すなわち、例えば、LED２１aの放射強度をI_aとし、LED２１bの放射強度をI_bとした場合、式（５）を導出したときと同様にして、次式（７）を導出することができる。
(S_b/S_a)×(I_b/I_a)×NUM_b ≦ NUM_a < NUM_b ・・・（７）

この場合、導出した式（７）を用いて、LED２１aの個数NUM_aを、LED２１bの個数NUM_bの(S_b/S_a)×(I_b/I_a)倍程度に減らすことが可能となる。

第１の実施の形態では、波長λ１と波長λ２との組合せを、870[nm]と950[nm]との組合せとしたが、波長の組合せとしては、波長λ１における反射率と、波長λ２における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。

具体的には、図４から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の照射光を照射し、LED２１bが930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。

なお、LED２１aから照射される光として、可視光を用いる場合には、可視光カットフィルタ２２aに代えて、LED２１aから照射される可視光のみを通過させて、カメラ２２のレンズに入射させるフィルタが用いられる。これは、LED２１bについても同様のことがいえる。

また、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 情報処理システム， ２１ 発光装置， ２１a_n，２１b_m LED， ２２ カメラ， ２２a 可視光カットフィルタ， ２３ 画像処理装置， ６１ 制御部， ６２ 算出部， ６３ ２値化部， ８１ 肌認識モジュール， １０１ レンズ， １０２ 光源群， １０３ 基板， １０３a 光源用基板， １０３b 処理用基板， １０４ カメラ， １０５ 画像処理部， １０６ 支持部材， １２１ テレビジョン受像機， １４１ モニタ

Claims (11)

1. 被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置において、
   第１の波長の光を前記被写体に照射する第１の照射部を第１の個数だけ有するとともに、前記第１の波長とは異なる第２の波長の光を前記被写体に照射する第２の照射部を、前記第１の個数とは異なる第２の個数だけ有する発光手段と、
   前記被写体からの反射光を受光して得られる、前記反射光の受光強度に基づいて、前記受光強度に対応する撮像画像を生成する生成手段と、
   前記第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び前記第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段と
   を含み、
   前記第１の個数は、前記第２の個数よりも少ない個数に予め決定されている
   情報処理装置。
2. 前記第１の個数は、
   同一の電力が供給された場合における、前記第１の照射部により照射される光の第１のエネルギー量、及び前記第２の照射部により照射される光の第２のエネルギー量の違い、
   並びに、前記生成手段による、前記第１の波長の反射光に対する第１の受光感度、及び前記生成手段による、前記第２の波長の反射光に対する第２の受光感度の違いに基づいて決定されている
   請求項１に記載の情報処理装置。
3. 前記第１の個数は、前記第２のエネルギー量を前記第１のエネルギー量で除算した除算結果、前記第２の受光感度を前記第１の受光感度で除算した除算結果、及び前記第２の個数のそれぞれを乗算して得られる閾値以上の個数であって、前記第２の個数未満の個数に予め決定されている
   請求項２に記載の情報処理装置。
4. 前記エネルギー量は、単位時間あたりに放射される光のエネルギー量の総量を表す光出力である
   請求項２に記載の情報処理装置。
5. 前記エネルギー量は、単位立体角あたりのエネルギー量を表す放射強度である
   請求項２に記載の情報処理装置。
6. 前記第１及び第２の照射部は、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の差分閾値以上となる場合の波長の光を照射する
   請求項２に記載の情報処理装置。
7. 前記第１及び第２の照射部は、それぞれ異なる波長の赤外線を照射する
   請求項６に記載の情報処理装置。
8. 前記第２の照射部は930[nm]以上の波長の光を照射し、前記第１の照射部は930[nm]未満の光を照射する
   請求項７に記載の情報処理装置。
9. 前記検出手段は、前記第１及び第２の撮像画像を構成する画素において、対応する画素の輝度値どうしの差分絶対値が所定の閾値以上であるか否かに基づいて、前記肌領域を検出する
   請求項１に記載の情報処理装置。
10. 被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置の情報処理方法において、
    前記情報処理装置は、
    第１の照射部を第１の個数だけ有するとともに、第２の照射部を、前記第１の個数とは異なる第２の個数だけ有する発光手段と、
    生成手段と、
    検出手段と
    を含み、
    前記発光手段の前記第１の照射部が、第１の波長の光を前記被写体に照射し、
    前記発光手段の前記第２の照射部が、前記第１の波長とは異なる第２の波長の光を前記被写体に照射し、
    前記生成手段が、前記被写体からの反射光を受光して得られる、前記反射光の受光強度に基づいて、前記受光強度に対応する撮像画像を生成し、
    前記検出手段が、前記第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び前記第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する
    ステップを含み、
    前記第１の個数は、前記第２の個数よりも少ない個数に予め決定されている
    情報処理方法。
11. 被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置を内蔵する電子機器において、
    前記情報処理装置は、
    第１の波長の光を前記被写体に照射する第１の照射部を第１の個数だけ有するとともに、前記第１の波長とは異なる第２の波長の光を前記被写体に照射する第２の照射部を、前記第１の個数とは異なる第２の個数だけ有する発光手段と、
    前記被写体からの反射光を受光して得られる、前記反射光の受光強度に基づいて、前記受光強度に対応する撮像画像を生成する生成手段と、
    前記第１の波長の反射光を受光して得られる第１の受光強度に対応する第１の撮像画像、及び前記第２の波長の反射光を受光して得られる第２の受光強度に対応する第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記肌領域を検出する検出手段と
    を含み、
    前記第１の個数は、前記第２の個数よりも少ない個数に予め決定されている
    電子機器。

Images