JP2011100214A - 検出装置、検出方法、プログラム、及び電子機器 - Google Patents

検出装置、検出方法、プログラム、及び電子機器 Download PDF

Info

Publication number
JP2011100214A
JP2011100214A JP2009253305A JP2009253305A JP2011100214A JP 2011100214 A JP2011100214 A JP 2011100214A JP 2009253305 A JP2009253305 A JP 2009253305A JP 2009253305 A JP2009253305 A JP 2009253305A JP 2011100214 A JP2011100214 A JP 2011100214A
Authority
JP
Japan
Prior art keywords
light
subject
charge amount
wavelength
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009253305A
Other languages
English (en)
Other versions
JP5505693B2 (ja
Inventor
Nobuhiro Saijo
信広 西条
Taketoshi Sekine
武俊 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009253305A priority Critical patent/JP5505693B2/ja
Publication of JP2011100214A publication Critical patent/JP2011100214A/ja
Application granted granted Critical
Publication of JP5505693B2 publication Critical patent/JP5505693B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Color Television Image Signal Generators (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】照射光成分により蓄積される電荷を維持しつつ、外光成分により蓄積される電荷を十分に少なくして、肌検出精度を向上させる。
【解決手段】発光装置６１は、所定の波長の光を被写体に照射し、カメラ６２は、被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、被写体を撮像した撮像画像を生成し、２値化部１０３は、撮像画像から被写体を検出し、制御部１０１は、発光装置６１を制御し、総電荷量のうち、発光装置６１により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる。また、制御部１０１は、カメラ６２を制御し、総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させる。本発明は、例えば、撮像画像から被写体を検出する検出装置に適用できる。
【選択図】図６

Description

本発明は、検出装置、検出方法、プログラム、及び電子機器に関し、特に、例えば、撮像画像上から人間の手の形状等を検出する場合に用いて好適な検出装置、検出方法、プログラム、及び電子機器に関する。
従来、例えば、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。
図１は、従来の肌認識システム１の構成例を示している。
この肌認識システム１は、発光装置２１、カメラ２２、及び情報処理装置２３により構成される。
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED(light emitting diode)２１a1及び２１a2（２個の黒丸で示すそれぞれ）、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及び２１b2（２個の白丸で示すそれぞれ）により構成される。
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。また、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。
以下において、LED２１a1及び２１a2を区別する必要がない場合には、LED２１a1及び２１a2を単にLED２１aという。また、LED２１b1及び２１b2を区別する必要がない場合には、LED２１b1及び２１b2を単にLED２１bという。
また、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように調整されている。
LED２１aとLED２１bとは、図１に示すように、碁盤の目状に配置されており、交互に発光する。
カメラ２２は、被写体に照射される波長λ１の光の反射光を受光し、その結果得られる第１の撮像画像を、情報処理装置２３に供給する。また、カメラ２２は、被写体に照射される波長λ２の光の反射光を受光し、その結果得られる第２の撮像画像を、情報処理装置２３に供給する。
情報処理装置２３は、発光装置２１及びカメラ２２を制御する。また、情報処理装置２３は、カメラ２２からの第１及び第２の撮像画像の、対応する画素の輝度値どうしの差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。
[従来の情報処理装置２３による制御の一例]
次に、図２は、情報処理装置２３が、発光装置２１及びカメラ２２を制御する様子の一例を示している。
なお、図２A乃至図２Eの横軸は、同一の時間を表している。
情報処理装置２３は、例えば、６０fps(frames per second)の場合、図２Aに示されるように、VD信号（垂直同期信号）として、16.7[ms]（＝1/60[s]）毎に立ち上がりエッジを生じさせるVD信号を生成する。
そして、情報処理装置２３は、生成したVD信号に立ち上がりエッジが生じるタイミング毎に、16.7[ms]の発光時間（照射時間）で、LED２１a及びLED２１bを交互に発光させる。
すなわち、例えば、情報処理装置２３は、図２Bに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、奇数番目の立ち上がりエッジが生じるタイミング毎にLED２１aの発光を開始させ、発光の開始から16.7[ms]後に発光を終了させる。
また、情報処理装置２３は、図２Cに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、偶数番目の立ち上がりエッジが生じるタイミング毎にLED２１bの発光を開始させ、発光の開始から16.7[ms]後に発光を終了させる。
さらに、情報処理装置２３は、生成したVD信号に生じる複数の立ち上がりエッジが生じるタイミング毎に、16.7[ms]の露光時間で、カメラ２２の露光を行わせる。すなわち、例えば、情報処理装置２３は、図２Dに示されるように、VD信号に生じる複数の立ち上がりエッジが生じるタイミング毎に露光を開始させ、露光の開始から16.7[ms]後に露光を終了させる。
これにより、カメラ２２は、図２Eに示されるように、VD信号に生じる複数の立ち上がりエッジが生じるタイミングに応じて、16.7[ms]の露光時間で被写体に照射された光の反射光を受光し、受光した反射光に対応する電荷を蓄積する。
すなわち、例えば、カメラ２２は、16.7[ms]の露光時間で、LED２１aから被写体に照射された光の反射光（波長λ１の反射光）を受光して電荷を蓄積する。そして、カメラ２２は、図２Eに示されるように、蓄積した電荷の電荷量α1に対応する輝度値α1'を有する画素により構成される第１の撮像画像を生成し、情報処理装置２３に供給する。
また、例えば、カメラ２２は、16.7[ms]の露光時間で、LED２１bから被写体に照射された光の反射光（波長λ２の反射光）を受光して電荷を蓄積する。そして、カメラ２２は、図２Eに示されるように、蓄積した電荷の電荷量β1に対応する輝度値β1'を有する画素により構成される第２の撮像画像を生成し、情報処理装置２３に供給する。
情報処理装置２３は、カメラ２２からの第１及び第２の撮像画像に基づいて、人間の肌に対する分光反射特性を利用した肌領域の検出を行う。
すなわち、上述したように波長λ１及びλ２の組合せは、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。
したがって、波長λ１又はλ２の光を、それぞれ、人間の肌に照射した場合、波長λ１の反射光により蓄積される電荷量α1は、波長λ２の反射光により蓄積される電荷量β1よりも大きなものとなる。
このため、第１の撮像画像上の肌領域を構成する画素の輝度値α1'は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値β1'は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値|α1'―β1'|は、比較的大きな値となる。
また、上述したように、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。
したがって、波長λ１又はλ２の光を、それぞれ、人間の肌以外のものに照射した場合、波長λ１の反射光により蓄積される電荷量α1は、波長λ２の反射光により蓄積される電荷量β1と殆ど同じものとなる。
このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値α1'と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値β1'は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値|α1'―β1'|は、比較的小さな値となる。
よって、画像処理装置２３では、例えば、差分絶対値|α1'―β1'|が比較的大きな値となる場合に、その差分絶対値|α1'―β1'|に対応する画素を、肌領域を構成する画素として検出することができる。
鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
ところで、被写体には、LED２１aからの波長λ１の光、及びLED２１bからの波長λ２の光の他、太陽や蛍光灯等の外光光源から波長λ１の光や波長λ２の光が照射される。
従来の肌認識システム１において、外光光源からの光の光量が比較的少ない場合、すなわち、外光光源からの光の光量が、差分絶対値|α1'―β1'|の大きさに影響を与えない程度に少ない場合には、肌領域を精度良く検出することができる。
しかしながら、外光光源からの光の光量が比較的多い場合、すなわち、外光光源からの光の光量が、差分絶対値|α1'―β1'|の大きさに影響を与える程度に多い場合には、肌領域を検出することができないことが生じ得る。
具体的には、例えば、外光光源からの光に起因して、被写体からの反射光を受光して蓄積される電荷量α1及びβ1のいずれにおいても、蓄積することが可能な最大電荷量を超える白とびが発生してしまっている場合、対応する輝度値α1'及びβ1'は同一の値となってしまう。
この場合、従来の肌認識システム１において、例えば、肌領域に対応する差分絶対値|α1'―β1'|と、肌領域以外の領域に対応する差分絶対値|α1'―β1'|とは同一の値となってしまい、差分絶対値|α1'―β1'|の大きさに基づいて、肌領域を検出することができなくなってしまう。
本発明は、このような状況に鑑みてなされたものであり、LEDからの光に起因して蓄積される電荷を維持しつつ、外光光源に起因して蓄積される電荷を十分に少なくして、白とびを防止するとともに、精度良く、撮像画像上の肌領域を検出するようにするものである。
本発明の第１の側面の検出装置、又はプログラムは、被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置、又は被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置として機能させるためのプログラムであって、所定の波長の光を被写体に照射する照射手段と、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、前記撮像画像から前記被写体を検出する検出手段と、前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させる撮像制御手段とを含む検出装置、又は検出装置として機能させるためのプログラムである。
前記撮像制御手段では、前記第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させるようにすることができる。
前記照射制御手段では、前記第１の電荷量が、前記被写体を検出するための前記撮像画像を生成するのに必要な電荷量となる光量で照射させるようにすることができる。
前記露光時間で蓄積される前記第２の電荷量に基づいて、前記撮像手段の前記露光時間を変更する変更手段をさらに設けるようにすることができ、前記撮像制御手段では、変更された前記露光時間で受光させるようにすることができる。
前記撮像制御手段では、予め設定された前記露光時間で受光させるようにすることができる。
前記照射制御手段では、前記露光時間と同一の照射時間で照射させるようにすることができる。
前記照射制御手段では、前記露光時間内に、前記露光時間よりも短い照射時間で照射させるようにすることができる。
前記照射制御手段では、前記露光時間を含む、前記露光時間よりも長い照射時間で照射させるようにすることができる。
前記照射手段は、第１の波長の光を被写体に照射する第１の出力手段と、第１の波長とは異なる第２の波長の光を被写体に照射する第２の出力手段とを有するようにすることができ、前記撮像手段では、前記第１の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第１の撮像画像を生成し、前記第２の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第２の撮像画像を生成し、前記検出手段では、前記第１及び第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記被写体を検出するようにすることができる。
前記第１及び第２の出力手段では、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の差分閾値以上となる場合の波長の光を照射するようにすることができる。
前記第１及び第２の出力手段では、それぞれ異なる波長の赤外線を照射するようにすることができる。
前記第１又は第２の出力手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射するようにすることができる。
本発明の第１の側面の検出方法は、被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値とする撮像画像から前記被写体を検出する検出装置の検出方法であって、前記検出装置は、照射手段と、撮像手段と、検出手段と、照射制御手段と、撮像制御手段とを含み、前記照射制御手段が、所定の波長の光を被写体に照射する前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させ、前記撮像制御手段が、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させ、前記検出手段が、前記撮像画像から前記被写体を検出するステップを含む検出方法である。
本発明の第１の側面によれば、検出装置により、被写体からの反射光を受光して蓄積される画素毎の総電荷量のうち、照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射され、総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光され、受光により生成される撮像画像から被写体が検出される。
本発明の第２の側面の電子機器は、被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置を内蔵する電子機器であって、前記検出装置は、所定の波長の光を被写体に照射する照射手段と、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、前記撮像画像から前記被写体を検出する検出手段と、前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させる撮像制御手段とを含む電子機器である。
本発明の第２の側面によれば、電子機器に内蔵された検出装置により、被写体からの反射光を受光して蓄積される画素毎の総電荷量のうち、照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射され、総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光され、受光により生成される撮像画像から被写体が検出される。
本発明によれば、白とびを防止するとともに、精度良く、撮像画像上の肌領域を検出することができる。
従来の肌認識システムの構成例を示すブロック図である。 従来の情報処理装置による制御の様子の一例を示す図である。 本実施の形態である情報処理システムの構成例を示すブロック図である。 人間の肌に対する分光反射特性の一例を示す図である。 本発明を適用した情報処理装置による処理の概要の一例を示す図である。 本発明を適用した情報処理装置の構成例を示すブロック図である。 制御部が行う制御の一例を示す図である。 外光成分に起因して肌検出精度が低下する場合の一例を示す図である。 カメラの絞りを調整して外光成分により蓄積される電荷を抑制する場合の一例を示す図である。 カメラのシャッタスピードを調整して外光成分により蓄積される電荷を抑制する場合の一例を示す図である。 露光時間の決定方法の一例を説明するための図である。 本発明を適用した情報処理システムが行う肌検出処理を説明するためのフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（カメラの露光時間と発光装置による光量を調整する例）
２． 変形例
＜１．本実施の形態＞
[情報処理システム４１の構成例]
図３は、本実施の形態である情報処理システム４１の構成例を示している。
この情報処理システム４１は、発光装置６１、カメラ６２、及び情報処理装置６３により構成される。
発光装置６１は、LED２１a（LED２１a1，LED２１a2）及びLED２１b（LED２１b1，LED２１b2）により構成されており、LED２１a及びLED２１bを交互に発光させる。なお、発光装置６１を構成するLED２１a及びLED２１bは、図１の発光装置２１を構成するLED２１a及びLED２１bと同様であるため、同一の符号を付して、それらの説明は省略している。
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。また、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。なお、この組合せは、図４を参照して後述する、人間の肌に対する分光反射特性に基づいて決定される。
さらに、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ６２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように、カメラ６２の露光時間に応じて調整される。
また、LED２１a及び２１bの前面には、LED２１a及び２１bにより発光される光を均一に拡散させる拡散板６１aが設けられている。これにより、被写体には、波長λ１の波長の光、及び波長λ２の波長の光がむらなく照射される。
カメラ６２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ６２aにより覆われている。
このため、カメラ６２には、可視光は入射されず、不可視光として、被写体からの波長λ１の反射光や、波長λ２の反射光が入射される。
すなわち、例えば、カメラ６２は、被写体からの波長λ１の反射光として、波長λ１の照射光成分、及び波長λ１の外光成分を受光し、その結果得られる第１の撮像画像を、情報処理装置６３に供給する。
なお、波長λ１の照射光成分とは、LED２１aによって被写体に照射される波長λ１の光の反射光をいう。また、波長λ１の外光成分とは、外光光源によって被写体に照射される波長λ１の光の反射光をいう。
さらに、例えば、カメラ６２は、被写体からの波長λ２の反射光として、波長λ２の照射光成分、及び波長λ２の外光成分を受光し、その結果得られる第２の撮像画像を、情報処理装置６３に供給する。
なお、波長λ２の照射光成分とは、LED２１bによって被写体に照射される波長λ２の光の反射光をいう。また、波長λ２の外光成分とは、外光光源によって被写体に照射される波長λ２の光の反射光をいう。
さらに、カメラ６２は、LED２１a及びLED２１bのいずれも消灯している場合に、波長λ１の外光成分のみを受光し、その結果得られる第３の撮像画像を、情報処理装置６３に供給する。
なお、カメラ６２は、可視光カットフィルタ６２aの他、所定の波長のみを通過させるフィルタ等により、第１及び第３の撮像画像を生成する場合には、カメラ６２に波長λ１の光のみが入射されるとともに、第２の撮像画像を生成する場合には、カメラ６２に波長λ２の光のみが入射されるように構成されているものとする。
情報処理装置６３は、カメラ６２からの第３の撮像画像に基づいて、カメラ６２により受光される波長λ１及びλ２の照射光成分を維持しつつ、波長λ１及びλ２の外光成分が抑制されるように、カメラ６２による露光のタイミング及びカメラ６２の露光時間等を決定する。
そして、情報処理装置６３は、決定した露光時間等で、カメラ６２等を制御して、第１及び第２の撮像画像を生成させる。
これにより、カメラ６２において、第１及び第２の撮像画像を生成する場合、受光される波長λ１及びλ２の外光成分の光量は、肌領域の検出に影響を及ぼさない程度に少なくなる。したがって、情報処理装置６３は、カメラ６２からの第１及び第２の撮像画像に基づいて、波長λ１及びλ２の反射率を利用した肌領域の検出を行うことができる。
[情報処理装置６３が行う処理]
次に、図４及び図５を参照して、情報処理装置６３が行う、波長λ１及びλ２の反射率を利用した肌領域の検出について説明する。
[肌に対する分光反射特性]
図４は、人間の肌に対する分光反射特性を示している。
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
図４において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図４に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
本実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
また、上述したように、カメラ６２により受光される波長λ１の外光成分は、肌領域の検出に影響を及ぼさない程度に抑制されているため、第１の撮像画像は、波長λ１の照射光成分のみを受光して得られた領域により構成されているとみなすことができる。
同様に、カメラ６２により受光される波長λ２の外光成分は、肌領域の検出に影響を及ぼさない程度に抑制されているため、第２の撮像画像は、波長λ２の照射光成分のみを受光して得られた領域により構成されているとみなすことができる。
したがって、第１の撮像画像上の肌領域を構成する画素の輝度値と、対応する第２の撮像画像上の肌領域を構成する輝度値との差分絶対値は、人間の肌に対する反射率の差に対応して、比較的大きな値となる。
また、第１の撮像画像上の非肌領域（肌領域以外の領域）を構成する画素の輝度値と、対応する第２の撮像画像上の非肌領域を構成する輝度値との差分絶対値は、人間の肌以外の部分に対する反射率の差に対応して、比較的小さな値となる。
[情報処理装置６３が行う処理の概要]
図５は、情報処理装置６３が行う処理の概要を示している。
情報処理装置６３は、波長λ１の照射光成分を維持しつつ、波長λ１の外光成分を抑制するように、カメラ６２等を制御して、カメラ６２に第１の撮像画像を撮像させ、情報処理装置６３に供給させる。
また、情報処理装置６３は、波長λ２の照射光成分を維持しつつ、波長λ２の外光成分を抑制するように、カメラ６２等を制御して、カメラ６２に第２の撮像画像を撮像させ、情報処理装置６３に供給させる。
情報処理装置６３には、カメラ６２から、肌領域８１a及び非肌領域８１b(肌領域８１a以外の領域)により構成される第１の撮像画像８１、並びに、肌領域８２a及び非肌領域８２b(肌領域８２a以外の領域)により構成される第２の撮像画像８２が供給される。
情報処理装置６３は、カメラ６２から供給される第１の撮像画像８１、及び第２の撮像画像８２に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、情報処理装置６３は、平滑化後の第１の撮像画像８１、及び平滑化後の第２の撮像画像８２それぞれの対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像８３を生成する。
情報処理装置６３は、生成した差分画像８３に対して、差分画像８３を構成する画素値のうち、所定の閾値以上の画素値を１とし、所定の閾値未満の画素値を０とする２値化を行う。
いまの場合、差分画像８３における肌領域８３aは、肌領域８１aと肌領域８２aとの対応する画素の輝度値どうしの差分絶対値を画素値とする画素により構成されているため、肌領域８３aを構成する画素の画素値は比較的大きな値となっている。
また、差分画像８３における非肌領域８３bは、非肌領域８１bと非肌領域８２bとの対応する画素の輝度値どうしの差分絶対値を画素値とする画素により構成されているため、非肌領域８３bを構成する画素の画素値は比較的小さな値となっている。
したがって、差分画像８３は、情報処理装置６３により行われる２値化により、肌領域８３aを構成する画素の画素値が１とされた肌領域８４a、及び非肌領域８３bを構成する画素の画素値が０とされた非肌領域８４ｂにより構成される２値化画像８４に変換される。
そして、情報処理装置６３は、その２値化により得られる２値化画像８４を構成する画素のうち、画素値が１となる画素により構成される肌領域８４aを、肌領域として検出する。
[情報処理装置６３の構成例]
次に、図６は、情報処理装置６３の構成例を示している。
この情報処理装置６３は、制御部１０１、差分画像生成部１０２、及び２値化部１０３により構成される。
制御部１０１は、カメラ６２に第１及び第２の撮像画像を生成させるために、１フレームの撮像を行う周期に合わせて立ち上がりエッジを発生させるVD信号（垂直同期信号）を生成し、生成したVD信号に基づいて、発光装置６１及びカメラ６２を制御する。この場合、カメラ６２は、その撮像により得られる第１及び第２の撮像画像を、差分画像生成部１０２に供給する。
なお、カメラ６２に第１及び第２の撮像画像を生成させるために行われる、制御部１０１による制御の詳細は、図７を参照して後述する。
また、制御部１０１は、カメラ６２に第３の撮像画像を撮像させるために、発光装置６１のLED２１a及びLED２１bを消灯させた状態で、カメラ６２に被写体を撮像させる。この場合、カメラ６２は、その撮像により得られる第３の撮像画像を、制御部１０１に供給する。
制御部１０１は、カメラ６２からの第３の撮像画像を構成する画素の輝度値に基づいて、カメラ６２による露光時間（シャッタスピード）を決定する。なお、露光時間の決定方法の詳細については、図１１を参照して後述する。
差分画像生成部１０２には、カメラ６２の撮像により得られた第１及び第２の撮像画像が供給される。
なお、第１の撮像画像は、波長λ１の外光成分、及び波長λ１の照射光成分を受光して得られたものであり、第２の撮像画像は、波長λ２の外光成分、及び波長λ２の照射光成分を受光して得られたものである。
差分画像生成部１０２は、カメラ６２からの第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。そして、差分画像生成部１０２は、平滑化後の第１の撮像画像と第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部１０３に供給する。
２値化部１０３は、差分画像生成部１０２からの差分画像を２値化し、その結果得られる２値化画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果を出力する。
[制御部１０１による制御の一例]
次に、図７は、制御部１０１が、発光装置６１及びカメラ６２を制御して、カメラ６２に第１及び第２の撮像画像を生成させる場合の一例を示している。
制御部１０１は、例えば、６０fpsの場合、図７Aに示されるように、VD信号として、16.7[ms]（＝1/60[s]）毎に立ち上がりエッジを発生させるVD信号を生成する。そして、制御部１０１は、第３の撮像画像に基づいて決定した露光時間で、カメラ６２の露光を行うとともに、LED２１a及びLED２１bそれぞれの発光を行うように制御する。
すなわち、制御部１０１は、例えば図７Bに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、奇数番目の立ち上がりエッジが生じるタイミングから8.35[ms]（＝1/120[s]）だけ遅延させたタイミングでLED２１aの発光を開始し、発光の開始から8.35[ms]後に発光を終了させる。
また、制御部１０１は、例えば図７Cに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、偶数番目の立ち上がりエッジが生じるタイミングから8.35[ms]だけ遅延させたタイミングでLED２１bの発光を開始し、発光の開始から8.35[ms]後に発光を終了させる。
さらに、制御部１０１は、例えば図７Dに示されるように、生成したVD信号に生じる複数の立ち上がりエッジそれぞれが生じるタイミングから8.35[ms]だけ遅延させたタイミングで、カメラ６２の露光を開始し、露光の開始から8.35[ms]後に露光を終了させる。
また、制御部１０１は、カメラ６２からの第３の撮像画像に応じて変化するいずれの露光時間においても、LED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、LED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるように、LED２１a及びLED２１bを制御するようにしている。
なお、波長λ１に応じた一定の量、及び波長λ２に応じた一定の量としては、例えば、第１及び第２の撮像画像の肌領域にノイズ等が生じたとしても、肌領域おける差分絶対値｜α1'―β1'｜が比較的大きな値となる光量、すなわち、精度良く肌領域を検出することが可能な第１及び第２の撮像画像を生成するために必要な電荷量が得られる光量が採用される。
また、制御部１０１において、LED２１a及びLED２１bの光量を制御する制御方式としては、例えば、電流のオン状態とオフ状態とをスイッチングにより切換え、そのオン状態とオフ状態との比率（デューティ比）を可変することにより、許容最大電流を制御するPWM(Pulse Width Modulation，パルス幅変調)制御方式を用いることができる。
したがって、カメラ６２において、図７Eに示されるように、8.35[ms]の露光時間にも拘らず、波長λ１及びλ２の照射光成分により蓄積される電荷の電荷量は電荷量α1及びβ1に維持される。
また、カメラ６２において、8.35[ms]の露光時間で露光を行うため、図７Fに示されるように、波長λ１及びλ２の外光成分により蓄積される電荷の電荷量は、電荷量α2/2及びβ2/2に抑制される。
このため、図７Gに示されるように、波長λ１の照射光成分、及び波長λ１の外光成分により蓄積される電荷の総電荷量は、蓄積することが可能な最大電荷量max未満の電荷量α1+（α2/2）となる。カメラ６２は、電荷量α1+（α2/2）対応する輝度値により構成される第１の撮像画像を生成して、差分画像生成部１０２に供給する。
また、波長λ２の照射光成分、及び波長λ２の外光成分により蓄積される電荷の総電荷量は、最大電荷量max未満の電荷量β1+（β2/2）となる。カメラ６２は、電荷量β1+（β2/2）対応する輝度値により構成される第２の撮像画像を生成して、差分画像生成部１０２に供給する。
本実施の形態では、カメラ６２において、波長λ１及びλ２の外光成分により蓄積される電荷の電荷量を、電荷量α2/2及びβ2/2に抑制するようにしたので、図８に示されるような白とびを防止することが可能となる。
なお、白とびを防止する方法としては、その他、例えば、図９に示されるように、カメラ６２の絞りを調整して、波長λ１及び波長λ２の外光成分により得られる電荷量α2及びβ2を、それぞれ、例えば1/2に抑制することが考えられる。また、例えば、図１０に示されるように、カメラ６２のシャッタスピードを、露光時間が例えば1/2となるように調整して、波長λ１及び波長λ２の外光成分により得られる電荷量α2及びβ2を、それぞれ、1/2に抑制することが考えられる。
図９に示されるようにカメラ６２の絞りを調整する方法、図１０に示されるようにカメラ６２のシャッタスピードを調整する方法によれば、白とびの原因（肌領域を検出する肌検出精度の低下の原因）となる電荷量α2及びβ2を、それぞれ十分に抑制することができる。
しかしながら、これらの場合、肌領域を検出するために必要な電荷量α1及びβ1も、それぞれ大幅に抑制されてしまう。
そこで、本実施の形態では、図７を参照して説明したように、波長λ１及び波長λ２の照射光成分により蓄積される電荷量（図７でいうα1及びβ1）を維持しつつ、波長λ１及び波長λ２の外光成分により蓄積される電荷量（図７でいうα2/2及びβ2/2）を十分に抑制して、撮像画像上の肌領域を検出する肌検出精度を向上させるようにしている。
[露光時間の決定方法の一例]
次に、図１１を参照して、制御部１０１が行う、カメラ６２からの第３の撮像画像に基づいて露光時間を決定する決定方法の一例について説明する。
図１１Aには、16.7[ms]の露光時間で波長λ１の外光成分のみを受光して得られる第３の撮像画像１２１が示されている。図１１Aに示される第３の撮像画像１２１は、肌領域１２１a及び非肌領域１２１bにより構成されている。なお、図１１Aに示される肌領域１２１aを構成する画素の輝度値の最大値は、輝度値２００である。
図１１Bには、8.35[ms]の露光時間で波長λ１の外光成分のみを受光して得られる第３の撮像画像１２１が示されている。図１１Bに示される第３の撮像画像１２１は、肌領域１２１a及び非肌領域１２１bにより構成されている。なお、図１１Bに示される肌領域１２１aを構成する画素の輝度値の最大値は、輝度値１００である。
なお、本実施の形態において、輝度値の諧調はNビットとし、最大の輝度値は２N−１であるものとする。
この場合、白とびを防止するために、肌領域において、蓄積される電荷の電荷量は次の条件式（１）及び（２）を満たす必要がある。
α2＜max−α1 ・・・（１）
β2＜max−β1 ・・・（２）
なお、電荷量α1は、波長λ１の照射光成分により蓄積された電荷量を表しており、電荷量α2は、波長λ１の外光成分により蓄積された電荷量を表している。また、最大電荷量maxは、電荷を蓄積することが可能な最大量を表している。
さらに、電荷量β1は、波長λ２の照射光成分により蓄積された電荷量を表しており、電荷量β2は、波長λ２の外光成分により蓄積された電荷量を表している。
条件式（１）及び（２）を、それぞれ、輝度値についての条件式に変換すると、次の条件式（１'）及び（２’）となる。
α2'＜（２N−１）−α1' ・・・（１'）
β2'＜（２N−１）−β1' ・・・（２'）
なお、輝度値α1'は、電荷量α1に対応する輝度値を表しており、輝度値α2'は、電荷量α2に対応する輝度値を表している。また、最大輝度値（２N−１）は、最大電荷量maxに対応する輝度値を表している。
さらに、輝度値β1'は、電荷量β1に対応する輝度値を表しており、輝度値β2'は、電荷量β2に対応する輝度値を表している。
上述したように、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ６２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように、決定された露光時間に応じて調整される。
すなわち、例えば、LED２１aの出力は、決定された露光時間において、波長λ１及び波長λ２のいずれの反射率が100[%]である鏡の鏡面に、LED２１aからの波長λ１の光を反射させた場合に得られる電荷量α1が、所定の輝度値ｘに対応する電荷量となるように、調整される。
また、例えば、LED２１bの出力は、決定された露光時間において、鏡面に、LED２１bからの波長λ２の光を反射させた場合に得られる電荷量β1が、所定の輝度値ｘに対応する電荷量となるように、調整される。
したがって、輝度値α1'及びβ1'の最大値は、それぞれ、所定の輝度値ｘとなる。
このため、輝度値α2'による白とびを防止するためには次式（１''）を満たす必要がある。また、輝度値β2'による白とびを防止するためには次式（２''）を満たす必要がある。
α2'＜（２N−１）−ｘ ・・・（１''）
β2'＜（２N−１）−ｘ ・・・（２''）
本実施の形態では、いずれの露光時間においても、波長λ１の外光成分を受光して得られる輝度値α2'は、波長λ２の外光成分を受光して得られる輝度値β2'よりも大きくなっている。
したがって、式（１''）を満たす露光時間は、式（２''）も満たす露光時間となることから、制御部１０１は、カメラ６２からの第３の撮像画像に基づいて、式（１''）（又は式（１））を満たす露光時間を決定する。
すなわち、例えば、制御部１０１は、LED２１a及びLED２１bを消灯させた状態で、カメラ６２に、16.7[ms]の露光時間で波長λ１の外光成分を受光させ、図１１Aに示されたような第３の撮像画像を取得する。
そして、制御部１０１は、取得した第３の撮像画像上の肌領域を構成する画素の輝度値のうち、最大の輝度値α2'を検出し、その検出結果に基づいて、露光時間を決定する。
具体的には、例えば、N=8，ｘ＝100である場合、最大の輝度値α2'は、155(=255-100)未満である必要がある。この場合、制御部１０１は、図１０Aに示されるように、16.7[ms]の露光時間で撮像した第３の撮像画像１２１上の肌領域１２１aを構成する画素の輝度値のうち、最大の輝度値α2'が輝度値200であるときには、図１０Bに示されるように、その輝度値200が155未満の輝度値100となる8.35[ms]の露光時間に決定する。
なお、本実施の形態では、いずれの露光時間においても、波長λ１の外光成分を受光して得られる輝度値α2'は、波長λ２の外光成分を受光して得られる輝度値β2'よりも大きくなっているものとした。しかしながら、いずれの露光時間においても、輝度値α2'が、輝度値β2'よりも小さくなる場合には、以下に説明するように、露光時間を決定することとなる。
すなわち、この場合、式（２''）を満たす露光時間は、式（１''）も満たす露光時間となることから、制御部１０１は、式（２''）（又は式（２））を満たす露光時間を決定する。
具体的には、制御部１０１は、LED２１a及びLED２１bを消灯させた状態で、カメラ６２に、16.7[ms]の露光時間で波長λ２の外光成分を受光させ、その結果得られる第４の撮像画像を取得する。
そして、制御部１０１は、取得した第４の撮像画像上の肌領域を構成する画素の輝度値のうち、最大の輝度値β2'を検出し、第３の撮像画像に基づいて露光時間を決定した場合と同様にして、露光時間を決定する。
なお、いずれの露光時間においても、輝度値α2'が、輝度値β2'よりも小さくなる場合には、第４の撮像画像を用いて露光時間を決定する以外は、本実施の形態と同様にして、肌領域の検出等を行うこととなる。
[肌検出処理の動作説明]
次に、図１２のフローチャートを参照して、情報処理システム４１が行う肌検出処理の詳細を説明する。
この肌検出処理は、例えば、ユーザにより情報処理システム４１の電源がオンにされたときに開始される。
ステップＳ１において、制御部１０１は、図示せぬ記憶部に予め保持されている設定情報に基づいて、カメラ６２による露光のタイミング、カメラ６２による露光時間、発光装置６１のLED２１aによる発光のタイミング、LED２１aによる発光時間、発光装置６１のLED２１bによる発光のタイミング、及びLED２１bによる発光時間を決定する。ここで、設定情報とは、カメラ６２による露光のタイミング等を設定するための情報をいう。
また、設定情報は、肌検出処理が行われる前に、後述するステップＳ６乃至ステップＳ８の処理と同様の処理が行われて予め作成される。
すなわち、例えば、ステップＳ１において、制御部１０１は、発光装置６１のLED２１aによる発光のタイミングを、VD信号に生じる奇数番目の立ち上がりエッジに基づいて決定される露光のタイミングと同一のタイミングに設定する。
また、例えば、制御部１０１は、発光装置６１のLED２１bによる発光のタイミングを、VD信号に生じる偶数番目の立ち上がりエッジに基づいて決定される露光のタイミングと同一のタイミングに設定する。
そして、制御部１０１は、発光装置６１のLED２１aによる発光時間、及びLED２１bによる発光時間を、それぞれ、カメラ６２による露光時間と同一の時間に設定する。
ステップＳ２において、制御部１０１は、VD信号を生成し、生成したVD信号に生じる奇数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングと同一のタイミングから露光時間だけ、発光装置６１のLED２１aを発光させる。これにより、被写体には、外光光源の他、LED２１aから波長λ１の光が照射される。
また、ステップＳ３において、制御部１０１は、生成したVD信号に生じる奇数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、カメラ６２による露光を行わせる。これにより、カメラ６２は、波長λ１の照射光成分、及び波長λ１の外光成分を受光して得られる第１の撮像画像を生成し、差分画像生成部１０２に供給する。
ステップＳ２の処理によるLED２１aの発光、及びステップＳ３の処理によるカメラ６２の露光が終了した後、ステップＳ４において、制御部１０１は、生成したVD信号に生じる偶数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、発光装置６１のLED２１bを発光させる。これにより、被写体には、外光光源の他、LED２１bから波長λ２の光が照射される。
ステップＳ５において、制御部１０１は、生成したVD信号に生じる偶数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、カメラ６２による露光を行わせる。これにより、カメラ６２は、波長λ２の照射光成分、及び波長λ２の外光成分を受光して得られる第２の撮像画像を生成し、差分画像生成部１０２に供給する。
ステップＳ４の処理によるLED２１bの発光、及びステップＳ５の処理によるカメラ６２の露光が終了した後、ステップＳ６において、制御部１０１は、LED２１a及びLED２１bを消灯させた状態で、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、外光光源から被写体に照射された波長λ１の光の反射光を、カメラ６２に受光させる。これにより、カメラ６２は、波長λ１の外光成分のみを受光して得られる第３の撮像画像を生成し、制御部１０１に供給する。
ステップＳ７において、制御部１０１は、カメラ６２からの第３の撮像画像上の肌領域を構成する画素の輝度値のうちの最大の輝度値が、条件式（１''）を満たすか否か、すなわち、最大の輝度値が所定の閾値（例えば、閾値155）未満であるか否かを判定する。
そして、ステップＳ７において、制御部１０１は、カメラ６２からの第３の撮像画像の肌領域を構成する画素の輝度値のうちの最大の輝度値が、所定の閾値未満でないと判定した場合、処理をステップＳ８に進める。
ステップＳ８において、制御部１０１は、カメラ６２からの第３の撮像画像の肌領域を構成する画素の輝度値のうちの最大の輝度値に基づいて、露光のタイミング及び露光時間等を決定（変更）する。また、制御部１０１は、決定した露光時間に応じて、LED２１a及びLED２１bの出力を調整する。そして、制御部１０１は、処理をステップＳ２に戻し、それ以降、同様の処理を行う。
また、ステップＳ７において、制御部１０１は、カメラ６２からの第３の撮像画像を構成する画素の輝度値のうちの最大の輝度値が、所定の閾値未満であると判定した場合、処理をステップＳ９に進める。
ステップＳ９及びステップＳ１０において、制御部１０１は、差分画像生成部１０２及び２値化部１０３を制御して、肌領域の検出を行わせ、その検出結果に応じたジェスチャ操作を行わせる指示を、後段に出力する。
すなわち、ステップＳ９において、差分画像生成部１０２は、カメラ６２からの第１の撮像画像と第２の撮像画像に対してLPFを用いた平滑化を行う。そして、差分画像生成部１０２は、平滑化後の第１の撮像画像と第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部１０３に供給する。
ステップＳ１０において、２値化部１０３は、差分画像生成部１０２からの差分画像を２値化し、その結果得られる２値化画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果に対応するジェスチャ操作を行わせる指示を、後段に出力する。
そして、ステップＳ１０の終了後、処理はステップＳ２に戻り、それ以降、同様の処理が行われる。
なお、この肌検出処理は、例えば、ユーザにより情報処理システム４１の電源がオフにされたときに終了される。
以上説明したように、肌検出処理では、波長λ１の外光成分のみを受光して得られる第３の撮像画像に基づいて、露光のタイミング及び露光時間等を変更するようにした。
これにより、肌検出処理では、波長λ１及びλ２の照射光成分により蓄積される電荷の電荷量が維持され、波長λ１及びλ２の外光成分により蓄積される電荷の電荷量が十分に抑制されるため、例えば従来の肌認識システム１と比較して、撮像画像上の肌領域を検出する肌検出精度を向上させることが可能となる。
また、肌検出処理では、第３の撮像画像に応じて変化するいずれの露光時間においても、LED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、LED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるように、LED２１a及びLED２１bを制御するようにした。
したがって、本実施の形態では、LED２１a及びLED２１bのそれぞれにより消費される消費電力、及び露光時間内に発光する総光量は、いずれも、従来の肌認識システム１と同じものとなる。
したがって、本実施の形態において、従来の肌認識システム１と比較して、消費電力を増やさないとともに、LED２１a及びLED２１bから被写体までの距離を短くすることなく、波長λ１及びλ２の外光成分による電荷量を抑制することが可能となる。
＜２．変形例＞
本実施の形態において、肌検出処理では、制御部１０１が、カメラ６２からの第３の撮像画像に応じて、露光のタイミング及び露光時間等を変更するようにしたが、これに限定されない。
すなわち、例えば、肌検出処理において、ステップＳ１で予め決定した露光のタイミング及び露光時間等を変更せずに、ステップＳ２乃至ステップＳ５、ステップＳ９、及びステップＳ１０による処理を行うようにしてもよい。この場合、カメラ６２からの第３の撮像画像に応じて、露光のタイミング及び露光時間等を変更する必要がなくなるため、肌領域を検出する処理速度を早くすることが可能となる。
本実施の形態では、LED２１a及びLED２１bによる発光のタイミングを、カメラ６２による露光のタイミングと一致させるようにしたが、発光のタイミングは、これに限定されない。
すなわち、発光のタイミングは、露光時間内にLED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、露光時間内にLED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるような発光のタイミングであれば、どのようなタイミングで発光させるようにしてもよい。
具体的には、例えば、LED２１a及びLED２１bによる発光のタイミングを、カメラ６２による露光のタイミングとずらして、LED２１a及びLED２１bを、露光時間内に、露光時間よりも短い発光時間で発光させるようにしてもよいし、露光時間の一部分又はすべてを含む、露光時間よりも長い発光時間で発光させるようにしてもよい。
この場合、制御部１０１は、いずれの発光時間においても、露光時間内にLED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、露光時間内にLED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるように、LED２１a及びLED２１bをそれぞれ制御する。
本実施の形態では、LED２１aにより発光される波長λ１の波長を870[nm]とし、LED２１bにより発光される波長λ２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
すなわち、波長の組合せとしては、波長λ１における反射率と、波長λ２における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
具体的には、図４から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の光を照射し、LED２１bが930[nm]以上の波長λ２の光を照射するように構成することが可能である。
なお、波長λ１の光として、可視光を用いる場合には、可視光である波長λ１の光が、可視光カットフィルタ６２aにより遮断されないように、例えば、カメラ６２から可視光カットフィルタ６２aを外す必要がある。このことは、波長λ２の光として、可視光を用いる場合についても同様のことが言える。
また、本実施の形態では、第１又は第２の撮像画像から肌領域を検出する情報処理システム４１について説明したが、この情報処理システム４１を、テレビジョン受像機等の電子機器に内蔵することが可能である。
この場合、例えば、情報処理システム４１が内蔵されたテレビジョン受像機では、情報処理システム４１により検出された肌領域の検出結果に応じて、チャンネルの変更等が行われる。
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
[コンピュータの構成例]
次に、図１３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
CPU（central processing unit）２０１は、ROM（read only memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（random access memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
２１a，２１b LED， ４１ 情報処理システム， ６１ 発光装置， ６１a 拡散板 ， ６２ カメラ， ６２a 可視光カットフィルタ， ６３ 情報処理装置， １０１ 制御部， １０２ 差分画像生成部， １０３ ２値化部

Claims (15)

  1. 被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置において、
    所定の波長の光を被写体に照射する照射手段と、
    前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、
    前記撮像画像から前記被写体を検出する検出手段と、
    前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、
    前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させる撮像制御手段と
    を含む検出装置。
  2. 前記撮像制御手段は、前記第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させる
    請求項１に記載の検出装置。
  3. 前記照射制御手段は、前記第１の電荷量が、前記被写体を検出するための前記撮像画像を生成するのに必要な電荷量となる光量で照射させる
    請求項１に記載の検出装置。
  4. 前記露光時間で蓄積される前記第２の電荷量に基づいて、前記撮像手段の前記露光時間を変更する変更手段をさらに含み、
    前記撮像制御手段は、変更された前記露光時間で受光させる
    請求項１に記載の検出装置。
  5. 前記撮像制御手段は、予め設定された前記露光時間で受光させる
    請求項１に記載の検出装置。
  6. 前記照射制御手段は、前記露光時間と同一の照射時間で照射させる
    請求項１に記載の検出装置。
  7. 前記照射制御手段は、前記露光時間内に、前記露光時間よりも短い照射時間で照射させる
    請求項１に記載の検出装置。
  8. 前記照射制御手段は、前記露光時間を含む、前記露光時間よりも長い照射時間で照射させる
    請求項１に記載の検出装置。
  9. 前記照射手段は、
    第１の波長の光を被写体に照射する第１の出力手段と、
    第１の波長とは異なる第２の波長の光を被写体に照射する第２の出力手段と
    を有し、
    前記撮像手段は、
    前記第１の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第１の撮像画像を生成し、
    前記第２の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第２の撮像画像を生成し、
    前記検出手段は、前記第１及び第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記被写体を検出する
    請求項１に記載の検出装置。
  10. 前記第１及び第２の出力手段は、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の差分閾値以上となる場合の波長の光を照射する
    請求項９に記載の画像処理装置。
  11. 前記第１及び第２の出力手段は、それぞれ異なる波長の赤外線を照射する
    請求項１０に記載の画像処理装置。
  12. 前記第１又は第２の出力手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射する
    請求項１１に記載の画像処理装置。
  13. 被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値とする撮像画像から前記被写体を検出する検出装置の検出方法において、
    前記検出装置は、
    照射手段と、
    撮像手段と、
    検出手段と、
    照射制御手段と、
    撮像制御手段と
    を含み、
    前記照射制御手段が、所定の波長の光を被写体に照射する前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させ、
    前記撮像制御手段が、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させ、
    前記検出手段が、前記撮像画像から前記被写体を検出する
    ステップを含む検出方法。
  14. 被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置のコンピュータを、
    所定の波長の光を被写体に照射する照射手段と、
    前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、
    前記撮像画像から前記被写体を検出する検出手段と、
    前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、
    前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させる撮像制御手段と
    して機能させるためのプログラム。
  15. 被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置を内蔵する電子機器において、
    前記検出装置は、
    所定の波長の光を被写体に照射する照射手段と、
    前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、
    前記撮像画像から前記被写体を検出する検出手段と、
    前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、
    前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が所定の電荷閾値未満となる露光時間で受光させる撮像制御手段と
    を含む
    電子機器。
JP2009253305A 2009-11-04 2009-11-04 検出装置、検出方法、プログラム、及び電子機器 Expired - Fee Related JP5505693B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009253305A JP5505693B2 (ja) 2009-11-04 2009-11-04 検出装置、検出方法、プログラム、及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009253305A JP5505693B2 (ja) 2009-11-04 2009-11-04 検出装置、検出方法、プログラム、及び電子機器

Publications (2)

Publication Number Publication Date
JP2011100214A true JP2011100214A (ja) 2011-05-19
JP5505693B2 JP5505693B2 (ja) 2014-05-28

Family

ID=44191352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009253305A Expired - Fee Related JP5505693B2 (ja) 2009-11-04 2009-11-04 検出装置、検出方法、プログラム、及び電子機器

Country Status (1)

Country Link
JP (1) JP5505693B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045550A1 (ja) * 2013-09-27 2015-04-02 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
JP2015069369A (ja) * 2013-09-27 2015-04-13 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
JP2015141616A (ja) * 2014-01-29 2015-08-03 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
JP2017097689A (ja) * 2015-11-26 2017-06-01 Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 物体検出装置、物体検出方法、及びコンピュータプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222646A (ja) * 1997-02-12 1998-08-21 Toshiba Corp 画像入力装置および画像入力方法
JPH10222285A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 画像抽出装置
JP2006005520A (ja) * 2004-06-16 2006-01-05 Sony Corp 撮像装置
JP2007300410A (ja) * 2006-04-28 2007-11-15 Samsung Techwin Co Ltd 撮像装置
JP2007336355A (ja) * 2006-06-16 2007-12-27 Fujifilm Corp 撮影装置
JP2008278477A (ja) * 2007-03-30 2008-11-13 Panasonic Electric Works Co Ltd 撮像素子
JP2009031004A (ja) * 2007-07-24 2009-02-12 Toyota Central R&D Labs Inc 飲酒判定装置及びプログラム
JP2009212698A (ja) * 2008-03-03 2009-09-17 Toyota Motor Corp 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222285A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 画像抽出装置
JPH10222646A (ja) * 1997-02-12 1998-08-21 Toshiba Corp 画像入力装置および画像入力方法
JP2006005520A (ja) * 2004-06-16 2006-01-05 Sony Corp 撮像装置
JP2007300410A (ja) * 2006-04-28 2007-11-15 Samsung Techwin Co Ltd 撮像装置
JP2007336355A (ja) * 2006-06-16 2007-12-27 Fujifilm Corp 撮影装置
JP2008278477A (ja) * 2007-03-30 2008-11-13 Panasonic Electric Works Co Ltd 撮像素子
JP2009031004A (ja) * 2007-07-24 2009-02-12 Toyota Central R&D Labs Inc 飲酒判定装置及びプログラム
JP2009212698A (ja) * 2008-03-03 2009-09-17 Toyota Motor Corp 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045550A1 (ja) * 2013-09-27 2015-04-02 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
JP2015069369A (ja) * 2013-09-27 2015-04-13 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
US9807320B2 (en) 2013-09-27 2017-10-31 JVC Kenwood Corporation Operation input device, operation input method, and computer-readable recording medium
JP2015141616A (ja) * 2014-01-29 2015-08-03 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
JP2017097689A (ja) * 2015-11-26 2017-06-01 Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 物体検出装置、物体検出方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP5505693B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
US8411920B2 (en) Detecting device, detecting method, program, and electronic apparatus
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
US8785833B2 (en) Image pickup system and image pickup method
US10313589B2 (en) Imaging device having an image mode set according to a filter
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
EP3162048B1 (en) Exposure metering based on background pixels
US20110304719A1 (en) Image processing apparatus, image processing method, program, and electronic apparatus
TWI516990B (zh) 具有可調整追蹤參數的導航裝置
US9219838B2 (en) Overhead image reading apparatus
US9462191B2 (en) Image processing apparatus, image pickup apparatus, method of controlling the image processing apparatus, and non-transitory computer-readable storage medium
US8755600B2 (en) Method and apparatus for determining the light direction
JP5820960B1 (ja) 撮像装置、撮像装置の作動方法
JP5505693B2 (ja) 検出装置、検出方法、プログラム、及び電子機器
JP6373577B2 (ja) 撮像制御装置
JP5573209B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
US20150312487A1 (en) Image processor and method for controlling the same
US20140347705A1 (en) Document reading apparatus, document reading method and storage medium
JP7235608B2 (ja) 光源制御装置、医療用観察システム、光源制御方法およびプログラム
JP6515469B2 (ja) 撮像装置、撮像方法及びプログラム
US9294686B2 (en) Image capture apparatus and image capture method
JP2009188847A (ja) 電子カメラ
JP2007166266A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140305

LAPS Cancellation because of no payment of annual fees