JP2012014668A - 画像処理装置、画像処理方法、プログラム、および電子装置 - Google Patents

画像処理装置、画像処理方法、プログラム、および電子装置 Download PDF

Info

Publication number
JP2012014668A
JP2012014668A JP2010196803A JP2010196803A JP2012014668A JP 2012014668 A JP2012014668 A JP 2012014668A JP 2010196803 A JP2010196803 A JP 2010196803A JP 2010196803 A JP2010196803 A JP 2010196803A JP 2012014668 A JP2012014668 A JP 2012014668A
Authority
JP
Japan
Prior art keywords
image
light
wavelength
subject
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010196803A
Other languages
English (en)
Inventor
Satoshi Mitani
諭司 三谷
Masahiro Ando
正博 安藤
Hidetoshi Kabasawa
秀年 椛澤
Takanori Shimizu
隆範 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010196803A priority Critical patent/JP2012014668A/ja
Priority to US13/109,433 priority patent/US20110298909A1/en
Priority to CN2011101413667A priority patent/CN102266218A/zh
Publication of JP2012014668A publication Critical patent/JP2012014668A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】肌領域を精度良く検出する。
【解決手段】発光装置２１は、第１の波長の光および第２の波長の光を被写体に照射し、カメラ２２は、第１の波長の光を受光する第１の受光素子と、第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、画像センサに入射される、第１および第２の波長の光が被写体に照射されているときの被写体からの反射光に基づいて第１のモザイク画像を生成し、生成した第１のモザイク画像を構成する各画素において、第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する。そして、画像処理装置２３は、第１および第２の画像に基づいて肌領域を検出する。本発明は、例えば撮像により得られる画像から、人間の肌を表す肌領域を抽出するコンピュータ等に適用できる。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラムおよび電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出する場合に用いて好適な画像処理装置、画像処理方法、プログラムおよび電子装置に関する。
人物を撮像して得られる画像上から、顔や手などのように肌が露出している領域（以下、肌領域と称する）を検出する肌検出技術が存在する（例えば、特許文献１参照）。
この肌検出技術では、波長λ１の光が照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１よりも長波長である波長λ２の光が照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像の輝度値から第２の画像の輝度値を差し引いて得られる差分が所定に閾値よりも大きな領域を肌領域として検出する。
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は870nm、波長λ２は950nmとされている。
特開２００６−４７０６７号公報
一般に、肌検出技術では、図３４に示すように、波長λ１の光と波長λ２の光とを交互に照射して撮像して第１の画像と第２の画像を得るようになされている。
しかしながら、このようにした場合、被写体に動きがあると、第１の画像と第２の画像とで被写体の位置が異なるために、肌検出を精度良く検出できないことになる。
本発明は、このような状況に鑑みてなされたものであり、被写体に動きがあっても、肌領域を精度良く検出できるようにするものである。
本発明の第１の側面である画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを含む。
前記第１の生成手段は、前記第１および第２の受光素子の他、R(red)成分を受光する第３の受光素子、G(green)成分を受光する第４の受光素子、およびB(blue)成分を受光する第５の受光素子により構成される前記画像センサに入射された前記被写体からの反射光に基づいて前記第１のモザイク画像を生成することができる。
前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、前記第２の生成手段では、前記第２のモザイク画像を構成する各画素において、前記第３乃至第５の受光素子それぞれに対応する画素の画素値に基づく第３の補間処理により得られるRGB画像も生成し、前記RGB画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記第１の生成手段のパラメータを調整する調整手段をさらに設けることができる。
前記第１の生成手段は、予め決められたパラメータに応じて前記被写体を撮像することにより前記第１のモザイク画像を生成するものであり、前記調整手段では、前記RGB画像を構成する画素の輝度値、または前記輝度値に基づき算出される算出値の一方が、前記RGB画像がとり得る最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記第１の生成手段の前記パラメータを調整することができる。
本発明の第１の側面である画像処理装置は、前記第１の波長以外の波長の光の入射を制限し、前記第１の波長の光を透過させる第１の入射制限手段と、前記第２の波長以外の波長の光の入射を制限し、前記第２の波長の光を透過させる第２の入射制限手段とをさらに設けることができ、前記第１の生成手段は、前記第１の入射制限手段を介して得られる前記第１の波長の光を受光する前記第１の受光素子と、前記第２の入射制限手段を介して得られる前記第２の波長の光を受光する前記第２の受光素子とを少なくとも有する前記画像センサを内蔵するようにすることができる。
前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、前記第２の生成手段は、前記第２のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第４の補間処理により得られる第３の画像も生成し、前記検出手段は、さらに、前記第３の画像上の全領域のうち、前記第３の画像を構成する各画素の画素値が所定の閾値以上である画素により構成される所定領域を検出することができる。
本発明の第１の側面である画像処理装置は、前記照射手段による照射を制御する制御手段をさらに設けることができ、前記検出手段は、前記制御手段の制御にしたがって前記照射手段による照射が行われている場合に、前記第２の生成手段により生成される前記第１および第２の画像に基づいて前記肌領域を検出し、前記制御手段の制御にしたがって前記照射手段による照射が行われていない場合に、前記第２の生成手段により生成される前記第３の画像に基づいて前記所定領域を検出することができる。
本発明の第１の側面である画像処理方法は、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、照射手段と、第１の波長の光を受光する第１の受光素子と、前記第１の波長とは異なる第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵する第１の生成手段と、第２の生成手段と、検出手段とを含み、前記照射手段が、前記第１の波長の光、および前記第２の波長の光を被写体に照射し、前記第１の生成手段が、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成し、前記第２の生成手段が、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成し、前記検出手段が、前記第１および第２の画像に基づいて前記肌領域を検出するステップを含む。
本発明の第１の側面のプログラムは、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段とを含み、画像上から人間の肌を表す肌領域を検出する画像処理装置を制御するコンピュータを、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段として機能させる。
本発明の第１の側面によれば、第１の波長の光、および前記第１の波長とは異なる第２の波長の光が被写体に照射され、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像が生成され、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像が生成され、生成された前記第１および第２の画像に基づいて前記肌領域が検出される。
本発明の第２の側面の電子装置は、画像上から人間の肌を表す肌領域を検出する電子装置であって、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、検出された前記肌領域に応じた処理を実行する実行手段とを含む。
本発明の第２の側面によれば、第１の波長の光、および前記第１の波長とは異なる第２の波長の光が被写体に照射され、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像が生成され、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像が生成され、生成された前記第１および第２の画像に基づいて前記肌領域が検出される。さらに、検出された前記肌領域に応じた処理が実行される。
本発明の第３の側面である画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置において、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを含み、前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する。
前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って交流的に変動させて被写体に照射し、前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する交流成分を抽出することにより前記第１および第２の画像を生成することができる。
前記照射手段は、前記第１の波長の光の輝度を第１の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第１の周波数とは異なる第２の周波数に従って交流的に変動させて被写体に照射する処理を同時に行い、前記撮像手段は、前記第１および第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第１の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記被写体の光学像を光電変換して得られる電気信号の前記第２の周波数に対応する交流成分を抽出することにより前記第２の画像を生成することができる。
前記照射手段は、前記第１の波長の光の輝度を第３の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第３の周波数に従って交流的に変動させて被写体に照射する処理を交互に行い、前記撮像手段は、前記第１の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第２の画像を生成することができる。
本発明の第３の側面である画像処理方法は、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、前記照射手段が、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、前記撮像手段が、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成するステップを含む。
本発明の第３の側面であるプログラムは、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の制御用のプログラムであって、前記照射手段を制御して、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射させ、前記撮像手段を制御して、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成させるステップを含む処理を画像処理装置のコンピュータに実行させる。
本発明の第３の側面においては、第１および第２の波長の光の輝度が所定の周波数に従って変動されて被写体に照射され、被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分が抽出されることにより第１および第２の画像が生成される。
本発明の第４の側面である電子装置は、画像上から人間の肌を表す肌領域を検出する電子装置において、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、検出された前記肌領域に応じた処理を実行する実行手段とを含み、前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する。
本発明の第３の側面においては、第１および第２の波長の光の輝度が所定の周波数に従って変動されて被写体に照射され、被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分が抽出されることにより第１および第２の画像が生成される。
本発明の第１乃至第４の側面によれば、肌領域を精度良く検出することが可能となる。
本発明を適用した情報処理システムの構成例を示すブロック図である。 人間の肌に対する分光反射特性の一例を示す図である。 イメージセンサに設けられるフィルタ板の第１の例を示す図である。 図３のフィルタ板における光の透過特性の一例を示す図である。 画像処理装置の構成例を示す図である。 算出部および２値化部が行なう処理の詳細を示す図である。 肌検出処理を説明するためのフローチャートである。 イメージセンサに設けられるフィルタ板の第２の例を示す図である。 図８のフィルタ板における光の透過特性の一例を示す図である。 外光画像におけるヒストグラムの第１の例を示す図である。 肌検出調整処理を説明するためのフローチャートである。 外光画像におけるヒストグラムの第２の例を示す図である。 外光画像におけるヒストグラムの第３の例を示す図である。 従来のＲ，Ｇ，Ｂ各フィルタの透過特性の一例を示す図である。 従来のＩＲカットフィルタの透過特性野一例を示す図である。 従来のＲ，Ｇ，Ｂ各フィルタに従来のＩＲカットフィルタを設けた場合に得られる透過特性の一例を示す図である。 イメージセンサに設けられるフィルタ板の第３の例を示す図である ベイヤー配列により配列されたフィルタ板の一例を示す図である。 λ１フィルタおよびλ２フィルタが設けられたＩＲカットフィルタの一例を示す図である。 イメージセンサに設けられるフィルタ板の第４の例を示す図である。 本発明を適用した小型モジュールの一例を示す図である。 小型モジュールを内蔵したテレビジョン受像機の一例を示す図である。 LED検出処理を説明するためのフローチャートである。 LED検出調整処理を説明するためのフローチャートである。 ディスプレイに表示される画像の一例を示す図である。 第１の実施の形態に対応する、輝度変動を伴わない照射と撮像のタイミングを示す図である。 第４の実施の形態に対応する、輝度変動を伴う照射と撮像のタイミングを示す図である。 第４の実施の形態におけるCMOSイメージセンサの構成例を示すブロック図である。 第４の実施の形態によるλ１画像およびλ２画像の生成処理を説明するフローチャートである。 第５の実施の形態に対応する、輝度変動を伴う照射と撮像のタイミングを示す図である。 第５の実施の形態におけるCMOSイメージセンサの構成例を示すブロック図である。 第５の実施の形態によるλ１画像およびλ２画像の生成処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。 従来の肌検出技術における照射と撮像のタイミングを示す図である。
以下、発明を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（モザイク画像からλ１画像およびλ２画像を生成する場合の一例）
２．第２の実施の形態（外光画像に基づいてカメラ２２のゲインを調整する場合の一例）
３．第３の実施の形態（LED位置を検出するテレビジョン受像機の一例）
４．第４の実施の形態（波長λ１の光と波長λ２の光の輝度を異なる周波数に従い交流的に変動させて同時に照射する場合の一例）
５．第５の実施の形態（波長λ１の光と波長λ２の光の輝度を同一の周波数に従い交流的に変動させて交互に照射する場合の一例）
＜１．第１の実施の形態＞
[情報処理システム１の構成例]
図１は、本発明を適用した情報処理システム１の構成例を示している。
この情報処理システム１は、ユーザの手を用いたジェスチャ（またはポスチャ）に応じて所定の処理を実行するものであり、発光装置２１、カメラ２２、および画像処理装置２３により構成される。
情報処理システム１に対して所定の処理を実行させるため、ユーザは、カメラ２２のレンズ面の前で自身の手の形状を変化させたり、自身の手を動かしたりする。
このとき、情報処理システム１では、ユーザの手の形状や動きを認識し、その認識結果に対応して所定の処理を実行する。
なお、第１の実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ２２のレンズ面に近い位置に出して、手の形状を変化させたり、動かしたりするものとする。
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED(light emitting diode)２１a1およびLED２１a2、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1およびLED２１b2により構成される。
なお、以下の説明において、LED２１a1およびLED２１a2をそれぞれ区別する必要がない場合には、単にLED２１aと称するとともに、LED２１b1およびLED２１b2をそれぞれ区別する必要がない場合には、単にLED２１bと称する。なお、LED２１aの個数およびLED２１bの個数は、それぞれ、２個に限定されるものではない。
発光装置２１は、画像処理装置２３からの制御にしたがって、LED２１aとLED２１bとを、例えば同時に発光させる。
なお、LED２１aおよびLED２１bの光出力は、波長λ１およびλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１またはλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる画像の対応する画素どうしの輝度値が同一となるように調整されているものとする。
また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性に基づいて決定される。
次に、図２は、人間の肌に対する分光反射特性を示している。
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図２に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は約63[%]であり、950[nm]の光を照射して得られる反射光の反射率は約50[%]である。
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
第１の実施の形態では、上述した分光反射特性において、波長λ１およびλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
なお、波長λ１と波長λ２との組合せは、波長870[nm]と波長950[nm]とに限定されず、例えば、以下に示す関係式を満たす組合せであれば、どのような組合せであってもよい。
λ１＜λ２
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
図１に戻り、カメラ２２は、レンズの他、CCDやCMOS等のイメージセンサにより構成されている。
そして、カメラ２２のイメージセンサの前面には、図３に示されるように、λ１フィルタ（図３でいう「１」に対応）と、λ２フィルタ（図３でいう「２」に対応）とが、市松模様状に配置されたフィルタ板３１が設けられている。
なお、図４に示されるように、λ１フィルタは、発光スペクトルのピーク波長がλ１（いまの場合λ１=870[nm]）である光（波長λ１の光）を透過させる透過特性を有している。また、λ２フィルタは、発光スペクトルのピーク波長がλ２（いまの場合λ１=950[nm]）である光（波長λ２の光）を透過させる透過特性を有している。
これにより、カメラ２２は、イメージセンサを構成する複数の受光素子において、波長λ１の光、および波長λ２の光のみを受光することとなる。そして、イメージセンサを構成する複数の受光素子のうち、λ１フィルタが設けられた受光素子は、その受光素子に対応する画素の画素値として、受光した波長λ１の光を光電変換して画素値ｘ（λ１）を取得する。また、イメージセンサを構成する複数の受光素子のうち、λ２フィルタが設けられた受光素子は、その受光素子に対応する画素の画素値として、受光した波長λ２の光を光電変換して画素値ｘ（λ２）を取得する。
すなわち、カメラ２２のイメージセンサは、受光した波長λ１の光を光電変換して得られる画素値ｘ（λ１）を有する画素と、受光した波長λ２の光を光電変換して得られる画素値ｘ（λ２）を有する画素とが、市松模様状に配置されたモザイク画像を生成する。
そして、カメラ２２は、モザイク画像を構成する各画素の画素値のうち、λ１フィルタが設けられた受光素子に対応する画素の画素値ｘ（λ１）を用いて、λ２フィルタが設けられた受光素子に対応する画素において、波長λ１の光を受光した場合に得られる画素値ｘ（λ１）を補間するλ１補間処理を行い、その結果得られるλ１画像を、画像処理装置２３に供給する。
また、カメラ２２は、モザイク画像を構成する各画素の画素値のうち、λ２フィルタが設けられた受光素子に対応する画素の画素値ｘ（λ２）を用いて、λ１フィルタが設けられている受光素子に対応する画素において、波長λ２の光を受光した場合に得られる画素値ｘ（λ２）を補間するλ２補間処理を行い、その結果得られるλ２画像を、画像処理装置２３に供給する。
画像処理装置２３は、カメラ２２から供給されるλ１画像およびλ２画像に基づいて、λ１画像を構成する画素の画素値（例えば、輝度値）から、その画素に対応する、λ２画像を構成する画素の画素値を差し引いて得られる差分を算出する。
そして、画像処理装置２３は、算出した差分に基づいて、λ１画像（またはλ２画像）上の肌領域を検出する。画像処理装置２３は、検出した肌領域に基づいて、ユーザの手の形状等を認識し、その認識結果に対応して所定の処理を実行する。
[画像処理装置２３の構成例]
次に、図５は、画像処理装置２３の構成例を示している。
この画像処理装置２３は、制御部４１、算出部４２、および２値化部４３により構成される。
制御部４１は、カメラ２２の撮像タイミング、撮像時間、発光装置２３の発光タイミング、発光時間等を制御する。また、例えば、制御部４１は、算出部４２および２値化部４３を制御する。
算出部４２は、カメラ２２からのλ１画像およびλ２画像に対して、LPF(low pass filter)を用いた平滑化を行う。そして、算出部４２は、平滑化後のλ１画像およびλ２画像どうしの差分を算出し、算出した差分を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
なお、カメラ２２は、生成したモザイク画像を算出部４２に供給するようにし、算出部４２は、カメラ２２からのモザイク画像に対して、λ１補間処理を行なうことによりλ１画像を生成するとともに、λ２補間処理を行なうことによりλ２画像を生成するようにしてもよい。そして、算出部４２は、算出したλ１画像およびλ２画像に対して、LPFを用いた平滑化等を行うようにしてもよい。
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、λ１画像（またはλ２画像）上の肌領域を検出し、その検出結果を制御部４１に供給する。
ただし、差分画像６３を構成する画素の画素値を、それぞれ、λ１画像６１を構成する画素のうち、対応する画素の輝度値で正規化（除算）した上で、２値化するようにしてもよい。また、２値化部４３は、λ１画像６１に代えて、λ２画像６２を用いて差分画像６３を正規化した上で２値化するようにしてもよい。
次に、図６は、算出部４２および２値化部４３が行なう処理の詳細を示している。
算出部４２には、カメラ２２から、肌領域６１aおよび非肌領域６１b(肌領域６１a以外の領域)により構成されるλ１画像６１、並びに、肌領域６２aおよび非肌領域６２b(肌領域６２a以外の領域)により構成されるλ２画像６２が供給される。
算出部４２は、カメラ２２から供給されるλ１画像６１、およびλ２画像６２に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後のλ１画像６１、平滑化後のλ２画像６２の対応する画素の画素値（例えば、輝度値）どうしの差分を算出し、その差分を画素値とする差分画像６３を生成し、２値化部４３に供給する。
２値化部４３は、算出部４２からの差分画像６３に対して、差分画像６３を構成する画素の画素値のうち、２値化に用いる２値化閾値以上の画素値を１とし、２値化閾値未満の画素値を０とする２値化を行う。
いま、差分画像６３における肌領域６３aは、肌領域６１aと肌領域６２aとの差分を画素値とする画素により構成されているため、肌領域６３aを構成する画素の画素値は比較的大きな値となっている。
また、差分画像６３における非肌領域６３bは、非肌領域６１bと非肌領域６２bとの差分を画素値とする画素により構成されているため、非肌領域６３bを構成する画素の画素値は比較的小さな値となっている。
したがって、差分画像６３は、２値化部４３により行われる２値化により、肌領域６３aを構成する画素の画素値が１とされた肌領域６４a、および非肌領域６３bを構成する画素の画素値が０とされた非肌領域６４ｂにより構成される２値化肌画像６４に変換される。
そして、２値化部４３は、その２値化により得られる２値化肌画像６４上の肌領域６４aを、制御部４１に供給する。
[情報処理システム１が行なう肌検出処理の詳細]
次に、図７のフローチャートを参照して、情報処理システム１が行なう肌検出処理について説明する。
ステップＳ１において、LED２１aおよびLED２１bは、制御部４１からの制御にしたがって、同一の照射タイミングで被写体を照射する。カメラ２２は、LED２１aからの波長λ１の光、およびLED２１bからの波長λ２の光が照射されている被写体からの反射光を受光し、受光した反射光を光電変換してモザイク画像を生成する。
ステップＳ２において、カメラ２２は、生成したモザイク画像に基づいて、λ１補間処理を行い、その結果得られるλ１画像を、算出部４２に供給する。また、カメラ２２は、生成したモザイク画像に基づいて、λ２補間処理を行い、その結果得られるλ２画像を、算出部４２に供給する。
ステップＳ３において、算出部４２は、カメラ２２からのλ１画像およびλ２画像に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後のλ１画像およびλ２画像どうしの差分を算出し、算出した差分を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
ステップＳ４において、２値化部４３は、算出部４２からの差分画像を２値化することにより、２値化肌画像を生成する。
ステップＳ５において、２値化部４３は、生成した２値化肌画像に基づいて、λ１画像（またはλ２画像）上の肌領域を検出し、その検出結果を制御部４１に供給する。
ステップＳ６において、制御部４１は、２値化部４３からの検出結果に応じた処理、すなわち、例えば、２値化部４３からの肌領域の形状に応じて、図示せぬテレビジョン受像機等のチャンネルを変更する処理等を行なう。以上で肌検出処理は終了される。
以上説明したように、肌検出処理では、図３に示されたようなフィルタ板３１を、カメラ２２のイメージセンサの前面に設けるようにして得られるモザイク画像から、肌領域の検出に用いるλ１画像およびλ２の画像を生成するようにした。
このため、肌検出処理では、LED２１aおよびLED２１bを異なるタイミングで発光させる必要がないので、LED２１aおよびLED２１bの制御をより容易にすることができる。
また、例えば、LED２１aおよびLED２１bを異なるタイミングで発光させる場合、被写体の動きに起因して、λ１画像上における被写体の位置と、λ２画像上における被写体の位置とがずれる事態を防止できる。
さらに、例えば、波長λ１の光のみを受光してλ１画像を生成するために、波長λ１の光のみを透過させる第１の透過フィルタが設けられた第１のカメラ、および波長λ２の光のみを受光してλ２画像を生成するために、波長λ２の光のみを透過させる第２の透過フィルタが設けられた第２のカメラを用いる場合のように、視差により、λ１画像およびλ２画像上の被写体の位置がずれてしまう事態を防止できる。
このため、肌検出処理では、λ１画像とλ２画像とで被写体の位置がずれていないので、肌検出の精度が低下する事態を防止することが可能となる。
＜２．第２の実施の形態＞
ところで、図３に示されたフィルタ板３１を用いる場合には、受光した波長λ１の光の強度に対応した濃淡のあるλ１画像、および受光した波長λ２の光の強度に対応した濃淡のあるλ２画像が得られるものの、各画素がR(red)値、G(green)値、およびB(blue)値により構成されるRGB画像を得ることはできない。
そこで、カメラ２２のイメージセンサの前面に設けられるフィルタ板として、λ１フィルタおよびλ２フィルタの他、R成分のみを透過させるRフィルタ、G成分のみを透過させるGフィルタ、B成分のみを透過させるBフィルタが設けられたフィルタ板７１を採用することができる。
[フィルタ板による配列の一例]
次に、図８は、λ１フィルタ、λ２フィルタ、Rフィルタ、Gフィルタ、およびBフィルタが設けられたフィルタ板７１の一例を示している。
このフィルタ板７１には、図８に示されるように、奇数番目の行において、Rフィルタ（図８では「R」と記載）が１画素置きに配列されており、そのRフィルタの間にλ１フィルタとλ２フィルタとが交互に配列されている。また、フィルタ板７１には、図８に示されるように、偶数番目の行において、Gフィルタ（図８では「G」と記載）とBフィルタ（図８ででは「B」と記載）とが交互に配列されている。
すなわち、フィルタ板７１は、いわゆるベイヤー配列で配列されたRフィルタ、Gフィルタ、およびBフィルタにおいて、奇数番目の行に配列されたGフィルタを、λ１フィルタまたはλ２フィルタに置き換えたものである。
図９は、図８に示されたフィルタ板７１を構成する各フィルタの透過特性の一例を示している。なお、図９において、横軸は波長を表しており、縦軸は量子効率を表している。
カメラ２２では、図８に示されたようなフィルタ板７１を用いるようにすれば、そのフィルタ板７１を通して受光した反射光に基づき生成したモザイク画像に対して、RGB補間処理を行うことにより、RGB画像を生成することができるようになる。
すなわち、例えば、カメラ２２は、生成したモザイク画像を構成する各画素の画素値のうち、Rフィルタが設けられた受光素子に対応する画素の画素値を用いて、Rフィルタ以外のフィルタが設けられている受光素子に対応する画素において、R成分を受光した場合に得られる画素値を補間する。
また、例えば、カメラ２２は、生成したモザイク画像を構成する各画素の画素値のうち、Gフィルタが設けられた受光素子に対応する画素の画素値を用いて、Gフィルタ以外のフィルタが設けられている受光素子に対応する画素において、G成分を受光した場合に得られる画素値を補間する。
さらに、例えば、カメラ２２は、生成したモザイク画像を構成する各画素の画素値のうち、Bフィルタが設けられた受光素子に対応する画素の画素値を用いて、Bフィルタ以外のフィルタが設けられている受光素子に対応する画素において、B成分を受光した場合に得られる画素値を補間する。
これにより、カメラ２２は、各画素においてR値、G値、およびB値を有するRGB画像を生成することとなる。
なお、λ１画像およびλ２画像は、フィルタ板３１が設けられている場合と同様にして、モザイク画像から生成される。
また、画像処理装置２３では、例えば、LED２１aおよびLED２１bを消灯した状態で、カメラ２２の撮像により得られるモザイク画像に基づき生成されたRGB画像に基づいて、カメラ２２のゲイン等を調整することにより、太陽光や蛍光灯等の外光からの光に影響されず、精度良く肌を検出することができるようになる。
すなわち、例えば、カメラ２２は、LED２１aおよびLED２１bを消灯した状態で得られるRGB画像を、制御部４１に供給する。
そして、制御部４１は、カメラ２２からのRGB画像に基づいて、カメラ２２のゲイン、発光装置２１のLED２１aやLED２１bの照射光量を調整する肌検出調整処理を行なう。
制御部４１は、カメラ２２からのRGB画像を外光画像とし、その外光画像について、外光画像を構成する画素の画素値（例えば、輝度値）のヒストグラムを生成し、生成したヒストグラムに基づいて、カメラ２２のゲインを調整する。
すなわち、例えば、制御部４１は、生成したヒストグラムに基づいて、カメラ２２が飽和（白とび等）せずに、λ１画像およびλ２画像に生じるノイズや、LED２１aおよびLED２１bの照射光量のばらつき等によっても、肌領域を精度良く検出できる範囲内で、カメラ２２のゲインを調整する。
次に、図１０は、制御部４１が生成するヒストグラムの一例を示している。
図１０において、横軸は輝度値を表しており、縦軸は、外光画像において横軸の輝度値を有する画素の総数を表している。なお、カメラ２２は、輝度値が２8（=２５６）階調により表される外光画像を生成するものとする。したがって、横軸は輝度値として０から２５５までの値を表している。
制御部４１は、カメラ２２からの外光画像に基づいて、図１０に示されたようなヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の平均値を表す輝度平均値を算出する。
そして、例えば、制御部４１は、算出した輝度平均値に基づいて、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となる範囲内で、カメラ２２のゲインを調整する。
好ましくは、制御部４１は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
すなわち、例えば、制御部４１は、図１０に示されるように、輝度平均値１６５（図１０において太い縦線で示す）を算出した場合、輝度平均値１６５を、外光画像がとり得る最大の輝度値２５５の半分の輝度値１２７（図１０において太い点線で示す）となるように、ゲインを調整する。
制御部４１は、ゲインを調整した後、発光装置２１のLED２１aおよびLED２１bを制御して、LED２１aおよびLED２１bを同時に発光させる。また、制御部４１は、カメラ２２を制御し、カメラ２２による被写体の撮像を行わせ、カメラ２２から出力されるλ１画像およびλ２画像を、算出部４２に供給させる。
さらに、制御部４１は、算出部４２および２値化部４３を制御して、λ１画像およびλ２画像に基づく肌領域の検出を行わせる。
制御部４１は、２値化部４３からの肌領域の検出結果として、肌領域を検出できたことを表す検出結果を得た場合、LED２１aおよびLED２１bの照射光量を減少させて、肌領域を精度良く検出可能な必要最低限の照射光量となるように調整する。
また、制御部４１は、LED２１aおよびLED２１bの照射光量を過度に減少させたことに起因して、肌領域の検出ができなくなったために、２値化部４３からの肌領域の検出結果として、肌領域を検出できないことを表す検出結果を得た場合、肌領域を検出できるように、カメラ２２のゲインを、現在のゲインよりも大きく調整する。
制御部４１は、カメラ２２のゲイン、並びにLED２１aおよびLED２１bの照射光量を調整し終わった後、肌領域の検出結果に基づく処理を行うために、算出部４２および２値化部４３を制御して、λ１画像およびλ２画像に基づく肌領域の検出を行わせる。
そして、制御部４１は、２値化部４３からの肌領域の検出結果に基づく処理を行う。すなわち、例えば、制御部４１は、２値化部４３からの検出結果に基づいて、ユーザのジェスチャやポスチャを認識し、認識したジェスチャ等に対応する処理を行なう。
[画像処理装置２３が行う肌検出調整処理の詳細]
次に、図１１のフローチャートを参照して、画像処理装置２３が行なう肌検出調整処理について説明する。
ステップＳ３１において、制御部４１は、発光装置２１およびカメラ２２を制御し、発光装置２１のLED２１aおよびLED２１bを消灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られるモザイク画像を取得する。
そして、カメラ２２は、取得したモザイク画像に対して、モザイク画像を構成する各画素の画素値のうち、R値、G値、またはB値のいずれかを有する画素値を用いたRGB補間処理を行い、その結果得られるRGB画像を、外光画像として制御部４１に供給する。
ステップＳ３２において、例えば、制御部４１は、カメラ２２からの外光画像に基づいて、ヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の輝度平均値を算出する。
そして、制御部４１は、算出した輝度平均値に基づいて、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整する。
好ましくは、制御部４１は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
ステップＳ３３において、図７の肌検出処理が行われる。具体的には、例えば、カメラ２２は、LED２１aおよびLED２１bを点灯させた状態で被写体の撮像を行う。そして、カメラ２２は、その結果得られるモザイク画像に対して、λ１補間処理を行なうことにより得られるλ１画像、およびλ２補間処理を行なうことにより得られるλ２画像を、算出部４２に供給する。
算出部４２は、カメラ２２からのλ１画像およびλ２画像に基づいて、差分画像を生成し、２値化部４３に供給する。２値化部４３は、算出部４２からの差分画像を２値化肌画像に変換し、変換後の２値化肌画像に基づいて、肌領域の検出を試みる。
そして、２値化部４３は、肌領域を検出できたか否かを表す検出結果を、制御部４１に供給する。
ステップＳ３４において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたか否かを判定し、肌領域を検出できなかったと判定した場合、処理をステップＳ３５に進める。
ステップＳ３５において、制御部４１は、直前のステップＳ３２で調整したゲインが、調整することが可能な最大のゲインであるか否かを判定し、最大のゲインではないと判定した場合、処理をステップＳ３６に進める。
ステップＳ３６において、制御部４１は、カメラ２２を制御して、カメラ２２のゲインを、現在設定されているゲインよりも大きくなるように調整し、処理はステップＳ３３に戻り、算出部４２は、ゲインが調整された後のカメラ２２の撮像により新たに供給されるλ１画像およびλ２画像を取得し、それ以降同様の処理が行われる。
また、ステップＳ３５において、制御部４１は、直前のステップＳ３２で調整したゲインが、調整することが可能な最大のゲインであると判定した場合、これ以上ゲインを大きく調整することができないため、処理をステップＳ３７に進める。
ステップＳ３７において、制御部４１は、発光装置２１を制御して、LED２１aおよびLED２１bの照射光量を所定の値に初期化し、処理をステップＳ３１に戻し、再度、肌検出調整処理をやり直す。
すなわち、処理がステップＳ３７に進められた場合、後述するステップＳ３９において、LED２１aおよびLED２１bの照射光量を減少させ過ぎたために、肌領域を検出できない事態が生じていると考えられるため、LED２１aおよびLED２１bの照射光量を所定の値に初期化し、再度、肌検出調整処理をやり直すようにしている。
一方、ステップＳ３４において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたと判定した場合、処理をステップＳ３８に進める。なお、この場合、２値化部４３は、肌領域を検出できた旨を表す検出結果とともに、生成した２値化肌画像、および算出部４２からの差分画像を、制御部４１に供給している。
ステップＳ３８において、制御部４１は、２値化部４３からの２値化肌画像および差分画像に基づいて、LED２１aおよびLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であるか否かを判定する。
すなわち、例えば、制御部４１は、２値化部４３からの２値化肌画像に基づいて、２値化部４３からの差分画像から、２値化肌画像上の肌領域（例えば、画素値が１である画素により構成される領域）に対応する肌領域を抽出する。
そして、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値が、肌検出可能値（算出部４２からの差分画像上の非肌領域を構成する画素の画素値よりも十分に大きな値）と同程度である場合、LED２１aおよびLED２１bの照射光量が必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
具体的には、例えば、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度である場合、必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
ステップＳ３８において、制御部４１は、LED２１aおよびLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量ではないと判定した場合、処理をステップＳ３９に進める。
ステップＳ３９において、制御部４１は、発光装置２１を制御して、LED２１aおよびLED２１bの照射光量を減少させ、肌領域を検出するために必要最小限の照射光量となるように調整する。
すなわち、例えば、制御部４１は、カメラ２２の撮像により得られるλ１およびλ２画像上の肌領域を構成する画素の輝度値が、肌領域を精度良く検出可能な必要最低限の輝度値となるように、つまり、差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度となるように、LED２１aおよびLED２１bの照射光量を調整する。
制御部４１は、ステップＳ３９の処理の終了後、処理をステップＳ３３に戻す。ステップＳ３３では、算出部４２は、照射光量が調整されたLED２１aおよびLED２１bの点灯に応じて、カメラ２２の撮像が行なわれてカメラ２２から出力されるλ１およびλ２画像を取得し、それ以降同様の処理が行われる。
なお、ステップＳ３８において、制御部４１は、LED２１aおよびLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であると判定した場合、肌検出調整処理を終了させ、それ以降、図７の肌検出処理が行なわれる。
以上説明したように肌検出調整処理では、例えば、制御部４１は、外光画像を構成する画素の輝度値の輝度平均値が、カメラ２２の撮像により得られる最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整するようにした。
この場合、制御部４１では、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となる範囲内で、最もゲインが大きくなるように調整することとなるので、肌領域の検出精度を維持しつつ、肌領域を検出可能な検出可能距離を伸ばすことが可能となる。
また、肌検出調整処理では、肌領域を検出するために必要最小限の照射光量となるように、LED２１aおよびLED２１bの照射光量を減少させるようにしたので、肌領域の検出精度を維持しつつ、LED２１aおよびLED２１bの照射に必要な電力を減らして省電力化を図ることが可能となる。
[第２の実施の形態における変形例]
なお、肌検出調整処理では、制御部４１が、カメラ２２からの外光画像のヒストグラムに基づいて、外光画像の輝度平均値を生成し、生成した輝度平均値に基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲインの調整方法はこれに限定されない。
すなわち、例えば、制御部４１は、図１２に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、画素数が最大であるときの輝度値を表すピーク値（いまの場合、１７２）が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整するようにしてもよい。
なお、制御部４１は、図１２に示される場合において、輝度値２５５がピーク値となっている場合には、輝度値が２５５となっている（飽和している）部分を除外した上でピーク値を算出し、算出したピーク値に基づいて、カメラ２２のゲインを調整するようにしてもよい。
また、例えば、制御部４１は、図１３に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、値が小さな輝度値を有する画素から順次積算（加算）して得られる画素数を表す画素積算数に基づき特定される輝度値が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
すなわち、例えば、制御部４１は、画素積算数が、ヒストグラムにおける総画素数の８０パーセントに相当する画素数となるときに積算された画素の輝度値（いまの場合、２０２）が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
また、肌検出調整処理では、制御部４１は、外光画像のヒストグラムに基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲイン、受光感度、または露光（受光）時間等の少なくとも１つを調整するように構成することが可能である。
ところで、第１の実施の形態では、図９に示されたような透過特性となるように、Rフィルタ、Gフィルタ、およびBフィルタを作成するようにして、図８に示されるフィルタ板７１を作成するようにしているが、従来のRフィルタ、Gフィルタ、およびBフィルタを用いるようにして、図９に示されたような透過特性となるフィルタ板７１を構成することができる。
次に、図１４乃至図１６を参照して、従来のRフィルタ、Gフィルタ、およびBフィルタを用いて、図９に示されるフィルタ板７１のRフィルタ、Gフィルタ、およびBフィルタと同様のフィルタを作成する場合について説明する。
図１４は、従来のRフィルタ、Gフィルタ、およびBフィルタの透過特性の一例を示している。
図１５は、従来のIR(infrared)カットフィルタにより遮断される波長の一例を示している。従来のＩＲカットフィルタは、図１５に示されるように、約800[nm]以上の赤外線（図１５に示される２点鎖線を境界として右側）を遮断し、約800[nm]未満の光（図１５に示される２点鎖線を境界として左側）を透過させる。
図１６は、従来のRフィルタ、Gフィルタ、およびBフィルタそれぞれの前面に、従来のＩＲカットフィルタを設けた場合の透過特性の一例を示している。
このように、従来のRフィルタ、Gフィルタ、およびBフィルタそれぞれの前面に、従来のＩＲカットフィルタを設けるだけで、図１６に示されたような透過特性となるRフィルタ、Gフィルタ、およびBフィルタを実現することができる。
そして、従来のRフィルタ、Gフィルタ、およびBフィルタそれぞれの前面に、従来のＩＲカットフィルタを設けたものと、λ１フィルタおよびλ２フィルタとを、図８に示されるように配列すれば、図９に示されたような透過特性となるフィルタ板７１を実現できる。
この場合、従来のRフィルタ、Gフィルタ、Bフィルタ、およびＩＲカットフィルタを用いるので、図９に示されたような透過特性となるような、Rフィルタ、Gフィルタ、およびBフィルタを新たに作成する必要がなく、より容易にフィルタ板７１を実現することが可能となる。
なお、フィルタ板におけるRフィルタ、Gフィルタ、Bフィルタ、λ１フィルタ、およびλ２フィルタの配列は、図８に示されたような配列に限定されず、例えば、図１７に示されたような配列とするようにして新たなフィルタ板８１を作成することができる。
また、従来のベイヤー配列のフィルタ板をそのまま用いて、図９に示されるような透過特性となるフィルタ板を実現することができる。
次に、図１８乃至図２０を参照して、従来のベイヤー配列のフィルタ板をそのまま用いて、図９に示されるような透過特性となるフィルタ板を実現する場合の一例を説明する。
図１８は、従来のベイヤー配列により配列されたフィルタ板９１の一例を示している。
このフィルタ板９１には、Gフィルタ（図１８でいう「G」に対応）が市松模様状に配列され、Rフィルタ（図１８でいう「R」に対応）が、奇数番目の列においてGフィルタの間に交互に配置され、Bフィルタ（図１８でいう「B」に対応）が、偶数番目の列においてGフィルタの間に交互に配置されている。
なお、フィルタ板９１上の、縦横２個ずつの４個で構成されるフィルタとして、１個のRフィルタ、１個のBフィルタ、および２個のGフィルタが存在し、Gフィルタが、RフィルタおよびBフィルタと比較して１個だけ多くなっているが、これは、G成分に対応する緑色が、人間にとって比較的見にくい色であることによる。
次に、図１９は、λ１フィルタおよびλ２フィルタが設けられたＩＲカットフィルタ９２の一例を示している。
このＩＲカットフィルタ９２には、λ１フィルタ（図１９でいうIR870）およびλ２フィルタ(図１９でいうIR950)が、それぞれ１画素分だけ離れた状態で、市松模様状に配列されている。なお、ＩＲカットフィルタ９２のうち、λ１フィルタおよびλ２フィルタが設けられていない部分（図１９の空白部分）は、図１５に示されたような透過（遮断）特性を有するＩＲカットフィルタとして機能する。
フィルタ板９１の前面を、ＩＲカットフィルタ９２で覆うことにより、図２０に示されたようなフィルタ板９３を作成する。このフィルタ９３は、図９に示されたような透過特性を有するものとなる。
なお、情報処理システム１は、テレビジョン受像機等の電子装置に内蔵できるように、小型化することができる。
次に、図２１は、小型化された情報処理システム１としての小型モジュール１'の一例を示している。
この小型モジュール１'は、後述する光源群１０２を構成するLEDからの光を補正して被写体に照射するレンズ１０１、複数のLED２１aおよびLED２１bにより構成される光源群１０２、光源群１０２を構成する複数のLED２１aおよびLED２１bを配置する光源用基板１０３aおよび後述するカメラ１０４および画像処理部１０５を配置する処理用基板１０３bからなる基板１０３、図１のカメラ２２と同様に構成されているカメラ１０４、図１の画像処理装置２３と同様に構成されている画像処理部１０５、並びに、レンズ１０１、光源用基板１０３a、および処理用基板１０３bを支持する支持部材１０６により構成される。
なお、この小型モジュール１'は、例えば、図２２に示されるように、テレビジョン受像機１４１のディスプレイ１４１aの上部に内蔵され、テレビジョン受像機１４１のディスプレイ１４１aの前面に存在するユーザの手の形状等を認識し、その認識結果に基づいて、テレビジョン受像機１４１の音量やチャンネル等を変更する処理を行なう。
＜３．第３の実施の形態＞
ところで、小型モジュール１'を内蔵したテレビジョン受像機１４１は、肌を検出する肌検出装置の他、テレビジョン受像機１４１を操作するためのリモートコマンダ１２１の位置を検出する位置検出装置としても機能させることができる。
図２２は、位置検出装置として機能するテレビジョン受像機１４１の構成例を示している。
このテレビジョン受像機１４１は、テレビ番組等の画像を表示させるディスプレイ１４１aの上部に、小型モジュール１'を内蔵している。
テレビジョン受像機１４１に内蔵された小型モジュール１'は、被写体を撮像して得られるλ１画像に基づいて、ユーザが操作するリモートコマンダ１２１の位置を検出する。
すなわち、例えば、ユーザが、リモートコマンダ１２１のLED１２１aから波長λ１の光を照射させている状態で、リモートコマンダ１２１を移動させる場合、小型モジュール１'は、被写体を撮像し、その撮像により得られるモザイク画像に対して、λ１補間処理を行い、その結果得られるλ１画像上の、LED１２１aの位置（リモートコマンダ１２１の位置）を検出する。
そして、小型モジュール１'は、検出したLED１２１aの位置に対応する、ディスプレイ１４１a上の位置１６１に、ポインタ等を表示させる。
[テレビジョン受像機１４１が行なうLED検出処理]
次に、図２３のフローチャートを参照して、テレビジョン受像機１４１が内蔵する小型モジュール１'が行なうLED検出処理について説明する。
なお、ユーザは、ディスプレイ１４１a上のポインタを移動させるように、リモートコマンダ１２１のLED１２１aから波長λ１の光を照射させている状態で、リモートコマンダ１２１を、例えば、上下左右方向に移動させているものとする。また、LED検出処理において、光源群１０２は常に消灯された状態とされる。このことは、図２４を参照して説明するLED検出調整処理についても同様である。
ステップＳ７１において、カメラ１０４は、図１のカメラ２２と同様にして、撮像を行い、カメラ１０４のイメージセンサにより受光される光を光電変換してモザイク画像を生成する。
ステップＳ７２において、カメラ１０４は、生成したモザイク画像に基づいて、λ１補間処理を行い、その結果得られるλ１画像を生成し、画像処理部１０５に供給する。
なお、カメラ１０４の撮像範囲内において、波長λ１の光を照射する光源は、LED１２１aのみである。
したがって、λ１画像上の全領域のうち、LED１２１aが存在するLED表示領域を構成する各画素の画素値が、LED表示領域以外の領域を構成する各画素の画素値よりも比較的大きくなっている。
このため、ステップＳ７３において、画像処理部１０５は、カメラ１０４からのλ１画像を構成する画素の画素値が予め決められたLED閾値以上であるか否かに基づいて、λ１画像上の、波長λ１の光を照射しているLED１２１a（からの光）が表示されたLED表示領域の検出を試みる。
ステップＳ７３において、画像処理部１０５は、カメラ１０４からのλ１画像上の全領域のうち、画素値がLED閾値以上であると判定した領域を、LED表示領域として検出する。
ステップＳ７４において、画像処理部１０５は、検出したLED表示領域の重心を、λ１画像上のLED位置として算出し、算出したLED位置に対応するディスプレイ１４１a上の位置１６１に、ポインタを表示させる。これにより、ユーザは、リモートコマンダ１２１のLED１２１aを移動させることにより、ディスプレイ１４１a上のポインタを移動させることができる。
以上説明したように、LED検出処理では、小型モジュール１'が、リモートコマンダ１２１のLED１２１aから出射される波長λ１の光に基づいて、リモートコマンダ１２１aのLED１２１aの位置を算出するようにした。そして、算出したLED１２１aの位置に対応して、ディスプレイ１４１a上のポインタを移動させるようにした。
このため、ユーザは、リモートコマンダ１２１aを、ディスプレイ１４１a上のポインタを移動させるための装置として用いることができるようになる。
ところで、外光からカメラ１０４に対して、波長λ１の光が多く照射される場合には、外光からの波長λ１の光に起因して、LED位置を誤検出することが生じ得る。
[テレビジョン受像機１４１が行なうLED検出調整処理]
次に、図２４のフローチャートを参照して、外光に応じて、カメラ１０４のゲインを調整するようにして、外光の影響によらず、LED位置を検出するLED検出調整処理について説明する。
なお、この場合、カメラ１０４のイメージセンサには、RGB画像も生成可能なフィルタ板として、例えば、図８のフィルタ板が設けられているものとする。
ステップＳ１０１において、カメラ１０４は、被写体の撮像を行い、その撮像により得られるモザイク画像を取得する。そして、カメラ２２は、取得したモザイク画像に対して、モザイク画像を構成する各画素の画素値のうち、R値、G値、またはB値のいずれかを有する画素値を用いたRGB補間処理を行い、その結果得られるRGB画像を、外光画像として、画像処理部１０５に供給する。
ステップＳ１０２において、画像処理部１０５は、カメラ１０４からの外光画像に基づいて、ヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の輝度平均値を算出する。
そして、画像処理部１０５は、算出した輝度平均値に基づいて、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ１０４のゲインを調整する。
好ましくは、画像処理部１０５は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ１０４のゲインを調整する。
ステップＳ１０３において、図２３のLED検出処理と同様の処理が行なわれることにより、画像処理部１０５がLED位置の検出を試みる。
ステップＳ１０４において、画像処理部１０５は、LED位置を検出できた場合、処理をステップＳ１０５に進め、例えば、算出したLED位置に対応する、テレビジョン受像機１４１のディスプレイ１４１a上の位置１６１に、ポインタを表示させ、処理をステップＳ１０３に戻し、それ以降同様の処理を行なう。
ステップＳ１０４において、画像処理部１０５は、LED位置を検出できなかった場合、処理をステップＳ１０６に進める。そして、ステップＳ１０６において、画像処理部１０５は、カメラ１０４を制御して、カメラ１０４のゲインを、現在設定されているゲインよりも大きくなるように調整し、処理はステップＳ１０３に戻り、画像処理部１０５は、ゲインが調整された後のカメラ１０４による撮像が行なわれて出力される新たなλ１画像を取得し、それ以降同様の処理が行われる。
以上説明したように、LED検出調整処理によれば、外光からの光に拘らず、LED位置が検出できるように、カメラ１０４からの外光画像に基づいて、カメラ１０４のゲインを調整するようにしたので、外光からの光によらず、精度良くLED位置を検出できる。
なお、LED検出処理、およびLED検出調整処理では、波長λ１の光を照射するLED１２１aの位置を検出するようにしたが、LED１２１aが、波長λ１の光に代えて、波長λ２の光を照射する場合についても同様に、LED１２１aの位置を検出できる。但し、この場合、λ１画像の代わりに、λ２画像を用いたLED１２１aの位置の検出が行なわれる。
また、例えば、波長λ１の光を照射する第１のLEDを有するリモートコマンダを移動させる第１のユーザと、波長λ２の光を照射する第２のLEDを有するリモートコマンダを移動させる第２のユーザとが存在する場合、LED検出処理では、第１および第２のLEDそれぞれの位置を検出するようにすることができる。
具体的には、例えば、第１および第２のLEDそれぞれの位置を検出する場合、LED検出処理では、ステップＳ７２において、カメラ１０４が、生成したモザイク画像に対してλ１補間処理を行なうことにより得られるλ１画像と、生成したモザイク画像に対してλ２補間処理を行なうことにより得られるλ２画像を、画像処理部１０５に供給する。
そして、ステップＳ７３において、画像処理部１０５は、カメラ１０４からのλ１画像に基づいて第１のLEDの位置の検出を行なうとともに、カメラ１０４からのλ２画像に基づいて第２のLEDの位置の検出を行なうこととなる。
ステップＳ７４では、画像処理部１０５は、検出した第１のLEDの位置に対応して、対応する第１のポインタを移動させ、検出した第２のLEDの位置に対応して、対応する第２のポインタを移動させるようにする。
また、LED検出調整処理においても同様に、ステップＳ１０３において、λ１画像に基づいて第１のLEDの位置の検出を試みるとともに、λ２画像に基づいて第２のLEDの位置の検出を試みる。そして、ステップＳ１０４において、例えば、第１および第２のLEDそれぞれの位置が検出できたか否かを判定することとなる。
このように、第１のLEDの位置と、第２のLEDの位置とを検出できるようにした場合、例えば、図２５A乃至Dに示されるように、カメラ１０４によるRGB補間処理により得られるRGB画像上に、第１のLEDの位置と、第２のLEDの位置とを重畳させた画像を、ディスプレイ１４１aに表示させることができるようになる。
したがって、例えば、上述したテレビジョン受像機１４１とリモートコマンダ１２１とを用いることにより、ゲームのアプリケーションを実現することが可能となる。
具体的には、例えば、図２５Dに示されるように、第１のユーザを守備側とし、第２のユーザが攻撃側とする野球ゲームを実現する場合には、第１のLEDの位置を守備側のグローブの位置として認識し、第２のLEDの位置を攻撃側のバットの位置として認識するようにする。
また、例えば、リモートコマンダ１２１に、第１のLED(LED１２１a)の他、第２のLEDを設けるようにすれば、LED検出処理等により検出される第１および第２のLEDそれぞれの位置関係に応じて、リモートコマンダ１２１の姿勢（例えば、操作面を上向きに持っているのか下向きに持っているか等）を判断できる。
したがって、この場合、リモートコマンダ１２１の姿勢に応じて、オセロゲームの駒や将棋の駒等を裏返す操作を判断することが可能となるので、テレビジョン受像機１４１とリモートコマンダ１２１とを用いて、オセロゲームや将棋等のアプリケーションを実現できるようになる。
また、リモートコマンダ１２１の姿勢の変化に応じて、リモートコマンダ１２１がいずれの方向に回転されたか等も判断できるようになるので、リモートコマンダ１２１の姿勢の変化を、テレビジョン受像機１４１のチャンネルを切り替える操作や、音量を変更する操作等に対応付ければ、リモートコマンダ１２１の動きに応じて、チャンネルや音量を変更することが可能となる。
さらに、例えば、小型モジュール１'からリモートコマンダ１２１（LED１２１a）までの距離が近い程、LED表示領域が大きくなることを利用して、検出したLED表示領域の大きさに基づいて、小型モジュール１'からリモートコマンダ１２１（LED１２１a）までの距離を計測するようにすることができる。
[第３の実施の形態における変形例]
第３の実施の形態では、LED位置を検出するために、λ１フィルタおよびλ２フィルタを少なくとも有するフィルタ板を用いるようにしたが、さらに、発光スペクトルのピーク波長がλ３（λ１，λ２のいずれとも異なる）の光（以下、波長λ３の光）を透過させるλ３フィルタを設けるようにしてもよい。
すなわち、例えば、それぞれ異なる波長λ１乃至λＮの光を、それぞれ、透過させるＮ個のλ１フィルタ乃至λＮフィルタを有するフィルタ板を用いるようにしてもよい。
この場合、波長λ１乃至λＮの光をそれぞれ照射する第１乃至第ＮのLEDを用いるようにすれば、LED検出処理、およびLED検出調整処理において、第１乃至第ＮのLEDの位置を検出できるようになる。
したがって、例えば、第１のユーザと第２のユーザとの間でボクシングゲームを行なうことが可能なアプリケーションを実現する場合、第１のユーザの右手に第１のLEDを、左手に第２のLEDを装着し、第２のユーザの右手に第３のLEDを、左手に第４のLEDを装着すればよい。
これにより、小型モジュール１'において、第１のユーザの右手および左手の位置、並びに第２のユーザの右手および左手の位置を認識できることとなり、ボクシングゲームのアプリケーションを実現できるようになる。
また、LED検出処理、およびLED検出調整処理において、波長λ１の光を照射するLED１２１aの位置のみを検出する場合には、カメラ１０４のイメージセンサにおいて、少なくともλ１フィルタを有するフィルタ板を設けるだけでよく、λ２フィルタは必須ではない。
なお、上述したように、例えば、情報処理システム１が肌検出処理を行い、テレビジョン受像機１４１に内蔵された小型モジュール１'がLED検出処理を行なうようにしたが、情報処理システム１および小型モジュール１'は、いずれも肌検出処理およびLED検出処理を行なうことが可能である。このことは、肌検出調整処理およびLED検出調整処理についても同様のことがいえる。
具体的には、例えば、情報処理システム１において、制御部４１が、発光装置２１を制御して、LED２１aおよびLED２１bの発光を中止させるようにした状態で、LED検出処理を行なうようにし、制御部４１が、発光装置２１を制御して、LED２１aおよびLED２１bの発光を行わせている状態で、肌検出処理を行なうようにしてもよい。
このように、情報処理システム１が、肌検出処理とLED検出処理の両方を行なうことができる場合には、ユーザの好みに応じて、ユーザの手の形状や動きによるハンドフリー操作、またはリモートコマンダ（例えば、図２２のリモートコマンダ１２１）の動きによるコントローラ操作のいずれかを選択できる。
また、上述したように、第１のユーザと、第２のユーザとでゲームを行なう場合には、肌検出処理とLED検出処理とを適宜切り替えて実行することにより、例えば、第１のユーザにおいてはハンドフリー操作を行うようにし、第２のユーザにおいてはコントローラ操作を行うようにすることができる。
＜４．第４の実施の形態＞
ここまでに説明した第１乃至第３の実施の形態では、波長λ１の光と波長λ２の光とを同時に照射して撮像を行うようにした。すなわち、図２６に示すように、波長λ１の光を所定の期間、一定の輝度で照射し、これと同時に、波長λ２の光を所定の期間、一定の輝度で照射して撮像を行うようにした。そして、カメラ２２を構成するイメージセンサでは、各受光素子にλ１フィルタまたはλ２フィルタが設けられ、イメージセンサから出力されるモザイク画像を元にした補間処理によってλ１画像およびλ２画像を生成した。したがって、第１乃至第３の実施の形態では、１回の撮像により、λ１画像およびλ２画像を得ることができる。また、波長λ１用、波長λ２用の受光素子を別々に設け、各々にその波長用のフィルタを設けることでも同じように実現が可能である。
これに対して、以下に説明する第４の実施の形態では、波長λ１の光と波長λ２の光とを、その輝度をそれぞれ異なる周波数で交流的に変動させて同時に照射し、撮像を行う。
図２７は、第４の実施の形態による、輝度変動を伴う照射と撮像のタイミングを示している。すなわち、第４の実施の形態では、波長λ１の光を所定の期間、その輝度を所定の周波数ｆ１で交流的に変動させて照射し、これと同時に、波長λ２の光を所定の期間、その輝度を所定の周波数ｆ２で交流的に変動させて照射し、撮像を行う。なお、周波数ｆ１，ｆ２については任意であるが、他の装置（例えば、赤外線リモートコントローラなど）が発する赤外線の周波数との干渉が生じないように適切に設定するようにする。
そして、カメラ２２を構成するイメージセンサでは、光電変換により得られる電気信号を２分配し、それぞれを周波数ｆ１用狭帯域フィルタ、または周波数ｆ２用狭帯域フィルタを透過させることによって、λ１画像およびλ２画像を生成する。したがって、第４の実施の形態でも、１回の撮像により、λ１画像およびλ２画像を得ることができる。
図２８は、第４の実施の形態におけるカメラ２２を構成するCOMSイメージセンサの、λ１画像およびλ２画像の１画素に対応する構成例を示している。
このCMOSイメージセンサ２００は、主にフォトダイオード２０１、アンプ２０２、ｆ１用狭帯域フィルタ２０３、キャパシタ２０４および２０８、ダイオード２０５および２０９、ゲート２０６および２１０、並びにｆ２用狭帯域フィルタ２０７から成る。
CMOSイメージセンサ２００においては、フォトダイオード２０１による光電変換によって被写体の光学像が電気信号に変換され、アンプ２０２により増幅された電気信号はｆ１用狭帯域フィルタ２０３とｆ２用狭帯域フィルタ２０７に２分配される。さらに、被写体の光学像に対応する電気信号は、ｆ１用狭帯域フィルタ２０３によって、周波数ｆ１の交流成分のみが透過されて、キャパシタ２０４によってＡＣ結合され、信号振幅に応じた電荷がダイオード２０５を通じてゲート２０６に蓄積される。ゲート２０６に蓄積された電荷がλ１画像の画素とされる。同様に、被写体の光学像に対応する電気信号は、ｆ２用狭帯域フィルタ２０７によって、周波数ｆ２の交流成分のみが透過されて、キャパシタ２０８によってＡＣ結合され、信号振幅に応じた電荷がダイオード２０９を通じてゲート２１０に蓄積される。ゲート２１０に蓄積された電荷がλ２画像の画素とされる。
なお、上述したように、ｆ１用狭帯域フィルタ２０３およびｆ２用狭帯域フィルタ２０７においては、それぞれ周波数ｆ１またはｆ２の交流成分のみが透過される。換言すれば、被写体の光学像に対応する電気信号のうちの直流成分は破棄されることになる。
ところで、一般に、被写体からの光学像には、意図的に照射された波長λ１およびλ２の照射光の他、外光によるものが含まれる。日光や各種照明などによる外光は、若干の交流成分を含むものの直流成分が主である。したがって、ｆ１用狭帯域フィルタ２０３を透過し、ゲート２０６に蓄積された電荷、すなわち、λ１画像は、外光成分を排除したものであるということができる。同様に、λ２画像も、外光成分を排除したものであるということができる。
図２９は、第４の実施の形態においてλ１画像およびλ２画像を生成するまでの処理（以下、λ１画像およびλ２画像の生成処理と称する）を説明するフローチャートである。
ステップＳ２０１において、発光装置２１は、LED２１aを制御して、波長λ１の光を、その輝度を所定の周波数ｆ１で交流的に変動させて照射させるとともに、LED２１bを制御して、波長λ２の光を、その輝度を所定の周波数ｆ２で交流的に変動させて照射させる。
ステップＳ２０２において、カメラ２２は、発光装置２１により波長λ１の光と波長λ２の光とが照射されている被写体を撮像する。すなわち、カメラ２２の構成するCMOSイメージセンサ２００のフォトダイオード２０１が被写体の光学像が電気信号に変換する。電気信号は、アンプ２０２により増幅された後にｆ１用狭帯域フィルタ２０３とｆ２用狭帯域フィルタ２０７に２分配され、ｆ１用狭帯域フィルタ２０３は、電気信号の周波数ｆ１の交流成分のみをキャパシタ２０４に透過する。この結果、ゲート２０６には、λ１画像の画素となる電荷が蓄積されたことになる。同様に、ステップＳ２０４において、ｆ２用狭帯域フィルタ２０７は、電気信号の周波数ｆ２の交流成分のみをキャパシタ２０８に透過する。この結果、ゲート２１０には、λ２画像の画素となる電荷が蓄積されたことになる。
ステップＳ２０３において、λ１画像の画素となる電荷を読み出しλ1画像を生成する。同様に、ステップＳ２０４において、λ２画像の画素となる電荷を読み出しλ1画像を生成する。
以上のようにして、λ１画像およびλ２画像が生成される。なお、当該処理は、第１の実施の形態による肌検出処理のうちの、ステップＳ１およびＳ２の処理に代えて行うものであり、これ以降の処理については、上述した肌検出処理のステップＳ３以降と同様であるのでその説明は省略する。
第４の実施の形態により得られたλ１画像とλ２画像は、画素の補間処理を伴わず、外光成分（直流成分）が除外され、さらに、被写体の位置がずれていないので、被写体に動きがあったとしても、その肌を精度良く検出することができる。
＜５．第５の実施の形態＞
第５の実施の形態では、波長λ１の光と波長λ２の光とを、その輝度を同一の周波数で交流的に変動させて交互に照射、撮像を行う。
図３０は、第５の実施の形態による、輝度変動を伴う照射と撮像のタイミングを示している。すなわち、第５の実施の形態では、波長λ１の光を所定の期間、その輝度を所定の周波数ｆ３で交流的に変動させて照射、撮像を行い、次に、波長λ２の光を所定の期間、その輝度を周波数ｆ３で交流的に変動させて照射、撮像を行う。
そして、カメラ２２を構成するイメージセンサでは、光電変換により得られる電気信号を、周波数ｆ３用狭帯域フィルタを透過させることによって、λ１画像とλ２画像とを交互に生成する。したがって、第５の実施の形態では、２回の撮像により、λ１画像およびλ２画像を得ることができる。
図２８は、第５の実施の形態におけるカメラ２２を構成するCOMSイメージセンサの、λ１画像およびλ２画像の１画素に対応する構成例を示している。
このCMOSイメージセンサ３００は、主にフォトダイオード３０１、アンプ３０２、ｆ３用狭帯域フィルタ３０３、キャパシタ３０４、ダイオード３０５、およびゲート３０６から成る。ｆ３用狭帯域フィルタ３０３は、ハードウェアまたはソフトウェアのいずれで構成してもよい。
CMOSイメージセンサ３００においては、フォトダイオード３０１による光電変換によって被写体の光学像が電気信号に変換され、アンプ３０２により増幅された電気信号は、ｆ３用狭帯域フィルタ３０３によって、周波数ｆ３の交流成分のみが透過されて、その電荷がゲート３０６に蓄積される。したがって、波長λ１の光が照射されているときにゲート３０６に蓄積された電荷がλ１画像の画素とされ、波長λ２の光が照射されているときにゲート３０６に蓄積された電荷がλ２画像の画素とされる。
ｆ３用狭帯域フィルタ３０３においては、周波数ｆ３の交流成分のみが透過される。換言すれば、被写体の光学像に対応する電気信号のうちの直流成分は破棄されることになる。したがって、ｆ３用狭帯域フィルタ３０３を透過し、ゲート３０６に蓄積された電荷、すなわち、λ１画像およびλ２画像は、外光成分を排除したものであるということができる。
図３２は、第５の実施の形態によるλ１画像およびλ２画像の生成処理を説明するフローチャートである。
ステップＳ２１１において、発光装置２１は、LED２１aを制御して、波長λ１の光を、その輝度を所定の周波数ｆ３で交流的に変動させて照射させる。ステップＳ２１２において、カメラ２２は、発光装置２１により波長λ１の光が照射されている被写体を撮像する。すなわち、カメラ２２の構成するCMOSイメージセンサ３００のフォトダイオード３０１が被写体の光学像が電気信号に変換する。電気信号は、アンプ３０２により増幅された後にｆ３用狭帯域フィルタ３０３に入力され、ｆ３用狭帯域フィルタ３０３は、電気信号の周波数ｆ３の交流成分のみをキャパシタ３０４に透過する。この結果、ゲート３０６には、λ１画像の画素となる電荷が蓄積されたことになる。
ステップＳ２１３において、λ１画像の画素となる電荷を読み出しλ1画像を生成する。
ステップＳ２１４において、発光装置２１は、LED２１bを制御して、波長λ２の光を、その輝度を所定の周波数ｆ３で交流的に変動させて照射させる。ステップＳ２１５において、カメラ２２は、発光装置２１により波長λ２の光が照射されている被写体を撮像する。すなわち、カメラ２２の構成するCMOSイメージセンサ３００のフォトダイオード３０１が被写体の光学像が電気信号に変換する。電気信号は、アンプ３０２により増幅された後にｆ３用狭帯域フィルタ３０３に入力される。
ステップＳ２１６において、ｆ３用狭帯域フィルタ３０３は、電気信号の周波数ｆ３の交流成分のみをキャパシタ３０４に透過する。この結果、ゲート３０６には、λ２画像の画素となる電荷が蓄積されたことになる。
以上のようにして、λ１画像およびλ２画像が生成される。なお、当該処理も、第１の実施の形態による肌検出処理のうちの、ステップＳ１およびＳ２の処理に代えて行うものであり、これ以降の処理については、上述した肌検出処理のステップＳ３以降と同様であるのでその説明は省略する。
第５の実施の形態により得られたλ１画像とλ２画像は、画素の補間処理を伴わず、外光成分（直流成分）が除外されているので、被写体の肌を精度良く検出することができる。
ところで、上述した一連の処理は、専用のハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータ等に、記録媒体からインストールされる。
[コンピュータの構成例]
次に、図３３は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
このコンピュータ５００において、CPU５０１は、ROM５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM５０３には、CPU５０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU５０１、ROM５０２、およびRAM５０３は、バス５０４により相互に接続されている。
CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホン等よりなる入力部５０６、ディスプレイ、スピーカ等よりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果を出力部５０７に出力する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア５１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送されて記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア５１１、または、プログラムが一時的もしくは永続的に格納されるROM５０２や、記憶部５０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部５０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１ 情報処理システム， ２１ 発光装置， ２２ カメラ， ２３ 画像処理装置， ３１ フィルタ板， ４１ 制御部， ４２ 算出部， ４３ ２値化部， ８１ フィルタ板， ９３ フィルタ板， １０１ レンズ， １０２ 光源群， １０３ 基板， １０３a 光源用基板， １０３b 処理用基板， １０４ カメラ， １０５ 画像処理部， １０６ 支持部材， １２１ リモートコマンダ， １２１a LED １４１ テレビジョン受像機， １４１a ディスプレイ， ２００ CMOSイメージセンサ， ２０３ ｆ１用狭帯域フィルタ， ２０７ ｆ２用狭帯域フィルタ， ３００ CMOSイメージセンサ， ３０３ ｆ３用狭帯域フィルタ， ５００ コンピュータ， ５０１ CPU

Claims (17)

  1. 画像上から人間の肌を表す肌領域を検出する画像処理装置において、
    第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、
    前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、
    前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
    を含む画像処理装置。
  2. 前記第１の生成手段は、前記第１および第２の受光素子の他、R(red)成分を受光する第３の受光素子、G(green)成分を受光する第４の受光素子、およびB(blue)成分を受光する第５の受光素子により構成される前記画像センサに入射された前記被写体からの反射光に基づいて前記第１のモザイク画像を生成する
    請求項１に記載の画像処理装置。
  3. 前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、
    前記第２の生成手段は、前記第２のモザイク画像を構成する各画素において、前記第３乃至第５の受光素子それぞれに対応する画素の画素値に基づく第３の補間処理により得られるRGB画像も生成し、
    前記RGB画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記第１の生成手段のパラメータを調整する調整手段を
    さらに含む請求項２に記載の画像処理装置。
  4. 前記第１の生成手段は、予め決められたパラメータに応じて前記被写体を撮像することにより前記第１のモザイク画像を生成し、
    前記調整手段は、前記RGB画像を構成する画素の輝度値、または前記輝度値に基づき算出される算出値の一方が、前記RGB画像がとり得る最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記第１の生成手段の前記パラメータを調整する
    請求項３に記載の画像処理装置。
  5. 前記第１の波長以外の波長の光の入射を制限し、前記第１の波長の光を透過させる第１の入射制限手段と、
    前記第２の波長以外の波長の光の入射を制限し、前記第２の波長の光を透過させる第２の入射制限手段と
    をさらに含み、
    前記第１の生成手段は、前記第１の入射制限手段を介して得られる前記第１の波長の光を受光する前記第１の受光素子と、前記第２の入射制限手段を介して得られる前記第２の波長の光を受光する前記第２の受光素子とを少なくとも有する前記画像センサを内蔵する
    請求項１に記載の画像処理装置。
  6. 前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、
    前記第２の生成手段は、前記第２のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第４の補間処理により得られる第３の画像も生成し、
    前記検出手段は、さらに、前記第３の画像上の全領域のうち、前記第３の画像を構成する各画素の画素値が所定の閾値以上である画素により構成される所定領域を検出する
    請求項１に記載の画像処理装置。
  7. 前記照射手段による照射を制御する制御手段をさらに含み、
    前記検出手段は、
    前記制御手段の制御にしたがって前記照射手段による照射が行われている場合に、前記第２の生成手段により生成される前記第１および第２の画像に基づいて前記肌領域を検出し、
    前記制御手段の制御にしたがって前記照射手段による照射が行われていない場合に、前記第２の生成手段により生成される前記第３の画像に基づいて前記所定領域を検出する
    請求項６に記載の画像処理装置。
  8. 照射手段と、
    第１の波長の光を受光する第１の受光素子と、前記第１の波長とは異なる第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵する第１の生成手段と、
    第２の生成手段と、
    検出手段と
    を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
    前記照射手段が、前記第１の波長の光、および前記第２の波長の光を被写体に照射し、
    前記第１の生成手段が、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成し、
    前記第２の生成手段が、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成し、
    前記検出手段が、前記第１および第２の画像に基づいて前記肌領域を検出する
    ステップを含む画像処理方法。
  9. 第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と
    を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置を制御するコンピュータを、
    前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、
    前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
    して機能させるためのプログラム。
  10. 画像上から人間の肌を表す肌領域を検出する電子装置において、
    第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、
    前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、
    前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、
    検出された前記肌領域に応じた処理を実行する実行手段と
    を含む電子装置。
  11. 画像上から人間の肌を表す肌領域を検出する画像処理装置において、
    第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
    生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
    を含み、
    前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、
    前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する
    画像処理装置。
  12. 前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って交流的に変動させて被写体に照射し、
    前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する交流成分を抽出することにより前記第１および第２の画像を生成する
    請求項１１に記載の画像処理装置。
  13. 前記照射手段は、前記第１の波長の光の輝度を第１の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第１の周波数とは異なる第２の周波数に従って交流的に変動させて被写体に照射する処理を同時に行い、
    前記撮像手段は、前記第１および第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第１の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記被写体の光学像を光電変換して得られる電気信号の前記第２の周波数に対応する交流成分を抽出することにより前記第２の画像を生成する
    請求項１２に記載の画像処理装置。
  14. 前記照射手段は、前記第１の波長の光の輝度を第３の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第３の周波数に従って交流的に変動させて被写体に照射する処理を交互に行い、
    前記撮像手段は、前記第１の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第２の画像を生成する
    請求項１２に記載の画像処理装置。
  15. 第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
    生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
    を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
    前記照射手段が、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、
    前記撮像手段が、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する
    ステップを含む画像処理方法。
  16. 第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
    生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
    を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の制御用のプログラムであって、
    前記照射手段を制御して、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射させ、
    前記撮像手段を制御して、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成させる
    ステップを含む処理を画像処理装置のコンピュータに実行させるプログラム。
  17. 画像上から人間の肌を表す肌領域を検出する電子装置において、
    第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
    前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
    生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、
    検出された前記肌領域に応じた処理を実行する実行手段と
    を含み、
    前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、
    前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する
    電子装置。
JP2010196803A 2010-06-04 2010-09-02 画像処理装置、画像処理方法、プログラム、および電子装置 Withdrawn JP2012014668A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010196803A JP2012014668A (ja) 2010-06-04 2010-09-02 画像処理装置、画像処理方法、プログラム、および電子装置
US13/109,433 US20110298909A1 (en) 2010-06-04 2011-05-17 Image processing apparatus, image processing method, program and electronic apparatus
CN2011101413667A CN102266218A (zh) 2010-06-04 2011-05-27 图像处理装置、图像处理方法、程序及电子装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010129413 2010-06-04
JP2010129413 2010-06-04
JP2010196803A JP2012014668A (ja) 2010-06-04 2010-09-02 画像処理装置、画像処理方法、プログラム、および電子装置

Publications (1)

Publication Number Publication Date
JP2012014668A true JP2012014668A (ja) 2012-01-19

Family

ID=45048819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010196803A Withdrawn JP2012014668A (ja) 2010-06-04 2010-09-02 画像処理装置、画像処理方法、プログラム、および電子装置

Country Status (3)

Country Link
US (1) US20110298909A1 (ja)
JP (1) JP2012014668A (ja)
CN (1) CN102266218A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065053A1 (ja) * 2012-10-23 2014-05-01 オリンパス株式会社 撮像装置及び画像生成方法
KR20160115043A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
JP2017090203A (ja) * 2015-11-09 2017-05-25 任天堂株式会社 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置
JP7484961B2 (ja) 2019-11-01 2024-05-16 カシオ計算機株式会社 情報取得装置、情報取得方法及びプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013046170A (ja) * 2011-08-23 2013-03-04 Lapis Semiconductor Co Ltd 指示光検出装置及び方法
JP2013152453A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
WO2013103224A1 (en) * 2012-01-03 2013-07-11 Lg Electronics Inc. Image display apparatus and method for operating the same
WO2013126877A1 (en) * 2012-02-25 2013-08-29 Massachusetts Institute Of Technology Personal skin scanner system
TWI479362B (zh) * 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
FR3001063B1 (fr) * 2013-01-15 2015-02-13 Commissariat Energie Atomique Systeme et procede de detection de la position d'un organe d'actionnement sur un ecran d'affichage
FR3001064B1 (fr) 2013-01-15 2015-02-13 Commissariat Energie Atomique Systeme et procede de detection de la position d'un organe d'actionnement sur un ecran d'affichage
JP6097952B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 観察画像判定装置および方法並びにプログラム
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
CN104702849B (zh) * 2014-01-10 2018-03-30 杭州海康威视数字技术股份有限公司 一种红外摄像机及其红外灯亮度调整方法
WO2016174778A1 (ja) * 2015-04-30 2016-11-03 オリンパス株式会社 撮像装置、画像処理装置および画像処理方法
CN112932416A (zh) 2015-06-04 2021-06-11 松下知识产权经营株式会社 生物体信息检测装置及生物体信息检测方法
JP6707943B2 (ja) * 2016-03-25 2020-06-10 富士通株式会社 生体画像処理装置及び生体画像処理方法
WO2017199757A1 (ja) * 2016-05-16 2017-11-23 ソニー株式会社 光学装置および情報処理方法
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
US9805257B1 (en) * 2016-09-07 2017-10-31 Datamax-O'neil Corporation Printer method and apparatus
TWI662940B (zh) * 2018-06-01 2019-06-21 廣達電腦股份有限公司 影像擷取裝置
CN112215802B (zh) * 2018-07-16 2022-04-08 荣耀终端有限公司 一种皮肤检测方法和电子设备
JP2020101878A (ja) * 2018-12-20 2020-07-02 ソニー株式会社 画像処理装置、および検出機能付き表示装置
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
JP2021048464A (ja) * 2019-09-18 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像デバイス、撮像システム及び撮像方法
WO2022233055A1 (en) * 2021-05-07 2022-11-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera system, method for skin characteristics analysis and non-transitory computer-readable medium storing program instructions for implementing the method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US8084739B2 (en) * 2008-07-16 2011-12-27 Infrared Newco., Inc. Imaging apparatus and methods

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065053A1 (ja) * 2012-10-23 2014-05-01 オリンパス株式会社 撮像装置及び画像生成方法
JP2014086862A (ja) * 2012-10-23 2014-05-12 Olympus Corp 撮像装置及び画像生成方法
US9282305B2 (en) 2012-10-23 2016-03-08 Olympus Corporation Imaging device and image generation method
KR20160115043A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
KR102238794B1 (ko) 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
JP2017090203A (ja) * 2015-11-09 2017-05-25 任天堂株式会社 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置
JP7484961B2 (ja) 2019-11-01 2024-05-16 カシオ計算機株式会社 情報取得装置、情報取得方法及びプログラム

Also Published As

Publication number Publication date
CN102266218A (zh) 2011-12-07
US20110298909A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
JP2012014668A (ja) 画像処理装置、画像処理方法、プログラム、および電子装置
CN110298874B (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
JP4831267B2 (ja) 情報処理装置、情報処理方法、プログラム及び電子装置
US11405535B2 (en) Quad color filter array camera sensor configurations
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
CN106254785B (zh) 图像传感器及用于改进非可见照明的方法
JP2007122237A (ja) 偽造判定用撮像装置及び個人識別装置
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
TWI625588B (zh) Camera control device
JP2012002541A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP5573209B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP6462594B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP7386703B2 (ja) ビネッティングの補償
WO2022138064A1 (ja) 生体認証システムおよび生体認証方法
JP3785148B2 (ja) 画像抽出装置
JP2006127539A (ja) 画像抽出装置
KR101120568B1 (ko) 다중 스펙트럼 전자기파의 영상 촬영 시스템 및 다중 스펙트럼 전자기파의 영상 촬영 방법
JP2011014128A (ja) 情報処理装置、情報処理方法及びプログラム
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
CN212484401U (zh) 图像传感装置和电子设备
WO2020149226A1 (ja) 撮像装置組立体、３次元形状測定装置及び動き検出装置
JP2012058094A (ja) 画像処理装置及び電子装置
JP2011109237A (ja) 情報処理装置、情報処理方法、及び電子機器

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131105