CN102266218A - 图像处理装置、图像处理方法、程序及电子装置 - Google Patents

图像处理装置、图像处理方法、程序及电子装置 Download PDF

Info

Publication number
CN102266218A
CN102266218A CN2011101413667A CN201110141366A CN102266218A CN 102266218 A CN102266218 A CN 102266218A CN 2011101413667 A CN2011101413667 A CN 2011101413667A CN 201110141366 A CN201110141366 A CN 201110141366A CN 102266218 A CN102266218 A CN 102266218A
Authority
CN
China
Prior art keywords
image
wavelength
light
pixel
receiving element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101413667A
Other languages
English (en)
Inventor
安藤正博
椛泽秀年
清水隆范
三谷论司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102266218A publication Critical patent/CN102266218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理装置、图像处理方法、程序及电子装置。一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括：照射部，用第一和第二波长光照射被摄物；第一生成部，安装有至少具有接收第一波长光的第一光接收元件和接收第二波长光的第二光接收元件的图像传感器，并基于当用第一和第二波长光照射被摄物被时，入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成第一镶嵌图像的各个像素中，生成通过第一内插处理所获得的第一图像以及通过第二内插处理所获得的第二图像；以及检测部，基于第一和第二图像检测皮肤区域。

Description

图像处理装置、图像处理方法、程序及电子装置
背景技术
本发明涉及图像处理装置、图像处理方法、程序及电子装置，具体地，涉及在基于所摄像图像检测到诸如人手的皮肤暴露的部分的情况下适当使用的图像处理装置、图像处理方法、程序及电子装置。
已经提出了一种皮肤检测技术，其中，从通过对人进行摄像而获得的图像中检测诸如脸或手的皮肤暴露的区域(下文中，称为“皮肤区域”)(例如，参照日本未审查专利申请公开第2006-47067号)。
在这种皮肤检测技术中，获得通过在用波长λ1的光进行照射的状态下对被摄物(人)进行摄像所获得的第一图像，以及通过在用比波长λ1长的波长λ2的光进行照射的状态下对被摄物进行摄像所获得的第二图像。此外，通过从第一图像的亮度值中减去第二图像的亮度值而获得的差分大于预定阈值的区域，被检测为皮肤区域。
根据人类皮肤的反射特性来确定波长λ1和λ2。即，确定波长λ1和λ2，使得当照射人类皮肤时，其反射率彼此不同，并且当照射除了人类皮肤之外的其它部分(例如，头发或衣服)时，其反射率大致相同。具体地，例如，波长λ1为870nm，并且波长λ2为950nm。
发明内容
通常，在皮肤检测技术中，如图34所示，波长λ1的光和波长λ2的光交替照射被摄物，并且对被摄物进行摄像，以获得第一图像和第二图像。
但是，在这种情况下，如果被摄物移动，则由于被摄物位置在第一图像和第二图像中变化，所以很难高精度地执行皮肤检测。
因此，优选地，即使在被摄物移动的情况下，仍高精度地检测皮肤区域。
根据本发明的实施方式，提供了一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括：照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件以及接收第二波长的光的第二光接收元件的图像传感器，并基于当用第一和第二波长的光照射被摄物时，入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及检测部，基于第一和第二图像检测皮肤区域。
第一生成部可以基于入射至图像传感器的、来自被摄物的反射光来生成第一镶嵌图像，改图像传感器包括第一和第二光接收元件、接收R(红色)成分的第三光接收元件、接收G(绿色)成分的第四光接收元件及接收B(蓝色)成分的第五光接收元件。
第一生成部可以基于当没有用第一和第二波长的光照射被摄物时，入射至图像传感器的、来自被摄物的反射光来生成第二镶嵌图像，并且第二生成部可以在构成第二镶嵌图像的各个像素中，基于对应于第三至第五光接收元件中的每个的像素的像素值，生成通过第三内插处理所获得的RGB图像。此外，图像处理装置可以包括调整部，该调整部基于RGB图像，在满足用于检测皮肤区域的皮肤可检测条件的范围内调整第一生成部的参数。
第一生成部可以通过根据预定参数对被摄物进行摄像来生成第一镶嵌图像，以及调整部可以在满足构成RGB图像的像素的亮度值和基于亮度值所计算的计算值中的一个变为小于等于RGB图像所能获得的最大亮度值的一半的皮肤可检测条件的范围内，调整第一生成部的参数。
图像处理装置可以还包括：第一入射限制部，限制除第一波长之外的波长的光的入射，并且使第一波长的光透过；以及第二入射限制部，限制除第二波长之外的波长的光的入射，并且使第二波长的光透过。第一生成部安装有至少具有接收通过第一入射限制部获得的第一波长的光的第一光接收元件以及接收通过第二入射限制部获得的第二波长的光的第二光接收元件的图像传感器。
第一生成部可以基于当没有用第一和第二波长的光照射被摄物被时，入射至图像传感器的、来自被摄物的反射光，生成第二镶嵌图像，并且第二生成部可以在构成第二镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第四内插处理所获得的第三图像。此外，检测部可以第三图像的所有区域中，检测包括如下像素的预定区域，在该像素中，构成第三图像的每个像素的像素值大于等于预定阈值。
图像处理装置可以还包括控制照射部的照射的控制部，并且在控制部的控制下执行照射部的照射的情况下，检测部基于第二生成部生成的第一和第二图像来检测皮肤区域，并且在控制部的控制下不执行照射部的照射的情况下，检测部基于第二生成部生成的第三图像来检测预定区域。
根据本发明另一个实施方式，提供了一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置的图像处理方法，图像处理装置包括：照射部；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件以及接收与第一波长不同的第二波长的光的第二光接收元件的图像传感器；第二生成部；以及检测部；方法包括：通过照射部，用第一波长的光和第二波长的光照射被摄物；通过第一生成部，当用第一和第二波长的光照射被摄物时，基于入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；通过第二生成部，在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及通过检测部，基于第一和第二图像，检测皮肤区域。
根据本发明再一个实施方式，提供了一种程序，使控制从图像中检测表示人类皮肤的皮肤区域的图像处理装置的计算机具有如下各项功能，图像处理装置包括：照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；以及第一生成部，安装有至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器，并且当用第一和第二波长的光照射被摄物时，基于入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像，各项功能包括：第二生成部，在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及检测部，基于第一和第二图像，检测皮肤区域。
根据上述实施方式，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；基于当用第一和第二波长的光照射被摄物时，入射至至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，并且在构成第一镶嵌图像的各个像素中，基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；并且基于所生成的第一和第二图像检测皮肤区域。
根据本发明再一个实施方式，一种从图像中检测表示人类皮肤的皮肤区域的电子装置，包括：照射部，用
第一波长的光和与第一波长不同的第二波长的光照射被摄物；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器，并且当用第一和第二波长的光照射被摄物时，基于入射至图像传感器的来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；检测部，基于第一和第二图像，检测皮肤区域；以及执行部，根据所检测的皮肤区域执行处理。
根据上述实施方式，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；基于当以第一和第二波长的光照射被摄物时，入射至至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，并且在构成第一镶嵌图像的各个像素中，基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；并且基于第一和第二图像检测皮肤区域。此外，根据所检测的皮肤区域执行处理。
根据本发明再一个实施方式，一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置包括：照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并生成基于第二波长的光的第二图像；以及检测部，基于所生成的第一和第二图像检测皮肤区域。此处，照射部根据预定频率改变第一波长光的亮度和第二波长光的亮度，从而照射被摄物，并且摄像部提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。
照射部可以根据预定频率交替地改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物，以及摄像部可以提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的交流成分，从而生成第一和第二图像。
照射部可以同时执行根据第一频率交替改变第一波长的光的亮度从而照射被摄物的处理以及根据与第一频率不同的第二频率交替改变第二波长的光的亮度从而照射被摄物的处理，以及摄像部通过提取在用第一和第二波长的光照射的状态下通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第一频率的交流成分来生成第一图像，并且通过提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第二频率的交流成分来生成第二图像。
照射部可以交替执行根据第三频率交替改变第一波长的光的亮度从而照射被摄物的处理以及根据第三频率交替改变第二波长的光的亮度从而照射被摄物的处理，以及摄像部可以通过提取在用第一波长的光照射的状态下通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第三频率的交流成分来生成第一图像，并且通过提取在用第二波长的光照射的状态下通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第三频率的交流成分来生成第二图像。
根据本发明再一个实施方式，一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置的图像处理方法，图像处理装置包括：照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并且生成基于第二波长的光的第二图像；以及检测部，根据所生成的第一和第二图像检测皮肤区域；方法包括：通过照射部，根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物；以及通过摄像部，提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分来生成第一和第二图像。
根据本发明再一个实施方式，一种用于控制从图像中检测表示人类皮肤的皮肤区域的图像处理装置的程序，图像处理装置包括：照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并且生成基于第二波长的光的第二图像；以及检测部，根据所生成的第一和第二图像检测皮肤区域，程序使图像处理装置的计算机执行包括以下步骤的处理：通过控制照射部，根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物；以及通过控制摄像部，提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。
在上述实施方式中，根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物，并且提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分来生成第一和第二图像。
根据本发明再一个实施方式，提供了一种从图像中检测表示人类皮肤的皮肤区域电子装置，包括：照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并且生成基于第二波长的光的第二图像；检测部，基于所生成的第一和第二图像，检测皮肤区域，以及执行部，根据所检测的皮肤区域执行处理。此处，照射部根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物，以及摄像部提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。
在上述实施方式中，根据预定频率改变第一波长光的亮度和第二波长光的亮度，从而照射被摄物，并且提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。
根据上述实施方式，能够高精度地检测皮肤区域。
附图说明
图1是示出了根据本发明的信息处理系统的结构实例的框图；
图2是示出了人类皮肤的光谱反射特性的实例的示图；
图3是示出了图像传感器中所安装的滤光板的第一实例的示图；
图4是示出了在图3的滤光板中的光透过特性的实例的示图；
图5是示出了图像处理装置的结构实例的示图；
图6是示出了通过计算部和二值化部所执行的处理的细节的示图；
图7是示出了皮肤检测处理的流程图；
图8是示出了图像传感器中所安装的滤光板的第二实例的示图；
图9是示出了在图8的滤光板中的光透过特性的实例的示图；
图10是示出了在外部光图像中直方图的第一实例的示图；
图11是示出了皮肤检测调整处理的流程图；
图12是示出了外部光图像中的直方图的第二实例的示图；
图13是示出了外部光图像中的直方图的第三实例的示图；
图14是示出了现有技术的R、G以及B滤光片的透过特性的实例的示图；
图15是示出了现有技术的IR截止滤光片的透过特性的实例的示图；
图16是示出了将现有技术中的IR截止滤光片安装在现有技术的R、G以及B滤光片中的情况下所获得的透过特性的实例的示图；
图17是示出了安装在图像传感器中的滤光板的第三实例的示图；
图18是示出了根据拜耳(Bayer)排列所排列的滤光板的实例的示图；
图19是示出了安装有λ1滤光片和λ2滤光片的IR截止滤光片的实例的示图；
图20是示出了安装在图像传感器中的滤光板的第四实例的示图；
图21是示出了根据本发明的小模块的实例的示图；
图22是示出了安装有小模块被安装的电视机的实例的示图；
图23是示出了LED检测处理的流程图；
图24是示出了LED检测调整处理的流程图；
图25A～图25D是示出了显示在显示器上的图像的实例的示图；
图26是示出了与对应于第一实施方式的亮度变化不相关的照射和摄像的时序的示图；
图27是示出了与对应于第四实施方式的亮度变化相关的照射和摄像的时序的示图；
图28是示出了根据第四实施方式的CMOS图像传感器的结构实例的框图；
图29是示出了根据第四实施方式的λ1图像和λ2图像的生成处理的流程图；
图30是示出了与对应于第五实施方式的亮度变化相关的照射和摄像的时序的示图；
图31是示出了根据第五实施方式的CMOS图像传感器的结构实例的框图；
图32是示出了根据第五实施方式的λ1图像和λ2图像的生成处理的流程图；
图33示出了计算机的结构实例的框图；以及
图34是示出了在现有技术的皮肤检测技术中的照射和摄像时序的示图。
具体实施方式
下文中，将描述本发明的实施方式。将按照下面的顺序进行描述。
1.第一实施方式(在从镶嵌图像生成λ1图像和λ2图像的情况下的实例)
2.第二实施方式(在基于外部光图像调整相机22的增益的情况下的实例)
3.第三实施方式(检测LED位置的电视机的实例)
4.第四实施方式(在以不同频率交替(alternately)改变具有波长λ1的光的亮度和具有波长λ2的光的亮度用于同时照射的情况下的实例)
5.第五实施方式(在以相同频率交替改变具有波长λ1的光的亮度和具有波长λ2的光的亮度用于交替照射的情况下的实例)
1.第一实施方式
[信息处理系统1的结构实例]
图1是示出了根据本发明实施方式的信息处理系统1的结构实例的示图。
信息处理系统1根据使用用户手部的手势(或姿态)执行预定处理，并且包括发光装置21、相机22及图像处理装置23。
为了允许信息处理系统1执行预定处理，用户在相机22的透镜表面前面改变他们手的形状或移动他们的手。
此时，信息处理系统1识别用户手的形状或移动，并根据识别结果执行预定处理。
在第一实施方式中，假设用户在相机22的透镜表面的前面改变他们手的形状，并且用户将他们的手置于比他们面部、胸部等更接近相机22的透镜表面的位置并执行诸如他们手的形状的改变或移动他们手的动作。
发光装置21包括发射波长λ1的光(例如，870[nm]的近红外光)的LED(发光二极管)21a1和LED 21a2，以及发射与波长λ1不同的波长λ2的光(例如，950[nm]的近红外光)的LED 21b1和LED 21b2。
下文中，在不需要在LED 21a1和LED 21a2之间进行区分的情况下，将其简称作“LED 21a”，并且在不需要在LED 21b1和LED 21b2之间进行区分的情况下，将其简称作“LED 21b”。LED 21a的数目和LED 21b的数目分别不限于2个。
发光装置21允许LED 21a和LED 21b在图像处理装置23的控制下例如同时发光。
在使用波长λ1或λ2的光照射对波长λ1和λ2具有相同反射率的被摄物(例如，具有100[％]反射率的镜面等)的情况下，调整LED 21a和LED21b的光输出，使得通过相机22的摄像所获得的图像中的对应像素的亮度值相同。
此外，在LED 21a中波长λ1和LED 21b中波长λ2的组合中，例如，当用波长λ1的光照射人类皮肤时的反射率大于当用波长λ2的光照射人类皮肤时的反射率，并且当用光照射除人类皮肤之外的某物时的反射率几乎不改变。即，基于人类皮肤的光谱反射特性确定组合。
接下来，图2示出了人类皮肤的光谱反射特性。
不管人类皮肤的颜色(人种差异)或状态(晒黑等)等的差异，光谱反射特性具有一般性。
在图2中，横轴表示照射人类皮肤的照射光的波长，并且纵轴表示照射人类皮肤的照射光的反射率。
总所周知，照射人类皮肤的照射光的反射率在800[nm]波长附近有峰，从约900[nm]的波长快速降低，在1000[nm]波长附近具有最小值，随后再次增大。
具体地，例如，如图2所示，通过用870[nm]波长的光照射人类皮肤所获得的反射光的反射率约为63[％]，并且通过用950[nm]波长的光照射人类皮肤所获得的反射光的反射率约为50[％]。
这是人类皮肤所特有的。在除人类皮肤之外的被摄物(例如，头发、衣服等)的情况下，反射率的变化在800～1000[nm]附近主要是平滑的。
在第一实施方式中，在光谱反射特性方面，例如，将波长λ1为870[nm]并且波长λ2为950[nm]的组合用作波长λ1和波长λ2的组合。在该组合中，人类皮肤反射率之间的差异变得比较大，并且除人类皮肤之外的部分的反射率之间的差异变得比较小。
波长λ1和波长λ2的组合不限于870[nm]的波长和950[nm]的波长，例如，只要组合满足下述关系，就可以采用任意组合。
λ1＜λ2
630[nm]≤λ1≤1000[nm]
900[nm]≤λ2≤1100[nm]
返回图1，相机22除了透镜之外还包括诸如CCD或CMOS的图像传感器。
如图3所示，将棋盘状地排列λ1滤光片(对应于图3中的“1”)和λ2滤光片(对应于图3中的“2”)的滤光板31安装在相机22的图像传感器的正面。
如图4所示，λ1滤光片具有发光光谱的峰值波长为λ1(此处，λ1＝870[nm])的透过光(波长λ1的光)的透过特性。此外，λ2滤光片具有发光光谱的峰值波长为λ2(此处，λ2＝950[nm])的透过光(波长λ2的光)的透过特性。
因此，相机22在构成图像传感器的多个光接收元件中仅接收波长λ1的光和波长λ2的光。此外，在构成图像传感器的多个光接收元件中，安装有λ1滤光片的光接收元件对所接收的波长λ1的光进行光电转换，以获得像素值×(λ1)作为对应于光接收元件的像素的像素值。此外，在构成图像传感器的多个光接收元件中，安装有λ2滤光片的光接收元件对所接收的波长λ2的光进行光电转换，以获得像素值×(λ2)作为对应于光接收元件的像素的像素值。
即，相机22的图像传感器生成镶嵌图像，其中，棋盘状地排列通过对所接收的波长λ1的光进行光电转换而获得的具有像素值×(λ1)的像素，以及通过对所接收的波长λ2的光进行光电转换而获得的具有像素值×(λ2)的像素。
随后，相机22使用在构成镶嵌图像的各个像素的像素值中对应于安装有λ1滤光片的光接收元件的像素的像素值×(λ1)，执行将接收到波长λ1的光的情况下所获得的像素值×(λ1)内插在对应于安装有λ2滤光片的光接收元件的像素中的λ1内插处理，并将作为结果而获得的λ1图像提供至图像处理装置23。
此外，相机22使用在构成镶嵌图像的各个像素的像素值中对应于安装有λ2滤光片的光接收元件的像素的像素值×(λ2)，执行将在接收到波长λ2的光的情况下所获得的像素值×(λ2)内插在对应于安装有λ1滤光片的光接收元件的像素中的λ2内插处理，并将作为结果而获得的λ2图像提供至图像处理装置23。
图像处理装置23基于从相机22提供的λ1图像和λ2图像，计算通过从构成λ1图像的像素的像素值(例如，亮度值)中减去对应于构成λ1图像的像素的、构成λ2图像的像素的像素值所获得的差分。
随后，图像处理装置23基于所计算的差分检测λ1图像(或λ2图像)上的皮肤区域。图像处理装置23基于所检测的皮肤区域来识别用户手的形状等，并且根据识别结果执行预定处理。
[图像处理装置23的结构实例]
图5示出了图像处理装置23的结构实例。
图像处理装置23包括控制部41、计算部42以及二值化部43。
控制部41控制相机22的摄像时序及摄像时间，以及发光装置23的发光时序和发光时间。此外，例如，控制部41控制计算部42和二值化部43。
计算部42使用LPF(低通滤波器)对来自相机22的λ1图像和λ2图像执行平滑处理。随后，计算部42在平滑处理之后计算λ1图像和λ2图像之间的差分，并且将通过将所计算的差分用作像素值的像素所构成的差分图像提供至二值化部43。
在这方面，相机22可以将所生成的镶嵌图像提供至计算部42，并且计算部42可以通过对来自相机22的镶嵌图像执行λ1内插处理来生成λ1图像，并且可以通过对来自相机22的镶嵌图像执行λ2内插处理来生成λ2图像。随后，计算部42可以使用LPF对所计算的λ1图像和λ2图像执行平滑处理等。
二值化部43对来自计算部42的差分图像进行二值化，基于作为结果而获得的二值化皮肤图像，检测λ1图像(或λ2图像)上的皮肤区域，并且将检测结果提供至控制部41。
此处，构成差分图像63的像素的像素值也可以通过构成λ1图像61的像素中的对应像素的亮度值来归一化(相除)，用于二值化。此外，二值化部43也可以使用λ2图像62代替λ1图像61来对差分图像63进行归一化，用于二值化。
图6示出了通过计算部42和二值化部43所执行的处理的细节。
将包括皮肤区域61a和非皮肤区域61b(除皮肤区域61a之外的区域)的λ1图像61以及包括皮肤区域62a和非皮肤区域62b(除皮肤区域62a之外的区域)的λ2图像62，从相机22提供至计算部42。
计算部42使用LPF对从相机22提供的λ1图像61和λ2图像62执行平滑处理。随后，计算部42计算在平滑处理之后的λ1图像61与平滑处理之后的λ2图像62中对应像素的像素值(例如，亮度值)之间的差分，产生将差分用作像素值的差分图像63，随后，将结果提供至二值化部43。
二值化部43对来自计算部42的差分图像63执行二值化，其中，在构成差分图像63的像素的像素值中，将大于等于用于二值化的二值化阈值的像素值设定为“1”，并且将小于等于二值化阈值的像素值设定为“0”。
此处，由于差分图像63中的皮肤区域63a包括将皮肤区域61a与皮肤区域62a之间的差分用作像素值的像素，所以构成皮肤区域63a的像素的像素值比较大。
此外，由于差分图像63中的非皮肤区域63b包括将非皮肤区域61b与非皮肤区域62b之间的差分用作像素值的像素，所以构成非皮肤区域63b的像素的像素值比较小。
因此，通过二值化部43所执行的二值化，差分图像63被转换成包括构成皮肤区域63a的像素的像素值被设定为“1”的皮肤区域64a以及构成非皮肤区域63b的像素的像素值被设定为“0”的非皮肤区域64b的二值化皮肤图像64。
此外，二值化部43将通过二值化所获得的二值化皮肤区域64上的皮肤区域64a提供至控制部41。
[通过信息处理系统1执行的皮肤检测处理的细节]
接下来，将参照图7的流程图描述通过信息处理系统1执行的皮肤检测处理。
在步骤S1中，LED 21a和LED 21b在控制部41的控制下以相同的照射时序来照射被摄物。相机22接收从使用来自LED 21a的波长λ1的光以及来自LED 21b的波长λ2的光照射的被摄物所反射的光，并且对所接收的反射光进行光电转换，从而生成镶嵌图像。
在步骤S2中，相机22基于所生成的镶嵌图像执行λ1内插处理，并且将作为结果而获得的λ1图像提供至计算部42。此外，相机22基于所生成的镶嵌图像执行λ2内插处理，并且将作为结果而获得的λ2图像提供至计算部42。
在步骤S3中，计算部42使用LPF对来自相机22的λ1图像和λ2图像执行平滑处理。随后，计算部42计算平滑处理后的λ2图像与λ2图像之间的差分，并且将包括将所计算的差分用作像素值的像素的差分图像提供至二值化部43。
在步骤S4中，二值化部43通过对来自计算部42的差分图像进行二值化来生成二值化皮肤图像。
在步骤S5中，二值化部43基于所生成的二值化皮肤图像来检测λ1图像(或λ2图像)上的皮肤区域，随后，将检测结果提供至控制部41。
在步骤S6中，控制部41根据来自二值化部43的检测结果执行处理，即，例如，根据来自二值化部43的皮肤区域的形状来变更诸如电视机(未示出)的频道的处理。这样，皮肤检测处理结束。
如上所述，在皮肤检测处理中，从通过将图3所示的滤光板31安装在相机22的图像传感器的正面所获得的镶嵌图像生成用于皮肤区域检测的λ1图像和λ2图像。
因此，不需要使LED 21a和LED 21b在皮肤检测处理中以不同时序发光，因此，很容易控制LED 21a和LED 21b。
此外，例如，在LED 21a和LED 21b以不同时序发光的情况下，可以防止λ1图像中被摄物的位置与λ2图像中被摄物的位置由于被摄物的移动而造成的不重合。
此外，例如，如在使用为了通过仅接收波长λ1的光来生成λ1图像而安装仅使波长λ1的光透过的第一透过滤光片的第一相机以及为了通过仅接收波长λ2的光来生成λ2图像而安装仅使波长λ2的光透过的第二透过滤光片的第二相机的情况一样，可以防止λ1图像和λ2图像中被摄物的位置由于不一致而不重合。
因此，在皮肤检测处理中，由于λ1图像和λ2图像中被摄物的位置没有不重合，所以可以防止皮肤检测的精度被劣化。
2.第二实施方式
但是，在使用图3所示的滤光板31的情况下，具有对应于所接收的波长λ1的光强度的灰度级的λ1图像以及具有对应于所接收的波长λ2的光强度的灰度级的λ2图像被获得，但是很难获得每个像素均包括R(红色)值、G(绿色)值及B(蓝色)值的RGB图像。
因此，作为安装在相机22的图像传感器的正面上的滤光板，除了λ1滤光板和λ2滤光板之外，还可以采用滤光板71，其中，安装有仅使R成分透过的R滤光片、仅使G成分透过的G滤光片以及仅使B成分透过的B滤光片。
[使用滤光板的排列的实例]
图8示出了安装有λ1滤光片、λ2滤光片、R滤光片、G滤光片以及B滤光片的滤光板71的实例。
在滤光板71中，如图8所示，将R滤光片(图8中的“R”)每隔两个像素排列在奇数行中，并且将λ1滤光片和λ2滤光片交替排列在R滤光片之间。此外，在滤光片71中，如图8所示，G滤光片(图8中的“G”)和B滤光片(图8中的“B”)交替排列在偶数行中。
即，通过用λ1滤光片或λ2滤光片代替在以所谓拜耳排列所排列的R滤光片、G滤光片以及B滤光片中被排列在奇数行中的G滤光片来获得滤光板71。
图9是示出了构成图8所示的滤光板71的每个滤光片的透过特性的实例的示图。在图9中，横轴表示波长，并且纵轴表示量子效率。
在相机22中，如果使用如图8所示的滤光板71，则对基于通过滤光板71所接收的反射光而生成的镶嵌图像执行RGB内插处理，从而使得可以生成RGB图像。
即，例如，相机22使用在构成所生成的镶嵌图像的各个像素的像素值中对应于安装有R滤光片的光接收元件的像素的像素值，将在接收到R成分的情况下所获得的像素值内插在对应于除安装有R滤光片之外的滤光片的光接收元件的像素中。
此外，例如，相机22使用在构成所生成的镶嵌图像的各个像素的像素值中对应于安装有G滤光片的光接收元件的像素的像素值，将在接收到G成分的情况下所获得的像素值内插在对应于除安装有G滤光片之外的滤光片的光接收元件的像素中。
此外，例如，相机22使用在构成所生成的镶嵌图像的各个像素的像素值中对应于安装有B滤光片的光接收元件的像素的像素值，将在接收到B成分的情况下所获得的像素值内插在对应于除安装有B滤光片之外的滤光片的光接收元件的像素中。
因此，相机22生成在每个像素中具有R值、G值以及B值的RGB图像。
以与安装有滤光板31的情况类似的方式，从镶嵌图像生成λ1图像和λ2图像。
此外，在图像处理装置23中，例如，在LED 21a和LED 21b关闭的状态下，基于根据通过相机22的摄像所获得的镶嵌图像而生成的RGB图像来调整相机22的增益等，因此，可以高精度地检测皮肤，而不会受到诸如日光或荧光的外部光的影响。
即，例如，相机22将在LED 21a和LED 21b关闭的状态下所获得的RGB图像提供至控制部41。
此外，控制部41基于来自相机22的RGB图像执行调整相机22的增益及发光装置21中LED 21a或LED 21b的照射光量的皮肤检测调整处理。
控制部41使用来自相机22的RGB图像作为外部光图像关于外部光图像来生成构成外部光图像的像素的像素值(例如，亮度值)的直方图，并基于所生成的直方图来调整相机22的增益。
即，例如，控制部41基于所生成的直方图，即使在λ1图像和λ2图像中生成的噪声、LED 21a和LED 21b的照射光量发生变化等的情况下，仍在能够高精度地检测皮肤区域的范围内调整相机22的增益，而不会发生相机22的饱和(雪盲，whiteout等)。
图10示出了通过控制部41生成的直方图的实例。
在图10中，横轴表示亮度值，纵轴表示外部光图像中具有横轴中亮度值的像素总数。此处，假设相机22生成将亮度值表示为28(＝256)的灰度级的外部光图像。因此，横轴表示从0至255范围内的亮度值。
控制部41基于来自相机22的外部光图像生成如图10所示的直方图，并基于所生成的直方图来计算表示构成外部光图像的像素的亮度值的平均值的平均亮度值。
随后，例如，控制部41基于所计算的平均亮度值，在能够高精度地检测皮肤区域的范围内(具体地，在所计算的平均亮度值变得小于等于能够通过外部光图像获得的最大亮度值的一半的范围内)调整相机22的增益。
优选地，控制部41调整相机22的增益，使得所计算的平均亮度值变为能够通过外部光图像获得的最大亮度值的一半的亮度值。
即，例如，如图10所示，在计算出平均亮度值165(通过图10中的粗垂直线表示)的情况下，控制部41调整增益，使得平均亮度值165变为能够通过外部光图像获得的最大亮度值255的一半的亮度值127(通过图10中的粗虚线表示)。
在调整增益之后，控制部41控制发光装置21的LED 21a和LED 21b，允许LED 21a和LED 21b同时发光。此外，控制部41控制相机22，通过相机22对被摄物执行摄像，并将从相机22输出的λ1图像和λ2图像提供至计算部42。
此外，控制部41控制计算部42和二值化部43，以基于λ1图像和λ2图像来检测皮肤区域。
在从二值化部43获得表示可以检测皮肤区域的检测结果作为皮肤区域的检测结果的情况下，控制部41执行减小LED 21a和LED 21b的照射光量的调整，以获得能够高精度地检测皮肤区域的必要最小照射光量。
此外，由于随着LED 21a和LED 21b的照射光量的过度减少而检测不到皮肤区域，所以在从二值化部43获得表示检测不到皮肤区域检测结果作为皮肤区域的检测结果的情况下，控制部41将相机22的增益调整至大于当前增益的增益，使得能够检测到皮肤区域。
在相机22的增益和LED 21a和LED 21b的照射光量调整之后，为了执行基于皮肤区域的检测结果的处理，控制部41控制计算部42和二值化部43，以执行基于λ1图像和λ2图像的皮肤区域检测。
随后，控制部41执行基于来自二值化部43的皮肤区域检测结果的处理。即，例如，控制部41基于来自二值化部43的检测结果来识别用户的手势或姿态，并执行对应于所识别的手势等的处理。
[通过图像处理装置23执行的皮肤检测调整处理的细节]
接下来，将参照图11中的流程图描述通过图像处理装置23执行的皮肤检测调整处理。
在步骤S31中，控制部41控制发光装置21和相机22，在发光装置21的LED 21a和LED 21b关闭的状态下，通过相机22执行被摄物的摄像，并且获得通过摄像获得的镶嵌图像。
随后，相机22使用在构成镶嵌图像的各个像素的像素值中具有R值、G值以及B值中的任意一个的像素值，对所获得的镶嵌图像执行RGB内插处理，并将作为结果而获得的RGB图像提供至控制部41作为外部光图像。
在步骤32中，例如，控制部41基于来自相机22的外部光图像生成直方图，并且基于所生成的直方图来计算构成外部光图像的像素的亮度值的平均亮度值。
随后，控制部41基于所计算的平均亮度值来调整相机22的增益，使得所计算的平均亮度值变得小于等于能够通过外部光图像获得的最大亮度值的一半。
优选地，控制部41调整相机22的增益，使得所计算的平均亮度值变为能够通过外部光图像获得的最大亮度值的一半的亮度值。
在步骤S33中，执行图7中的皮肤检测处理。具体地，例如，相机22在LED 21a和LED 21b接通的状态下执行被摄物的摄像。随后，相机22将通过对作为结果而获得的镶嵌图像执行λ1内插处理所获得的λ1图像以及通过执行λ2内插处理所获得的λ2图像提供至计算部42。
计算部42基于来自相机22的λ1图像和λ2图像生成差分图像，并将其提供至二值化部43。二值化部43将来自计算部42的差分图像转换成二值化皮肤图像，并基于转换后的二值化皮肤图像，测试皮肤区域检测。
随后，二值化部43将表示是否能够检测皮肤区域的检测结果提供至控制部41。
在步骤S34中，控制部41基于来自二值化部43的检测结果确定是否能够检测皮肤区域，并且在确定无法检测皮肤区域的情况下，处理前进至步骤S35。
在步骤S35中，控制部41确定在步骤S32中所调整的增益是否为可调整的最大增益，并且在确定其不是最大增益的情况下，处理前进至步骤S36。
在步骤S36中，控制部41控制相机22，将相机22的增益调整至大于当前所设定的增益，随后，处理返回至步骤S33。随后，计算部42获得调整增益之后通过相机22的摄像最新提供的λ1图像和λ2图像，随后，执行相同的处理。
此外，在步骤S35中确定在步骤S32中所调整的增益为可调整的最大增益的情况下，由于控制部41不能将增益调整的大于最大增益，所以处理前进至步骤S37。
在步骤S37中，控制部41控制发光装置21，将LED 21a和LED 21b的照射光量初始化为预定值，随后，处理返回至步骤S31。随后，控制部41重新执行皮肤检测调整处理。
即，在处理前进至步骤S37的情况下，由于考虑到在步骤S39(将在随后描述)中随着LED 21a和LED 21b的照射光量过度减小而检测不到皮肤区域，所以LED 21a和LED 21b的照射光量被初始化为预定值，以重新执行皮肤检测调整处理。
另一方面，在步骤S34中确定控制部41能够基于来自二值化部43的检测结果检测皮肤区域的情况下，处理前进至步骤S38。在这种情况下，二值化部43将表示能够检测皮肤区域的检测结果、所生成的二值化皮肤图像以及来自计算部42的差分图像提供至控制部41。
在步骤S38中，控制部41基于来自二值化部43的二值化皮肤图像和差分图像，确定LED 21a和LED 21b的照射光量是否为检测皮肤区域的必要最小照射光量。
即，例如，控制部41基于来自二值化部43的二值化皮肤图像从来自二值化部43的差分图像中提取对应于二值化皮肤图像上的皮肤区域(例如，包括像素值为“1”的像素的区域)的皮肤区域。
此外，在构成所提取的差分图像上的皮肤区域的像素的像素值几乎与皮肤可检测值(充分大于构成来自计算部42的差分图像上的非皮肤区域的像素的像素值的值)相同的情况下，控制部41确定LED 21a和LED 21b的照射光量为必要最小照射光量，并且在构成所提取的差分图像上的皮肤区域的像素的像素值大于皮肤可检测值的情况下，控制部41确定LED 21a和LED 21b的照射光量不是必要最小照射光量。
具体地，例如，在构成所提取的差分图像上的皮肤区域的像素的像素值的平均值几乎与皮肤可检测值相同的情况下，控制部41确定LED 21a和LED 21b的照射光量为必要最小照射光量，并且在构成所提取的差分图像上的皮肤区域的像素的像素值的平均值大于皮肤可检测值的情况下，控制部41确定LED 21a和LED 21b的照射光量不是必要最小照射光量。
在步骤S38中，在控制部41确定LED 21a和LED 21b的照射光量不是皮肤区域检测的必要最小照射光量的情况下，处理前进至步骤S39。
在步骤S39中，控制部41控制发光装置21执行减小LED 21a和LED21b的照射光量、使其变为用于皮肤区域检测的必要最小照射光量的调整。
即，例如，控制部41调整LED 21a和LED 21b的照射光量，使得构成通过相机22的摄像所获得的λ1图像和λ2图像上皮肤区域的像素的亮度值变为能够以高精度检测皮肤区域的必要最小亮度值，即，使得构成差分图像上的皮肤区域的像素的像素值的平均值变得几乎与皮肤可检测值相同。
在步骤S39中的处理结束之后，控制部41使处理返回步骤S33。在步骤S33中，计算部42通过根据调整了照射光量的LED 21a和LED 21b的接通来执行相机22的摄像而获得从相机22输出的λ1图像和λ2图像，随后，执行相同的处理。
在步骤S38中确定了LED 21a和LED 21b的照射光量为皮肤区域检测的必要最小照射光量的情况下，控制部41结束皮肤检测调整处理，随后，执行图7中所示的皮肤检测处理。
在上述皮肤检测调整处理中，例如，控制部41调整相机22的增益，使得构成外部光图像的像素的亮度值的平均亮度值变为作为通过相机22的摄像所获得的最大亮度值的一半的亮度值。
在这种情况下，由于增益能够在能够以高精度检测皮肤区域的范围内被调整为最大，具体地，例如，在所计算的平均亮度值变得小于等于能够通过外部光图像获得的最大亮度值的一半的情况下，所以控制部41能够扩展(在维持皮肤区域的检测精度的同时，能够检测皮肤区域的)可检测距离。
此外，在皮肤检测调整处理中，由于为了获得皮肤区域检测的必要最小照射光量而减小了LED 21a和LED 21b的照射光量，所以可以在维持皮肤区域的检测精度的同时，降低LED 21a和LED 21b的照射所需电力，从而实现节能，。
[第二实施方式的变形例]
在皮肤检测调整处理中，控制部41基于来自相机22的外部光图像的直方图来生成外部光图像的平均亮度值，并且基于所生成的平均亮度值来调整相机22的增益，但是相机22的增益的调整方法不限于此。
即，例如，如图12所示，控制部41也可以调整相机22的增益，使得当表示在基于来自相机22的外部光图像所生成的直方图中像素数最大时的亮度值的峰值(此处，172)变得小于等于能够通过外部光图像获得的最大亮度值的一半。
在图12所示的情况下，当亮度值255变为峰值时，控制部41可以计算除了亮度值为255(饱和)的部分之外的峰值，并且可以基于所计算的峰值来调整相机22的增益。
此外，例如，如图13所示，控制部41可以调整相机22的增益，使得基于表示通过在基于来自相机22的外部光图像所生成的直方图中具有小亮度值的像素连续累加(相加)所获得的像素数的像素累加数所指定的亮度值变为小于等于能够通过外部光图像获得的最大亮度值的一半。
即，例如，控制部41能够调整相机22的增益，使得当像素累加数变为对应于直方图中总像素数的80％的像素数时，所累加像素的亮度值(此处，202)变得小于等于能够通过外部光图像获得的最大亮度值的一半。
此外，在皮肤检测调整处理中，控制部41基于外部光图像的直方图调整相机22的增益，但是，可以调整相机22的增益、光接收灵敏度以及曝光(光接收)时间等中的至少一个。
但是，在第一实施方式中，为了获得如图9所示的透过特性，准备R滤光片、G滤光片以及B滤光片，并且准备图8所示的滤光板71，但是，也可以通过使用现有技术的R滤光片、G滤光片以及B滤光片构成具有如图9所示的透过特性的滤光板71。
接下来，将参照图14～图16描述使用现有技术的R滤光片、G滤光片以及B滤光片来准备与图9所示的滤光板71的R滤光片、G滤光片以及B滤光片相同的滤光片的情况。
图14示出了现有技术的R滤光片、G滤光片以及B滤光片的透过特性的实例。
图15示出了通过现有技术的IR(红外)截止滤光片遮挡的波长的实例。如图15所示，现有技术的IR截止滤光片遮挡约800[nm]以上波长的红外光(参照图15所示的两点虚线的右侧)，而使波长短于约800[nm]的光透过(参照图15所示的两点虚线的左侧)。
图16示出了在现有技术的R滤光片、G滤光片以及B滤光片的各正面上安装现有技术的IR截止滤光片的情况下的透过特性的实例。
由此，可以通过在现有技术的R滤光片、G滤光片以及B滤光片的各正面上安装现有技术的IR截止滤光片，来实现具有如图16所示透过特性的R滤光片、G滤光片以及B滤光片。
此外，如果将现有技术的IR截止滤光片安装在现有技术的R滤光片、G滤光片以及B滤光片的各正面，并且如图8所示地排列λ1滤光片和λ1滤光片，则可以实现具有图9所示的透过特性的滤光板71。
在这种情况下，由于使用现有技术的R滤光片、G滤光片、B滤光片以及IR截止滤光片，所以可以轻松实现滤光板71，无需为了获得如图9所示的透过特性而重新准备R滤光片、G滤光片以及B滤光片。
滤光板中R滤光片、G滤光片、B滤光片、λ1滤光片以及λ2滤光片不限于如图8所示的排列，并且例如，可以准备具有如图17所示的排列的新的滤光板81。
此外，通过事实上使用具有现有技术的拜耳排列的滤光板，可以实现具有如图9所示的透过特性的滤光板。
接下来，将参照图18～图20描述在按照原状使用现有技术的拜耳排列的滤光板来实现具有如图9所示的透过特性的滤光板的情况下的实例。
图18示出了以现有技术的拜耳排列来排列的滤光板91的实例。
在滤光板91中，棋盘状地排列G滤光片(对应于图18中的“G”)，在奇数列中将R滤光片(对应于图18中的“R”)交替排列在G滤光片之间，并且在偶数列中将B滤光片(对应于图18中的“B”)交替排列在G滤光片之间。
作为在滤光板91上包括水平方向上的两个滤光片和垂直方向上的两个滤光片的四个滤光片，存在一个R滤光片、一个B滤光片以及两个G滤光片，并且G滤光片比R滤光片和B滤光片多一个滤光片。这是因为，对应于G成分的绿色比较难被人看见。
图19示出了安装有λ1滤光片和λ2滤光片的IR截止滤光片92的实例。
在IR截止滤光片92中，分别以间隔一个像素的状态棋盘式地排列λ1滤光片(图19中的IR 870)和λ2滤光片(图19中的IR 950)。在IR截止滤光片92中，未安装λ1滤光片和λ2滤光片的部分(图19中的空白)具有如图15所示的透过(遮挡)特性的IR截止滤光片的功能。
通过以IR截止滤光片92覆盖滤光板91的正面来建立如图20所示的滤光板93。滤光板93具有如图9所示的透过特性。
信息处理系统1可以小型化，以便安装在诸如电视机的电子设备中。
图21示出了作为小型化的信息处理系统1的小模块1′的实例。
小模块1′包括：透镜101，校正来自构成光源组102(随后将被描述)的LED的光，从而照射被摄物；光源组102，具有多个LED 21a和LED 21b；基板103，包括构成光源组102的多个LED 21a和LED 21b被排列在其上的光源基板103a以及相机104及图像处理部105(随后将被描述)被排列在其上的处理基板103b；相机104，以与图1中相机22类似的方式构成；图像处理部105，以与图1中的图像处理装置23类似的方式构成；以及支撑组件106，支撑透镜101、光源基板103a以及处理基板103b。
如图22所示，例如，将小模块1′安装在电视机141的显示器141a的上面，并执行识别在电视机141的显示器141a的前面出现的用户手部的形状等以及基于识别结果改变电视机141的音量、频道等的处理。
3.第三实施方式
但是，安装有小模块1′的电视机141可以具有检测用于电视机141的操作的遥控器121的位置的位置检测装置，以及检测皮肤的皮肤检测装置的功能。
图22示出了具有位置检测装置功能的电视机141的结构实例。
电视机141在显示电视节目的显示器141a上安装有小模块1′。
在电视机141中所安装的小模块1′基于通过被摄物的摄像所获得的λ1图像，检测用户所操作的遥控器121的位置。
即，例如，在用户移动遥控器121同时使从遥控器121的LED 121a发射波长λ1的光的情况下，小模块1′对被摄物进行摄像，并且对通过摄像所获得的镶嵌图像执行λ1内插处理，随后，检测在作为结果而获得的λ1图像中LED 121a的位置(遥控器121的位置)。
随后，小模块1′在对应于所检测的LED 121a的位置的显示器141a上的位置161中显示指针等。
[通过电视机141执行的LED检测处理]
接下来，将参照图23中的流程图描述通过安装在电视机141中的小模块1′执行的LED检测处理。
例如，在从遥控器121的LED 121a发射波长λ1的光的状态下，用户在上下左右方向上移动遥控器121，从而移动显示器141a上的指针。此外，在LED检测处理中，光源组102不变地处于关闭状态。这与将参照图24描述的LED检测调整处理相同。
在步骤S71中，相机104以与图1中相机22类似的方式执行摄像，并且对相机104的图像传感器所接收的光进行光电转换，以生成镶嵌图像。
在步骤S72中，相机104基于所生成的镶嵌图像执行λ1内插处理，生成作为结果而获得的λ1图像，随后，将其提供至图像处理部105。
在相机104的摄像范围内，LED 121a为发射波长λ1的光的仅有的光源。
因此，在λ1图像上的所有区域中构成存在LED 121a的LED显示区域的每个像素的像素值变得相对大于构成除LED显示区域之外的区域的每个像素的像素值。
因此，在步骤S73中，图像处理部105基于构成来自相机104的λ1图像的像素的像素值是否大于等于预定LED阈值，尝试在λ1图像上检测显示发射波长λ1的光的LED 121a(来自其中的光)的LED显示区域。
在步骤S73中，图像处理部105在来自相机104的λ1图像上的所有区域中检测据确定像素值大于等于LED阈值的区域，作为LED显示区域。
在步骤S74中，图像处理部105计算所检测的LED显示区域的中心作为λ1图像上的LED位置，并且对应于所计算的LED位置在显示器141a上的位置161处显示指针。因此，用户移动遥控器121的LED 121a，从而在显示器141a上移动指针。
如上所述，在LED检测处理中，小模块1′基于从遥控器121的LED121a发射的波长λ1的光来计算遥控器121的LED 121a的位置。随后，在显示器141a上的指针根据所计算的LED 121a的位置而移动。
因此，用户可以使用遥控器121a作为用于在显示器141a上移动指针的装置。
但是，在主要用来自外部光的波长λ1的光照射相机104的情况下，由于来自外部光的波长λ1的光，会发生LED位置的错误检测。
[通过电视机141执行的LED检测调整处理]
接下来，将参照图24的流程图描述根据外部光来调整相机104的增益、不受外部光的任何影响地检测LED位置的LED检测调整处理。
在这种情况下，例如，假设在相机104的图像传感器中，作为能够生成RGB图像的滤光片，安装图8中的滤光板。
在步骤S101中，相机104执行被摄物的摄像，并且获得通过摄像所获得的镶嵌图像。随后，关于所获得的镶嵌图像，相机22使用在构成镶嵌图像的各个像素的像素值中具有R值、G值以及B值中的任意一种的像素值执行RGB内插处理，并且将作为结果而获得的RGB图像提供至图像处理部105，作为外部光图像。
在步骤S102中，图像处理部105基于来自相机104的外部光图像生成直方图，并基于所生成的直方图来计算构成外部光图像的像素的亮度值的平均亮度值。
随后，图像处理部105基于所计算的平均亮度值，调整相机104的增益，使得所计算的平均亮度值变为小于等于能够通过外部光图像获得的最大亮度值的一半。
优选地，图像处理部105调整相机104的增益，使得所计算的平均亮度值变为能够通过外部光图像获得的最大亮度值的一半的亮度值。
在步骤S103中，图像处理部105通过执行与图23中的LED检测处理相同的处理来尝试检测LED位置。
在步骤S104中，图像处理部105在能够检测LED位置的情况下使处理前进至步骤S105，例如，对应于所计算的LED位置在电视机141的显示器141a上的位置161处显示指针，使处理返回至步骤S103，随后，执行相同的处理。
在步骤S104中，在检测不到LED位置的情况下，图像处理部105使处理前进至步骤S106。随后，在步骤S106中，图像处理部105控制相机104，从而将相机104的增益调整至大于当前所设定的增益，随后，使处理返回步至骤S103。随后，图像处理部105获得通过在增益调整后通过相机104执行摄像所输出的新的λ1图像，随后执行相同处理。
如上所述，根据LED检测调整处理，由于基于来自相机104的外部光图像来调整相机104的增益，从而无论来自外部光的光如何也能够检测LED位置，所以无论外部光的光如何，都可以高精度地检测LED位置。
在LED检测处理和LED检测调整处理中，检测发射波长λ1的光的LED 121a的位置，但是，在LED 121a发射波长λ2的光来而不是波长λ1的光的情况下，能够类似地检测LED 121a的位置。在这种情况下，使用λ2图像而不是λ1图像来执行LED 121a的位置检测。
此外，例如，在存在移动具有发射波长λ1的光的第一LED的遥控器的第一用户以及移动具有发射波长λ2的光的第二LED的遥控器的第二用户的情况下，在LED检测处理中能够检测第一LED和第二LED的各个位置。
具体地，例如，在检测第一LED和第二LED的各个位置的情况下，相机104在LED检测处理中在步骤S72中，将通过对所生成的镶嵌图像执行λ1内插处理所获得的λ1图像以及通过对所生成的镶嵌图像执行λ2内插处理所获得的λ2图像提供至图像处理部105。
随后，在步骤S73中，图像处理部105基于来自相机104的λ1图像执行第一LED的位置检测，并且基于来自相机104的λ2图像执行第二LED的位置检测。
在步骤S74中，图像处理部105根据所检测的第一LED的位置移动相应的第一指针，并且根据所检测的第二LED的位置移动相应的第二指针。
此外，以与LED检测调整处理类似的方式，在步骤S103中，基于λ1图像尝试第一LED设备的位置检测，并且基于λ2图像尝试第二LED设备的位置检测。随后，在步骤S104中，例如，确定是否能够检测第一LED和第二LED的各个位置。
由此，在能够检测第一LED的位置和第二LED的位置的情况下，例如，如图25A～图25D所示，通过在通过相机104的RGB内插处理所获得的RGB图像上重叠第一LED位置和第二LED位置所获得的图像可以显示在显示器141a上。
因此，例如，可以通过使用如上所述的电视机141和遥控器121来实现视频游戏应用。
具体地，例如，如图25D所示，在实现了第一用户处于守备侧并且第二用户处于攻击侧的棒球视频游戏的情况下，将第一LED位置识别为守备侧的手套位置，并且将第二LED位置识别为攻击侧的球棒位置。
此外，例如，如果将除第一LED(LED 121a)之外的第二LED安装在遥控器121中，则能够根据通过LED检测处理等所检测的第一LED和第二LED位置之间的关系来确定遥控器121的姿态(例如，是否向上或向下握住操作面等)。
因此，在这种情况下，由于可以根据遥控器121的姿态确定奥赛罗游戏的棋子、日本象棋棋子等的里返(reversing)操作，所以能够使用电视机141和遥控器121实现奥赛罗游戏、日本象棋等的应用。
此外，由于可以根据遥控器121的姿态的改变来确定遥控器121旋转的方向，所以如果遥控器121的姿态与电视机141频道的切换操作、音量改变操作等相匹配，则可以根据遥控器121的移动来改变频道或音量。
此外，例如，可以使用如下事实，即，随着从小模块1′至遥控器121(LED 121a)的距离变短，LED显示区域变大，基于LED显示区域的检测尺寸，测量从小模块1′至遥控器121(LED 121a)的距离。
[第三实施方式的变形例]
在第三实施方式中，至少具有λ1滤光片和λ2滤光片的滤光板用于检测LED的位置，但是可以进一步安装使发光光谱的峰值波长为λ3(不同于λ1和λ2)的光(下文中，被称作波长λ3的光)透过的λ3滤光片。
即，例如，可以使用具有N个使λ1至λN的不同波长的光透过的λ1滤光片至λN滤光片的滤光板。
在这种情况下，如果使用分别发射λ1至λN波长的光的第一至第N个LED，则可以在LED检测处理和LED检测调整处理中检测到第一至第N个LED的位置。
因此，例如，在实现能够执行第一用户与第二用户之间的拳击视频游戏的应用的情况下，第一用户的右手可以握住第一LED设备，其左手可以握住第二LED设备，第二用户的右手可以握住第三LED设备，并且其左手可以握住第四LED设备。
因此，在小模块1′中，可以通过识别第一用户右手和左手的位置及第二用户右手和左手的位置来实现拳击视频游戏应用。
此外，在LED检测处理和LED检测调整处理中，在仅检测发射波长λ1的光的LED 121a的位置的情况下，可以在相机104的图像传感器中安装至少具有λ1滤光片而没有λ2滤光片的滤光板。
如上所述，例如，信息处理系统1执行皮肤检测处理，并且安装在电视机141中的小模块1′执行LED检测处理，但是，信息处理系统1和小模块1′都可以执行皮肤检测处理和LED检测处理。这类似地应用于皮肤检测调整处理及LED检测调整处理。
具体地，例如，在信息处理系统1中，控制部41控制发光装置21，并且也可以在LED 21a和LED 21b停止发光的状态下执行LED检测处理，并且控制部41可以控制发光装置21，以在执行LED 21a和LED 21b发光的状态下执行皮肤检测处理。
由此，在能够执行皮肤检测处理和LED检测处理的情况下，根据用户的偏好，信息处理系统1能够选择根据用户手部的形状或动作的空手(hands-free)操作以及通过遥控器(例如，图22中的遥控器121)的运动的控制器操作中的任意一种。
此外，如上所述，在第一用户和第二用户玩视频游戏的情况下，例如，通过适当切换皮肤检测处理和LED检测处理，对于第一用户，可以执行空手操作，而对于第二用户，可以执行控制器操作。
4.第四实施方式
在上述第一至第三实施方式中，通过用波长λ1的光和波长λ2的光同时进行照射来执行摄像。即，如图26所示，通过用波长λ1的光以恒定亮度照射预定时间段，并且同时用波长λ2的光以恒定亮度照射预时序间来执行摄像。此外，在构成相机22的图像传感器中，λ1滤光片或λ2滤光片安装在每个光接收元件中，并且基于从图像传感器输出的镶嵌图像通过内插处理来生成λ1图像和λ2图像。因此，在第一至第三实施方式中，可以通过一次摄像获得λ1图像和λ2图像。此外，为了获得相同的图像，用于波长λ1和波长λ2的光接收元件可以分开安装，并且可以为每个光接收元件安装波长滤光片。
另一方面，在此处将被描述的第四实施方式中，对于同时照射，以不同频率交替改变具有波长λ1的光的亮度和具有波长λ2的光的亮度，从而执行摄像。
图27示出了根据第四实施方式的与亮度改变相关的发光与摄像时序。即，在第四实施方式中，发射波长λ1的光持续预定时间段，同时以预定频率f1交替改变亮度，与此同时，发射波长λ2的光持续预定时间，同时以预定频率f2交替改变亮度，从而执行摄像。频率f1和f2是任意的，但是可以适当设定，从而不与通过其它装置(例如，红外遥控器等)所发射的红外光频率相干涉。
此外，在构成相机22的图像传感器中，通过光电转换所获得的电信号被分成两部分，两部分中的每部分通过用于频率f1的窄带滤光片或用于频率f2的窄带滤光片，因此，生成λ1图像和λ2图像。因此，在第四实施方式中，可以通过一次摄像获得λ1图像和λ2图像。
图28示出了根据第四实施方式的对应于构成相机22的CMOS图像传感器的λ1图像和λ2图像的一个像素的结构实例。
CMOS图像传感器200主要包括光电二极管201、放大器202、f1窄带滤光片203、电容器204和208、二极管205和209、晶体管206和210以及f2窄带滤光片207。
在CMOS图像传感器200中，被摄物的光学图像通过光电二极管201的光电转换被转换成电信号，并且放大器202所放大的电信号被分开进入f1窄带滤光片203和f2窄带滤光片207。此外，在对应于被摄物的光学图像的电信号中，仅有频率f1的交流成分通过f1窄带滤光片203，并且由电容器204进行AC结合，并且根据信号大小的电荷通过二极管205蓄积在晶体管206中。蓄积在晶体管206中的电荷为λ1图像的像素充电。类似地，在对应于被摄物的光学图像的电信号中，仅有频率f2的交流成分通过f2窄带滤光片207，并且由电容器208进行AC结合，并且根据信号大小的电荷通过二极管209蓄积在晶体管210中。蓄积在晶体管210的电荷为λ2图像的像素充电。
如上所述，f1窄带滤光片203和f2窄带滤光片207分别仅使交流成分的频率f1或频率f2透过。换句话说，对应于被摄物的光学图像的电信号的直流成分被丢弃。
但是，通常地，除了有意发射的波长λ1和λ2的照射光之外来自外部光的照射光都包括在来自被摄物的光学图像中。由日光、各种照明光等带来的外部光主要包括直流成分，同时包括少量交流成分。因此，通过f1窄带滤光片203并蓄积在晶体管206中的电荷，即，λ1图像可以通过去除外部光成分来获得。类似地，λ2图像也可以通过去除外部光成分来获得。
图29是示出了直至根据第四实施方式生成了λ1图像和λ2图像为止的处理(下文中，称作λ1和λ2图像生成处理)的流程图。
在步骤S201中，发光装置21控制LED 21a发射波长λ1的光，同时以预定频率f1交替改变其亮度，并且控制LED 21b发射波长λ2的光，同时以预定频率f2交替改变亮度。
在步骤S202中，相机22对用发光装置21的波长λ1和波长λ2的光照射的被摄物进行摄像。即，构成相机22的CMOS图像传感器200的光电二极管201将被摄物的光学图像转换成电信号。电信号在被放大器202放大后，分开进入f1窄带滤光片203和f2窄带滤光片207，并且f1窄带滤光片203仅使电信号的频率f1的交流成分透过至电容器204。结果，对λ1图像的像素进行充电的电荷蓄积在晶体管206中。类似地，在步骤S204中，f1窄带滤光片207仅使电信号的频率f2的交流成分透过至电容器208。结果，变为λ2图像的像素的电荷蓄积在晶体管210中。
在步骤S203中，读出变为λ1图像的像素的电荷，以生成λ1图像。类似地，在步骤S204中，读出变为λ2图像的像素的电荷，以生成λ2图像。
由此，生成了λ1图像和λ2图像。执行这些处理，而不是在根据第一实施方式的皮肤检测处理中的步骤S1和S2中的处理。由于此后的处理与上述皮肤检测处理中步骤S3及之后的处理相同，所以将省略其描述。
在根据第四实施方式所获得的λ1图像和λ2图像中，由于去除了外部光成分(直流成分)而没有进行像素内插处理，并且被摄物位置没有不重合，所以即使在被摄物移动的情况下，也能高精度地检测皮肤。
5.第五实施方式
在第五实施方式中，交替发射具有波长λ1的光和具有波长λ2的光，同时以相同频率交替改变其亮度，从而执行摄像。
图30示出了根据第五实施方式的与亮度变化相关的照射时序和摄像。即，在第五实施方式中，发射波长λ1的光持续预定时间段，同时以预定频率f3交替改变其亮度，从而执行摄像，随后，发射波长λ2的光被持续预定时间段，同时以预定频率f3交替改变其亮度，从而执行摄像。
此外，在构成相机22的图像传感器中，通过光电转换所获得的电信号通过用于频率f3的窄带滤光片，从而交替生成λ1图像和λ2图像。因此，在第五实施方式中，可以通过进行两次摄像来获得λ1图像和λ2图像。
图28示出了对应于构成根据第五实施方式的相机22的CMOS图像传感器的λ1图像和λ2图像的一个像素的结构实例。
CMOS图像传感器300主要包括光电二极管301、放大器302、f3窄带滤光片303、电容器304、二极管305以及晶体管306。可以由硬件和软件的之一来构成f3窄带滤光片303。
在CMOS图像传感器300中，被摄物的光学图像通过光电二极管301的光电转换来转换。在放大器302所放大的电信号中，仅有频率f3的直流成分通过f3窄带滤光片303，并且其电荷蓄积在晶体管306中。因此，当用波长λ1的光照射时，蓄积在晶体管306中的电荷变为λ1图像的像素，并且当用波长λ2的光照射时，蓄积在晶体管306中的电荷变为λ2图像的像素。
f3窄带滤光片303仅使f3频率的交流成分透过。换句话说，对应于被摄物的光学图像的电信号的直流成分被丢弃。因此，通过f3窄带滤光片303并蓄积在晶体管306中的电荷，即，λ1图像和λ2图像能够通过去除外部光成分来获得。
图32是示出了根据第五实施方式的λ1和λ2图像生成处理的流程图。
在步骤S211中，发光装置21控制LED 21a发射波长λ1的光，同时以预定频率f3交替改变其亮度。在步骤S212中，相机22对用发光装置21的波长λ1的光照射的被摄物进行摄像。即，构成相机22的CMOS图像传感器300的光电二极管301将被摄物的光学图像转换成电信号。电信号在被放大器302放大后输入至f3窄带滤光片303，并且f3窄带滤光片303仅使电信号的频率f3的交流成分透过至电容器304。结果，对λ1图像的像素充电的电荷蓄积在晶体管306中。
在步骤S213中，读出对λ1图像的像素充电的电荷，以生成λ1图像。
在步骤S214中，发光装置21控制LED 21b发射波长λ2的光，同时以预定频率f3交替改变其亮度。在步骤S215中，相机22对用发光装置21的波长λ2的光照射的被摄物进行摄像。即，构成相机33的CMOS图像传感器300的光电二极管301将被摄物的光学图像转换成电信号。电信号在被放大器302放大后输入至f3窄带滤光片303。
在步骤S216中，f3窄带滤光片303仅使电信号的频率f3的交流成分透过至电容器304。结果，对λ2图像的像素进行充电的电荷蓄积在晶体管306中。
如上所述，生成了λ1图像和λ2图像。执行这些处理，而不是根据第一实施方式的皮肤检测处理中的步骤S1和S2中的处理。由于此后的处理与上述皮肤检测处理中步骤S3以及其后的处理相同，所以将省略其描述。
在根据第五实施方式所获得的λ1图像和λ2图像中，由于去除了外部光成分(直流成分)而没有像素内插处理，所以可以高精度地检测被摄物的皮肤。
但是，如上所述的一系列处理可以通过专用硬件执行，或者可以通过软件执行。在通过软件执行一系列处理的情况下，例如，构成软件的程序从记录介质安装在(例如，安装有各种程序以执行各种功能的)所谓的嵌入式计算机、或通用计算机等中。
[计算机的结构实例]
图33示出了通过程序执行如上所述的一系列处理的计算机的结构实例。
在计算机500中，CPU 501根据存储在ROM 502和存储部508中的程序执行各种处理。在RAM 503中，适当地存储通过CPU 501所执行的程序、数据等。CPU 501、ROM 502以及RAM 503通过总线504彼此连接。
此外，输入和输出接口505通过总线504连接至CPU 501。包括键盘、鼠标、麦克风等的输入部506以及包括显示器、扬声器等的输出部507连接至输入和输出接口505。CPU 501根据从输入部506输入的指令执行各种处理。随后，CPU 501将处理结果输出至输出部507。
连接至输入和输出接口505的存储部508包括硬盘，例如，存储待通过CPU 501执行的程序或各种数据。通信部509通过诸如局域网、互联网等执行与外部装置的通信。此外，程序可以通过通信部509来获得，并且可以被存储在存储部508中。
当安装诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质511时，连接至输入和输出接口505的驱动器510驱动可移动介质511，获得在其上所记录的程序、数据等。所获得的程序或数据根据需要被传送并存储在存储部508中。
记录(存储)安装在计算机中并且能够由计算机执行的程序的记录介质包括作为包括磁盘、光盘、磁光盘、半导体存储器等的封装介质的可移动介质511、程序被临时或永久存储的ROM 502、构成存储部508的硬盘等。根据需要通过称作局域网、互联网、数字卫星广播的有线或无线通信介质通过作为诸如路由器、调制解调器等的接口的通信部509来向记录介质执行程序的记录。
在该说明书中，对应于如上所述的一系列处理的步骤可以以时间序列方式执行，或者可以并行或单独地执行。
此外，在该说明书中，系统指的是包括多个设备或装置的整个系统。
本发明包含于2010年6月4日向日本专利局提交的日本在先专利申请第2010-129413号和2010年9月2日向日本专利局提交的日本在先专利申请第2010-196803号的主题，其全部内容结合于此作为参考。
需要注意，对于本领域的技术人员来说，本发明可以存在各种修改、组合、再组合、改进等，凡在所附权利要求及其等价物的范围之内，均应包含在本发明的权利要求范围之内。

Claims (17)

1.一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括：
照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；
第一生成部，安装有至少具有接收所述第一波长的光的第一光接收元件以及接收所述第二波长的光的第二光接收元件的图像传感器，并基于用所述第一和第二波长的光照射所述被摄物时的入射至所述图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；
第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及
检测部，基于所述第一和第二图像检测所述皮肤区域。
2.根据权利要求1所述的图像处理装置，
其中，所述第一生成部基于入射至所述图像传感器的、来自所述被摄物的反射光来生成所述第一镶嵌图像，所述图像传感器包括所述第一和第二光接收元件、接收R红色成分的第三光接收元件、接收G绿色成分的第四光接收元件及接收B蓝色成分的第五光接收元件。
3.根据权利要求2所述的图像处理装置，
其中，所述第一生成部基于当没有用所述第一和第二波长的光照射所述被摄物时，入射至所述图像传感器的、来自所述被摄物的反射光来生成第二镶嵌图像，
其中，所述第二生成部在构成所述第二镶嵌图像的各个像素中，基于对应于所述第三至第五光接收元件中的每个的像素的像素值，生成通过第三内插处理所获得的RGB图像，以及
其中，所述图像处理装置还包括调整部，所述调整部基于所述RGB图像，在满足用于检测所述皮肤区域的皮肤可检测条件的范围内调整所述第一生成部的参数。
4.根据权利要求3所述的图像处理装置，
其中，所述第一生成部通过根据预定参数对所述被摄物进行摄像来生成所述第一镶嵌图像，以及
其中，所述调整部在满足构成所述RGB图像的像素的亮度值和基于所述亮度值所计算的计算值中的一个变为小于等于所述RGB图像所能获得的最大亮度值的一半的皮肤可检测条件的范围内，调整所述第一生成部的所述参数。
5.根据权利要求1所述的图像处理装置，还包括：
第一入射限制部，限制除所述第一波长之外的波长的光的入射，并且使所述第一波长的光透过；以及
第二入射限制部，限制除所述第二波长之外的波长的光的入射，并且使所述第二波长的光透过，
其中，所述第一生成部安装有至少具有接收通过所述第一入射限制部获得的第一波长的光的第一光接收元件以及接收通过所述第二入射限制部获得的第二波长的光的第二光接收元件的所述图像传感器。
6.根据权利要求1所述的图像处理装置，
其中，所述第一生成部基于当没有用所述第一和第二波长的光照射所述被摄物被时，入射至所述图像传感器的、来自所述被摄物的反射光，生成第二镶嵌图像，
其中，所述第二生成部在构成所述第二镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第四内插处理所获得的第三图像，以及
其中，所述检测部在所述第三图像的所有区域中，检测包括构成所述第三图像的各个像素中的像素值大于等于预定阈值的像素的预定区域。
7.根据权利要求6所述的图像处理装置，还包括控制所述照射部的照射的控制部，
其中，在所述控制部的控制下执行所述照射部的照射的情况下，所述检测部基于所述第二生成部生成的所述第一和第二图像来检测所述皮肤区域，并且在所述控制部的控制下不执行所述照射部的照射的情况下，所述检测部基于所述第二生成部生成的所述第三图像来检测所述预定区域。
8.一种图像处理装置的图像处理方法，所述图像处理装置包括：照射部；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件以及接收与所述第一波长不同的第二波长的光的第二光接收元件的图像传感器；第二生成部；以及检测部；并且所述图像处理装置从图像中检测表示人类皮肤的皮肤区域；所述方法包括：
通过所述照射部，用所述第一波长的光和所述第二波长的光照射被摄物；
通过所述第一生成部，当用所述第一和第二波长的光照射所述被摄物时，基于入射至所述图像传感器的、来自所述被摄物的反射光，生成第一镶嵌图像；
通过所述第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及
通过所述检测部，基于所述第一和第二图像检测所述皮肤区域。
9.一种允许计算机控制图像处理装置的程序，所述图像处理装置包括：照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；以及第一生成部，安装有至少具有接收所述第一波长的光的第一光接收元件和接收所述第二波长的光的第二光接收元件的图像传感器，并且基于用所述第一和第二波长的光照射所述被摄物时的入射至所述图像传感器的、来自所述被摄物的反射光，生成第一镶嵌图像，所述图像处理装置从图像中检测表示人类皮肤的皮肤区域，所述程序使所述计算机具有以下功能：
第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及
检测部，基于所述第一和第二图像，检测所述皮肤区域。
10.一种从图像中检测表示人类皮肤的皮肤区域的电子装置，包括：
照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；
第一生成部，安装有至少具有接收所述第一波长的光的第一光接收元件和接收所述第二波长的光的第二光接收元件的图像传感器，并且基于用所述第一和第二波长的光照射所述被摄物时的入射至所述图像传感器的、来自所述被摄物的反射光，生成第一镶嵌图像；
第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；
检测部，基于所述第一和第二图像，检测所述皮肤区域；以及
执行部，根据所检测的所述皮肤区域执行处理。
11.一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括：
照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；
摄像部，对所述被摄物进行摄像，生成基于所述第一波长的光的第一图像，并生成基于所述第二波长的光的第二图像；以及
检测部，基于所生成的第一和第二图像检测所述皮肤区域，
其中，所述照射部根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物，以及
其中，所述摄像部提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分，从而生成所述第一和第二图像。
12.根据权利要求11所述的图像处理装置，
其中，所述照射部根据预定频率交替地改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物，以及
其中，所述摄像部提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的交流成分，从而生成所述第一和第二图像。
13.根据权利要求12所述的图像处理装置，
其中，所述照射部同时执行根据第一频率交替改变所述第一波长的光的亮度从而照射所述被摄物的处理以及根据与所述第一频率不同的第二频率交替改变所述第二波长的光的亮度从而照射所述被物的处理，以及
其中，所述摄像部通过提取在用所述第一和第二波长的光照射的状态下通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述第一频率的交流成分来生成所述第一图像，并且通过提取通过对所述被摄物的光学图像进行光电转换所获得的所述电信号中对应于所述第二频率的交流成分来生成所述第二图像。
14.根据权利要求12所述的图像处理装置，
其中，所述照射部交替执行根据第三频率交替改变所述第一波长的光的亮度从而照射所述被摄物的处理以及根据所述第三频率交替改变所述第二波长的光的亮度从而照射所述被摄物的处理，以及
其中，所述摄像部通过提取在用所述第一波长的光照射的状态下通过对所述被摄物的所述光学图像进行光电转换所获得的电信号中对应于所述第三频率的交流成分来生成所述第一图像，并且通过提取在用所述第二波长的光照射的状态下通过对所述被摄物的所述光学图像进行光电转换所获得的电信号中对应于所述第三频率的交流成分来生成所述第二图像。
15.一种图像处理装置的图像处理方法，所述图像处理装置包括：照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；摄像部，对所述被摄物进行摄像，生成基于所述第一波长的光的第一图像，并且生成基于所述第二波长的光的第二图像；以及检测部，根据所生成的所述第一和第二图像检测所述皮肤区域；并且所述图像处理装置从图像中检测表示人类皮肤的皮肤区域；所述方法包括：
通过所述照射部，根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物；以及
通过所述摄像部，提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分来生成所述第一和第二图像。
16.一种用于控制图像处理装置的程序，所述图像处理装置包括：照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；摄像部，对所述被摄物进行摄像，生成基于所述第一波长的光的第一图像，并且生成基于所述第二波长的光的第二图像；以及检测部，根据所生成的所述第一和第二图像检测所述皮肤区域；并且所述图像处理装置从图像中检测表示人类皮肤的皮肤区域，
所述程序使所述图像处理装置的计算机执行包括以下步骤的处理：
通过控制所述照射部，根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物；以及
通过控制所述摄像部，提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分，从而生成所述第一和第二图像。
17.一种从图像中检测表示人类皮肤的皮肤区域电子装置，包括：
照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；
摄像部，对所述被摄物进行摄像，生成基于所述第一波长的光的第一图像，并且生成基于所述第二波长的光的第二图像；
检测部，基于所生成的第一和第二图像检测所述皮肤区域，以及
执行部，根据所检测的所述皮肤区域执行处理，
其中，所述照射部根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物，以及
其中，所述摄像部提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分，从而生成所述第一和第二图像。
CN2011101413667A 2010-06-04 2011-05-27 图像处理装置、图像处理方法、程序及电子装置 Pending CN102266218A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010129413 2010-06-04
JP2010-129413 2010-06-04
JP2010196803A JP2012014668A (ja) 2010-06-04 2010-09-02 画像処理装置、画像処理方法、プログラム、および電子装置
JP2010-196803 2010-09-02

Publications (1)

Publication Number Publication Date
CN102266218A true CN102266218A (zh) 2011-12-07

Family

ID=45048819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101413667A Pending CN102266218A (zh) 2010-06-04 2011-05-27 图像处理装置、图像处理方法、程序及电子装置

Country Status (3)

Country Link
US (1) US20110298909A1 (zh)
JP (1) JP2012014668A (zh)
CN (1) CN102266218A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185806A (zh) * 2011-12-27 2014-12-03 佳能株式会社 图像处理设备，图像处理系统，图像处理方法和图像处理程序
CN106236061A (zh) * 2015-06-04 2016-12-21 松下知识产权经营株式会社 人体检测装置
CN107427264A (zh) * 2015-04-30 2017-12-01 奥林巴斯株式会社 摄像装置、图像处理装置和图像处理方法
CN107791692A (zh) * 2016-09-07 2018-03-13 大数据奥尼尔公司 打印机方法和装置
CN109069008A (zh) * 2016-05-16 2018-12-21 索尼公司 光学设备和信息处理方法
CN111542856A (zh) * 2018-07-16 2020-08-14 华为技术有限公司 一种皮肤检测方法和电子设备
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
CN114175615A (zh) * 2019-09-18 2022-03-11 索尼半导体解决方案公司 摄像器件、摄像系统和摄像方法
WO2022233055A1 (en) * 2021-05-07 2022-11-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera system, method for skin characteristics analysis and non-transitory computer-readable medium storing program instructions for implementing the method

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013046170A (ja) * 2011-08-23 2013-03-04 Lapis Semiconductor Co Ltd 指示光検出装置及び方法
EP2801215B1 (en) * 2012-01-03 2019-12-11 LG Electronics Inc. Image display apparatus and method for operating the same
US10660561B2 (en) * 2012-02-25 2020-05-26 Massachusetts Institute Of Technology Personal skin scanner system
TWI479362B (zh) * 2012-09-19 2015-04-01 Wistron Corp 雙模式遙控方法
JP5687676B2 (ja) 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
FR3001064B1 (fr) 2013-01-15 2015-02-13 Commissariat Energie Atomique Systeme et procede de detection de la position d'un organe d'actionnement sur un ecran d'affichage
FR3001063B1 (fr) * 2013-01-15 2015-02-13 Commissariat Energie Atomique Systeme et procede de detection de la position d'un organe d'actionnement sur un ecran d'affichage
JP6097952B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 観察画像判定装置および方法並びにプログラム
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
CN104702849B (zh) * 2014-01-10 2018-03-30 杭州海康威视数字技术股份有限公司 一种红外摄像机及其红外灯亮度调整方法
KR102238794B1 (ko) * 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
JP6654019B2 (ja) * 2015-11-09 2020-02-26 任天堂株式会社 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置
JP6707943B2 (ja) * 2016-03-25 2020-06-10 富士通株式会社 生体画像処理装置及び生体画像処理方法
TWI662940B (zh) * 2018-06-01 2019-06-21 廣達電腦股份有限公司 影像擷取裝置
JP2020101878A (ja) * 2018-12-20 2020-07-02 ソニー株式会社 画像処理装置、および検出機能付き表示装置
CN109888060A (zh) * 2019-03-15 2019-06-14 通威太阳能（合肥）有限公司 一种具有三层钝化层结构的太阳电池及其制备方法
JP7070530B2 (ja) * 2019-11-01 2022-05-18 カシオ計算機株式会社 情報取得装置、情報取得方法及びプログラム
JP7341883B2 (ja) * 2019-12-26 2023-09-11 富士フイルムヘルスケア株式会社 磁気共鳴撮像装置及びその制御方法
WO2024147614A1 (ko) * 2023-01-06 2024-07-11 주식회사 솔루엠 광학 기반 피부감지센서, 광학 기반 피부감지센서를 포함하는 웨어러블 디바이스 및 이를 이용한 광학 기반 피부감지 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US8084739B2 (en) * 2008-07-16 2011-12-27 Infrared Newco., Inc. Imaging apparatus and methods

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185806A (zh) * 2011-12-27 2014-12-03 佳能株式会社 图像处理设备，图像处理系统，图像处理方法和图像处理程序
CN107427264A (zh) * 2015-04-30 2017-12-01 奥林巴斯株式会社 摄像装置、图像处理装置和图像处理方法
US11030739B2 (en) 2015-06-04 2021-06-08 Panasonic Intellectual Property Management Co., Ltd. Human detection device equipped with light source projecting at least one dot onto living body
CN106236060A (zh) * 2015-06-04 2016-12-21 松下知识产权经营株式会社 生物体信息检测装置
CN106236060B (zh) * 2015-06-04 2021-04-09 松下知识产权经营株式会社 生物体信息检测装置
CN106236061A (zh) * 2015-06-04 2016-12-21 松下知识产权经营株式会社 人体检测装置
CN106236061B (zh) * 2015-06-04 2021-09-21 松下知识产权经营株式会社 人体检测装置
CN109069008A (zh) * 2016-05-16 2018-12-21 索尼公司 光学设备和信息处理方法
CN109069008B (zh) * 2016-05-16 2022-06-28 索尼公司 光学设备和信息处理方法
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
CN107791692A (zh) * 2016-09-07 2018-03-13 大数据奥尼尔公司 打印机方法和装置
CN111542856A (zh) * 2018-07-16 2020-08-14 华为技术有限公司 一种皮肤检测方法和电子设备
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
CN114175615A (zh) * 2019-09-18 2022-03-11 索尼半导体解决方案公司 摄像器件、摄像系统和摄像方法
WO2022233055A1 (en) * 2021-05-07 2022-11-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera system, method for skin characteristics analysis and non-transitory computer-readable medium storing program instructions for implementing the method

Also Published As

Publication number Publication date
US20110298909A1 (en) 2011-12-08
JP2012014668A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
CN102266218A (zh) 图像处理装置、图像处理方法、程序及电子装置
US11070773B2 (en) Systems and methods for creating full-color image in low light
CN110298874B (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
JP5976676B2 (ja) レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
CN104604215B (zh) 摄像装置和摄像方法
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
CN103236433B (zh) 宽带成像仪
CN105187815B (zh) 用于获得图像深度信息的系统及方法
Lin et al. High dynamic range imaging for stereoscopic scene representation
US20190068929A1 (en) Imaging apparatus, imaging control method, and program
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
CN107871309B (zh) 检测方法、检测装置以及记录介质
CN110418057A (zh) 电子设备
CN107003116A (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
CN102959942B (zh) 立体观看用图像拍摄装置及其控制方法
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
JP2008501256A (ja) デジタル撮像装置を用いたオブジェクトからの異なる形式の光の再生
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
JP5740147B2 (ja) 光源推定装置及び光源推定方法
JP2022543459A (ja) Ｔｏｆピクセルを用いたｈｄｒ可視光イメージング
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN110574368B (zh) 固态摄像装置、摄像系统以及物体识别系统
KR20080032746A (ko) 움직임 인식 방법 및 그 장치
WO2017175802A1 (ja) 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111207