CN102138148B - 使用多频带近红外照明进行皮肤检测 - Google Patents

使用多频带近红外照明进行皮肤检测 Download PDF

Info

Publication number
CN102138148B
CN102138148B CN2010800024260A CN201080002426A CN102138148B CN 102138148 B CN102138148 B CN 102138148B CN 2010800024260 A CN2010800024260 A CN 2010800024260A CN 201080002426 A CN201080002426 A CN 201080002426A CN 102138148 B CN102138148 B CN 102138148B
Authority
CN
China
Prior art keywords
skin
wavelength
image
light
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010800024260A
Other languages
English (en)
Other versions
CN102138148A (zh
Inventor
西条信广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102138148A publication Critical patent/CN102138148A/zh
Application granted granted Critical
Publication of CN102138148B publication Critical patent/CN102138148B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

检测图像内的多个关心像素，和识别与预定物体对应的亮度值的方法和设备。检测设备包括配置成保存分别利用第一波长的光和第二波长的光，拍摄的第一图像和第二图像的存储器。检测设备还包括配置成根据保存的第一和第二拍摄图像的亮度值，检测第一拍摄图像内的多个关心像素的至少一个处理器。识别设备包括配置成存储处理后的图像的存储器，和至少一个处理器，所述至少一个处理器被配置成确定处理后的图像中的多个关心像素的亮度值的频率，并根据确定的亮度值的频率，确定与处理后的图像内的预定物体对应的亮度值的范围。

Description

使用多频带近红外照明进行皮肤检测
技术领域
本发明涉及信息处理设备和信息处理方法，更具体地说，本发明涉及在从例如通过拍摄用户的图像而获得的拍摄图像中提取用户的手的形状等的情况下适合的信息处理设备和信息处理方法。
背景技术
近年来，研究了除了鼠标、图形输入板和触摸板之外，通过使用用户的手势(动作)或者姿态(姿势)作为把数据输入个人计算机等中的输入手段，输入数据的数据输入技术。
由于在这种数据输入技术中，数据是利用例如用户的手的手势或姿态输入的，因此必须从通过拍摄用户的图像而获得的拍摄图像中准确地提取用户的手的形状。
作为提取用户的手的形状的提取技术，存在利用图像的模式匹配的模式匹配方法，提取用户的皮肤区的皮肤区提取方法，等等。
例如，在模式匹配方法中，预先学习通过拍摄具有各种形状和大小的手的图像而获得的多个形状图像，在与拍摄的图像最相似的形状图像(例如，对应像素的像素值之间的差的总和最小的形状图像)中表示的手的形状被提取为用户的手的形状。
不过，在模式匹配方法中，当在与拍摄形状图像时的条件不同的条件(例如，摄像方向，照明水平，背景，拍摄被摄物体的图像时被摄物体的大小)下获得拍摄图像时，难以准确地提取用户的手的形状。
尤其是在提取手的形状的情况下，当拍摄图像内的手的形状明显不同于形状图像内的手的形状时，或者当拍摄图像内的手与面部等重叠时，与提取面部的形状的情况相比，难以准确地提取手的形状。
另外，当要求实时提取手的形状时，模式匹配需要大量的计算，在许多情况下这会引起问题。
在皮肤区提取方法中，利用表述人类皮肤的颜色的皮肤信息，提取表示拍摄图像内的用户的皮肤的皮肤区。
不过，在利用皮肤信息的皮肤区提取方法中，难以区分皮肤的颜色和与之接近的颜色。此外，由于在不同种族之间，皮肤的颜色不同，因此不可能对所有种族提取适当的皮肤区。
在这方面，最近提出一种提取技术，其中根据皮肤对于波长的反射率变化恒定不变，而与种族无关的事实，使用光谱反射率特性提取拍摄图像内的皮肤区(例如，参见非专利文献1)。
[引用列表]
[非专利文献]
[NPL 1]：Yasuhiro Suzuki等，“Detection Method of Skin Regionby Near-IR Spectrum Multi-Band”，IEEJ Transactions onElectronics，Information and Systems Vol.127，No.4，2007年，日本。
发明内容
但是，在现有技术的其中使用光谱反射率特性的上述提取技术中，当作为皮肤区在拍摄图像内存在被摄物体的面部和手时，面部和手的形状都被提取为皮肤区，于是，难以只提取手的形状作为皮肤区。
鉴于上述情况，理想的是从通过拍摄用户的图像而获得的拍摄图像中，高速提取用户的手的准确形状等，同时抑制一系列处理所必需的运算量的增大。
按照本发明的一个实施例，提供用于检测图像内的多个关心像素的信息处理设备，方法，计算机可读存储介质和计算机程序。信息处理设备包括第一存储器，所述第一存储器被配置成保存利用第一波长的光拍摄的第一图像，和利用第二波长的光拍摄的第二图像，第二波长不同于第一波长。信息处理设备还包括至少一个处理器，所述至少一个处理器被配置成根据保存的第一和第二拍摄图像的亮度值，检测第一拍摄图像内的多个关心像素。
此外，根据本发明的另一个实施例，提供用于识别与预定物体对应的亮度值的信息处理设备，方法，计算机可读存储介质和计算机程序。信息处理设备包括存储器和至少一个处理器。存储器被配置成保存根据图像生成的，包括多个关心像素的处理后图像。所述至少一个处理器被配置成确定处理后图像中的多个关心像素的亮度值的频率(frequency)，并根据确定的亮度值的频率，确定与处理后图像内的预定物体对应的亮度值的范围。
按照本发明的实施例，能够高速提取用户的手的准确形状等，同时抑制一系列处理所必需的运算量的增大。
附图说明
图1是表示信息处理系统的结构例子的方框图。
图2是表示信息处理设备的结构例子的方框图。
图3是表示人类皮肤的反射特性的例子的示图。
图4是表示第一和第二拍摄图像的例子的示图。
图5是表示由二值化部分生成的二值化皮肤图像的例子的示图。
图6是表示由皮肤提取部分提取的皮肤图像的例子的示图。
图7是表示皮肤图像的直方图的例子的示图。
图8是表示由掩模图像生成部分生成的掩模图像的例子的示图。
图9是表示由形状提取部分生成的提取图像的例子的示图。
图10是说明形状提取处理的流程图。
图11是表示用在FFT阈值确定处理中的第一拍摄图像的示图。
图12是说明FFT阈值确定处理的流程图。
图13是表示相机的相对灵敏度特性的示图。
图14是表示LED的排列方法的示图。
图15是表示计算机的结构例子的方框图。
具体实施方式
下面，说明实现本发明的实施例(下面称为本实施例)。应指出的是将按照下述顺序进行说明。
1.本实施例(提取用户的手的形状的例子)
2.变形例
[1.本实施例]
[信息处理系统1的结构例子]
图1表示本实施例的信息处理系统1的结构例子。
信息处理系统1按照用用户的手做出的手势(或姿态)执行预定处理，包括信息处理设备21，相机22和发光设备23。
为了使信息处理系统1执行预定处理，用户改变他/她自己的手的形状(在相机22的透镜表面之前)。
这种情况下，信息处理系统1识别用户的手的形状，并按照识别结果执行预定处理。
应注意在本实施例中，用户在相机22的透镜表面之前改变手的形状，并通过与他/她的面部、胸部等相比，朝着更接近相机22的透镜表面的位置移动他/她的手，做出手势(或姿势)。
信息处理设备21控制相机22和发光设备23。此外，信息处理设备21根据由相机22拍摄的拍摄图像，识别用户的手的形状，并按照识别结果执行预定处理。
相机22包括拍摄诸如用户之类的被摄物体的图像的透镜，透镜的正面覆盖以遮断可见光的可见光截止滤光片22a。
借助这种结构，除了阳光或荧光的红外分量之外，相机22只接收由发光设备23照射到被摄物体上的不可见光的反射光，并把所得到的拍摄图像提供给图像处理设备21。
具体地说，例如，相机22只接收具有第一波长的光的反射光，所述光是由发光设备23照射到被摄物体上的不可见光(例如，870nm的近红外光)，并把所得到的第一拍摄图像提供给信息处理设备21。
此外，相机22只接收具有不同于第一波长的第二波长的光的反射光，所述光是由发光设备23照射到被摄物体上的不可见光(例如，950nm的近红外光)，并把所得到的第二拍摄图像提供给信息处理设备21。
发光设备23包括发出具有第一波长的光的LED(发光二极管)23a1和23a2，以及发出具有第二波长的光的LED 23b1和23b2。
应注意下面在不需要相互区分LED 23a1和23a2的情况下，LED23a1和23a2被简称为LED 23a。此外，在不需要相互区分LED 23b1和23b2的情况下，LED 23b1和23b2被简称为LED 23b。
在信息处理设备21的控制下，LED 23a和23b交替发光。
此外，调整LED 23a和LED 23b的输出，以致就具有第一波长的光的反射光和具有第二波长的光的反射光来说，相机22接收的反射光的强度(光量)变得相同。
另外，LED 23a和LED 23b被交替排列成网状，如图1中所示，并在LED 23a和LED 23b之前设置均匀扩散从LED 23a和LED 23b发出的光的扩散板23c。借助这种结构，用具有第一和第二波长的光均匀地照射被摄物体。
应注意发光设备23被布置在从LED 23a或LED 23b发出的光可靠地照射到用户的至少一只手的位置。在本实施例中，用户在相机22的透镜表面之前改变手的形状，因此，发光设备23可被布置成例如接近相机22。
[信息处理设备21的结构例子]
图2表示信息处理设备21的结构例子。
信息处理设备21包括控制器41，二值化部分42，皮肤提取部分43，阈值确定部分44，掩模图像生成部分45和形状提取部分46。
控制器41控制发光设备23，使LED 23a和LED 23b交替发光。
从相机22把第一拍摄图像和第二拍摄图像提供给二值化部分42。根据从相机22提供的第一和第二拍摄图像，二值化部分42提取(检测)关心的像素。在一个实施例中，关心的像素对应于第一拍摄图像中，代表用户的皮肤的一个或多个皮肤区，和排除皮肤区之外的区域。
随后，二值化部分42产生通过把构成提取的皮肤区的像素的像素值，和构成排除皮肤区之外的区域的像素的像素值二值化成不同的值(例如，0和1)而获得的二值化皮肤图像，并把二值化皮肤图像提供给皮肤提取部分43和形状提取部分46。
从相机22把第一拍摄图像提供给皮肤提取部分43和掩模图像生成部分45。
根据从二值化部分42提供的二值化皮肤图像，皮肤提取部分43从自相机22供给的第一拍摄图像中，提取与二值化皮肤图像内的皮肤区对应的区域(表示用户的皮肤区的区域)。
随后，皮肤提取部分43生成包括提取的区域的皮肤图像，并把该皮肤图像提供给阈值确定部分44。应注意皮肤提取部分43可把提取的区域作为皮肤图像提供给阈值确定部分44。
阈值确定部分44根据从皮肤提取部分43供给的皮肤图像，产生处理后图像，比如皮肤图像(构成皮肤图像的像素的亮度值)的直方图。随后，阈值确定部分44根据产生的皮肤图像的直方图，确定用于生成掩模图像(后面说明)的掩模阈值，并把掩模阈值提供给掩模图像生成部分45。
掩模图像生成部分45根据从阈值确定部分44供给的掩模阈值，用从相机22供给的第一拍摄图像生成掩模图像，并把掩模图像提供给形状提取部分46。
应注意掩模图像是通过把第一拍摄图像二值化成掩模区和排除掩模区之外的非掩模区而获得的图像，掩模区由亮度值在由掩模阈值规定的亮度值范围内的像素构成。
根据来自掩模图像生成部分45的掩模图像，形状提取部分46从自二值化部分42供给的二值化皮肤图像中，提取与表示用户的手的形状的形状区对应的至少一个对象，作为与掩模图像内的掩模区对应的区域。
随后，形状提取部分46根据提取的形状区，识别手的形状，执行与识别结果对应的处理，并把处理结果输出给后一级。
应注意二值化部分42从第一拍摄图像中提取皮肤区和排除皮肤区之外的区域，不过，二值化部分42可从第二拍摄图像中提取皮肤区和排除皮肤区之外的区域。这种情况下，从相机22向皮肤提取部分43和掩模图像生成部分45供给第二拍摄图像，而不是第一拍摄图像。
随后，皮肤提取部分43根据第二拍摄图像生成皮肤图像，掩模图像生成部分45根据第二拍摄图像生成掩模图像。
[二值化皮肤图像的生成]
下面参考图3-5，详细说明二值化部分42生成二值化皮肤图像的处理。
应注意在图3和4中，将说明由相机22拍摄的第一拍摄图像和第二拍摄图像。此外，在图5中，将说明由二值化部分42根据第一拍摄图像和第二拍摄图像生成的二值化皮肤图像。
图3表示人类皮肤对具有不同波长的照射光的反射特性。
应注意该反射特性是普遍的，与人类肤色的差异(种族的差异)或者皮肤的状态(晒黑等)无关。
在图3中，水平轴表示要照射到人类皮肤的光的波长，垂直轴表示照射到人类皮肤光的反射率。
已知照射到人类皮肤的光的反射率在800nm附近达到峰值，从900nm附近开始急剧降低，在1000nm附近达到最小值，之后重新增大。
具体地说，如图3中所示，例如，通过把波长870nm的光照射到人类皮肤上而获得的反射光的反射率为63％，通过把波长950nm的光照射到人类皮肤上而获得的反射光的反射率为50％。
上述现象为人类皮肤所特有，至于除人类皮肤之外的物体(例如，头发或衣服)来说，在800-1000nm附近，反射率的变化常常变得平缓。
下面参考图4，说明用相机22拍摄的第一和第二拍摄图像。
图4表示通过接收照射到用户的波长870nm的光的反射光而获得的第一拍摄图像，和通过接收照射到用户的波长950nm的光的反射光而获得的第二拍摄图像的例子。
图4A表示其中用户的面部61和手62被表示成用户的皮肤区，用户所穿的衬衣63和背景64被表示成排除用户的皮肤区之外的区域的第一拍摄图像。
图4B表示其中用户的面部81和手82被表示成用户的皮肤区，用户所穿的衬衣83和背景84被表示成排除用户的皮肤区之外的区域的第二拍摄图像。
如图3中所示，就用户的皮肤部分的反射特性而论，波长870nm的光的反射率大于波长950nm的光的反射率。
因此，在波长870nm的光被映射到用户的情况下，作为照射到用户的皮肤部分的光的反射光，比波长950nm的光的反射光更明亮的光进入相机22的透镜。
结果，与构成第二拍摄图像内的用户的皮肤区(面部81和手82)的像素的亮度值相比，构成第一拍摄图像内的用户的皮肤区(面部61和手62)的像素的亮度值取更大的值。
因此，通过从构成第一拍摄图像内的用户的皮肤区的像素的亮度值中，减去构成第二拍摄图像内的用户的对应皮肤区的像素的亮度值而获得的差取正值。
与上面所述相反，就排除用户的皮肤部分之外的部分的反射特性而论，在一些情况下，波长870nm的光的反射率等于或小于波长950nm的光的反射率。
因此，在波长870nm的光被映射到用户的情况下，作为照射到排除用户的皮肤部分之外的部分的光的反射光，与波长950nm的光的反射光一样明亮或者更暗的光进入相机22的透镜。
结果，构成第一拍摄图像内的排除用户的皮肤区之外的区域(衬衣63和背景64)的像素的亮度值等于或小于构成第二拍摄图像内的排除用户的皮肤区之外的区域(衬衣83和背景84)的像素的亮度值。
因此，通过从构成第一拍摄图像内的排除用户的皮肤部分之外的部分的像素的亮度值中，减去构成第二拍摄图像内的排除用户的皮肤部分之外的对应部分的像素的亮度值而获得的差取等于或小于0的值(除正值之外的值)。
从而，二值化部分42计算第一拍摄图像和第二拍摄图像的对应像素的亮度值之间的差，并根据计算的差提取关心的像素(例如，皮肤区)，和排除用户的皮肤区之外的区域。随后，二值化部分42生成二值化皮肤图像，其中提取的用户的皮肤区用值1表示，排除提取的用户的皮肤区之外的区域用值0表示。
换句话说，例如，在计算的差为正值的情况下，二值化部分42提取对应的像素作为构成用户的皮肤区的像素，在计算的差不为正值的情况下，二值化部分42提取对应的像素作为构成排除用户的皮肤区之外的区域的像素。
随后，二值化部分42把作为构成用户的皮肤区的像素而提取的像素的值均设为1，把作为构成排除用户的皮肤区之外的区域的像素而提取的像素的值均设为0，从而生成二值化皮肤图像，并把二值化皮肤图像提供给皮肤提取部分43和形状提取部分46。
应注意取决于排除用户的皮肤部分之外的部分中的反射率，可能出现对于排除皮肤部分之外的部分计算的差小于对于皮肤部分计算的差，但是取正值的情况。于是，在差取正值，但是小于预定阈值的情况下，理想的是假定所述差是排除用户的皮肤部分之外的部分的差，从而对该部分设定值0。
此外，二值化部分42可计算第一拍摄图像和第二拍摄图像的对应像素的亮度值之间的差绝对值，并根据计算的差绝对值是否等于或大于预定阈值，提取用户的皮肤部分(皮肤区)，和排除皮肤部分之外的部分(排除皮肤区之外的区域)，从而生成二值化皮肤图像。
上面的操作利用了由于反射特性的缘故，与用户的皮肤部分对应的差绝对值取较大值，与排除用户的皮肤部分之外的部分对应的差绝对值取较小值的事实。
下面，图5表示由二值化部分42生成的二值化皮肤图像的例子。
在图5中所示的二值化皮肤图像中，用黑色表示的一部分指示用值1代表的皮肤区。皮肤区包括指示用户的面部的皮肤部分的面部区101，和指示用户的手的皮肤部分的手区102。
应注意为了便于举例说明，除了面部的皮肤部分之外，图5中所示的面部区101还包括眉毛、眼睛、头发等，不过实际上，面部区101仅由面部的皮肤部分构成。
另外，在图5中所示的二值化皮肤图像中，用白色表示的一部分指示排除皮肤区之外的区域，用值0表示。
二值化部分42把生成的二值化皮肤图像提供给皮肤提取部分43和形状提取部分46。
皮肤提取部分43根据从二值化部分42供给的二值化皮肤图像，从自相机22供给的第一拍摄图像中，提取与二值化皮肤图像内的面部区101和手区102对应的区域(包括面部61和手62的区域)。随后，皮肤提取部分43生成包括提取的区域在内的皮肤图像。
[皮肤图像的生成]
下面参考图6，说明皮肤提取部分43根据从二值化部分42供给的二值化皮肤图像，从第一拍摄图像生成处理后的图像(例如，皮肤图像)的处理。
图6表示皮肤提取部分43提取的皮肤图像的例子。图6中所示的皮肤图像显示用户的面部61和手62。
应注意为了便于举例说明，除了面部的皮肤部分之外，图6中所示的皮肤图像还包括眉毛、眼睛、头发等，作为用户的面部61，不过实际上，图6中所示的面部61仅仅表示面部的皮肤部分。
皮肤提取部分43把从二值化部分42供给的二值化皮肤图像的像素的亮度值和从相机22供给的第一拍摄图像的对应像素的亮度值相乘。
随后，皮肤提取部分43从构成第一拍摄图像的像素中，提取由其乘法结果不为0的像素构成的区域(包括面部61和手62的区域)，从而生成包括提取的区域在内的皮肤图像。
因此，在第一拍摄图像内的区域之中，包括在与二值化皮肤图像的面部区101对应的区域中的面部61，和包括在与二值化皮肤图像的手区102对应的区域中的手62被原样提取。与二值化皮肤图像中的排除皮肤区之外的区域对应的区域(图6中用白色表示的区域)被赋予亮度值255，从而从第一拍摄图像生成如图6中所示的皮肤图像。
皮肤提取部分43把生成的皮肤图像提供给阈值确定部分44。
阈值确定部分44根据从皮肤提取部分43供给的皮肤图像，确定用于生成掩模图像的掩模阈值。
[掩模阈值的确定]
下面参考图7，详细说明阈值确定部分44确定掩模阈值的处理。
图7表示皮肤图像的直方图的例子。
在图7中，水平轴表示构成皮肤图像的像素的亮度值。此外，垂直轴表示与水平轴的亮度值对应的像素的数目。
应注意构成图6的皮肤图像中，用白色表示的，并且具有亮度值255的区域的像素的数目一般表示在图7的直方图中，不过其图示被省略，因为亮度值255的像素的数目不被用于确定掩模阈值。
阈值确定部分44关于构成从皮肤提取部分43供给的皮肤图像的像素的亮度值，创建如图7中所示的直方图。
在图7的直方图中，大量的像素集中在亮度值0和亮度值54之间，以及亮度值55和亮度值110之间。即，在图7的直方图中，多个关心的像素被分成独立的两组。
顺便提及，如上所述，假定手位于接近相机22的位置，面部、胸部等位于远离相机22的位置。
例如，由于在接近相机22的时候，发光设备23的LED 23a和LED 23b发光，用户的接近相机22(发光设备23)的身体部位(这种情况下，手)具有较大的亮度值，用户的远离相机22的身体部位(这种情况下，面部等)具有较小的亮度值。
因此，与构成远离相机22的面部的皮肤部分的像素的亮度值相比，构成接近相机22的手的皮肤部分的像素的亮度值取较大的值。
于是，在亮度值0和亮度值54之间的亮度值是构成面部61(面部区)的像素的亮度值，在亮度值55和亮度值110之间的亮度值是构成预定物体，比如手62的像素的亮度值。
阈值确定部分44确定作为下限阈值Th_L的最小亮度阈值(在本例中，亮度值55)，和作为上限阈值Th_H的最大亮度阈值(在这种情况下，亮度值110)。
随后，阈值确定部分44把确定的下限阈值Th_L和上限阈值Th_H作为掩模阈值，提供给掩模图像生成部分45。
根据从阈值确定部分44提供的掩模阈值(下限阈值Th_L和上限阈值Th_H)，掩模图像生成部分45从自相机22供给的第一拍摄图像中检测掩模区和非掩模区，生成其中把检测到的掩模区和非掩模区二值化成不同值的掩模图像。
[掩模图像的生成]
下面参考图8，详细说明掩模图像生成部分45根据来自阈值确定部分44的掩模阈值，生成掩模图像的处理。
图8表示掩模图像的例子。在图8中所示的掩模图像中，用黑色表示的掩模区121是在对应的第一拍摄图像内，亮度值等于或大于下限阈值Th_L，并且等于或小于上限阈值Th_H的区域。
此外，在图8中所示的掩模图像中，用白色表示的非掩模区是在对应的第一拍摄图像内，亮度值小于下限阈值Th_L，或者大于上限阈值Th_H的区域。
在构成从相机22供给的第一拍摄图像的像素的亮度值等于或大于下限阈值Th_L，并且等于或小于上限阈值Th_H的情况下，掩模图像生成部分45检测到具有像包括在掩模区中的像素那样的亮度值的像素，并把这些亮度值都转换成值1。
此外，在构成从相机22供给的第一拍摄图像的像素的亮度值小于下限阈值Th_L，或者大于上限阈值Th_H的情况下，掩模图像生成部分45检测到具有像包括在非掩模区中的像素那样的亮度值的像素，并把这些亮度值都转换成值0。
因此，掩模图像生成部分45生成由掩模区121(用黑色表示)和非掩模区(用白色表示)构成的掩模图像，掩模区121由均具有值1的像素构成，非掩模区由均具有值0的像素构成，并把掩模图像提供给形状提取部分46。
根据从掩模图像生成部分45供给的掩模图像，形状提取部分46从自二值化部分42供给的二值化皮肤图像内的面部区101和手区102中，提取代表用户的手的形状的形状区，作为与掩模图像内的掩模区121对应的区域。
[手的形状的提取]
下面参考图9，详细说明形状提取部分46从二值化皮肤图像中提取用户的手的形状的处理。
图9表示包括由形状提取部分46提取的形状区的提取图像的显示例子。
在图9中所示的提取图像中，形状区141是用户的手的形状。
形状提取部分46把构成从掩模图像生成部分45提供的掩模图像的像素的亮度值与从二值化部分42供给的二值化皮肤图像的对应像素的亮度值相乘。
随后，形状提取部分46提取二值化皮肤图像内，乘法结果不为0的区域，即，二值化皮肤图像内的面部区101和手区102(图5)之中，与掩模图像内的掩模区121(图8)重叠的部分，作为形状区141。
此外，形状提取部分46根据提取的形状区141，识别用户的手的形状，并执行与识别结果对应的处理。
应注意除了用户的手之外，图8中所示的掩模图像内的掩模区121还包括用户所穿的衬衣。
不过，由于二值化皮肤图像内的面部区101和手区102不包括用户所穿的衬衣，因此形状提取部分46能够准确地提取只表示手的形状的形状区141，而不提取表示衬衣的形状的区域。
[形状提取处理操作的说明]
下面，详细说明信息处理系统1提取用户的手的形状等的形状提取处理。
图10是说明形状提取处理的流程图。应注意从打开信息处理系统1的电源的时候开始，反复进行形状提取处理。
下面，说明当用户在相机22之前时进行的形状提取处理。
在步骤S1，控制器41控制发光设备23的LED 23a开始发出具有第一波长的光。应注意在LED 23b发光的情况下，控制器41停止LED 23b的光的发射，随后使LED 23a开始发光。
在步骤S2，相机22拍摄用具有第一波长的光照射的用户的图像，并把所得到的第一拍摄图像提供给信息处理设备21。
在步骤S3，控制器41控制发光设备23的LED 23a停止发射具有第一波长的光，并控制发光设备23的LED 23b开始发出具有第二波长的光。
在步骤S4，相机22拍摄用具有第二波长的光照射的用户的图像，并把所得到的第二拍摄图像提供给信息处理设备21。
在步骤S5，二值化部分42根据从相机22提供的第一拍摄图像和第二拍摄图像的对应像素的亮度值之间的差，生成图5中所示的二值化皮肤图像，并把二值化皮肤图像提供给皮肤提取部分43和形状提取部分46。
在步骤S6，皮肤提取部分43根据从二值化部分42供给的二值化皮肤图像，从自相机22供给的第一拍摄图像中，提取与二值化皮肤图像内的皮肤区(表示用户的皮肤部分的区域)对应的区域。
随后，皮肤提取部分43生成包括提取区域在内的皮肤图像，并把该皮肤图像提供给阈值确定部分44。
在步骤S7，阈值确定部分44根据构成从皮肤提取部分43供给的皮肤图像的像素的亮度值，创建如图7中所示的皮肤图像的直方图。
在步骤S8，阈值确定部分44根据创建的皮肤图像的直方图，确定像素数目极小的亮度值，作为下限阈值Th_L，和最大亮度值，作为上限阈值Th_H。
随后，阈值确定部分44把确定的下限阈值Th_L和上限阈值Th_H，作为掩模阈值提供给掩模图像生成部分45。
在步骤S9，掩模图像生成部分45根据从阈值确定部分44提供的掩模阈值(下限阈值Th_L和上限阈值Th_H)，使从相机22供给的第一拍摄图像二值化，从而生成如图8中所示的掩模图像，并把该掩模图像提供给形状提取部分46。
在步骤S10，根据从掩模图像生成部分45供给的掩模图像，形状提取部分46从自二值化部分42供给的二值化皮肤图像中提取表示用户的手的形状的提取区，作为与掩模图像内的掩模区对应的区域。
随后，形状提取部分46依据这样提取的提取区，识别手的形状，执行与识别结果对应的处理，并把处理结果输出给后一级。
借助上面的处理，结束形状提取处理。
如上所述，在形状提取处理中，根据掩模阈值，从一部相机22拍摄的第一拍摄图像生成掩模图像，根据生成的掩模图像，从二值化皮肤图像中提取用户的手的形状。
因此，与根据由多部相机拍摄的多个拍摄图像，生成表示相机和用户的手等之间的距离的距离图像，并利用距离图像作为掩模图像提取用户的手的形状的情况相比，能够减少生成掩模图像所必需的计算量，并用数目较少的组件提取用户的手的形状。
此外，在形状提取处理中，根据从相机22到用户的面部的距离和从相机22到用户的手的距离之间的差，生成包括掩模区121和非掩模区的掩模图像，所述掩模区121只包括手的皮肤部分作为皮肤部分，而不包括面部的皮肤部分。
因此，在二值化皮肤图像中，即使当包括要被提取的手的手区102与包括作为除手之外的皮肤部分的面部的面部区101重叠时，作为皮肤部分，掩模区121也只包括手的皮肤部分，而不包括面部的皮肤部分，其结果是能够只从二值化皮肤图像中提取手区102。
从而，能够准确地提取用户的手的形状。
此外，在形状提取处理中，从LED 23a和LED 23b发出人类看不到的不可见近红外射线(光)。
因此，由于用户不能在视觉上看到从LED 23a和LED 23b发出的光，因此用户不会因从LED 23a和LED 23b发出的亮光而感到不适。
此外，在信息处理系统1的发光设备23的LED 23a和LED 23b之前设置有扩散板23c。
借助这种结构，从LED 23a和LED 23b发出的不可见光被均匀扩散。于是，不存在由光量引起的不均匀性的均匀光线被映射到被摄物体上。
因此，作为不存在由光量引起的不均匀性的均匀光线，照射到被摄物体上的不可见光的反射光被相机22接收，其结果是相机22能够获得不存在由光量引起的不均匀性的第一和第二拍摄图像。
因此，由于在信息处理系统1中，不存在由光量引起的不均匀性的第一和第二拍摄图像被用于提取手的形状等，因此与使用存在由光量引起的不均匀性的第一和第二拍摄图像的情况相比，能够更准确地提取手的形状等等。
应注意在信息处理系统1中，理想的是在开始形状提取处理之后约80ms内提取手的形状，以致每次用户改变手的形状时，能够识别改变之后的手的形状。
[2.变形例]
在上面说明的形状提取处理中，每次进行形状提取处理时，通过步骤S6-S8的处理，提取皮肤图像，并根据提取的皮肤图像的直方图，确定掩模阈值(下限阈值Th_L和上限阈值Th_H)，不过形状提取处理并不局限于此。
换句话说，例如，在形状提取处理中，当进行形状提取处理时，可原样使用先前在步骤S6-S8中确定的掩模阈值。
这种情况下，由于能够省略步骤S6-S8中的处理，因此能够用形状提取处理快速提取手的形状等等。
此外，通过在进行形状提取处理之前执行与步骤S6-S8中的处理相同的处理，以预先确定掩模阈值，也能够在形状提取处理中省略步骤S6-S8中的处理。
应注意作为在进行形状提取处理之前预先确定掩模阈值的处理，另外还可根据构成用户的手区的像素的亮度值的平均值确定掩模阈值。
[确定掩模阈值的方法]
下面参考图11，说明FFT(快速傅里叶变换)阈值确定处理，其中阈值确定部分44根据构成用户的手区的像素的亮度值的平均值，确定掩模阈值。
图11表示通过拍摄用波长870nm的光照射的用户的图像而获得的第一拍摄图像的例子。
应注意当进行FFT阈值确定处理时，从相机22向阈值确定部分44提供通过用相机22拍摄挥手的用户的图像而获得的多个第一拍摄图像。
阈值确定部分44对多个第一拍摄图像进行FFT处理，检测第一拍摄图像内以恒定频率移动的手区。
随后，阈值确定部分44计算构成矩形区161的像素的亮度值的平均值ave_L，矩形区161是检测到的手区的一部分。
此外，阈值确定部分44把通过从平均值ave_L中减去调整值a而获得的值ave_L-a确定为下限阈值Th_L，把通过将调整值b与平均值ave_L相加而获得的值ave_L+b确定为上限阈值Th_H。
应注意调整值a和b是用于调整平均值ave_L，和确定下限阈值Th_L和上限阈值Th_H的值。
调整值a和b是按照从LED 23a和LED 23b发出的光的强度(光量)，从相机22到用户的距离，和在相机22中使用的CCD(电荷耦合器件图像传感器)的光灵敏度计算的变量，不过在许多情况下，这些变量实际上是通过实验计算的。
[利用FFT阈值确定处理的操作的说明]
下面，说明其中阈值确定部分44根据构成用户的手区的像素的亮度值的平均值，确定掩模阈值的FFT阈值确定处理。
图12是说明FFT阈值确定处理的流程图。例如，当打开信息处理系统的电源时，并在进行形状提取处理之前，开始FFT阈值确定处理。
在步骤S31，控制器41控制发光设备23的LED 23a开始发出具有第一波长的光。
在步骤S32，控制器41控制设置在信息处理设备21中的显示器、扬声器等(未示出)指令用户挥手。
在步骤S33，相机22拍摄挥手的用户的图像，并把所得到的第一拍摄图像提供给信息处理设备21的阈值确定部分44。
在步骤S34，阈值确定部分44对第一拍摄图像进行FFT处理，并检测第一拍摄图像内的手区，所述手区以恒定频率移动。
在步骤S35，阈值确定部分44计算构成矩形区161的像素的亮度值的平均值ave_L，矩形区161是检测到的手区的一部分。
在步骤S36，阈值确定部分44把通过从平均值ave_L中减去调整值a而获得的值ave_L-a确定为下限阈值Th_L，把通过将调整值b与平均值ave_L相加而获得的值ave_L+b确定为上限阈值Th_H。
借助上述处理，结束FFT阈值确定处理。如上所述，在FFT阈值确定处理中，掩模阈值是在进行形状提取处理之前确定的，其结果是也能够省略步骤S6-S8的处理，从而在形状提取处理中，能够更迅速地提取手的形状等等。
应注意在FFT阈值确定处理中，对多个第一拍摄图像进行FFT处理，以检测第一拍摄图像内的手区，并根据手区内的像素的亮度值的平均值确定掩模阈值(下限阈值Th_L和上限阈值Th_H)，不过FFT阈值确定处理并不局限于此。
换句话说，例如，在FFT阈值确定处理中，通过对通过用相机22拍摄挥手的用户的图像而获得的多个第二拍摄图像进行FFT处理，也可检测第二拍摄图像内的手区，并根据该手区内的像素的亮度值的平均值确定掩模阈值。
在本实施例中，二值化部分42从第一拍摄图像中提取用户的皮肤区，和排除用户的皮肤区之外的区域，并把由提取的皮肤区和排除皮肤区之外的区域构成的二值化皮肤图像提供给皮肤提取部分43和形状提取部分46，不过本发明并不局限于此。
换句话说，例如，二值化部分42可从第一拍摄图像中提取用户的皮肤区，并把至少包括提取的皮肤区的二值化皮肤图像提供给皮肤提取部分43和形状提取部分46。
这种情况下，皮肤提取部分43从相机22拍摄的第一拍摄图像中提取与包含在从二值化部分42供给的二值化皮肤图像中的皮肤区对应的区域。此外，形状提取部分46从包括在从二值化部分42提供的二值化皮肤图像中的皮肤区中，提取形状区。
在本实施例中，掩模图像生成部分45从第一拍摄图像中检测掩模区和非掩模区，并生成由检测的掩模区和非掩模区构成的掩模图像，不过本发明并不局限于此。
换句话说，例如，掩模图像生成部分45只检测掩模区，用作用于从二值化皮肤图像中提取形状区的提取区，并生成至少包括检测的掩模区的掩模图像。在这种情况下，在形状提取部分46中，在从二值化部分42供给的二值化皮肤图像内的皮肤区中，提取与掩模图像内的掩模区对应的区域，作为形状区。
此外，例如，掩模图像生成部分45可以只检测非掩模区，作为提取区，并生成至少包括检测的非掩模区的掩模图像。这种情况下，在形状提取部分46中，在从二值化部分42供给的二值化皮肤图像内的皮肤区中，提取与掩模图像内排除非掩模区之外的区域对应的区域，作为形状区。
[相机22，LED 23a和LED 23b的性能]
下面参考图13和14，说明当本发明的申请人实际进行形状提取处理和FFT阈值确定处理时，构成信息处理系统1的相机22和发光设备23的性能。
本发明的申请人使用Sony公司制造的相机作为相机22。相机22的型号为XC-EI50，包括作为摄像器件的1/2IT式CCD。
此外，相机22具有768×494的有效像素，采用C接口作为镜头接口，和隔行525线的扫描方法作为扫描方法。
此外，灵敏度为F11(400 1x)，最小景深为0.1 1x。此外，用相机22拍摄的拍摄图像的S/N(信噪)比为60dB。
此外，在相机22中，由预先为相机22设置的快门按钮(标准快门)的快门速度为1/100-1/10000秒，外部与相机22连接的释放开关(外部触发快门)的快门速度为1/4-1/10000秒。
此外，相机22具有29(宽)×29(高)×32(深)的外部尺寸，重量约50g。此外，相机22具有70G的抗振性。
此外，相机22具有在从400nm的可见光区到1000nm的近红外区的范围内的灵敏性。
图13表示相机22的相对灵敏度特性的例子。
应注意在图13中，水平轴表示入射到相机22的透镜的波长，垂直轴表示与该波长对应的相对灵敏度。
此外，本发明的申请人使用如图14中所示，交替排列成网状的8个LED 23a和8个LED 23b，作为发光设备23。
作为本发明的申请人实际使用的LED 23a，使用的是发出波长870nm的光的LED，作为LED 23b，使用的是发出波长950nm的光的LED。
另外，具有100mA的DC正向电流(额定最大值)和1.6V的正向电压的LED被用作LED 23a和LED 23b。
在利用具有上述性能的相机22及如图14中所示排列的LED 23a和LED 23b的时候，本发明的申请人实际进行形状提取处理和FFT阈值确定处理，因此能够获得上面所述的明显操作效果。
在本实施例中，掩模图像生成部分45根据从阈值确定部分44提供的掩模阈值，用从相机22供给的第一拍摄图像生成掩模图像，不过，生成掩模图像的方法并不局限于此。
换句话说，例如，掩模图像生成部分45能够进行根据由沿不同方向拍摄图像的多部相机拍摄的拍摄图像，生成表示从照相机到用户的距离的距离图像的立体处理，并把所得到的距离图像用作掩模图像。
这种情况下，形状提取部分46提取其中从掩模图像生成部分45提供的距离图像内，表示从相机到手的距离的区域，与从二值化部分42提供的二值化皮肤图像内的面部区101和手区102重叠的部分，作为表示用户的手的形状的形状区141。
此外，除了立体处理之外，作为生成距离图像用作掩模图像的方法，还可在利用激光测距仪等的时候生成用户的距离图像，所述激光测距仪等根据使红外线照射到用户，并从用户反射回来所用的时间，计算到用户的距离。
此外，在本实施例中，从LED 23a发出的第一波长被设定为870nm，从LED 23b发出的第二波长被设定为950nm，不过，波长的组合并不局限于此。
具体地说，可以设定波长的任意组合，只要与关于除用户的皮肤之外的物体所获得的反射率之间的差绝对值相比，所述组合导致第一波长的反射率与第二波长的反射率之间的足够大的差绝对值即可。具体地说，如图3中明显所示，除了870nm和950nm的组合之外，800nm和950nm的组合，870nm和1000nm的组合，以及800nm和1000nm的组合都是可能的。
应注意在可见光被用作从LED 23a发出的光的情况下，代替可见光截止滤光片22a，使用只透过从LED 23a发出的可见光，并使该可见光进入相机22的透镜的滤光片。这同样适用于LED 23b。
此外，在本实施例中，在形状提取处理中，LED 23a和LED 23b单独发光。不过，也可通过使LED 23a和LED 23b同时发光，获得第一拍摄图像和第二拍摄图像。
具体地说，例如，代替相机22，相互接近地设置具有与相机22相同功能的两部相机。在这两部相机中的一部相机之前，设置只透过具有第一波长的光的滤光片，在另一部相机之前设置只透过具有第二波长的光的滤光片。
这种情况下，即使LED 23a和LED 23b同时发光，也只有具有第一波长的光进入所述一部相机中，其结果是能够在所述一部相机中获得第一拍摄图像。此外，由于只有具有第二波长的光进入所述另一部相机中，因此能够在所述另一部相机中获得第二拍摄图像。
在本实施例中，LED 23a的数目和LED 23b的数目都被设为2，不过，它们的数目并不局限于此。
另外，在本实施例中，作为表示用户的身体部位的物体的手(手的形状)被改变，以使信息处理设备21执行预定处理，不过除了手之外，也可采用用户的脚等作为所述物体。
顺便提及，上述一系列处理可用专用硬件或软件执行。在用软件执行所述一系列处理的情况下，从记录介质把构成所述软件的程序安装到所谓的内置计算机，或者通过安装各种程序，能够执行各种功能的通用个人计算机中。
[计算机的结构例子]
下面，图15表示用程序执行上述一系列处理的个人计算机的结构例子。例如，图2中图解说明的信息处理设备21的各个部分，或者每个部分可用至少一个处理器，比如图15中图解说明的中央处理器201实现。在一个实施例中，二值化部分42，皮肤提取部分43，阈值确定部分44，掩模图像生成部分45和形状提取部分46(或者这些部分中的每一个)可用单个处理器，或者多个不同的处理器实现。
CPU(中央处理器)201按照保存在ROM(只读存储器)202或存储部分208中的程序，执行各种处理。RAM(随机存取存储器)203酌情保存将由CPU 201执行的程序，数据等等。这些CPU 201，ROM 202和RAM 203通过总线204相互连接。
此外，CPU 201通过总线204与输入/输出接口205连接。输入/输出接口205与诸如键盘、鼠标和麦克风之类的输入部分206，和诸如显示器和扬声器之类的输出部分207连接。CPU 201按照从输入部分206输入的命令，执行各种处理。随后，CPU 201把处理结果输出给输出部分207。
与输入/输出接口205连接的存储部分208由例如硬盘构成，保存将由CPU 201执行的程序，以及各种数据。通信部分209通过诸如因特网和局域网之类的网络，与外部设备通信。
此外，程序可通过通信部分209获得，并保存在存储部分208中。
当可拆卸介质211，比如磁盘、光盘、磁光盘和半导体存储器被装入其中时，与输入/输出接口205连接的驱动器210驱动可拆卸介质211，从而获得保存在可拆卸介质211中的程序和数据。根据需要，获得的程序和数据被传给存储部分208，并保存在存储部分208中。
如图15中所示，记录(保存)安装在计算机中，并由计算机执行的程序的记录介质由可拆卸介质211构成，可拆卸介质211是诸如磁盘(包括软盘)、光盘(包括CD-ROM(压缩光盘-只读存储器)和DVD(数字通用光盘))、磁光盘(包括MD(小型光盘))和半导体存储器之类的套装介质，临时或永久保存程序的ROM 202，或者构成存储部分208的硬盘。在利用有线或无线通信介质，比如局域网、因特网和数字广播的时候，酌情经作为接口的通信部分209，比如路由器和调制解调器，把程序记录在记录介质上。
应注意除了按照所述顺序，时序地执行的处理之外，这里描述上述一系列处理的步骤还包括并行或者单独执行的，而不是按时间顺序执行的处理。
此外，这里的系统代表由多个设备构成的整个设备。
应注意本发明的实施例并不局限于上述本实施例，可以做出各种修改，而不脱离本发明的要旨。
本申请包含于在2009年6月30日和日本专利局提交的日本优先权专利申请JP 2009-154921中公开的主题相关的主题，该申请的整个内容在此引为参考。
[附图标记列表]
1  信息处理系统
21 信息处理设备
22 相机
23 发光设备
41 控制器
42 二值化部分
43 皮肤提取部分
44 阈值确定部分
45 掩模图像生成部分
46 形状提取部分

Claims (9)

1.一种信息处理设备，用于从通过捕捉用户获得的捕捉图像中提取代表用户身体的预定身体部位的对象的形状，包括：
照射装置，用于将具有第一波长的光和具有不同于第一波长的第二波长的光照射到用户；
获得装置，用于获得通过接收发出的照射到用户的具有第一波长的光的反射光而获得的第一图像，以及通过接收发出的照射到用户的具有第二波长的光的反射光而获得的第二图像；
皮肤区域提取装置，用于根据第一图像和第二图像提取代表用户的皮肤的皮肤区域；以及
形状区域提取装置，用于提取代表皮肤区域上对象的形状的形状区域，其中，
形状区域提取装置根据构成对应于显示对象的显示图像上的皮肤区域的区域的像素的亮度值分布提取形状区域。
2.按照权利要求1所述的信息处理设备，其中
所述形状区域提取装置检测用于根据构成对应于显示图像上的皮肤区域的区域的像素的亮度值分布从皮肤区域提取形状区域的提取区域，并且根据检测的提取区域提取皮肤区域上的形状区域。
3.按照权利要求2所述的信息处理设备，其中
所述形状区域提取装置确定用于根据构成对应于显示图像上的皮肤区域的区域的像素的亮度值分布提取该提取区域的掩模阈值，并通过使用确定的掩模阈值来检测提取区域。
4.按照权利要求3所述的信息处理设备，其中
所述形状区域提取装置确定代表下限的下限阈值和代表上限的上限阈值作为掩模阈值，并通过使用下限阈值和上限阈值检测提取区域。
5.按照权利要求1所述的信息处理设备，其中
所述形状区域提取装置根据第一图像和第二图像的对应像素的亮度值之间的差来提取皮肤区域。
6.按照权利要求1所述的信息处理设备，还包括：
光截止装置，用于切断具有除第一波长和第二波长之外的波长的光，并仅使具有第一波长和第二波长的光通过；
生成装置，用于通过接收通过光截止装置的具有第一波长的光生成第一图像，和通过接收通过光截止装置的具有第二波长的光生成第二图像，其中，
所述获得装置获得生成装置生成的第一图像和第二图像。
7.按照权利要求1所述的信息处理设备，其中，
所述照射装置照射具有第一波长的光和具有第二波长的光，其中通过将具有第一波长的光照射到用户的皮肤而获得的反射光的反射率与通过将具有第二波长的光照射到用户的皮肤而获得的反射光的反射率之间的差绝对值等于或大于预定阈值。
8.按照权利要求1所述的信息处理设备，其中，
所述照射装置照射具有等于或大于940nm的第一波长的光，照射具有小于940nm的第二波长的光。
9.一种信息处理设备的信息处理方法，所述信息处理设备用于从通过捕捉用户获得的捕捉图像中提取代表用户身体的预定身体部位的对象的形状，所述信息处理设备包括：
照射装置，
获得装置，
皮肤区域提取装置，和
形状区域提取装置，
所述方法包括以下步骤：
由照射装置将具有第一波长的光和具有不同于第一波长的第二波长的光照射到用户；
由获得装置获得通过接收发出的照射到用户的具有第一波长的光的反射光而获得的第一图像，以及通过接收发出的照射到用户的具有第二波长的光的反射光而获得的第二图像；
由皮肤区域提取装置根据第一图像和第二图像提取代表用户的皮肤的皮肤区域；以及
由形状区域提取装置提取代表皮肤区域上对象的形状的形状区域，其中，
形状区域提取装置根据构成对应于显示对象的显示图像上的皮肤区域的区域的像素的亮度值分布提取形状区域。
CN2010800024260A 2009-06-30 2010-05-21 使用多频带近红外照明进行皮肤检测 Expired - Fee Related CN102138148B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-154921 2009-06-30
JP2009154921A JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム
PCT/JP2010/003427 WO2011001593A1 (en) 2009-06-30 2010-05-21 Skin detection using multi-band near-infrared illumination

Publications (2)

Publication Number Publication Date
CN102138148A CN102138148A (zh) 2011-07-27
CN102138148B true CN102138148B (zh) 2013-07-24

Family

ID=42457840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800024260A Expired - Fee Related CN102138148B (zh) 2009-06-30 2010-05-21 使用多频带近红外照明进行皮肤检测

Country Status (7)

Country Link
US (3) US20110142349A1 (zh)
EP (2) EP2384485A1 (zh)
JP (2) JP4548542B1 (zh)
KR (2) KR20120031309A (zh)
CN (1) CN102138148B (zh)
TW (1) TW201112168A (zh)
WO (2) WO2011001593A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4910923B2 (ja) * 2007-07-20 2012-04-04 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP2011039812A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置及び電子機器
US9754155B2 (en) * 2009-12-18 2017-09-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a single reflectance technique
JP2013535047A (ja) * 2010-05-28 2013-09-09 クゥアルコム・インコーポレイテッド 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成
JP2012063824A (ja) * 2010-09-14 2012-03-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム
EP2512121B1 (en) * 2011-04-13 2013-06-05 Axis AB Illumination device
JP2013084228A (ja) * 2011-10-12 2013-05-09 Sony Corp 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
TWI479430B (zh) * 2012-10-08 2015-04-01 Pixart Imaging Inc 以自然影像進行的手勢辨識方法
CN103777741B (zh) * 2012-10-19 2017-08-01 原相科技股份有限公司 基于物件追踪的手势辨识方法及系统
CN108334204B (zh) * 2012-12-10 2021-07-30 因维萨热技术公司 成像装置
JP5971108B2 (ja) 2012-12-18 2016-08-17 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN103268499B (zh) * 2013-01-23 2016-06-29 北京交通大学 基于多光谱成像的人体皮肤检测方法
US20140240477A1 (en) * 2013-02-26 2014-08-28 Qualcomm Incorporated Multi-spectral imaging system for shadow detection and attenuation
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
CN106062666B (zh) * 2014-02-10 2019-03-15 苹果公司 使用光学传感器检测到的运动手势输入
US10097780B2 (en) 2014-06-05 2018-10-09 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
US10736517B2 (en) * 2014-10-09 2020-08-11 Panasonic Intellectual Property Management Co., Ltd. Non-contact blood-pressure measuring device and non-contact blood-pressure measuring method
WO2016185916A1 (ja) * 2015-05-20 2016-11-24 コニカミノルタ株式会社 ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム
US10354383B2 (en) * 2016-12-30 2019-07-16 Skinio, Llc Skin abnormality monitoring systems and methods
JP6501806B2 (ja) * 2017-01-05 2019-04-17 キヤノン株式会社 情報処理装置、操作検出方法、及びコンピュータプログラム
CN111339822B (zh) * 2017-07-17 2023-06-30 Oppo广东移动通信有限公司 活体检测方法及相关产品
JP2019032395A (ja) * 2017-08-07 2019-02-28 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN108416333B (zh) * 2018-03-30 2020-01-17 百度在线网络技术（北京）有限公司 图像处理的方法和装置
CN109145803B (zh) * 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN109124587A (zh) * 2018-08-14 2019-01-04 上海常仁信息科技有限公司 一种基于机器人的皮肤检测系统和方法
EP3951312A4 (en) * 2019-03-26 2022-05-18 Sony Group Corporation IMAGE PROCESSING DEVICE, METHOD AND PROGRAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993707A (zh) * 2004-07-30 2007-07-04 佳能株式会社 图像处理方法和设备、摄像设备以及程序
US20080177185A1 (en) * 2007-01-23 2008-07-24 Funai Electric Co., Ltd. Skin Area Detection Imaging Device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
US5418574A (en) * 1992-10-12 1995-05-23 Matsushita Electric Industrial Co., Ltd. Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding
JPH06304142A (ja) * 1993-04-22 1994-11-01 Canon Inc 視線検出装置
BR9611136A (pt) * 1995-10-23 1999-09-14 Cytometrics Inc Processo e aparelho para análise de imagem refletida
US5771033A (en) * 1996-05-24 1998-06-23 Microsoft Corporation Method and system for dissolving an image displayed on a computer screen
JPH10150572A (ja) * 1996-09-18 1998-06-02 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
US6292576B1 (en) * 2000-02-29 2001-09-18 Digital Persona, Inc. Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP4074464B2 (ja) * 2002-02-26 2008-04-09 学校法人 中央大学 周期性を有する動きの検出方法および装置
KR101044029B1 (ko) * 2002-05-09 2011-06-23 소니 주식회사 혈관 인증 장치 및 혈관 인증 방법
CA2563459A1 (en) * 2003-04-18 2004-11-04 Medispectra, Inc. Systems for identifying, displaying, marking, and treating suspect regions of tissue
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
JP4102318B2 (ja) * 2004-03-03 2008-06-18 日本電信電話株式会社 道具動作認識装置および道具動作認識方法
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
JP4442472B2 (ja) * 2005-03-07 2010-03-31 株式会社豊田中央研究所 対象物の部位判別装置
US20070140553A1 (en) * 2005-12-19 2007-06-21 Olympus Corporation Dental colorimetry apparatus
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US20080304736A1 (en) * 2007-02-20 2008-12-11 Masahiro Nakagawa Method of estimating a visual evaluation value of skin beauty
JP4853414B2 (ja) * 2007-07-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置およびプログラム
JP5156365B2 (ja) 2007-12-27 2013-03-06 ライオン株式会社 プラスチックボトル
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993707A (zh) * 2004-07-30 2007-07-04 佳能株式会社 图像处理方法和设备、摄像设备以及程序
US20080177185A1 (en) * 2007-01-23 2008-07-24 Funai Electric Co., Ltd. Skin Area Detection Imaging Device

Also Published As

Publication number Publication date
EP2378759A4 (en) 2012-11-07
JPWO2011001761A1 (ja) 2012-12-13
JP2014064047A (ja) 2014-04-10
JP4548542B1 (ja) 2010-09-22
EP2378759A1 (en) 2011-10-19
KR20120031309A (ko) 2012-04-02
US20110194774A1 (en) 2011-08-11
US8285054B2 (en) 2012-10-09
WO2011001593A1 (en) 2011-01-06
CN102138148A (zh) 2011-07-27
KR20120039498A (ko) 2012-04-25
WO2011001761A1 (ja) 2011-01-06
TW201112168A (en) 2011-04-01
US20110216941A1 (en) 2011-09-08
US8107706B2 (en) 2012-01-31
EP2384485A1 (en) 2011-11-09
US20110142349A1 (en) 2011-06-16
JP4831267B2 (ja) 2011-12-07

Similar Documents

Publication Publication Date Title
CN102138148B (zh) 使用多频带近红外照明进行皮肤检测
EP3284011B1 (en) Two-dimensional infrared depth sensing
Bianco et al. Color constancy using faces
Elgammal et al. Skin detection-a short tutorial
US20120121133A1 (en) System for detecting variations in the face and intelligent system using the detection of variations in the face
KR20180037436A (ko) 다중 크기 컨볼루션 블록 층을 이용한 얼굴 인식 장치
Genovese et al. Towards touchless pore fingerprint biometrics: A neural approach
Seal et al. Minutiae based thermal face recognition using blood perfusion data
Panella et al. A smartphone-based application using machine learning for gesture recognition: Using feature extraction and template matching via Hu image moments to recognize gestures
Reyes et al. Dynamic Color Object Recognition Using Fuzzy Logic.
Youlian et al. Face detection method using template feature and skin color feature in rgb color space
Kumar et al. Skin color segmentation for detecting human face region in image
Chen et al. A computational efficient iris extraction approach in unconstrained environments
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
Talha et al. Adaptive fusion of infra-red and visible spectra camera data for particle filter tracking of moving targets
CN109960963A (zh) 非接触式掌纹获取装置及其方法
Villamizar et al. Combining color-based invariant gradient detector with HoG descriptors for robust image detection in scenes under cast shadows
CN206805574U (zh) 图像采集设备
Subban et al. Face detection in color images based on explicitly-defined skin color model
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
Hikal et al. Skin color segmentation using adaptive PCA and modified elliptic boundary model
Khaparde et al. Face detection using color based segmentation and morphological processing–a case study
Saito Anti-spam system: another way of preventing spam
Lecca et al. Always-on low-power optical system for skin-based touchless machine control
Mishra et al. Face detection for video summary using enhancement-based fusion strategy under varying illumination conditions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130724

Termination date: 20150521

EXPY Termination of patent right or utility model