CN101753812B - 成像装置和成像方法 - Google Patents

成像装置和成像方法 Download PDF

Info

Publication number
CN101753812B
CN101753812B CN200910225771XA CN200910225771A CN101753812B CN 101753812 B CN101753812 B CN 101753812B CN 200910225771X A CN200910225771X A CN 200910225771XA CN 200910225771 A CN200910225771 A CN 200910225771A CN 101753812 B CN101753812 B CN 101753812B
Authority
CN
China
Prior art keywords
infrared light
image
view data
imaging device
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910225771XA
Other languages
English (en)
Other versions
CN101753812A (zh
Inventor
五味圭三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101753812A publication Critical patent/CN101753812A/zh
Application granted granted Critical
Publication of CN101753812B publication Critical patent/CN101753812B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

本发明提供了一种成像装置，包括：成像单元，包括第一光电转换设备和第二光电转换设备，其中所述第一光电转换设备通过光电转换从被摄体发送的可见光分量来生成第一图像数据，并且其中所述第二光电转换设备通过光电转换从被摄体发送的红外光分量来生成第二图像数据；滤光器，移除可见光分量，但允许红外光分量透过；被摄体图像位置标识单元，用于在第一图像数据中标识预定被摄体图像以及预定被摄体图像的位置；红外光强度检测单元，用于检测第二图像数据中发送的红外光的强度；以及活体检测单元，用于基于预定被摄体图像的位置红外光强度，检测活体。

Description

成像装置和成像方法
技术领域
本发明涉及成像装置和成像方法。
背景技术
近来，如数字相机和摄像机的成像装置使用面部识别技术，该面部识别技术用于通过从由对被摄体成像获得的图像数据提取人的面部的特征，识别人的面部是否包括在被摄体中。在面部识别技术中，使用可见光图像的方法是高度可靠的，但是可见光图像在实际的人像和印刷在如海报和图片的印刷材料上的人像之间没有产生任何区别。因此，因为基于可见光图像不能将印刷画像从实际的人像中区分开来，所以可能错误地识别面部。
图14是示出普通成像装置的配置的一部分的框图。在图14中，为了说明方便，从普通成像装置提取面部位置标识单元12和主要包括镜头18、固态成像设备2和红外光截除滤光器(cut filter)22的成像单元20。如图14所示，面部位置标识单元12直接接收来自成像单元20的可见光图像，接收已经由图像处理单元(未示出)处理的可见光图像，或接收经历各种处理的存储在存储器(未示出)中的可见光图像。
众所周知，如人类的活体发射红外光。关于活体检测，存在使用能够检测红外光的红外相机的技术。日本专利申请公开(JP-A)No.H5-297152和No.2005-197914公开了一种用于通过识别被摄体中的人的面部，将实际的人像与海报等上绘制的画像区分、从而识别实际的人(活体)像的技术。
发明内容
然而，JP-A No.H5-297152的技术需要辐射温度计和用于将辐射温度计朝向温度检测的方向的控制装置。因此，难以制造较小的活体识别装置和较小的具有活体识别装置的成像装置，并且难以降低成本。
在使用红外相机的技术中，获得的图像数据根据温度表示为亮度数据。因此，由于获得的图像数据不提供允许个体的面部模式的检测(面部图像识别)的充足的信息量，所以存在可靠度低的问题。换句话说，利用用于基于红外光图像检测面部模式的技术，由于频繁发生的错误确定，经常不能检测面部，并且即使当面部包括在被摄体中时，在检测面部时也经常出现失败。当减弱确定标准以避免检测失败时，需要对许多像素区域执行面部图像识别，因此关于省时方面没有提供优势。
当成像设备如同JP-A No.2005-197914中使用的成像设备那样包括红外光接收像素时，成像设备具有较小数量的可见光接收像素。因此，存在与普通成像设备相比图像的质量劣化的问题，普通成像设备的所有像素是可见光接收像素。
此外，JP-A No.2005-197914公开了一种使用光谱仪(棱镜)来将从被摄体发射的光分离为可见光和红外光的技术，所述可见光和红外光分别由可见光成像设备和红外光成像设备接收。然而，当使用光学棱镜、二向棱镜等时，因为由于确保光径的需要难以使得装置更小，所以存在装置的尺寸变大的问题。此外，当使用棱镜时，成像装置中使用的成像镜头需要与棱镜兼容。此外，因为在结合等中需要高精度，所以二向棱镜的制造需要高技术水平。因此，存在制造成本非常昂贵的问题。另一方面，当尝试以低成本制造光学系统时，每个光学组件的质量降低，并且出现图像质量由于低精度而劣化的问题。
有鉴于上述和其他问题做出了本发明。本发明提供了一种新颖的和改进的成像装置以及一种新颖的和改进的成像方法，其能够实现高度可靠的活体面部识别系统，可使得该活体面部识别系统容易地制造得更小而不劣化图像的质量。
根据本发明实施例，提供了一种成像装置，包括：成像单元，包括第一光电转换设备和第二光电转换设备，其中所述第一光电转换设备通过光电转换从被摄体发送的可见光分量来生成第一图像数据，并且其中所述第二光电转换设备通过光电转换从被摄体发送的红外光分量来生成第二图像数据；滤光器，安排在从被摄体延伸的光轴上，并且安排在第二光电转换设备的被摄体侧，其中所述滤光器移除可见光分量，但允许红外光分量通过；被摄体图像位置标识单元，用于标识第一图像数据中的预定被摄体图像以及预定被摄体图像在屏幕内的位置；红外光强度检测单元，用于检测第二图像数据中从被摄体发送的红外光的强度；以及活体检测单元，用于基于预定被摄体图像在屏幕内的位置以及该位置处的红外光强度，检测活体。
所述活体检测单元可根据预定被摄体图像在屏幕内的位置指定第二图像数据中的活体检测区域，并且可基于活体检测区域内的检测的红外光强度，检测活体。
所述活体检测单元可基于同时获得的第一图像数据和第二图像数据检测活体。
所述滤光器可以是可安排在从被摄体延伸的光轴上、并且可从光轴位移的可移动部件。
根据本发明另一实施例，提供了一种成像装置，包括：成像单元，包括一个成像设备，其中所述成像设备通过在第一模式下光电转换从被摄体发送的可见光分量来生成第一图像数据，并且通过在第二模式下光电转换从被摄体发送的红外光分量来生成第二图像数据；滤光器，用于移除可见光分量但允许红外光分量通过，其中所述滤光器通过移动而切换，使得在第一模式下，所述滤光器从自被摄体延伸的光轴上位移到成像设备，并且在第二模式下，所述滤光器安排在光轴上，并且安排在成像设备的被摄体侧；被摄体图像位置标识单元，用于标识第一图像数据中的预定被摄体图像以及预定被摄体图像在屏幕内的位置；红外光强度检测单元，用于检测第二图像数据中从被摄体发送的红外光的强度；以及活体检测单元，用于基于预定被摄体图像在屏幕内的位置以及该位置处的红外光强度，检测活体。
所述成像单元可时分生成第一图像数据和第二图像数据，并且所述活体检测单元可基于在不同时间获得的第一图像数据和第二图像数据检测活体。
所述预定被摄体图像可以是人的面部或人的一部分或全部。
根据本发明另一实施例，提供了一种成像装置，包括：成像单元，用于通过光电转换从被摄体发送的可见光分量来生成第一图像数据，并且通过光电转换从被摄体发送的红外光分量来生成第二图像数据；被摄体图像位置标识单元，用于标识第一图像数据中的预定被摄体图像以及预定被摄体图像在屏幕内的位置；红外光强度检测单元，用于检测第二图像数据中从被摄体发送的红外光的强度；以及活体检测单元，用于基于预定被摄体图像在屏幕内的位置以及该位置处的红外光强度，检测活体。
根据本发明另一实施例，提供了一种成像方法，包括下述步骤：通过使得第一光电转换设备光电转换从被摄体发送的可见光分量来生成第一图像数据；使得滤光器移除可见光分量并允许红外光分量通过；通过使得第二光电转换设备光电转换从被摄体发送的红外光分量来生成第二图像数据；标识第一图像数据中的预定被摄体图像以及预定被摄体图像在屏幕内的位置；检测第二图像数据中从被摄体发送的红外光的强度；以及基于同时获得的第一图像数据和第二图像数据，从预定被摄体图像在屏幕内的位置以及该位置处的红外光强度检测活体。
根据本发明另一实施例，提供了一种成像方法，包括下述步骤：通过使得一个光电转换设备光电转换从被摄体发送的可见光分量来生成第一图像数据；安排滤光器在从被摄体延伸到一个光电转换设备的光轴上，并且安排在所述一个光电转换设备的被摄体侧，使得所述滤光器移除可见光分量但允许红外光分量通过；通过使得所述一个光电转换设备光电转换从被摄体发送的红外光分量来生成第二图像数据；标识第一图像数据中的预定被摄体图像以及预定被摄体图像在屏幕内的位置；检测第二图像数据中从被摄体发送的红外光的强度；以及基于在不同时间获得的第一图像数据和第二图像数据，从预定被摄体图像在屏幕内的位置以及该位置处的红外光强度检测活体。
本发明实施例实现了高度可靠的活体面部识别系统，可使得该活体面部识别系统制造得更小，而不劣化图像质量。
附图说明
图1是示出根据本发明第一实施例的成像装置的框图；
图2是示出根据实施例的成像装置的配置的一部分的框图；
图3是示出根据实施例的成像装置的操作的流程图；
图4A-4C是示意性示出通过根据实施例的成像装置获得的图像的说明图；
图5A-5C是简要示出可见光图像和红外光图像之间的分辨率差别或传感器的尺寸的差别的说明图；
图6A和6B是示出根据本发明第二实施例的成像装置的配置的一部分的框图；
图7是示出根据实施例的成像装置的操作的流程图；
图8是示出根据实施例的成像装置的修改的操作的流程图；
图9A和9B是示出根据本发明第三实施例的成像装置的配置的一部分的框图；
图10A和10B是示出根据实施例的成像装置的修改的配置的一部分的框图；
图11是示出根据本发明第四实施例的数字单镜头反射型相机的截面图；
图12是示出根据本发明第五实施例的数字单镜头反射型相机的截面图；
图13A和13B是示出根据实施例的数字单镜头反射型相机的一部分的框图；以及
图14是示出普通成像装置的配置的一部分的框图。
具体实施方式
以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构元件用相同的参考标号表示，并且省略这些结构元件的重复说明。将按照以下列出的顺序描述各实施例。
1.第一实施例
2.第二实施例
3.第三实施例
4.第四实施例
5.第五实施例
<1.第一实施例>
[第一实施例的配置]
首先，将描述根据本发明第一实施例的成像装置100。
根据本实施例的成像装置100是例如包括可交换或不可交换的成像镜头118和119的数字照相机。此外，成像装置100可应用到具有成像功能的装置，如摄像机、可携式摄像机、便携式电话和PDA(个人数字助理)。此外，根据本实施例的成像装置100还可应用到用于处理通过用于视频电话的小型相机获得的图像信号或连接到个人计算机等的游戏软件的处理装置和记录装置。
下面说明的成像装置100的每个处理功能可通过硬件或软件实现。本说明书中描述的图像处理是对通过成像装置100的信号处理而处理的输入数据(原始数据)的R、G和B执行的。在本实施例的下面的描述中，采用拜耳(Bayer)格式的原始数据。
首先，将说明根据本实施例的成像装置100的配置。图1是示出根据本实施例的成像装置100的框图。
成像装置100包括成像单元120和121、检测器单元104、图像处理单元105、压缩/转换处理单元106、记录单元108、显示单元110、面部识别单元112、CPU 114、存储器116等。
成像单元120和121分别包括成像镜头118和119、固态成像设备102(第一光电转换器设备)、固态成像设备103(第二光电转换器设备)等。成像镜头118和119是收集从被摄体入射的光、以便在固态成像设备102和103上形成被摄体图像的一组镜头。成像镜头118和119通常包括多个镜头。
固态成像设备102和103通过光电转换，将经由光学系统(例如，包括成像镜头118和119、红外光截除滤光器122和光学低通滤波器)从被摄体发射的入射光转换为电信号。固态成像设备102和103例如使用CMOS(互补金属氧化物半导体)成像设备。CMOS成像设备包括以二维形式排列的光电二极管、行/列选择MOS晶体管、信号线等，并且包括垂直扫描电路、水平扫描电路、噪声减少电路、定时发生电路等。应当注意，CCD(电荷耦合器件)可以用作固态成像设备102和103。
固态成像设备102和103以例如60fps(场/秒)的帧速率读取信号。固态成像设备102和103嵌入有CDS(相关双采样)和A/D转换器，并且图像数据从固态成像设备102和103输出。
固态成像设备102和103通常使用例如CCD(电荷耦合器件)设备和CMOS(互补金属氧化物半导体)设备。
固态成像设备102和103包括多个光接收单元(像素)。固态成像设备102和103的每个光接收单元(像素)通常覆盖有选择性地透过对应于R、G和B的任一的波长的像素滤光器。拜耳格式通常用作RGB滤光器的格式。在一些情况下，滤光器不是RGB滤光器，而可以是YCyMgG补充(complimentary)滤光器。由通过滤光器的像素获得的可见光被光电转换为RGB信号，并且RGB信号输出为图像信号。
尽管像素滤光器是选择性的，但是像素滤光器的特性如此宽，使得像素滤光器透过具有除选择的波长以外的、选择的波长附近的波长的许多光。因此，具体地，接近红外区域的R像素光电转换不能被人眼感知的红外光，因此极大影响可见光图像。为了降低该影响，通常除了固态成像设备的像素滤光器外，还在成像镜头118和固态成像设备102之间或在成像镜头119和固态成像设备103之间安排红外光截除滤光器。
检测器单元104从通过固态成像设备102和103获得的图像计算用于各种控制(例如，AF、AE和AWB)所需的信息。检测器单元104不仅检测通过固态成像设备102和103获得的图像数据，而且在一些情况下，可以检测通过其他部件输出的图像数据。
图像处理单元105对通过成像单元120和121获得的图像数据执行相机信号处理，如同步处理、白平衡校正、光圈校正、伽玛校正和YC生成。
压缩/转换处理单元106执行显示跳过和尺寸调整，以便将从图像处理单元105接收的图像信号转换为与显示单元110的显示器一致的显示尺寸和帧速率的图像信号。当图像信号输出到显示单元110时，执行显示跳过。显示跳过意味着跳过根据通过显示装置的显示标准定义的每单位时间的场数(例如，30fps)的场，示出当成像装置100处于快速成像模式时的图像。
此外，压缩/转换处理单元106根据如JPEG(联合图像专家组)标准的静态图像编码方法，对从图像处理单元105接收的图像数据执行压缩和编码处理。此外，压缩/转换处理单元106对从记录单元108接收的静态图像的编码数据执行提取和解码处理。此外，压缩/转换处理单元106根据如MPEG(运动图像专家组)标准的运动画面编码标准，对从图像处理单元105接收的图像数据执行压缩和编码处理。此外，压缩/转换处理单元106对从记录单元108接收的运动画面的编码数据执行提取和解码处理，并且将数据输出到显示单元110。
记录单元108是例如如闪存和硬盘驱动器的记录介质。显示单元110通过显示控制单元(未示出)控制。显示控制单元从由压缩/转换处理单元106接收的图像信号生成要在显示单元110上显示的图像信号，并且将图像信号发送到显示单元110以便显示图像。显示单元110例如用LCD(液晶显示器)制成，以便显示在成像期间的相机直通(camera-through)图像以及记录单元108上记录的数据的图像。
CPU(中央处理单元)114通过执行存储器116中存储的程序，对成像装置100的每个构成元件执行集中控制。
存储器116通过存储器控制单元(未示出)控制。存储器控制单元控制从存储器116读取图像数据以及将图像数据写入存储器116。存储器116是例如SDRAM(同步动态随机存取存储器)。
面部识别单元112包括下面将描述的面部位置标识单元132和活体识别单元134。面部位置标识单元132是被摄体位置标识单元的示例。活体识别单元134是使用红外强度检测的红外强度检测单元和活体检测单元的示例。
应当注意，为了方便安排了上述功能块的每个的安排，并且要理解，其位置不限于此。
在成像后，成像单元120将可见光图像数据发送到面部位置标识单元132。可见光图像数据可以是三原色RGB的图像，但也可以是从其转换的YC图像。
基于通常可用的模式识别技术执行面部的检测。换句话说，用于检测面部的处理包括下述步骤：裁剪图像数据的一部分，并将该部分与数据库等中之前准备的参考模式比较以执行匹配，从而检测是否存在面部模式。应当注意，通过用各种滤波器滤波图像提取图像的特征、并且将特征记入数据库中来得到参考模式。例如，通过基于亮度边缘对面部、眼、鼻、嘴、耳等的轮廓模式化来得到参考模式，并且参考模式包括人的肤色等。
当作为上述检测的结果识别面部模式的存在时，标识图像中的面部模式的位置，并且成像装置100的面部位置标识单元132确定对应的面部图像区域。通常，面部图像区域为矩形形状，但是可以是如椭圆形的其他形状。
[第一实施例的操作]
接下来，将描述根据本实施例的成像装置100的操作。
在根据本实施例的成像装置100中，从被摄体发出的光穿过成像镜头118和119，并且在固态成像设备102和103的成像平面上形成被摄体图像，并且固态成像设备102和103将被摄体图像光电转换为每个像素的图像数据。
图像处理单元105基于来自CPU 114的指令，对通过固态成像设备102和103获得的图像数据执行各种图像处理，如AE和AWB的各种校正、噪声降低、将图像形成(develop)为YC数据，转换分辨率等。一旦面部识别单元112通过面部识别找到面部的区域，面部识别单元112就可使用面部的区域用于AE、AWB等的校正处理。可执行AF控制以聚焦面部区域。
压缩/转换处理单元106将形成的图像转换为如MPEG和JPEG的压缩格式。记录单元108将转换的数据记录到如非易失性存储器、HDD和磁光盘的介质。同时，显示单元110可在成像装置100上安排的液晶面板上显示图像，或可将图像转换为从外部端子输出的视频信号，使得图像显示在家庭电视机上。
[第一实施例的详细配置]
接下来，将描述根据本发明第一实施例的成像装置100的详细配置。图2是示出根据本发明第一实施例的成像装置100的配置的一部分的框图。
根据本实施例的成像装置100包括：成像单元A 120，其具有配备有红外光截除滤光器122的固态成像设备102；以及成像单元B 121，其具有配备有可见光截除滤光器123的固态成像设备103。红外光截除滤光器122安排在成像镜头118和固态成像设备102之间。可见光截除滤光器123安排在成像镜头119和固态成像设备103之间。
成像装置100同时生成通过成像单元A 120拍摄的可见光图像数据(第一图像数据)和通过成像单元B 121拍摄的红外光图像数据(第二图像数据)。面部位置标识单元132基于可见光图像数据，标识屏幕内对应于人的面部图像的数据区域。活体识别单元134检测面部图像区域中红外光输出像素的比率，其在红外光图像数据中指定以对应于标识的数据区域。活体识别单元134可基于同时获得的可见光图像数据和红外光图像数据检测活体。
在本实施例中，可见光输入侧和红外光输入侧的固态成像设备102和103可具有相同数量或不同数量的像素。当固态成像设备102和103具有不同数量的像素时，固态成像设备102和103中具有较多像素的一个通常配置为用于可见光图像，并且固态成像设备102和103中具有较少像素的一个通常配置为用于红外光图像。
根据本实施例的成像装置100不仅具有图14所示的普通示例的配置，而且具有另一成像单元，即，成像单元B 121。成像单元B 121具有可见光截除滤光器123以替代成像单元A 120的红外光截除滤光器122，以便光电转换输出的红外光。
通过固态成像设备103接收的红外光光电转换为具有根据红外光量的信号电平的信号，并且输出该信号。红外光的量与信号电平的幅度相关联。具体地，具有接近红外光的波长的R像素的光电转换产生显著的结果。在可见光图像侧的成像单元A 120中，面部位置标识单元132执行面部位置标识，以标识图像内的面部的位置(面部区域)。标识的面部图像区域的数量可以不是一个。成像单元B 121将红外光图像数据发送到活体识别单元134，并且面部位置标识单元132将面部区域信息发送到活体识别单元134。因为R像素对红外光最易响应，所以成像单元B 121可仅将R像素的数据作为红外光图像发送，使得可以节省数据量(电力)。
成像单元A 120和成像单元B 121可使用不同坐标系统，因为例如他们是不同的分辨率。因此，可能需要转换面部区域信息的坐标。坐标通过例如成像单元A 120或成像单元B 121或通过CPU 114(控制单元)中的电路转换。转换的坐标发送到活体识别单元134。
通过计算其中发现红外光输出的像素的数量相对于红外光图像的面部区域中的像素的数量的比率，确定图像是否是活体的像。当比率大于预定阈值(例如，50％)时，图像最终被确定为人的面部。存在用于确定红外光输出的阈值的若干方法。例如，因为信号电平根据曝光时间而增加，所以阈值可通过对每个曝光时间准备统计数据而计算。然后，对于每个曝光时间的阈值存储在数据库中，并且当比率大于阈值时，确定存在红外光输出。在上述说明中，用两个值确定是否存在红外光输出，但是可准备多个阈值，使得可用多个值(如三个值)(存在红外光、未知(存在和不存在红外光之间的边界区域)和不存在红外光)进行确定。
在本实施例中，最初执行用可见光图像的高精度的面部识别，使得可以降低错误确定和识别失败。然后，通过发出红外光最后确定图像是否表示活体，使得可以可靠地识别面部区域中的图像是否不仅表示活体而且表示人。
以下将参照图3和图4描述如上所述通过根据本实施例的成像装置100执行的操作。图3是示出根据本实施例的成像装置100的操作的流程图。图4是示意性示出通过根据本实施例的成像装置100获得的图像的说明图。
首先，成像单元A 120和成像单元B 121拍摄被摄体，以在一个镜头中获得可见光图像数据和红外光图像数据(步骤S101)。图4A简要示出可见光图像数据180的示例。为了说明，假设在单个镜头中拍摄活体50和印刷在海报70上的人像。此时，用可见光图像通过面部识别估计面部区域(步骤S102)。
图4B示出面部区域估计为矩形区域的情况。在可见光范围中，可见光图像数据180在活体50和海报70上印刷的面部之间不产生任何差别。因此，图像被确定为包括两张脸。图4C示出红外光图像190。在图4C中，其中红外光输出等于或大于阈值的像素以黑色表示，而其中红外光输出小于阈值的像素以白色表示。可以根据拍摄环境响应于通过CPU给出的指令改变阈值。接下来，在需要时，例如，当固态成像设备102和固态成像设备103是不同分辨率时，基于可见光图像估计的面部区域可转换为红外光图像190的坐标系统(步骤S103)。图4(C)示出在红外光图像190的坐标系统中的估计的面部区域。
接下来，在红外光图像190的面部区域中，计数其中发现红外光输出并且大于阈值的像素的数量(步骤S104)。然后，将其中发现红外光输出的像素的数量与面部区域的像素的总数比较，并且计算其间的比率。关于其中发现红外光输出的像素的数量相对于面部区域的像素的总数是否大于预定比率(例如，50％)进行确定。当其中发现红外光输出的像素的数量大于预定比率(例如，50％)时，面部区域被确定为活体的面部(步骤S106)。另一方面，当其中发现红外光输出的像素的数量不大于预定比率(50％)时，面部区域被确定为非活体的面部(步骤S107)。在海报70上印刷的面部中没有发现任何红外光输出，并且其中发现红外光输出的像素的数量不大于预定比率(50％)。因此，海报70上印刷的面部被确定为非活体的面部。可根据拍摄环境响应于由CPU 114给出的指令改变预定比率。
即使当可见光图像180和红外光图像190在像素的数量或场角上不同时，也可通过基于可见光图像180的面部区域中的坐标计算坐标来容易地得知所述红外光图像190的面部区域的坐标。此外，因为基于红外光图像190的面部区域中的红外光输出的比率进行确定，所以固态成像设备102和固态成像设备103在传感器的尺寸或场角上是否不同是不重要的。
例如，将参照图5描述固态成像设备102和固态成像设备103在传感器的尺寸或场角上不同的情况。图5是简要示出可见光图像和红外光图像之间的分辨率差别或传感器的尺寸差别的说明图。
图5A示出以4000×3000的矩阵安排的12M像素的可见光图像的示例。图5B示出以2000×1500的矩阵安排的3M像素的红外光图像的示例。因为图5A和图5B的示例具有相同场角，所以尽管图5A和图5B的示例在分辨率上不同，也可通过基于可见光图像的面部区域中的坐标计算红外光图像的面部区域的坐标来容易地得知所述红外光图像的面部区域的坐标。
图5C示出以2000×1500的矩阵安排的3M像素的可见光图像的示例。红外光图像对应于可见光图像的一部分。因为红外光图像的裁剪的起始位置固定并已知，所以尽管图5B和图5C的示例在场角上不同，也可通过基于可见光图像的面部区域中的坐标计算红外光图像的面部区域的坐标来容易地得知所述红外光图像的面部区域的坐标。
<2.第二实施例>
接下来，将描述根据本发明第二实施例的成像装置200。图6是示出根据本实施例的成像装置200的配置的一部分的框图。图6A示出拍摄前的操作状态。图6B示出拍摄后的操作状态。
在上述第一实施例中，多个传感器(固态成像设备102和103)之前分别固定到用于红外光图像的单元和用于可见光图像的单元。在根据本实施例的拍摄装置200中，用于红外光图像的成像单元B 221不必专门用于红外光。
根据本实施例的成像装置200(如数字单镜头反射型相机)具有两个成像单元120和221，其分别包括用于查看被摄体的固态成像设备103(小尺寸传感器)和用于记录的固态成像设备102(大尺寸传感器)。在显示固态成像设备103(小尺寸传感器)的图像的同时判断拍摄条件。一旦触发快门，固态成像设备102(大尺寸传感器)就用于拍摄要保存的图像。在此情况下，两个成像单元120和221分别具有用于可见光图像和用于获得可见光图像的红外光截除滤光器122和223。
在根据本实施例的成像装置200中，(安排在固态成像设备103(小尺寸传感器上的)、处于与用于记录的成像单元A 120不同侧的)成像单元B 221的滤光器部分配置为可在红外光截除滤光器223和可见光截除滤光器224之间切换。滤光器部分是可布置在从被摄体延伸的光轴上并可从光轴位移的可移动组件。例如，每个滤光器平行地移动、旋转地移动等。
接下来，将参照图7描述根据本实施例的成像装置200的操作。图7是示出根据本实施例的成像装置200的操作的流程图。
在正常操作下，成像单元B 221使用红外光截除滤光器223来输出如图6A所示的可见光图像(步骤S201)。当判断拍摄条件并按下快门按钮时(步骤S202)，成像单元B 221的滤光器部分切换到如图6B所示的可见光截除滤光器224(步骤S203)。成像单元B 221与成像单元A 120获得可见光图像同时地获得红外光图像。
根据本实施例的成像装置200与根据第一实施例的成像装置100是相同的，除了成像单元B 221的滤光器部分配置为可切换的。因此，在选择可见光截除滤光器224使得成像装置200进入红外光图像获取模式后，根据本实施例的成像装置200与图2所示的根据第一实施例的成像装置100相同，并且执行与图3的流程图中的步骤S101到S107相同的步骤。
[第二实施例的修改]
接下来，将参照图8描述本实施例的修改。图8是示出根据本实施例的成像装置200的修改的操作的流程图。
在根据本实施例的成像装置200的操作的上述说明中，在按下快门按钮之后成像单元B 221切换到红外光图像获取侧。然而，可能存在这样的情况：即使在按下快门按钮之后，由于某些原因，也可能期望在可见光图像获取侧使用成像单元B 221。为了在可见光图像获取侧使用成像单元B 221，可以在按下快门按钮之前获得拍摄条件时获得红外光图像。
在下面的说明中，假设在触发快门之前，以60fps从成像单元B 221获得图像。此时，每隔一图像(每隔一帧)切换滤光器部分，使得交替地获得可见光图像和红外光图像。获得的可见光图像和获得的红外光图像暂时存储在存储器中(步骤S301到S304)。可见光图像可以以30fps显示在如液晶面板的显示单元110上。
当触发快门时(步骤S306)，成像单元B 221也切换为适于可见光图像(步骤S307)。然后，成像单元A 120和成像单元B 221都获得可见光图像(步骤S308)，并执行成像处理。此时，紧接在触发快门之前的红外光图像存储在存储器中。存储在存储器中的红外光图像用作要与上述图7的步骤S203中的拍摄同时获得的红外光图像的替代。在获得红外光图像之后，根据本实施例的成像装置200的修改执行与图3的流程图中的步骤S101到S107相同的步骤。
在该修改中，用于显示的可见光图像的速率为30fps。如果速率过低并且导致问题，则成像单元B 221可降低红外光图像的输出的数量相对于图像的输出的数量的比率，以便增加用于显示的可见光图像的帧速率。
上述第一实施例和上述第二实施例采用基于用于记录在触发快门后获得的(可见光图像)图像来检测面部的方法。但是可能存在期望在判断拍摄条件之前(即，在触发快门之前)检测面部的情况。在此情况下，如图8的流程图所示，成像单元B 221可交替获得存储在存储器中的可见光图像和红外光图像(步骤S301到S304)，使得可基于两类图像(见图3的流程图中的步骤S101到S107)执行活体面部识别处理。
如上所述，在根据本实施例的成像装置200中，成像镜头119和固态成像设备103之间布置的滤光器部分配置为能够在红外光截除滤光器223和可见光截除滤光器224之间切换。因此，根据本实施例的成像装置200除了能够实现普通记录和显示功能外，还能够实现活体面部识别功能。将本实施例的功能添加到普通装置是容易的，这是因为不需要修改普通装置的配置。此外，普通装置的功能将不会丧失。因此，可以容易地引入并且以低成本实现活体面部识别功能。
<3.第三实施例>
接下来，将描述根据本发明第三实施例的成像装置300。图9是示出根据本实施例的成像装置300的配置的一部分的框图。图9A示出在拍摄之前的操作状态。图9B示出在拍摄之后的操作状态。根据本实施例的成像装置300仅包括具有固态成像设备102的一个成像单元320。
如图9A和图9B所示，成像装置300具有可切换的红外光截除滤光器322和可见光截除滤光器324。单个成像单元320通过拍摄多次生成可见光图像数据(第一图像数据)和红外光图像数据(第二图像数据)。此外，成像装置300具有用于存储拍摄的图像的存储器316。根据本实施例的面部位置标识单元132基于存储器316中存储的可见光图像数据，标识对应于人的面部图像的数据区域。活体识别单元134检测在红外光图像数据中指定的面部图像数据内输出红外光的像素的比率，以便对应于标识的数据区域。
接下来，将描述根据本实施例的成像装置300的操作。
如图9A所示，成像单元320的滤光器部分首先切换到红外光截除滤光器322一侧。当按下快门按钮时，执行正常拍摄处理，并且可见光图像数据存储在存储器316中。
接下来，如图9B所示，滤光器部分切换到可见光截除滤光器324一侧，并且获得红外光图像数据。通过与红外光图像的拍摄同时地将来自存储器316的可见光图像发送到活体识别单元134，可以同时同步地提供两类图像。这样，通过连续拍摄可见光图像和红外光图像可获得两类图像。在短时间间隔拍摄的两类数据是相同条件的图像(同时获得的图像)的假设下使用该两类数据。成像单元320时分地生成可见光图像(第一图像数据)和红外光图像(第二图像数据)。然后，活体识别单元134基于不同时间获得的可见光图像和红外光图像检测活体。关于根据第三实施例的成像装置300的说明与关于包括两个成像单元的、根据第一和第二实施例的成像装置的说明相同，除了图像不是同时获得的。
在上述第三实施例中，存储器316上的可见光图像配置为与红外光图像的拍摄同时地从存储器发送到面部位置标识单元132。替代地，可在拍摄红外光图像之前(即，紧接在获得可见光图像之后)从存储器发送数据并且可开始面部位置的标识处理。因为执行面部位置的标识处理花费一些时间，所以可在红外光图像的拍摄处理之前开始标识处理，使得可在红外光图像的曝光时段期间以及在图像处理(如图像的传送)期间执行面部位置的检测处理。结果，可缩短总处理时间。在一些情况下，可在获得红外光图像之前结束面部位置的标识处理。
在上述第三实施例中，假设以相同场角和相同分辨率对可见光图像和红外光图像成像，但是固态成像设备102(传感器)的成像模式可切换为以不同分辨率对红外光图像和可见光图像成像。
因为假设在已经形成可见光图像之后记录所述可见光图像，所以可见光图像通常在最大分辨率模式下拍摄。相反，红外光图像仅用于确定面部位置是否是活体。因此，红外光图像不必与可见光图像具有相同分辨率。因此，当获得红外光图像时，可以通过在选择相同场角但较低分辨率的传感器成像模式之后拍摄来缩短红外光图像的读取时间，只要可以确定红外光是否在面部图像区域中存在。
图5A示出以4000×3000的矩阵安排的12M像素的可见光图像的示例。图5B示出以2000×1500的矩阵安排的3M像素的红外光图像的示例。红外光图像仅具有可见光图像的像素的四分之一，因此，红外光图像的读取仅花费可见光图像的读取的四分之一的时间。红外光图像的较短读取时间带来在连续拍摄的速度等方面的有利效果。因为场角是相同的，所以尽管分辨率不同，也可通过基于可见光图像的面部区域中的坐标计算红外光图像的面部区域中的坐标来容易地得知所述红外光图像的面部区域中的坐标。
在上述第三实施例中，假设以相同场角对可见光图像和红外光图像成像。当在拍摄红外光图像之前已经标识面部位置时，场角可以不同，并且可在传感器的裁剪时读取包括面部位置的一部分的区域。结果，可以以较短时间读取红外光图像，同时维持与可见光图像相同的分辨率。
图5C示出以2000×1500的矩阵安排的3M像素的可见光图像的示例。红外光图像对应于可见光图像的一部分。红外光图像仅具有可见光图像的像素的四分之一，因此，红外光图像的读取仅花费可见光图像的读取的四分之一的时间。因为红外光图像的裁剪的起始位置是固定并已知的，所以尽管红外光图像和可见光图像场角不同，也可通过基于可见光图像的面部区域中的坐标计算红外光图像的面部区域中的坐标来容易地得知所述红外光图像的面部区域中的坐标。
此外，上述示例可以一起使用，使得通过采用不仅低分辨率而且裁剪来缩短红外光图像的读取时间。即使在此情况下，也可通过基于可见光图像的面部区域中的坐标计算红外光图像的面部区域中的坐标来容易地得知所述红外光图像的面部区域中的坐标。
[第三实施例的修改]
接下来，将描述根据本发明第三实施例的成像装置300的修改。
图10A和图10B示出与图9A和图9B的情况相反、在首先拍摄红外光图像的情况下的说明操作。图10是示出根据本实施例的成像装置300的修改的配置的一部分的框图。如图10A所示，首先将成像单元320的滤光器部分切换到可见光截除滤光器324一侧，并且红外光图像数据存储在存储器316中。随后，如图10B所示，成像单元320的滤光器部分切换到红外光截除滤光器322一侧，并且获得可见光图像数据。通过与可见光图像的拍摄同时地将红外光图像从存储器316发送到活体识别单元324，可同时同步地提供两类图像。
关于根据第三实施例的成像装置300的修改的说明与关于根据第三实施例的成像装置300的说明相同，除了图像获取的顺序。图像获取的顺序没有关系，只要获得两类图像，即，红外光图像和可见光图像。
在上述第三实施例中，红外光图像自身存储在存储器316中。替代地，作为关于红外光输出是否存在的确定的结果而获得的如二进制数据的处理数据可存储为红外光图像自身的替代。例如，当存储器316存储表示每个像素中是否存在红外光的二进制数据时，减少数据量，并且工作存储器需要较小尺寸。较小的工作存储器带来成像装置300的处理步骤的有利效果。例如，如果假设像素数据通过每像素8比特来表示，则认为通过每像素1比特来表示处理数据。因此，如果处理数据采用为红外光图像自身的替代，则工作存储器需要原始尺寸的八分之一大的尺寸。
<4.第四实施例>
接下来，将描述根据本发明第四实施例的数字单镜头反射型相机400。
图11是示出根据本实施例的数字单镜头反射型相机400的截面图。为了说明，省略了如光圈和快门的一些组件部分。
在拍摄(快门)的时刻之前，在光学取景器127和电子取景器(例如，液晶面板110)中之前选择的一个上显示图像。
当选择光学取景器127时，通过成像镜头118入射的图像通过在中间位置安排的反射镜124向上反射以便可向上和向下移动。反射光进一步被五边形单元中的镜126(或棱镜(未示出))、可移动镜125等反射若干次，并且透射到光学取景器127。
当选择电子取景器时，安排在最后级的可移动镜125的角度改变，使得图像到达固态成像设备103。滤光器423(红外截除滤光器)安排在固态成像设备103之前。滤光器423可在红外截除滤光器和可见光截除滤光器之间切换，并且可通过在触发快门之前时分切换滤光器423，仅用固态成像设备103来获得红外光图像和可见光图像。结果，可实现根据本实施例的上述活体面部识别功能。
通过固态成像设备103光电转换的可见光图像经历图像处理并显示在数字单镜头反射型相机400的背面上的显示面板110上。当按压快门按钮时，安排在中间部分的反射镜124向上移动，以从拍摄光径折回。然后，从成像镜头118输入的图像直接穿过滤光器122(红外截除滤光器)并到达固态成像设备102。如上所述的数字单镜头反射型相机400不配置为允许固态成像设备102和固态成像设备103两者同时对图像成像。
<5.第五实施例>
接下来，将描述根据本发明第五实施例的数字单镜头反射型相机500。
图12是示出根据本实施例的数字单镜头反射型相机500的截面图。在图12所示的示例中，安排在图11的中间部分的反射镜124被半镜144替代。在图12所示的示例中，尽管光量减小，但是固态成像设备102和固态成像设备103两者可以同时到达图像。
图13A和图13B是示出根据本实施例的数字单镜头反射型相机500的一部分的框图。成像装置400包括一个成像镜头118、两个成像单元(即，成像单元A 520和成像单元B 521)以及半镜144。
在该实施例中，安排在图12所示的固态成像设备103之前的滤光器部分配置为可在红外光截除滤光器523和可见光截除滤光器524之间切换。在该实施例中，仅存在一个镜头，而如图6A和图6B所示固态成像设备102和103以及成像镜头118和119分别成对。因此，本实施例与图6A和图6B所示的实施例的不同在于，通过半镜144来将图像分离为两个系统。本实施例与图6A和图6B所示的实施例的相同在于，存在两个成像单元(即，成像单元A 520和成像单元B 521)。此外，因为本实施例的具体操作相同，所以省略其说明。
<6.每个实施例的效果>
如上所述，能够执行活体面部识别的成像装置100、200、300、400和500不需要昂贵和笨重的光谱仪(如棱镜)，并且不需要具有专用于红外光的专用固态成像设备，其劣化图像质量。此外，成像装置100、200、300、400和500可以用普通数字相机中使用的不昂贵的小的成像单元制造。
此外，首先用可见光图像标识面部位置，使得在减少错误确定的概率的同时，可以以高度可靠的方式分别识别活体的面部和非活体的面部。
关于通过面部识别功能获得的图像内的面部区域的信息用于根据面部区域执行的作为拍摄之前的准备的各种相机控制，即，AF(自动聚焦)和AE(自动曝光)，并且还用于形成处理期间的白平衡校正。此外，面部框可根据检测的面部区域显示在显示单元上，并且可以以面部框移动以服从被摄体的运动的方式显示该面部框。
根据本实施例，关于活体的面部区域的数据用于优化AF，使得AF很好地适于主要被摄体。此外，可使用关于不仅活体而且非活体的面部区域的数据，以便增加白平衡中的数据的参数，并且可以区分活体的面部区域和非活体的面部区域，使得通过利用区分的优点和不区分的优点按需要使用适当的数据。结果，可实现更合适的各种处理。
与JP-ANo.H5-297152的技术相反，根据本实施例的成像装置不需要辐射温度计和温度检测方向控制装置。因此，根据本实施例的成像装置可以制造得更小，并且可以以低成本制造。在过去，在通过使用红外光图像数据首次估计面部区域时经常得到错误确定。在本实施例中，首先用高精度的可见光图像执行面部识别。此外，在本实施例中，红外光图像不用于面部识别，因此几乎不得到错误确定。
因为用可见光图像的面部识别实现高精度，所以当面部识别仅基于可见光图像时印刷在纸张上的面部可能被错误地识别为面部。使用红外光图像的活体检测可将活体的面部与非活体的面部区分，因此实现高可靠度的面部图像识别。
根据本实施例的成像装置具有至少两个或更多成像系统，即，通过红外光截除滤光器接收可见光的可见光成像系统、和通过可见光截除滤光器接收红外光的红外光成像系统。因此，由于生成的红外光图像，可见光图像一侧的图像质量不劣化。
另一方面，当以与JP-A No.2005-197914的技术相似的方式通过一个光谱仪分离光时，为了确保光径，装置变得非常大，此外，不劣化图像质量的光谱仪是昂贵的。相反，在本实施例中，不需要光谱仪，图像质量不劣化，并且装置小，并且可以以低成本制造。
根据本实施例的成像装置可以通过将普通成像装置的多个可见光成像系统之一的红外截除滤光器改变为可在红外光截除滤光器和可见光截除滤光器之间切换的滤光器部分来实现。因此，根据本实施例的成像装置可以以低成本容易地制造，而不劣化普通成像装置的功能。
此外，根据本实施例的成像装置可通过时分切换多个光谱仪滤光器，仅用一个普通的成像设备制造。因此，根据本实施例的成像装置可以以低成本制造得较小。
本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等同物的范围内。
在上述实施例中，成像装置的面部位置标识单元基于可见光图像数据，找到面部图像，以标识对应于屏幕内的人的面部图像的数据区域，但是本发明不限于此。例如，基于可见光图像数据，被摄体图像位置标识单元不仅可找到人的面部，而且可找到人的一部分或全部，以标识屏幕内对应于人的面部图像的数据区域。用于检测人像的处理包括下述步骤：裁剪图像数据的一部分、将该部分与之前在数据库等中准备的参考模式比较以执行匹配，因此检测是否存在人的模式。
本申请包含涉及于2008年12月5日向日本专利局提交的日本优先权专利申请JP 2008-311626中公开的主题，在此通过引用并入其全部内容。

Claims (6)

1.一种成像装置，包括：
成像单元，包括一个成像设备，其中所述成像设备通过在第一模式下光电转换从被摄体发送的可见光分量来生成第一图像数据，并且通过在第二模式下光电转换从所述被摄体发送的红外光分量来生成第二图像数据；
滤光器，用于移除所述可见光分量但允许所述红外光分量通过，其中所述滤光器通过移动而切换，使得在所述第一模式下，所述滤光器从光轴位移，而该光轴自所述被摄体延伸，并且在所述第二模式下，所述滤光器安排在所述光轴上，并且安排在所述成像设备的被摄体侧；
被摄体图像位置标识单元，用于在所述第一图像数据中标识预定被摄体图像以及所述预定被摄体图像在屏幕内的位置；
红外光强度检测单元，用于检测所述第二图像数据中从所述被摄体发送的红外光强度；以及
活体检测单元，用于基于所述预定被摄体图像在屏幕内的位置以及所述位置处的红外光强度，检测活体。
2.如权利要求1所述的成像装置，
其中所述成像单元时分生成所述第一图像数据和所述第二图像数据，
并且所述活体检测单元基于在不同时间获得的所述第一图像数据和所述第二图像数据检测所述活体。
3.如权利要求1所述的成像装置，
其中所述活体检测单元根据所述预定被摄体图像在屏幕内的位置指定所述第二图像数据中的活体检测区域，并且基于所述活体检测区域内的检测的红外光强度，检测所述活体。
4.如权利要求1所述的成像装置，
其中所述活体检测单元基于同时获得的所述第一图像数据和所述第二图像数据检测所述活体。
5.如权利要求1所述的成像装置，
其中所述预定被摄体图像是人的一部分或全部。
6.一种成像方法，包括下述步骤：
安排滤光器从光轴上位移，而该光轴自被摄体延伸，使得从被摄体发送的可见光分量通过；
通过使得一个光电转换设备光电转换从被摄体发送的可见光分量来生成第一图像数据；
安排滤光器在从所述被摄体延伸到所述一个光电转换设备的光轴上，并且安排在所述一个光电转换设备的被摄体侧，使得所述滤光器移除所述可见光分量但允许红外光分量通过；
通过使得所述一个光电转换设备光电转换从所述被摄体发送的所述红外光分量来生成第二图像数据；
在所述第一图像数据中标识预定被摄体图像以及所述预定被摄体图像在屏幕内的位置；
检测所述第二图像数据中从所述被摄体发送的红外光强度；以及
基于在不同时间获得的所述第一图像数据和所述第二图像数据，从所述预定被摄体图像在屏幕内的位置以及所述位置处的红外光强度检测活体。
CN200910225771XA 2008-12-05 2009-12-07 成像装置和成像方法 Expired - Fee Related CN101753812B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008311626A JP4702441B2 (ja) 2008-12-05 2008-12-05 撮像装置及び撮像方法
JP311626/08 2008-12-05

Publications (2)

Publication Number Publication Date
CN101753812A CN101753812A (zh) 2010-06-23
CN101753812B true CN101753812B (zh) 2013-05-08

Family

ID=42230612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910225771XA Expired - Fee Related CN101753812B (zh) 2008-12-05 2009-12-07 成像装置和成像方法

Country Status (3)

Country Link
US (1) US8416303B2 (zh)
JP (1) JP4702441B2 (zh)
CN (1) CN101753812B (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5084594B2 (ja) * 2008-04-22 2012-11-28 キヤノン株式会社 眼科撮像装置
CN102375973B (zh) * 2010-08-24 2013-04-03 汉王科技股份有限公司 人脸识别方法和系统及红外背光补偿方法和系统
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
US8254768B2 (en) * 2010-12-22 2012-08-28 Michael Braithwaite System and method for illuminating and imaging the iris of a person
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
CN102564607A (zh) * 2012-01-12 2012-07-11 杭州美盛红外光电技术有限公司 热像装置和热像规范拍摄方法
CN102538980A (zh) * 2012-01-12 2012-07-04 杭州美盛红外光电技术有限公司 热像装置和热像拍摄方法
CN103090976B (zh) * 2012-01-12 2015-12-02 杭州美盛红外光电技术有限公司 热像显示装置、热像显示系统和热像显示方法
CN102538974A (zh) * 2012-01-12 2012-07-04 杭州美盛红外光电技术有限公司 热像显示装置、热像显示系统和热像显示方法
EP2624172A1 (en) * 2012-02-06 2013-08-07 STMicroelectronics (Rousset) SAS Presence detection device
US10452894B2 (en) 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
CN103674279A (zh) * 2012-09-21 2014-03-26 杭州美盛红外光电技术有限公司 热像测量模式选择装置和热像测量模式选择方法
JP2014078052A (ja) * 2012-10-09 2014-05-01 Sony Corp 認証装置および方法、並びにプログラム
FI124434B (en) * 2012-10-31 2014-08-29 Metso Automation Oy Method and apparatus for track monitoring
JP6116883B2 (ja) * 2012-12-10 2017-04-19 株式会社 ニコンビジョン 測距装置
CN104113743B (zh) * 2013-04-18 2017-09-15 深圳中兴力维技术有限公司 低照度下彩色摄像机自动白平衡处理方法及装置
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
KR102157338B1 (ko) * 2013-11-12 2020-09-17 삼성전자주식회사 복수의 센서 기능을 수행하는 전자 장치 및 방법
US20220261465A1 (en) * 2013-11-21 2022-08-18 Yevgeny Levitov Motion-Triggered Biometric System for Access Control
KR102159996B1 (ko) * 2013-12-16 2020-09-25 삼성전자주식회사 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
US9578219B2 (en) * 2014-05-14 2017-02-21 Transcend Information, Inc. Image-capturing device having infrared filtering switchover functions
KR102281256B1 (ko) 2014-12-04 2021-07-23 삼성전자주식회사 화이트 밸런스 제어 방법 및 그 전자 장치
EP3248370A4 (en) * 2015-01-20 2018-09-12 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
JP6648424B2 (ja) * 2015-06-19 2020-02-14 カシオ計算機株式会社 検出装置、検出方法、プログラム及び合焦装置
KR102434562B1 (ko) * 2015-06-30 2022-08-22 삼성전자주식회사 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
CN105681655A (zh) * 2016-01-14 2016-06-15 上海华掌通信技术有限公司 一种基于Android手机实现红外摄像功能的方法
CN105574518B (zh) * 2016-01-25 2020-02-21 北京眼神智能科技有限公司 人脸活体检测的方法和装置
JP6658166B2 (ja) * 2016-03-18 2020-03-04 コニカミノルタ株式会社 読取装置、読取方法、および読取プログラム
JP6934987B2 (ja) * 2016-05-16 2021-09-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017208616A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN109196516B (zh) * 2016-06-03 2022-04-19 三菱电机株式会社 设备控制装置和设备控制方法
US10284761B2 (en) 2016-11-17 2019-05-07 Motorola Mobility Llc Multi-camera capture of a high dynamic range image
US10250794B2 (en) 2017-01-04 2019-04-02 Motorola Mobility Llc Capturing an image using multi-camera automatic focus
WO2018142614A1 (ja) * 2017-02-06 2018-08-09 東洋ガラス株式会社 ガラスびんの検査装置
US10169671B2 (en) * 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
US10250795B2 (en) 2017-03-15 2019-04-02 Motorola Mobility Llc Identifying a focus point in a scene utilizing a plurality of cameras
JP6939000B2 (ja) * 2017-03-23 2021-09-22 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
CN107193416B (zh) * 2017-05-19 2019-11-05 广州视源电子科技股份有限公司 一种触控物体的状态识别方法及装置
TWI630559B (zh) * 2017-06-22 2018-07-21 佳世達科技股份有限公司 影像擷取裝置及影像擷取方法
CN107277479B (zh) * 2017-07-10 2020-06-05 Oppo广东移动通信有限公司 白平衡处理方法和装置
CN108197563B (zh) * 2017-12-29 2022-03-11 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN108765301B (zh) * 2018-03-27 2020-08-07 长春理工大学 一种光学系统及其畸变校正方法及系统
JP7057221B2 (ja) * 2018-05-24 2022-04-19 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
WO2020021858A1 (ja) * 2018-07-24 2020-01-30 コニカミノルタ株式会社 撮像支援装置及び撮像支援方法
CN109963086B (zh) * 2018-07-30 2020-06-16 华为技术有限公司 时分复用补光成像装置和方法
US10809910B2 (en) * 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
CN109325462B (zh) * 2018-10-11 2021-03-12 深圳斐视沃德科技有限公司 基于虹膜的人脸识别活体检测方法及装置
CN110127468B (zh) * 2019-04-12 2023-02-07 深圳壹账通智能科技有限公司 电梯控制方法、装置、计算机可读存储介质和计算机设备
CN110443192B (zh) * 2019-08-01 2023-04-28 中国科学院重庆绿色智能技术研究院 一种基于双目图像的非交互式人脸活体检测方法及系统
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN112507798B (zh) * 2020-11-12 2024-02-23 度小满科技(北京)有限公司 活体检测方法、电子设备与存储介质
CN114979589B (zh) * 2021-02-26 2024-02-06 深圳怡化电脑股份有限公司 图像处理方法、装置、电子设备及介质
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
US11967184B2 (en) * 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05297152A (ja) 1992-04-15 1993-11-12 Minolta Camera Co Ltd 物体認識装置
JPH08287216A (ja) * 1995-04-18 1996-11-01 Sanyo Electric Co Ltd 顔面内部位認識方法
JP4012995B2 (ja) * 1997-01-21 2007-11-28 ソニー株式会社 画像撮像装置および方法
JP3590286B2 (ja) * 1999-02-01 2004-11-17 株式会社東芝 切り替え手段を備えた撮像モジュール
JP2003006642A (ja) * 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2005197914A (ja) 2004-01-06 2005-07-21 Fuji Photo Film Co Ltd 顔画像認識装置及びそれを備えたデジタルカメラ
JP2006217413A (ja) * 2005-02-04 2006-08-17 Nikon Corp 電子カメラ
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP2007114869A (ja) * 2005-10-18 2007-05-10 Fuji Xerox Co Ltd 読取装置、情報処理システム、および媒体偽造防止方法
JP2008181468A (ja) * 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置
US8212877B2 (en) * 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
US7869019B2 (en) * 2007-04-06 2011-01-11 Sony Corporation Device, method, and program for estimating light source
KR101064945B1 (ko) * 2008-11-25 2011-09-15 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平8-287216A 1996.11.01

Also Published As

Publication number Publication date
CN101753812A (zh) 2010-06-23
JP2010136223A (ja) 2010-06-17
JP4702441B2 (ja) 2011-06-15
US8416303B2 (en) 2013-04-09
US20100141770A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
CN101753812B (zh) 成像装置和成像方法
CN101237529B (zh) 成像设备与成像方法
US7706674B2 (en) Device and method for controlling flash
EP2589226B1 (en) Image capture using luminance and chrominance sensors
CN103782586B (zh) 成像设备
CN101309367B (zh) 成像装置
US8294805B2 (en) Image capturing apparatus capable of displaying live preview image
CN107636692B (zh) 图像捕获设备及操作其的方法
CN103502866B (zh) 摄影装置
CN101742106B (zh) 具有图像抖动检测功能的摄像装置
CN105103534B (zh) 摄像装置及校准方法
CN103403599B (zh) 摄像装置及其对焦控制方法
CN100553296C (zh) 拍摄装置和曝光控制方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN104904197A (zh) 摄像装置、异常倾斜入射光检测方法、程序及记录介质
CN104702826A (zh) 摄像设备及其控制方法
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
JP5614268B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5125734B2 (ja) 撮像装置、画像選択方法及び画像選択プログラム
US20110012991A1 (en) Moving image recording method and apparatus, and moving image coding method and moving image coder
JP2000253293A (ja) デジタルカメラ
US20070195190A1 (en) Apparatus and method for determining in-focus position
CN101631221B (zh) 视频记录设备和视频记录方法
CN103385005B (zh) 立体图像处理装置以及立体图像处理方法
US20130076940A1 (en) Photographing apparatus and method of detecting distortion thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20211207

CF01 Termination of patent right due to non-payment of annual fee