CN110532849A - 用于面部检测的多光谱图像处理系统 - Google Patents

用于面部检测的多光谱图像处理系统 Download PDF

Info

Publication number
CN110532849A
CN110532849A CN201910443371.XA CN201910443371A CN110532849A CN 110532849 A CN110532849 A CN 110532849A CN 201910443371 A CN201910443371 A CN 201910443371A CN 110532849 A CN110532849 A CN 110532849A
Authority
CN
China
Prior art keywords
nir light
sub
pixel
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910443371.XA
Other languages
English (en)
Inventor
P·斯特克
P·比吉奥伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quick Map Co Ltd
Original Assignee
Quick Map Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quick Map Co Ltd filed Critical Quick Map Co Ltd
Publication of CN110532849A publication Critical patent/CN110532849A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理系统,所述图像处理系统包括至少一个图像传感器,所述至少一个图像传感器包括多个子像素并被配置成提供第一图像平面和第二图像平面,所述第一图像平面来自选择性地对第一NIR光带敏感的第一子像素组,所述第二图像平面来自选择性地对第二NIR光带敏感的第二子像素组。NIR光源能够分别发射对应于所述第一NIR光带的第一NIR光和对应于所述第二NIR光带的第二NIR光。所述系统可被配置成根据至少第一工作模式操作,其中面部检测器被配置成检测至少所述第一图像平面中的第一面部和所述第二图像平面中与所述第一面部在空间上不重合的位置处的第二面部。

Description

用于面部检测的多光谱图像处理系统
技术领域
本发明涉及用于面部检测的多光谱图像处理系统以及基于此类面部检测的应用。
背景技术
实时面部检测和跟踪在图像处理中是众所周知的,例如,如欧洲专利No.EP2052347(参考:FN-143)中所述。这些技术使得被成像场景内的一个或多个面部区域能够容易地被描绘,并允许基于该信息的后续图像处理。
此类图像处理可包括尝试识别被成像个体的面部识别;通过使检测到的和/或选择的面部区域进入焦点来自动聚焦;或者面部区域的缺陷检测和/或校正。
关于基于面部特征的个体识别,A.K.Jain,A.Ross,and S.Prabhakar,“Anintroduction to biometric recognition,”IEEE Trans.Circuits Syst.VideoTechnol.,vol.14,2004(A.K.Jain、A.Ross和S.Prabhakar,“生物识别介绍”,《IEEE视频技术电路与系统汇刊》,2004年第14卷)公开了眼睛的虹膜是近乎理想的生物识别。通常,虹膜的图像最好在使用红外(IR)照明的专用成像系统中获取,该红外照明通常为超过700nm的近红外(NIR)。
通常从识别的眼睛区域提取虹膜区域,并可执行更详细的分析以确定是否可检测到有效的虹膜图案。例如,J.Daugman,“New methods in irisrecognition,”IEEETrans.Syst.Man.Cybem.B.Cybern.,vol.37,pp.1167-1175,2007(J.Daugman,“虹膜识别的新方法”,《IEEE系统、人和控制论汇刊,B部分》,2007年第37卷第1167-1175页)公开了一系列附加改进方案,其可用于确定虹膜和眼睛瞳孔的确切形状。将虹膜从极坐标系统转换成矩形坐标系统也是常见做法,但这不是必需的。
检测和跟踪眼睛或虹膜区域还可用于确定凝视或人的状况,诸如疲劳或其他健康状况,这在车辆中集成的驾驶员监测系统(DMS)中尤其有用。
另外,大多数相机和智能手机可识别特定的图案,诸如实时跟踪的面部的“眨眼”和“微笑”,并且可调整主图像获取的定时以确保场景中的对象焦点对准,而不是正在眨眼或微笑,诸如WO2007/106117(参考:FN-149)中公开的那样。
当获取不同照明的对象时,在场景内捕获图像时的常见问题是系统动态范围有限。具体地讲,获取的图像中对应于场景的明亮区域的区域倾向于过度曝光,而获取的图像中对应于场景的较暗区域的区域倾向于曝光不足。
该问题尤其可影响获取在场景内显著景深上延伸的场景内面部的主动照明,诸如从朝向车辆前方(例如,靠近后视镜)定位的相机进行成像的设置在车辆内不同排处乘员的面部。具体地讲,如果曝光设置成获取相机附近的面部的适当曝光图像(被光源照射较多),则获取的远离相机的面部图像(被光源照射较少)倾向于曝光不足。反之亦然,如果曝光设置成获取较远面部的适当曝光图像,则较近面部的图像倾向于过度曝光。
获取具有高动态范围(HDR)的图像的已知解决方案是以不同的曝光水平捕获相同场景的连续图像序列,例如通过改变获取每个图像的曝光时间,其中较短的曝光时间用于适当捕获明亮的场景区域,而较长的曝光时间用于适当捕获较暗的场景区域。然后可将获取的图像组合以创建单个图像,其中场景中的各个区域都适当地曝光。
可易于理解的是,该解决方案如何可非常令人满意地应用于具有静态对象(诸如风景)的场景,但对于捕获相对靠近相机并且可在连续图像获取期间移动的面部而言是不切实际的,因此在尝试构建场景图像时会产生伪影。还应注意,使用滚动快门技术不可能获取此类可变曝光图像序列。
通过斯坦福大学的Abbas El Gamal的“High Dynamic Range Image Sensors(高动态范围图像传感器)”,ISSCC’02(http://cafe.stanford.edu/~abbas/group/papers_ and_pub/isscc02_tutorial.pdf),进一步了解了使用具有空间变化的像素敏感度的HDRCMOS图像传感器。具体地讲,在图像传感器上沉积中性密度(ND)滤波器阵列,使得在单个捕获的场景图像中,与较暗滤波器相关联的传感器像素可用于获取场景的明亮区域,而与较亮滤波器相关联的传感器像素可用于获取场景的较暗区域。然而,本文档并未涉及场景内广泛景深的面部获取和检测,尤其是当使用主动IR照射时。
发明内容
根据本发明的方面,提供了根据权利要求1、13和14所述的图像处理系统。
这些系统的实施方案基于采用具有多组子像素的图像传感器,每个子像素被配置成在不同的NIR光带下并且以不同的敏感度基本上同时获取给定场景的图像平面。图像传感器与至少一个有源NIR照明源配合采用,该有源NIR照明源能够发射与相应子像素组的NIR光带匹配的NIR光。
值得注意的是,在根据权利要求1和13所述的系统的实施方案中,与匹配的较高强度发射的NIR光配合使用较大且较敏感的子像素组允许获取远离系统的面部(由于与NIR照明源的距离较远,因此将倾向于照射不良并因此曝光不足)的适当曝光图像,并且与匹配的较低强度发射的NIR光配合使用较不敏感的较少子像素组允许同时获取靠近系统的面部(由于靠近NIR照明源,因此将倾向于过度照射并因此过度曝光)的适当曝光图像。
这样,特征的该组合允许曝光水平的自然平衡,以在到成像场景中的不同深度处适当地获取面部(即,具有所需水平的面部细节),从而实现此采用典型单波长图像处理系统更大的获取动态范围。
这些实施方案有利地能够以第一工作模式操作,用于以增加的精度检测场景内不同深度处的面部,但是当根据第二工作模式操作以用于心脏脉冲监测时,其也可提供优势。
实际上,可从不同敏感度的子像素组获取的给定检测面部的图像可用于分析指示在获取周期序列内获取的面部图像之间照明差异的差分信号。
在这种差分监测方法中,由于与心脏脉冲重复频率无关的因素(诸如环境照明的变化或被监测的人的运动变化)而导致的所监测面部的表面照明变化将以相同的方式影响从不同敏感度子像素组获取的面部图像,并将因此倾向于在监测的差分信号中相互抵消。
在一些实施方案中,系统可根据获取设置的调整从第一工作模式切换到第二工作模式,以用于从不同敏感度子像素组中获取相同面部的适当曝光图像。
权利要求16的系统的实施方案可与适当获取不同场景深度处的面部图像的能力分开实现差分脉冲率监测。这样,可提供这些实施方案,而没有专门用于补偿距系统不同距离处面部的曝光水平的特征,诸如在不同敏感度子像素组中具有不同数量的子像素并且/或者发射具有不同强度的相应匹配NIR光。
根据本发明的其他方面,提供了包括根据以上方面的系统的便携式电子设备或车辆乘员监测系统。
附图说明
现在将结合附图以举例的方式描述本发明的实施方案,在附图中:
图1示出了根据本发明的实施方案的图像处理系统;
图2示出了根据本发明的实施方案的多光谱滤波器阵列图像传感器,其具有与相应不同带通滤波器相关联的三组子像素;并且
图3示出了与图2中所示传感器的子像素组相关联的带通滤波器的频率响应,以及匹配LED发射带和相对像素敏感度。
具体实施方式
现在参考图1,示出了根据本发明的实施方案的图像处理系统10。
可集成在便携式设备(例如相机、智能电话、平板电脑等)内或可集成到车辆安全系统(诸如驾驶员监测系统(DMS))中的系统10包括至少一个中央处理单元(CPU)24,该CPU通常运行操作系统软件以及通用应用软件。例如,在便携式设备中,CPU 24可运行相机应用程序、浏览器、消息、电子邮件或其他应用程序。在车辆安全系统中,CPU 24可运行相机应用程序,该相机应用程序专用于监测驾驶员或其他乘员的状态,尤其是用于确定乘员的健康或注意力。
可设置操作系统,使得用户必须对自身进行身份验证以解锁系统并得以访问系统上安装的应用程序;或者在系统上运行的各个应用程序可能要求用户在得以访问敏感信息之前对自己进行身份验证。
系统10还包括至少一个NIR照明源16,并且在一些实施方案中,包括至少一个能够主动照明系统10前面场景的可见光照明源17,以及能够能够将从照明场景反射的光聚焦到图像传感器14的透镜组件12。
在该实施方案中,传感器14是多光谱滤波器阵列图像传感器,其能够在图像获取周期期间基本上同时获取被照明场景的多频带图像平面。例如,在P.Lapray et.al,“Multispectral Filter Arrays:Recent Advances and Practical Implementation,”Sensors 2014,14(11),21626-21659(P.Lapray等人,“多光谱滤波器阵列:最新进展和实际实施”,《传感器》,2014年第14卷第11期,第21626-21659页)中提供了使用多光谱滤波器阵列来同时获取多频带多频带可见和NIR图像以及其他多光谱成像获取技术的概述。
参考图2,传感器14包括像素100的阵列,并且由安装在公共图像CMOS传感器上或设置在公共图像CMOS传感器附近的多光谱滤波器阵列(MSFA)形成,以便在入射光到达CMOS传感器之前对其进行滤波。
MSFA被图案化以类似于典型的拜尔图案布置并且对于每个传感器像素100包括:用于将以875nm波长为中心的较低NIR光带传递到子像素I8的光谱带通滤波器、用于将以950nm波长为中心的较高NIR光带传递到子像素I9的光谱带通滤波器,以及用于将以700nm波长为中心的可见亮红光带传递到子像素R的光谱滤波器。
并且参考图3,每个像素100包括:对通过具有通带101的滤波器的NIR光带敏感的两个子像素I8,对通过具有通带102的相应滤波器的NIR光带敏感的一个子像素I9,以及对通过具有通带105的相应滤波器的红光带敏感的一个子像素R。因此,像素100的阵列中子像素I8和子像素I9的数量之间(以及子像素I8和子像素R的数量之间)的比率是2∶1。
子像素I8、子像素I9和子像素R的组提供三个传感器通道,用于在每个图像获取周期期间基本上同时获取不同波段处的照明场景的三个相应图像平面。
例如,如上文引用的P.Lapray等人中所知,随着入射辐射的波长增加,CMOS传感器的量子效率(QE)显著降低。
如图3所示,此类QE变化107导致子像素I8对滤波器通带101处通过的入射NIR光带的敏感度基本上是子像素I9对滤波器通带102处通过的入射NIR光带的敏感度的两倍。
通过将相应带通滤波器101,102与附加的吸收滤波器(例如,设置在透镜组件12内或者透镜组件12和传感器14之间)组合,可进一步控制子像素I8和I9的相对敏感度。通过使用ND滤波器来匹配NIR像素的范围,可相对于子像素I8和I9的敏感度来控制子像素R的敏感度。
透镜组件12能够在所有通带101,102,105处将辐射朝向传感器14聚焦。例如,组件12的透镜可以是调色到通带101,102,105的复消色差型。对于所有所关注波长,这将导致传感器平面上照明场景的适当聚焦图像。
返回参考图3,NIR照明源16包括具有以875nm波长为中心并与通带101匹配的NIR发射带103的至少第一LED或第一LED的阵列,以及具有以950nm波长为中心并与通带102匹配的NIR发射带104的第二LED或第二LED的阵列。
在该实施方案中,通带101和102比相应的LED发射带103和104更窄且更锐利。以这种方式,虽然LED发射带103和104在其边缘处部分重叠,但通过相应滤波器并被引导到子像素I8的LED发射的NIR光与通过滤波器并被引导到子像素I9的LED发射的NIR光得以适当地分离。这使得子像素I8和I9提供的传感器通道之间的串扰减少。
然而,在本公开的上下文中,“匹配”涵盖了其中LED发射带103,104包括落入通带101,102内的波长的所有情况,包括其中发射带103,104与相应通带101,102的通带基本上重合或此其更窄的情况。
可通过可由CPU 24控制的专用电路在不同的功率电平下驱动第一LED和第二LED,以使得发射的NIR光103的强度高于发射的NIR光104的强度的方式。这样,第一LED和第二LED可分开控制,其中其发射带103,104之间的泄露较少且重叠较小,从而进一步改善通道之间的串扰减少。
可见光照明源17包括LED或LED阵列,其具有以700nm波长为中心且匹配通带105的亮红光发射带106。优选地,通带105比相应LED发射带106更窄且更锐利。
返回参考图1,在每个获取周期,从子像素I8、I9和R提供的多频带通道获取的图像数据可根据需要由CPU 24执行的应用程序或其他可访问图像传感器14和/或存储器22的专用处理块写入系统总线26上的系统存储器22中。
在该实施方案中,系统10还包括专用面部检测器18,用于从通过多频带传感器通道获取的图像平面识别面部区域。该功能同样可在CPU 24执行的软件中实现。所识别面部的数据也可存储在系统存储器22和/或其他存储器中,诸如安全存储器或者属于系统10或与该系统分离的数据库。
具体地讲,系统10特别适用于根据第一工作模式来操作面部检测,其中检测器18用于使用由子像素I8和子像素I9提供的NIR传感器通道来检测和跟踪照明场景内不同深度处的面部。
实际上,子像素I9的较低的敏感度和数量以及发射的NIR光104的较低强度水平相互配合以获取系统10附近面部的适当曝光图像,诸如车辆驾驶员的面部和/或驾驶员旁边乘员的面部,而子像素I8将基本上不受NIR光104的影响。
同时,子像素I8的较高的敏感度和数量以及发射的NIR光103的较高强度水平相互配合以获取远离系统10的面部的适当曝光图像,诸如驾驶员后面车辆乘员的面部,而子像素I9将基本上不受NIR光103的影响。
值得注意的是,相对于子像素I9的数量而言具有更多数量的子像素I8提高了所获取的远距离面部图像的分辨率,这些面部更小并且其中反射的NIR光到达系统10所行进的距离大于近距离面部。
最终,特征的该组合使得能够以所需的细节水平获取远距离和近距离面部,因为其可由检测器18精确地识别。
例如,检测器18(或预检测器)可实现专用去马赛克(去拜尔)模块,以从传感器IR通道获取的图像平面重建完整图像。该模块明确与子像素I8和子像素I9相关联的不同NIR带101,102的不同敏感度,并且其可依赖于通道之间最小维持的互相关水平。应当理解,在获得近距离面部的去马赛克图像时,甚至可忽略在NIR带101中获取的图像分量。该功能同样可在CPU 24或系统10内其他专用单元执行的软件中实现。
可为传感器14定制其他图像信号处理技术,并将其应用于获取的图像,诸如明确传感器14的特性以适当渲染不同距离处的面部的γ校正和动态范围压缩。
在该实施方案中,检测器18进一步被配置成在检测的远距离和/或近距离面部中识别一个或多个眼睛区域和/或虹膜区域。该功能同样可在CPU24执行的软件中实现。所识别一个或多个虹膜区域的数据也可存储在系统存储器22和/或属于系统10或与该系统分离的其他存储器中。
这样,识别的虹膜区域可用作生物认证单元(BAU)20的输入。优选地,BAU 20被配置成从所接收的识别的虹膜区域提取虹膜代码,并且其可将该代码存储在存储器22和/或属于系统10或与该系统分离的其他存储器或数据库中。此外,BAU 20优选地被配置成将所接收的一个或多个虹膜区域和与一个或多个预定对象(诸如车辆的所有者及其家庭成员)相关联的参考虹膜区域进行比较,该参考虹膜区域可存储在存储器22中,位于BAU 20内的安全存储器或BAU 20可访问的任何位置。
WO2011/124512(参考:FN-458)中公开了用于执行虹膜代码提取和虹膜区域之间比较的示例性方式,并且这涉及使用母掩模在两个图像模板之间进行比较以从模板中选择相应的代码。母掩模根据其已知或预期的可靠性从匹配过程中排除块和/或加权块。
其他应用程序可受益于在第一工作模式下操作的系统10所提供的改进的面部检测,其中疲劳、呆滞和面部情绪检测、面部自动聚焦或缺陷检测和/或校正。
图1的系统还可根据第二工作模式操作以用于心脏脉冲检测。众所周知,对应于心率的血管扩张和收缩导致被照射的皮肤颜色发生周期性变化。脉冲检测应用程序通常仅使用一个可见颜色获取通道来监测所跟踪检测的面部的皮肤部分中的该周期性颜色变化。
此类应用程序的示例是可与PC网络摄像头配合工作的网络摄像头脉冲检测器(https://lifehacker.com/the-webcam-pulse-dector-shows-your-life-signs-using- y-1704207849)。使用可见光进行脉冲检测通常是不可靠的,并且可检测性可随着不同的皮肤颜色而变化。此外,考虑到检测的颜色变化可受到与脉冲重复频率无关的因素(诸如环境照明和被监测人的运动)引起的表面皮肤颜色变化的影响,脉冲检测的可靠性较低。例如,整个面部上的皮肤阴影不断变化,并且如果人移动,则这些变化将超过由于脉冲重复频率引起的变化,从而使检测不可靠。可应用欧拉视频放大以放大视频序列的连续帧的面部中可见的周期性颜色变化(http://people.csail.mit.edu/mrub/vidmag/)。作为另外一种选择,神经网络(NN)处理可在自然(即,非控制器)人机交互期间提高基于相机的脉冲检测的准确性,诸如Hamad Monkaresi等人的“A Machine Learning Approach to ImproveContactless Heart Rate Monitoring Using a Webcam(使用网络摄像头改进非接触式心率监测的机器学习方法)”中所公开的那样。这里,使用可见光,并且所获取的视觉信号不直接用于脉冲检测,而是进行处理并随后进行独立分量分析。
在本实施方案的第二工作模式中,检测器18用于使用子像素I8和子像素I9所提供的NIR传感器通道以及子像素R所提供的红光通道作为支持来检测和跟踪人的面部。
从第一工作模式到第二工作模式的切换可周期性地发生或者可由特定命令/事件触发。
当从第一工作模式切换到第二工作模式时,CPU 24或系统10的另一个专用单元能够调整第一工作模式中所使用的图像获取设置,用于在子像素I8和子像素I9所提供的不同图像平面中获取同一面部的适当曝光图像。
具体地讲,当被跟踪用于脉冲监测的面部在系统10附近时(诸如在面部属于车辆驾驶员或驾驶员旁边乘员的情况下),执行以下调整中的一者或组合:
-降低LED发射的NIR光103的强度,
-降低子像素I8的增益;
-减少积聚(曝光)时间。
应当注意,对于像素I8、I9和R使用不同的积聚时间通常不可能使用滚动快门曝光。
在任何情况下,以这种方式,可在从子像素I8获取的图像平面中形成所跟踪面部的适当曝光图像,同时在从子像素I9获取的图像平面中形成同一面部的适当曝光图像。
当被跟踪用于脉冲监测的面部远离系统10时(诸如在面部属于驾驶员后面的车辆乘员的情况下),执行以下调整中的一者或组合:
-增加LED发射的NIR光104的强度,
-增加子像素I9的增益;
-增加积聚时间。
以这种方式,可在从子像素I9获取的图像平面中形成所跟踪面部的适当曝光图像,同时在从子像素I8获取的图像平面中形成面部的适当曝光图像。
除此之外或作为另外一种选择,由子像素I8和子像素I9提供的NIR传感器通道之间的相对曝光水平可通过使用衰减或放大所关注波长的附加滤波器来控制。
对于由子像素R提供的通道,CPU 24可进一步调整图像获取设置,以适当捕获所跟踪的面部,尤其是考虑到面部与系统10的距离。具体地讲,可为较近的面部设置较低强度的LED发射的红光106和/或较低的子像素R的增益和/或较短的积聚时间,同时可为较远的面部设置较高强度的LED发射的红光106和/或较高的子像素R的增益和/或较长的积聚时间。
当返回第一工作模式时,CPU 24或其他专用单元能够返回第一工作模式的图像获取设置。
现在参考图1,系统10还包括用于监测心脏脉冲重复频率的专用单元30。该功能同样可在CPU 24执行的软件中实现。
具体地讲,单元30可访问来自在第二工作模式下操作的检测器18的存储图像数据,从而可用于图像获取周期序列中的每一者:
-来自子像素I8的所监测面部的图像数据;
-来自子像素I9的所监测面部的图像数据;以及
-来自子像素R的所监测面部的图像数据。
因此,当所有三个传感器通道都可用时,单元30可跟踪以下三个差分信号随时间的演变:
d1(t)=|V(t)-I8(t)|
d2(t)=|V(t)-I9(t)|
d3(t)=|I9(t)-I8(t)|
其中I8(t)是指示随时间推移从子像素I8获取的所监测面部的照明的时间信号,I9(t)是指示随时间推移从子像素I9获取的所监测面部的照明的时间信号,并且V(t)指示随时间推移从子像素R获取的所监测面部的照明。
由于皮肤穿透深度取决于入射辐射的波长,所以由心率引起的血管扩张和收缩将导致由子像素I8、I9和R提供的传感器通道的不同频带处所监测面部的不同照明变化。另一方面,由于其他因素(例如,环境照明的变化或面部运动的变化)而引起的表面照明变化倾向于基本上以相同的方式影响这些多频带通道。
因此,d1(t)、d2(t)和d3(t)中的每一者包括指示由于脉冲重复频率引起的所监测面部的照明变化的非零分量,而信号I8(t)、I9(t)和V(t)中每一者内由于其他因素导致的分量倾向于在计算的d1(t)、d2(t)和d3(t)中相互抵消。
这样,差分信号d1(t)、d2(t)和d3(t)提供用于监测脉冲重复频率的更可靠的测量,而不仅仅跟踪一个波长图像获取通道中的照明变化。此外,脉冲重复频率将与所有的差分信号d1(t)、d2(t)和3(t)相关,而噪声将是随机的。该方面还意味着测量精度的增加。
使用NIR光还改善测量,因为与仅使用可见光相此,IR光可更深地穿透皮肤,并因此允许更好地观察血管。此外,IR光尤其适用于监测车辆驾驶员的脉冲重复频率,因为与可见光相比,其可基本上穿过太阳镜。
信号R(t)的作用主要是支持,尤其是考虑到测量条件可改变,从而导致通过传感器通道获取的图像过度曝光或曝光不足的事实。在来自通道中一者的图像过度曝光或曝光不足的情况下,其他剩余的两个通道可用于适当执行脉冲检测。
频率检测算法可应用于差分信号d1(t)、d2(t)、d3(t)以监测脉冲重复频率,其可导致确定脉冲重复频率是否满足临界阈值水平或脉冲重复频率值的计算。例如,可使用自相关和互相关方法或其他信号频率检测方法,例如涉及傅里叶变换。
作为另外一种选择,可使用人工神经网络处理来执行基于差分信号d1(t)、d2(t)、d3(t)的心脏脉冲监测。
在上述实施方案的变型形式中,代替使用安装在CMOS传感器上的MSFA,透镜组件12可被配置成将入射辐射滤波并分离成分别聚焦在同一传感器或传感器组上子像素的相应不同区域上的光谱带,其可用于多光谱图像获取。采用多个透镜镜筒的此类布置的示例公开于欧洲专利申请No.EP3066690(参考:IO006-0035-EP-01)中。
作为另外一种选择,MSFA滤波功能可通过配置图像传感器本身的子像素组来实现,例如,通过适当选择材料,从而对人射辐射的相应不同频带选择性且不同地敏感。
在上述实施方案的其他变型形式中,传感器14可包括多于两组不同的NIR敏感像素,以在成像场景的多于基本上两个深度水平上适当地获取面部,诸如车辆具有多于两排乘员的情况。
在所公开实施方案的其他变型形式中,NIR照明源16可包括能够发射不同波长的单个设备,包括至少匹配与子像素I8相关联的滤波器通带101的发射带103以及匹配与子像素I9相关联的滤波器通带102的发射带104,例如,激光或闪光源。可使用包括在光源的发射开口中或布置在光源的发射开口附近的光谱滤波器或掩模来控制发射光内此类频带的相对强度。
在所公开实施方案的其他变型形式中,子像素R可由对不同可见波段(例如绿光带)敏感的子像素或者仅由对白光敏感的子像素代替。然而,应当理解,用于提供可见光传感器通道的子像素的存在是可选的。
尽管在所公开的实施方案中系统10被配置成在第一工作模式和第二工作模式之间切换,但可以理解,与这些工作模式相关联的功能可在专用/分离的图像处理系统中单独实现。
在这种情况下,专门用于脉冲重复频率监测的系统与所公开的系统10的不同之处可至少在于子像素I8和I9的数量和/或匹配NIR光的照明强度可以是相同的。
还应理解,所公开系统10的图像处理功能可在同一处理单元或一组处理单元中实现。特别是在应用于车辆DMS的情况下,此类图像处理功能可在美国临时专利申请No.62/592,665(参考:FN-618)中公开的一种多处理器引擎中有用地实现。

Claims (15)

1.一种图像处理系统(10),包括:
至少一个图像传感器(14),所述至少一个图像传感器包括多个像素,每个像素(100)包括多个子像素(R,I8,I9)并被配置成在图像获取周期期间提供第一图像平面和第二图像平面,所述第一图像平面来自选择性地对第一NIR光带(103)敏感的第一子像素组,所述第二图像平面来自选择性地对第二NIR光带(104)敏感的第二子像素组,其中所述第一子像素对所述第一NIR光的敏感度大于所述第二子像素对所述第二NIR光带的敏感度,并且所述第一子像素的数量大于所述第二子像素的数量;
至少一个NIR光源(16),所述至少一个NIR光源能够分别发射对应于所述第一NIR光带的第一NIR光和对应于所述第二NIR光带的第二NIR光,所述第一NIR光具有比所述第二NIR光更高的强度;以及
面部检测器(18),所述面部检测器被配置成分别检测来自所述第一图像平面的至少第一面部和来自所述第二图像平面的第二面部。
2.根据权利要求1所述的图像处理系统,包括:第一光谱带通滤波器(101),所述第一光谱带通滤波器被配置成使所述第一NIR光带内的光朝向所述第一子像素通过;以及第二光谱带通滤波器(102),所述第二光谱带通滤波器被配置成使所述第二NIR光带内的光朝向所述第二子像素通过。
3.根据权利要求2所述的图像处理系统,其中所述图像传感器包括多光谱滤波器阵列,所述多光谱滤波器阵列包括所述第一带通滤波器和第二带通滤波器。
4.根据权利要求1所述的图像处理系统,其中所述第一NIR光带和所述第二NIR光带分别以第一波长和第二波长为中心,所述第一波长低于所述第二波长,并且优选地所述第一波长为约875nm且所述第二波长为约950nm。
5.根据权利要求1所述的图像处理系统,其中所述至少一个光源包括被配置成生成所述第一NIR光的至少一个第一LED和被配置成生成所述第二NIR光的至少一个第二LED。
6.根据权利要求1所述的图像处理系统,还包括虹膜检测器(18),所述虹膜检测器被配置成检测所检测的第一面部和第二面部内的虹膜,并且优选地还包括生物认证单元(20),所述生物认证单元被配置成基于所述第一面部和所述第二面部内检测到的虹膜来识别一个或多个预定对象。
7.根据权利要求1所述的图像处理系统,其中所述系统被配置成以第一工作模式操作,其中所述面部检测器被配置成分别在所述第一图像平面和所述第二图像平面内的空间非重合位置处检测所述第一面部和所述第二面部。
8.根据权利要求7所述的图像处理系统,其中所述系统被配置成以第二工作模式操作,其中所述面部检测器被配置成在所述第一图像平面和所述第二图像平面内的空间重合位置处检测所述第一面部和所述第二面部。
9.根据权利要求8所述的图像处理系统,被配置成当从所述第一工作模式切换到所述第二工作模式时,调整:
所述第一NIR光的强度、所述第一子像素的增益以及所述图像获取周期中的至少一者,以使得所述第一面部在所述第一图像平面内适当曝光的方式;或者
所述第二NIR光的强度、所述第二子像素的增益以及所述图像获取周期中的至少一者,以使得所述第二面部在所述第二图像平面内适当曝光的方式。
10.根据权利要求8所述的图像处理系统,还包括心率脉冲监测单元(30),所述心率脉冲检测单元被配置成在图像获取周期序列上分析至少第一差分信号,所述第一差分信号指示所述检测的第一面部和第二面部之间照明的差异。
11.根据权利要求10所述的图像处理系统,其中所述至少一个图像传感器进一步被配置成在每个图像获取周期内获取来自所述像素阵列的第三子像素组的第三图像平面,所述第三子像素选择性地对可见光带敏感,
所述系统还包括至少一个可见光源(17),所述至少一个可见光源能够发射对应于所述可见光带的光,
所述面部检测器被配置成在与所述第一面部和所述第二面部重合的位置处检测所述第三图像平面内的面部,并且
所述心率脉冲监测单元进一步被配置成在所述图像获取周期序列上分析至少第二差分信号,所述第二差分信号指示所述检测的第三面部与所述检测的第一面部和第二面部中至少一者之间照明的差异。
12.根据权利要求1所述的图像处理系统,其中所述至少一个图像传感器被布置成以滚动模式快门操作,其中所述图像平面中的每一者被获取共同的积聚时间。
13.一种图像处理系统(10),包括:
至少一个图像传感器(14),所述至少一个图像传感器包括多个像素(100),每个像素包括多个子像素(R,I8,I9)并被配置成在图像获取周期期间提供第一图像平面和第二图像平面,所述第一图像平面来自选择性地对第一NIR光带(103)敏感的第一子像素组,所述第二图像平面来自选择性地对第二NIR光带(104)敏感的第二子像素组,其中所述第一子像素对所述第一NIR光的敏感度大于所述第二子像素对所述第二NIR光带的所述敏感度,并且所述第一子像素的数量大于所述第二子像素的数量;
至少一个NIR光源(16),所述至少一个NIR光源能够分别发射对应于所述第一NIR光带的第一NIR光和对应于所述第二NIR光带的第二NIR光,所述第一NIR光具有比所述第二NIR光更高的强度;以及
面部检测器(18);
所述系统被配置成根据至少第一工作模式操作,其中所述面部检测器被配置成检测至少所述第一图像平面中的第一面部和所述第二图像平面中与所述第一面部在空间上不重合的位置处的第二面部。
14.一种图像处理系统(10),包括:
至少一个图像传感器(14),所述至少一个图像传感器包括多个像素(100),每个像素包括多个子像素(R,I8,I9)并被配置成在图像获取周期期间提供第一图像平面和第二图像平面,所述第一图像平面来自选择性地对第一NIR光带(103)敏感的第一子像素组,所述第二图像平面来自选择性地对第二NIR光带(104)敏感的第二子像素组;
至少一个NIR光源(16),所述至少一个NIR光源能够分别发射对应于所述第一NIR光带的第一NIR光和对应于所述第二NIR光带的第二NIR光;
面部检测器(18),所述面部检测器被配置成在空间重合位置处检测来自所述第一图像平面的第一面部和来自所述第二图像平面的第二面部;以及
心率脉冲监测单元(30),所述心率脉冲检测单元被配置成在图像获取周期序列上分析至少差分信号,所述差分信号指示所述检测的第一面部和第二面部之间照明的差异。
15.一种包括根据权利要求1、13或14所述的图像处理系统的便携式电子设备或车辆乘员监测系统之一。
CN201910443371.XA 2018-05-25 2019-05-24 用于面部检测的多光谱图像处理系统 Pending CN110532849A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/990,519 2018-05-25
US15/990,519 US10742904B2 (en) 2018-05-25 2018-05-25 Multispectral image processing system for face detection

Publications (1)

Publication Number Publication Date
CN110532849A true CN110532849A (zh) 2019-12-03

Family

ID=65812170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443371.XA Pending CN110532849A (zh) 2018-05-25 2019-05-24 用于面部检测的多光谱图像处理系统

Country Status (3)

Country Link
US (1) US10742904B2 (zh)
EP (1) EP3572975B1 (zh)
CN (1) CN110532849A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507930A (zh) * 2020-12-16 2021-03-16 华南理工大学 一种利用光照均衡法改善人脸视频心率检测的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220152989A1 (en) * 2019-03-29 2022-05-19 Sekisui Chemical Co., Ltd. Laminated glass and vehicle system
US11046327B2 (en) 2019-04-09 2021-06-29 Fotonation Limited System for performing eye detection and/or tracking
US11157761B2 (en) * 2019-10-22 2021-10-26 Emza Visual Sense Ltd. IR/Visible image camera with dual mode, active-passive-illumination, triggered by masked sensor to reduce power consumption
CN113542529B (zh) * 2020-04-21 2024-03-12 安霸国际有限合伙企业 用于dms和oms的940nm led闪光同步
GB2609914A (en) * 2021-08-12 2023-02-22 Continental Automotive Gmbh A monitoring system and method for identifying objects
CN113842128B (zh) * 2021-09-29 2023-09-26 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN107111009A (zh) * 2014-08-08 2017-08-29 快图有限公司 用于图像获取装置的光学系统
US20170344793A1 (en) * 2014-10-22 2017-11-30 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US20170366761A1 (en) * 2016-06-17 2017-12-21 Fotonation Limited Iris image acquisition system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4265600B2 (ja) * 2005-12-26 2009-05-20 船井電機株式会社 複眼撮像装置
US7551754B2 (en) 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
US8345936B2 (en) * 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
US8577094B2 (en) 2010-04-09 2013-11-05 Donald Martin Monro Image template masking
FR2965067B1 (fr) * 2010-09-17 2013-07-19 Onera (Off Nat Aerospatiale) Filtre spectral passe bande a forte selectivite et polarisation controlee
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR101744761B1 (ko) * 2012-11-30 2017-06-09 한화테크윈 주식회사 영상처리장치 및 방법
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
CN105874472B (zh) * 2014-02-21 2019-09-17 三星电子株式会社 具有虹膜颜色识别的多频带生物识别相机系统
US10152631B2 (en) * 2014-08-08 2018-12-11 Fotonation Limited Optical system for an image acquisition device
JP2017208616A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN107111009A (zh) * 2014-08-08 2017-08-29 快图有限公司 用于图像获取装置的光学系统
US20170344793A1 (en) * 2014-10-22 2017-11-30 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US20170366761A1 (en) * 2016-06-17 2017-12-21 Fotonation Limited Iris image acquisition system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MONKARESI ET AL.: ""A Machine Learning Approach to Improve Contactless Heart Rate Monitoring Using a Webcam"", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 18, no. 4, pages 1153 - 1160, XP011552663, DOI: 10.1109/JBHI.2013.2291900 *
PIERRE-JEAN LAPRAY ET AL.: ""Multispectral Filter Arrays: Recent Advances and Practical Implementation"", 《SENSORS 2014》, pages 21626 - 21659 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507930A (zh) * 2020-12-16 2021-03-16 华南理工大学 一种利用光照均衡法改善人脸视频心率检测的方法
CN112507930B (zh) * 2020-12-16 2023-06-20 华南理工大学 一种利用光照均衡法改善人脸视频心率检测的方法

Also Published As

Publication number Publication date
EP3572975A1 (en) 2019-11-27
EP3572975B1 (en) 2024-01-24
US20190364229A1 (en) 2019-11-28
EP3572975C0 (en) 2024-01-24
US10742904B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
CN110532849A (zh) 用于面部检测的多光谱图像处理系统
EP3270354B1 (en) Living body detection device, living body detection method, and recording medium
US7627147B2 (en) Method and apparatus for obtaining iris biometric information from a moving subject
US8634591B2 (en) Method and system for image analysis
CN109271921B (zh) 一种多光谱成像的智能识别方法及系统
CN111611845A (zh) 一种具有活体检测功能的虹膜识别系统
US20080146952A1 (en) Optical Speckle Pattern Investigation
JP2007516525A (ja) 顔面イメージ取得と識別の方法及びシステム
CN109661668B (zh) 用于虹膜识别的图像处理方法和系统
CN109255282B (zh) 一种生物识别方法、装置和系统
US20210158108A1 (en) Object classification method, vehicle control method, information display method, and object classification device
JP2007219625A (ja) 血管画像入力装置、及び個人認証システム
CN109076176A (zh) 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法
JP2018106720A (ja) 画像処理装置及びその方法
CN110312079A (zh) 图像采集装置及其应用系统
EP3989182A2 (en) Biometric authentication device and biometric authentication method
CN109496308A (zh) 生物特征识别的方法、装置和电子设备
JP2012107944A (ja) 対象識別装置及び対象識別方法
JP2007219624A (ja) 血管画像入力装置、及び個人認証システム
US20230290185A1 (en) Anti-Spoofing System
CN114627522A (zh) 深度相机
US11341224B2 (en) Handheld multi-sensor biometric imaging device and processing pipeline
KR102594852B1 (ko) 적외선을 이용하여 위조얼굴을 구별할 수 있는 얼굴인식장치 및 그 얼굴인식방법
GB2506688A (en) Detection of a target in a scene using hyperspectral imaging
Liu et al. A review of advances in iris image acquisition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination