CN114821695A

CN114821695A - 材料光谱法

Info

Publication number: CN114821695A
Application number: CN202210027241.XA
Authority: CN
Inventors: 阿里·哈桑尼; 乔纳森·迪德里克; 哈米德·M·格尔吉里; 赫曼斯·亚达夫·阿拉德尤拉; 约翰·罗伯特·范维梅尔施
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-01-13
Filing date: 2022-01-11
Publication date: 2022-07-29
Also published as: US20240087360A1; US20220222466A1; DE102022100559A1

Abstract

本公开提供“材料光谱法”。一种计算机，包括处理器和存储器，所述存储器包括指令以供所述处理器执行以：通过利用第一光束照射第一对象来获取第一图像；对所述第一对象的所述第一图像进行分割以确定与第一表面材料相对应的区域；以及确定所述第一图像的与所述第一表面材料相对应的区域中的第一像素值度量。所述指令包括用于进行以下操作的其他指令：执行所述第一像素值度量与根据第二对象的第二图像确定的第二像素值度量的比较，其中所述第二图像是先前通过利用第二光束照射所述第二对象来获取的；以及在所述比较确定所述第一度量在公差内等于所述第二像素值度量时，确定所述第一对象和所述第二对象是同一对象。

Description

材料光谱法

技术领域

本公开总体上涉及车辆计算机系统，并且更具体地涉及成像系统。

背景技术

车辆可配备有计算装置、网络、传感器和控制器以获取和/或处理关于车辆的环境的数据并且基于所述数据而操作车辆。车辆传感器可提供关于将行驶的路线以及车辆的环境中要避开的对象的数据。在车辆正在道路上进行操作时，车辆的操作可依赖于获取关于车辆的环境中的对象的准确且及时的数据。

发明内容

交通基础设施系统中的计算装置可被编程为获取关于车辆的外部环境的数据并且使用所述数据来操作所述车辆。例如，车辆中的相机可被编程为获取接近车辆的人的图像，并且在基于面部识别软件而确定人的身份之后，解锁车辆的车门以准许操作者进入车辆。类似地，包括在车辆内部的相机可获取人的一个或多个图像，并且在基于面部识别软件而确定操作者的身份之后，接受来自人的命令以操作车辆。

车辆中的计算装置可被编程为通过首先在注册期间获取训练模型来执行人的面部识别，其中获取待标识的人脸的图像。然后，计算装置可获取包括人脸的质询图像，并且处理质询图像以确定质询图像是否包括与训练模型匹配的人脸。面部识别是一种类型的生物特征认证，其中人体测量值用于确定人的身份以执行访问控制。生物特征认证可用于控制对建筑物、房屋或车辆的访问，并且可用于授予操作计算机、电话或其他装置的许可。生物特征认证软件可在包括在被访问的位置或装置中的计算装置上执行，或者可将图像数据上传到基于云的服务器，所述基于云的服务器维护训练模型的数据库以供执行。可将执行生物特征认证的结果下载到寻求认证的装置，并且可授予或拒绝操作或访问所述位置或装置的许可。

生物特征面部识别通常通过计算人脸的生理特性并将所计算的生理特性与来自训练模型的所存储的生理特性进行比较来起作用。生理特性可包括面部特征的度量，诸如瞳孔之间的距离、嘴角之间的距离和鼻长等。这些度量可通过形成测量值的比率来归一化并且存储为训练模型。在质询时，获取并处理寻求访问的人的图像以提取生理特性，然后将所述生理特性与所存储的生理特性进行比较以确定匹配。

生物特征面部识别的一个问题是“欺骗”。当非授权用户试图使用授权用户的面部特征的欺诈版本获得对位置或装置的访问时，发生欺骗。例如，授权用户的面部特征的欺诈版本可包括彩色照片。生物特征面部识别系统可使用三维传感器(诸如激光测距检测器或激光雷达)来防止非授权用户使用平面二维照片来欺骗系统。非授权用户试图通过使用符合用户的大体面部形状同时包括属于授权用户的面部特征的三维(3D)面具来避开生物特征面部识别系统。例如，这些面具可在便宜的印刷

面具与电影中使用的定制硅胶面具之间变化。

本文讨论的技术通过使用人类面部特征的光谱特性来认证所获取的图像数据中的活体性而改进生物特征面部识别。活体性意味着图像数据表示实际的(而不是欺骗的)人脸。活体认证意味着在所获取的近红外(NIR)图像中区分活人人脸与包括3D面具的欺诈版本。这些技术利用NIR照明照射质询人脸，并且利用包括红色、绿色、蓝色和NIR感测元件的图像传感器获取图像，以通过获取近红外像素、红色像素和蓝色像素而形成红色、绿色、蓝色(RGB)/NIR图像。RGB/NIR图像在本文中也被称为彩色图像。RGB/NIR或彩色图像可利用NIR光和白光两者进行照射，或者利用NIR光和环境光进行照射。分析NIR和RGB响应以确定质询图像中的脸是属于活人还是属于欺诈性再现。如果确定脸属于活人，则将质询图像传递到生物特征面部识别系统上以进行进一步处理，否则拒绝访问。本文讨论的技术可补偿环境照明的差异，基于分割质询图像而确定活体性，并且补偿相对于传感器的距离的差异。除了人脸之外，本文讨论的技术还可用于确定材料的性质。例如，近红外图像的光谱性质可用于通过区分真皮革与人造皮革来区分真货与假货。在另一个示例中，制造应用可确定安装在诸如车辆的产品中的零件是由正确的材料制成。在其他示例中，可将材料的照片与实际材料的近红外图像区分开来，以验证通过互联网销售的商品。

附图说明

图1是示例车辆的图。

图2是示例近红外图像直方图的图。

图3是示例近红外图像和直方图的图。

图4是检测到人脸的示例近红外图像的图。

图5是具有分离出的人脸的示例近红外图像和直方图的图。

图6是伪造人脸的示例近红外图像和直方图的图。

图7是人脸的示例近红外图像和分割的人脸的图像的图。

图8是分割的人脸的示例近红外图像和直方图的图。

图9是分割的伪造人脸的示例近红外图像和直方图的图。

图10是人脸的示例掩蔽的近红外图像和直方图的图。

图11是伪造人脸的示例掩蔽的近红外图像和直方图的图。

图12是在第一距离处获取的人脸的示例掩蔽的近红外图像的图。

图13是在第二距离处获取的人脸的示例掩蔽的近红外图像的图。

图14是用于确定真实人脸和伪造人脸的近红外图像的示例过程的流程图。

具体实施方式

图1是车辆110的图，所述车辆可以自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也被称为非自主)模式操作。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作和/或监测车辆110，即，可控制和/或监测车辆110的操作，包括控制和/或监测车辆的部件，包括如下文所描述的部件。

计算装置(或计算机)115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，并且确定计算装置115(而不是人类操作者)是否以及何时控制此类操作。

计算装置115可包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下文进一步所描述的车辆通信总线通信地耦合到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；另外地或可选地，车辆110网络可包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。

计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。可选地或另外地，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来在本公开中表示为计算装置115的装置之间通信。另外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。

此外，计算装置115可被配置用于通过车辆对基础设施(V对I)接口111经由网络与远程服务器计算机(例如，云服务器)通信，如下文所描述，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网

或蜂窝网络的网络与远程服务器计算机通信。因此，V对I接口111可包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、

超宽带(UWB)、

和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于使用例如在邻近车辆110之间特别地形成或通过基于基础设施的网络形成的车辆对车辆(V对V)网络(例如根据专用短程通信(DSRC)和/或类似的通信)通过V对I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可通过将数据存储在非易失性存储器中来记录数据，以供稍后检索并且经由车辆通信网络和车辆对基础设施(V对I)接口111传输到服务器计算机或用户移动装置。

如已经提及的，用于在没有人类操作者干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(例如，来自传感器116的传感器数据、服务器计算机等的数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的安全而有效的穿越的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到特定位置处的到达时间以及从到达到穿过十字路口的十字路口(无信号灯)最短时间。

用于车辆110的一个或多个控制器112、113、114可包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一者可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。

传感器116可包括已知可经由车辆通信总线共享数据的各种装置。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一个车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的一个或多个距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。

车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的陆基车辆110(例如，客车、轻型卡车等)。车辆110包括一个或多个传感器116、V对I接口111、计算装置115以及一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。作为举例而非限制，传感器116可包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可用于感测车辆110的操作环境，例如，传感器116可检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的执行。

车辆可被配备成以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意指其中车辆可由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可能被占用或未被占用，但是在任一种情况下，都可在没有乘员协助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者都由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主模式下，这些都不由计算机控制。

图2是图像像素强度的三个直方图200、204、208的图。本文讨论的直方图(包括直方图200、204、208)针对相应的图像显示了对图像中各种强度的像素值的度量，例如，直方图200、204、208通过以下方式来形成或生成：对图像中的每个像素强度处的像素的数量进行计数，并且相对于X轴线上的像素强度(强度)绘制Y轴线上的像素的计数数量(计数)。通过利用近红外(NIR)光照射场景来获取确定直方图200、204、208所依据的图像。NIR光具有在800与2,500纳米(nm)之间的波长。在此示例中，NIR光可具有约850nm或940nm的波长。可利用包括对NIR光敏感的固态传感器的相机来获取NIR光。使用CMOS技术制造的固态传感器自然地对NIR光敏感，并且如果不想要NIR光，则通常需要红外阻挡滤光器。除了呈马赛克布置的不滤波的感光点(photo site)之外还包括RGB滤波的感光点的传感器是可用的，以产生包括RGB和NIR像素的图像。静止图像相机和摄像机可包括RGB-NIR滤波器以产生RGB-NIR图像。可显示所得的RGB-NIR图像以产生可见(RGB)像素和NIR像素的总和，或者可提取NIR像素来形成NIR图像。

本文讨论的技术包括利用NIR光照射场景并且利用被配置为获取NIR光的CMOS传感器获取所照射的场景的图像。本文讨论的技术也将对其他类型的照明和其他类型的传感器起作用。例如，可利用一个或多个波长的可见光照射场景，并且使用未经修改的RGB图像传感器来获取图像。任何波长的短波红外(SWIR)光都可与本文讨论的技术一起使用。SWIR光是指被对象反射的红外光，而不是可由对象发射的长波红外光。之所以采用上文讨论的红外波长是因为它们可使用相对便宜的灯、镜头和传感器来发射、聚焦和获取，并且往往具有较低竞争性的环境照明。

直方图200、204、208分别从活人人脸的图像、人脸图片和修改后的人脸图片生成。对直方图200、204、208中的每一者中的像素计数202、206、210的分布的分析可区分活人人脸、人脸图片和修改后的人脸图片。对像素计数202、206、210的分布的分析可通过假设分布是高斯分布并将高斯分布拟合到像素计数202、206、210的分布来执行。高斯分布G在其均值m、标准偏差σ和高度a方面通过以下公式进行了描述：

拟合高斯曲线确定使高斯曲线与像素计数202、204、206的分布之间的差平方和最小化的m、σ和a的参数。

可基于高斯曲线而确定的额外参数是偏度和峰度。偏度是相对于均值m测量计数数据的对称性的参数。偏度对均值m的任一侧上的高斯曲线中所包括的计数数据的质量进行比较。偏度可通过确定与均值m有关的第三标准矩

来度量，如由以下等式所确定：

其中E是期望算子，G是高斯分布，m是均值，并且σ是标准偏差(同上)。峰度是测量高斯分布的“尾部厚度”的参数，其中尾部厚度是与均值m周围的中心部分相比较对高斯分布的尾部或极端中的数据量的量度。峰度可通过根据以下等式确定与均值m有关的第四标准矩

来度量：

其中E是期望算子，G是高斯分布，m是均值，并且σ是标准偏差(同上)。除了均值m、标准偏差σ和高度a之外还包括偏度

和峰度

的高斯参数可被确定并用于对高斯曲线进行表征。

对与对应于活人人脸(像素计数202)和同一人脸的图片(像素计数206)的像素计数202、206的分布相对应的高斯曲线的检查产生了分布的标准偏差之间的可量化的差异。在此示例中与人脸图片相对应的像素计数206的分布具有比与活人人脸相对应的像素计数202的分布的标准偏差大两倍的标准偏差。在直方图208中，照射人脸图片的光的强度已经减小，以将像素计数210的分布的标准偏差减小到与直方图200中出现的与活人人脸相对应的像素计数202的分布的标准偏差相似。以此方式减少照明使得与人脸的暗灰图片相对应的像素计数210的分布的均值成为与活人人脸相对应的像素计数202的分布的均值的大约一半的均值。

可通过首先经由以下方式获取活人人脸的样本图像来确定活人人脸的高斯参数m、σ、a、

和

利用NIR光照射活人人脸并且获取RGB-NIR图像。可从RGB-NIR图像的NIR像素形成直方图，并且可基于所获取的直方图而确定高斯参数的值。从图像中的像素形成直方图被称为注册，并且确定高斯参数的值被称为训练模型。在稍后的时间，当人类试图访问车辆或装置时，通过利用NIR光照射人类来获取质询图像，并且形成NIR直方图。高斯参数的值由计算装置确定并且与训练模型进行比较。如果从质询图像获得的高斯参数的值在训练模型中的值的公差值内，则接受质询图像，并且将所获取的图像传输到计算装置以进行进一步处理。例如，进一步处理可包括面部识别。公差值可通过对从多个活人人脸和人脸图片获取的直方图的经验性研究来确定。例如，可能要求m、σ和a的值在训练模型中的m、σ和a的值的50％内才能接受。

另一种用于人脸认证的技术是对所获取的NIR图像进行纹理处理。纹理是对图像的小区域的像素值的变化的度量。纹理处理可区分人脸的所获取的NIR图像的部分和照片或面具的所获取的NIR图像的部分。由人脸的小区域的3D结构的变化引起的像素值的变化产生与照片或根据照片产生的面具的对应区域的更平稳的变化大不相同的纹理度量。纹理处理技术的示例包括Gabor滤波器和局部二进制模式。Gabor滤波器是通过将2D高斯函数与正弦函数相乘而形成的2D卷积核。局部二进制模式将八个最近邻的像素值与中心像素的像素值进行比较，并且根据相邻像素是否大于中心像素而利用1或0填充二进制字。这两种纹理处理技术都可产生输出图像，所述输出图像可被进一步处理来区分人脸和照片仿造物。也可使用如上文所讨论的高斯参数来处理纹理处理过程的输出。

如本文所描述的光谱材料鉴别系统可获取NIR图像数据并且针对除了活人皮肤之外包括棉、聚酯共混物、胶乳、尼龙和纸的材料训练模型。获取这些类型的材料的训练模型可协助活人识别系统将活人皮肤与可用于制备面具的材料分开来，所述面具可用于欺骗面板识别系统。例如，可将人的照片打印在织物上，所述织物可作为符合人的面部特征的面具进行佩戴。人脸的高分辨率打印图像与3D面部轮廓的组合可欺骗依赖于3D传感器来检测平面照片与人脸之间的差异的面部识别系统。本文描述的技术通过获取关于人类皮肤与其他材料的光谱响应的数据来提高区分活人皮肤与照片肖像的能力。类似地，本文描述的技术提高了区分活人皮肤与基于硅胶的面具的能力，所述基于硅胶的面具可欺骗依赖于3D传感器来区分2D表示与活人人脸的系统。

尽管有诸如面部穿孔饰品、眼镜或具有基于金属的墨水的临时文身之类的东西，本文描述的技术也可区分活人人脸与照片肖像。与面部或者类似皮革或尼龙的感兴趣的材料相比较，类似面部穿孔饰品、眼镜或一些纹身之类的东西可能具有不同的光谱反射率。例如，根据玻璃中偏振层的存在，眼镜可不同地反射红外光。可通过使用本文描述的技术来检测诸如穿孔饰品和眼镜的异常的存在。关于异常的大小和形状的信息可通过使用机器视觉技术处理被摄对象的RGB和NIR图像来提取。用于对象识别的机器视觉技术库包括在Dlib中，所述工具包含有机器学习算法以及用于以C++创建复杂软件的工具。Dlib可在Github.com处获得，并且可在准许其免费使用的开源许可证下获得。在确定直方图之前，可从图像数据中减去异常的位置、大小和形状。可在注册期间将关于异常的信息添加到训练模型数据库，并且将所述信息用作用于鉴别和拒绝欺骗的额外数据。下文将相对于图7至图11讨论确定NIR图像中的异常。

如本文所讨论的执行稳健的材料光谱法可能需要创建具有足够大小的数据库以保存所有或至少一组有意义的预期材料和伪造品。大型材料数据库可能会导致较长的搜索时间，这对于被设计为实时运行的系统(诸如面部识别系统)来说可能是不期望的。可通过在材料搜索空间上设置边界来执行运行时优化。可基于所计算的材料反射率而执行运行时优化，其中例如，所计算的材料反射率将仅与最近的材料相邻者进行比较。还可基于情景而执行运行时优化。情景可包括基于历史使用、位置和活动类型的预期材料类型及其相关联的频率；然后将按照可能性的次序考虑所述材料。

图3是两个NIR图像300、308以及分别从图像300、308生成的两个NIR直方图302、310的图。在低环境光下获取第一NIR图像300，并且在平均环境光下获取第二NIR图像308。环境光被定义为场景中来自除了NIR光之外的光源的照明。例如，室内灯、车辆内部灯或太阳光可为环境光源。不同的环境光源可包括不同量的NIR照明。例如，自然太阳光和白炽灯包括大量的NIR照明，而荧光和LED灯几乎不包括NIR照明。环境光的变化可能会导致从在环境光下获取的NIR图像生成的直方图的变化。这由直方图302、310示出。

直方图302、310包括高斯分布304、306、312、314，所述高斯分布通过将高斯分布拟合到原始数据来确定并且代替原始数据以直方图进行呈现。在直方图302、310中，Y轴线上的频率标度(频率)与每个高斯分布304、306、312、314的a参数的相对值相对应，而不与原始计数数据相对应。在直方图302中，高斯分布304与NIR图像300中的人脸的NIR像素数据相对应，并且高斯分布306与背景环境光的NIR像素数据相对应。在直方图310中，高斯分布312与NIR图像308中的人脸的NIR像素数据相对应，并且高斯分布314代替原始数据。在直方图302、310中，Y轴线上的计数标度与每个高斯分布304、306、312、314的a参数的相对值相对应，而不与原始计数数据(如在上文讨论的直方图200、204、208中所显示)相对应。在直方图302中，高斯分布304与NIR图像300中的人脸的NIR像素数据相对应，并且高斯分布306与背景环境光的NIR像素数据相对应。在直方图310中，高斯分布312与NIR图像308中的人脸的NIR像素数据相对应，并且高斯分布314与背景环境光的NIR像素数据相对应。如从直方图302、310可看到的，NIR图像300、308中的环境光的变化已经将直方图302中的高斯参数m、σ、a、

和

的值改变为直方图310中的高斯参数m、σ、a、

和

的不同值。例如，直方图302中m的值已从约62改变为直方图310中的约100，σ的值已从直方图302中的约12改变为直方图310中的约25，并且a的值已从直方图302中的约0.08改变为直方图310中的约0.06。

本文讨论的技术可通过将高斯分布拟合到与环境NIR照明相对应的原始数据来补偿环境NIR照明。在直方图302、310中示出高斯分布306、314发生了高斯分布移位。可基于环境NIR照明的高斯参数m、σ、a、

和

的值根据经验确定人脸的NIR像素数据的高斯分布的高斯参数m、σ、a、

和

的值的移位。可在从无NIR环境照明到高NIR环境照明变化的多个环境NIR条件下获取人脸的多个NIR图像。可基于环境NIR照明的高斯参数m、σ、a、

和

的值通过分开地在每个变量之间进行线性回归来确定人脸的NIR像素数据的高斯分布的高斯参数m、σ、a、

和

中的移位之间的关系。线性回归可确定人脸的NIR像素数据的高斯分布的高斯参数m、σ、a、

和

的值的移位与环境NIR照明的高斯参数m、σ、a、

和

的测量值之间的线性关系。这些线性关系可用于补偿环境NIR照明。

在由于背景照明的较大变化而难以确定环境照明的高斯分布的示例中，可通过开启用于获取NIR图像的NIR照明以获取第一NIR图像，然后切断以获取第二NIR图像来估计环境NIR照明。因此，第二NIR图像将仅包括环境NIR照明，并且因此可更容易地使用上文讨论的方法来进行分析以确定环境NIR照明的影响。可使用这种方法来确定环境NIR照明的高斯分布的高斯参数m、σ、a、

和

的值，并且使用上文所确定的线性关系将所述值应用于与人脸相对应的NIR像素的高斯分布的高斯参数m、σ、a、

和

的值。这种技术将需要控制NIR照明器并与所述NIR照明器同步，并且将需要获取NIR图像数据的两个帧，从而增加系统成本和处理时间。在除了NIR数据之外还使用RGB数据的认证系统中，RGB图像数据可用于以与针对NIR图像讨论的技术类似的方式确定环境照明。切换单个RGB/NIR图像将提供可用于确定除了NIR通道之外的红色通道、绿色通道和蓝色通道的高斯参数的数据。

图4是示出用于估计环境NIR照明的第二技术的NIR图像400的图。在NIR图像400中，NIR图像400的被人脸占据的部分由椭圆402指示。该椭圆402可通过利用Dlib中可用的面部识别软件(例如，如上文相对于图2所讨论)处理NIR图像400来生成。面部识别软件可确定包围NIR图像400的被人脸占据的部分的椭圆402。可使用椭圆402内的像素来形成直方图，以确定椭圆402内的人脸的NIR像素数据的高斯分布的高斯参数m、σ、a、

和

的值，并且在椭圆402外部的像素的直方图可用于确定与环境NIR照明相对应的NIR像素数据的高斯分布的高斯参数m、σ、a、

和

的值。一旦确定了两种高斯分布的高斯参数m、σ、a、

和

的值，就可使用上文所确定的线性关系来调整与人脸相对应的高斯分布的高斯参数m、σ、a、

和

的值。在图像数据包括多于一个人脸的示例中，可检测每个人脸，并且可为每个脸生成椭圆。可为每个脸确定平均光强度，并且可确定与每个脸相对应的像素的高斯参数。确定背景像素的背景高斯参数可基于将背景与相机视野中的每个脸的高斯参数进行比较而更准确地确定。

可基于确定所获取的NIR或RGB/NIR图像的总体平均像素强度并将所述总体平均像素强度与先前获取的值进行比较而在认证系统中发起对背景像素强度的计算。如果所获取的图像的平均像素强度与先前获取的图像相差超过用户确定的阈值，则所述系统可基于当前获取的图像而重新计算背景值。在其他示例中，可针对当前获取的图像确定像素值的方差，并且将所述方差与基于先前获取的图像而确定的方差进行比较。如果当前图像中的像素值的方差与先前确定的方差值相差超过用户确定的阈值量，则可如上文所描述确定新的背景像素参数。在另外的其他示例中，当确定背景像素值时可启动运行时间时钟，并且自从确定上一个背景以来已经过用户确定的时间段(例如，10秒)时，可重新确定背景像素值。

用于确定椭圆402外部的像素的高斯参数的另一种技术是将NIR图像400的椭圆402外部的部分划分为具有均匀大小和形状的区段。NIR图像400的背景部分是NIR图像400在椭圆402外部的部分。NIR图像400的背景部分可包括反射NIR照明并且干扰与背景照明相对应的高斯参数的计算的对象。例如，在NIR图像400的背景部分中可包括帽子、围巾或被摄对象的手。通过将用户确定的区域图案与同被摄对象的脸相对应的椭圆402进行组合，可将NIR图像400的背景部分划分为具有均匀大小和形状的片段。背景片段可为连续的或不连续的。可为每个片段确定像素值的高斯参数。可确定像素值的总体均值和标准偏差(即，针对所有片段)，并且可保留具有小于或等于总体标准偏差的标准偏差的片段以生成直方图并且确定与背景照明相对应的高斯参数m、σ、a、

和

从背景直方图生成中消除了标准偏差大于总体标准偏差的区域。总体标准偏差可包括基于像素值中的噪声量的用户确定的公差值。以此方式确定背景直方图减少了NIR图像400的背景部分中的对象被包括在NIR图像400的背景部分的高斯参数确定中的影响。

用于确定环境NIR照明的另一种技术是基于将来自NIR通道的数据与来自RGB通道中的一者或多者的数据进行组合。例如，可基于来自蓝色通道的数据而将直方图中与人脸相对应的高斯分布归一化。可通过将每个NIR像素中的值除以蓝色通道中的对应的像素值来执行归一化。除以蓝色通道中的像素值将NIR数据归一化是因为蓝色通道中的数据与不具有NIR照明的环境照明相对应。将NIR像素值除以来自蓝色通道的对应的像素值可近似切断NIR光以获取环境照明图像的效果，而不需要控制NIR光的时间和费用。

另一种用于组合NIR和RGB数据的技术是通道融合。通道融合是将来自两个或更多个通道的数据进行组合以形成多维空间的情况。例如，可使用与NIR数据和蓝色通道数据相对应的形成二维空间的正交轴线来将来自NIR通道的数据和来自蓝色通道的数据进行组合。每个像素将根据其NIR通道值和蓝色通道值位于二维空间中，并且所得的曲线图将指示与NIR通道值和蓝色通道值相对应的像素计数。可对包括二维计数数据的二维空间执行二维高斯曲线拟合，以确定可以与一维高斯参数类似的方式处理的二维高斯参数。可通过为所添加的每个通道添加额外的正交轴线来组合额外的通道数据，从而形成更高维空间。可针对更高维空间确定更高维高斯参数，并且如下文相对于图5所讨论以与一维高斯参数类似的方式进行处理。

图5是由NIR光照射的人脸的NIR图像500以及与NIR图像500的NIR像素相对应的直方图502的图。直方图502包括与曲线图上绘制的频率或计数数据相对应的计数数据504，其中Y轴线与每个像素值处的像素数量相对应(由标记为计数的轴线表示)并且X轴线(标记为强度)与NIR图像500中的像素值范围(即，强度)相对应。虚线506包围或限定与NIR图像500中出现的人类皮肤的强度值相对应的像素值。计数数据504的其余部分与NIR图像500中的人脸的非皮肤部分例如包括胡须和眉毛的面部毛发、唇部、眼睛和眼镜相对应。

NIR图像500中包括的人脸的每个部分与像素值的高斯分布相对应。在直方图502中，与NIR图像500的多个部分相对应的多个高斯分布被加在一起来形成计数数据504。处理计数数据504以确定NIR图像500的多个部分的高斯分布的问题是单独地确定所述部分中的每一者的高斯分布。分离高斯分布的一种技术是对计数数据504采用高斯混合模型。高斯混合是用于表示总群体内的子群体的概率模型。在此示例中，计数数据504被建模为多个分量的混合，其中每个分量是高斯分布。

与计数数据504相对应的高斯混合可为第n次迭代的概率分布p_n(x)，其等于通过以下等式确定的K个高斯分布(分量)的函数：

其中

是混合权重的估计值，所述估计值是与分量i相对应的先验概率，并且

是通过估计的均值

和估计的协方差矩阵

描述的每个分量的高斯(正态)分布函数，所述高斯分布函数描述了每个分量在存在每个其他分量的情况下的分布。

用于确定高斯混合的每个分量的分布的一种技术是期望最大化(EM)。考虑到初始估计值为i(分量的号)，EM算法在等式(2)上进行迭代，从而调整分量权重

在每个步骤处计算新的分布p_n(x)并且基于针对群体中的高斯分布中的每一者确定的高斯参数m、σ、a、

和

的值而确定新的分布的条件概率。EM算法的每次迭代更新m、σ、a、

和

以及混合权重

的值，以增加所计算的分布p_n(x)等于输入分布p(x)的条件概率。使用EM技术进行迭代将在有限数量的步骤中收敛于与小于阈值的差平方求和相对应的解。可通过基于可能的解空间而确定样本网格来解决收敛于局部最大值以及对起始点的敏感度的问题，并且可基于经验测试而确定适当的阈值。使用高斯混合模型是分离感兴趣的像素数据以使用如本文所描述的材料光谱法来执行认证的一种技术。其他技术包括应用于直方图数据和输入图像数据两者的其他类型的滤波器、应用于直方图数据的更高阶统计处理或者如下文将相对于图7描述的深度神经网络处理。

图6是人脸图片的NIR图像600以及由表示NIR图像600的像素的计数数据604形成的直方图602的图。直方图602包括与曲线图上绘制的频率或计数数据相对应的计数数据604，其中Y轴线与每个像素值处的像素数量(计数)相对应并且X轴线与NIR图像600中的像素值范围(强度)相对应。虚线606包围(即，限定)与NIR图像600中出现的“皮肤”的强度值相对应的像素值。计数数据604的其余部分与NIR图像600中的人脸图片的非“皮肤”部分例如表示面部毛发、眼睛和眼镜相对应。人脸图片的计数数据604的分布不同于来自活人人脸的计数数据504的分布。使用EM算法基于高斯混合模型而从计数数据504、604中将与真实人类皮肤以及人类皮肤的照片表示相对应的分布分开来可通过提取高斯分布来区分真实人类的图像和人类的照片的图像，所述高斯分布可通过上文相对于上文图2至图4所描述的技术来分析。

图7是NIR图像700和分割的NIR图像702的图，其示出了用于分离属于NIR图像700的单独分量或部分的高斯分布的另一种技术。在此示例中，在形成直方图之前对NIR图像700进行分割，并且生成与NIR图像700的每个部分或分量相对应的单独的直方图。可使用经训练的深度神经网络来处理NIR图像700中的人脸图像以生成分割图像702，或者通过使用如上文相对于图2所讨论的Dlib图像处理库来处理所述人脸图像以确定可被处理来形成分割图像702的面部特征点。例如，输入的NIR图像700可使用Dlib图像处理库来处理以生成面部特征点。面部特征点是可在人脸图像上重复地确定的人脸图像上的位置，其中可重复地确定意味着将在多个不同的输入图像上确定相同的特征点。例如，Dlib图像处理库可找出与人脸图像中可见的每只眼睛的内眼角和外眼角相对应的面部特征点，以及与每只眼睛的上眼睑和下眼睑相对应的面部特征点。将椭圆拟合到与每只眼睛相对应的面部特征点将提供对人脸图像的眼睛部分进行分割的区域。类似地，与人脸的其他部分(诸如唇部和面部毛发)相对应的面部特征点可通过生成区域的线来连接，所述区域可用于对人脸的NIR图像700进行分割以生成分割图像702。

用于处理输入的NIR图像700以确定与人类皮肤、眼睛、面部毛发等相对应的图像片段的另一种技术是训练深度神经网络来处理包括人脸的NIR图像700。深度神经网络可包括卷积层和全连接层，所述卷积层和全连接层处理输入的NIR图像700并且输出具有与人脸部分和背景部分相对应的标记区域的图像，如分割图像702中所示。可通过以下方式来训练卷积神经网络：通过标记大量(>1000)人脸的NIR图像700以形成用于训练卷积神经网络的地面实况图像来生成训练数据集。NIR图像700可由人类操作者使用图形软件手动地标记，所述图形软件准许人类操作者将标记的区域覆盖在人脸的NIR图像700上。标记的NIR图像702也可通过将NIR图像700输入到如上文所讨论的Dlib软件中以生成面部特征点来生成，所述面部特征点可被手动地处理或使用机器视觉软件来处理，以生成与将如上文所讨论一般进行分割的面部特征相对应的区域。在任一情况下，在训练时间，将NIR图像700输入到卷积神经网络，并且基于将来自卷积神经网络的输出与地面实况的分割的NIR图像702进行比较而确定损失函数，并且使用所得的损失值来为卷积神经网络选择权重以使损失函数最小化。在操作中，将包括人脸的NIR图像700输入到经训练的卷积神经网络，并且输出包括标记的分割的NIR图像702。

由机器视觉软件或由深度神经网络生成的分割图像702基于少量(<10)可能的不同类型的面部特征而分配颜色值或灰度值。面部特征包括皮肤704、背景(非面部)706、眉毛708、710、眼睛712、716、面部毛发(胡须)714以及唇部718。输入的NIR图像700的其他部分(诸如眼镜)可被分割过程忽略为非必要的并且不太可能影响直方图的计算。图像分割是一种“去噪”技术，所述技术提供与人脸的皮肤部分相对应的直方图数据，而不包括诸如眼睛或面部毛发的非皮肤部分。可能需要额外处理以将皮肤部分与非皮肤部分分离。滤波器、更高阶统计或利用神经网络进行的进一步处理可进一步分离与人类皮肤相对应的像素。例如，机器视觉软件或深度神经网络还可生成分离出分别类似于NIR图像1000、1100、1200、1300的掩模部分1008、1108、1208、1308的上脸颊和鼻子区域的分割的NIR图像。以此方式将分割技术用于面具型输入的NIR图像能够可靠地提供与人脸的皮肤部分相对应的像素数据，因为人脸的上脸颊和鼻子区域很少被面部毛发遮蔽或以其他方式被衣物覆盖。

除了处理人脸图像之外，还可使用图像分割来对消费品或工业零件的图像进行分割，以找出可被处理来确定真伪物品的区域。例如，可处理物品以分离出所述物品的与皮革相对应的一部分。如上文相对于区分皮肤与皮肤照片所讨论，本文描述的技术可用于基于光谱响应而区分真皮革与人造皮革。分割技术还可基于如上文相对于图5所讨论的整个认证过程的成功或失败而进行评估。与真否定(正确地识别欺骗所述系统的尝试)和假否定(拒绝有效用户的访问)相对应的分割图像可被存储和使用来在车辆110中的计算装置115上在本地重新训练所述系统，并且上传到基于云的服务器计算机以用于重新训练认证系统，以便与联合系统中的其他车辆共享。如上文所讨论，在联合系统中，每个车辆共享可用于重新训练整个系统的结果，然后可与所有车辆共享所述系统。

除了分割NIR图像之外，还可训练深度神经网络以直接处理NIR图像以确定NIR图像是包括真实人脸还是伪造人脸。深度神经网络可用于直接处理NIR图像，而不需要从直方图数据中提取一维到多维高斯参数。深度神经网络包括多个卷积层和全连接层，所述多个卷积层和全连接层使用权重来处理输入数据以确定在每一层处执行的处理。可通过使用大量(可能大于1000)训练图像来训练深度神经网络来确定每一层的权重。每个训练的NIR图像包括与NIR图像相对应的地面实况，其中地面实况是通过独立于深度神经网络的手段确定的与图像数据相对应的“正确答案”。在此示例中，可例如通过由人类观察图像并将图像数据标记为“人类”或“伪装者”来确定正确答案。深度神经网络多次处理每个输入图像以尝试将输入图像分类为“人类”或“伪装者”。将来自深度神经网络的输出与地面实况进行比较以确定损失函数，所述损失函数被反向传播到深度神经网络以确定哪些权重实现了正确答案，即低损失值。对于大多数输入图像实现低损失的权重被加以保留并且形成经训练的深度神经网络中所使用的参数。然后，经训练的深度神经网络可用于处理质询图像以确定输入图像是“人类”还是“伪装者”。

图8是人脸照片的分割的NIR图像800以及仅基于分割的NIR图像800的“皮肤”部分而确定的直方图802的图。分割的NIR图像800是基于来自图6的NIR图像600，并且使用如上文相对于图7所讨论的深度神经网络或机器视觉软件来确定。分割图像800中所包括的片段可用作掩模以引导从用于形成分割的NIR图像800的原始NIR图像600生成直方图802。在直方图802中，用于形成分割的NIR图像800的NIR图像600中的仅包括在分割的NIR图像800的“皮肤”部分中的像素被用于计算计数数据804。如从直方图802可看到的，计数数据804集中于直方图802的由虚线包围的“皮肤”806部分中。将直方图802与基于未分割的相同NIR图像600而确定的直方图602进行比较显示出，相对于NIR图像600的非皮肤部分，直方图802包括少得多的数据。使用分割的NIR图像800作为掩模准许计算高斯参数，而不需要应用高斯混合模型或者提高应用于计数数据804的高斯混合模型的性能以提取仅包括NIR图像600的皮肤部分的高斯分布。

图9是分割的NIR图像900以及基于分割的NIR图像900的“皮肤”部分而确定的直方图902的图。分割的NIR图像900是基于人脸的NIR图像700，并且使用如上文相对于图7所讨论的深度神经网络或机器视觉软件来确定。分割图像900中所包括的片段可用作掩模以与图8类似地引导从用于形成分割的NIR图像900的原始NIR图像700生成直方图902。在直方图902中，用于形成分割的NIR图像900的NIR图像700中的仅包括在分割的NIR图像900的“皮肤”部分中的像素被用于计算计数数据904。如从直方图902可看到的，计数数据904集中于直方图902的由虚线表示的“皮肤”906部分。将直方图902与直方图802进行比较，可看到，对两个分布的高斯参数的计算可用于区分这两个分布，并且由此将照片的NIR图像600与人脸的NIR图像700区分开来。

图10是掩蔽的人脸的照片的NIR图像1000以及基于掩蔽的NIR图像1000的未掩蔽部分而确定的直方图1002的图。掩蔽的NIR图像1000的未掩蔽部分1008基于利用同一相机获取的人脸的先前的NIR图像通过手动地确定掩模来确定，所述掩模包括来自人脸的皮肤并且掩蔽掉包括面部毛发、眼睛等的其他类型的数据。掩蔽是一种用于确定将用于形成直方图1002的NIR图像1000的一部分的技术，所述技术减少了包括在计数数据1004中的非皮肤数据的量。使用预定的未掩蔽部分1008的掩蔽需要来自被摄对象的配合。例如，从如本文所讨论的活体测定系统寻求认可的人类将必须确保其面部相对于获取NIR图像的相机正确地定位。正确地定位意味着人脸的皮肤部分必须出现在NIR图像1000的未掩蔽部分1008中。

用于基于人脸图片的掩蔽的NIR图像1000而获取直方图1002的掩蔽技术的优点在于，与NIR图像1000的未掩蔽部分1008相对应的大部分计数数据1004集中于直方图1002的在虚线之间的部分1006中。以此方式集中计数数据1004并使用掩模有利地消除无关数据可减少分离出与皮肤相对应的计数数据1004所需的计算量。计数数据1004的这种集中准许计算高斯参数m、σ和a，而不需要首先计算高斯混合参数或者对NIR面部图像进行分割以将皮肤直方图计数数据与其他类型的计数数据分开来。

图11是人脸的掩蔽的NIR图像1100以及与NIR图像1100的未掩蔽部分1108相对应的直方图1102的图。如上文相对于图10所讨论，手动地确定掩蔽的NIR图像1100的未掩蔽部分1108。如在直方图1102中可看到的，掩蔽将与人类皮肤相对应的计数数据1104集中到直方图1102的在虚线之间的部分1106中。就像在图10的直方图1002中一样，集中计数数据1104有利地准许确定高斯参数m、σ和a，而不需要计算高斯混合参数或者对NIR面部图像进行分割以将皮肤直方图计数数据与其他类型的计数数据分开来。如从直方图1002和1102可看到的，掩蔽的NIR图像1000、1100能容易地分离出与皮肤照片和人类皮肤相对应的计数数据1004、1104的高斯分布，从而准许活体测定系统区分人类皮肤的照片与活人皮肤。这准许活体测定系统将与包括活人人脸的掩蔽的NIR图像1100相对应的NIR图像转发到面部识别系统，并且拒绝与人脸照片的掩蔽的NIR图像1002相对应的人脸照片的NIR图像。

在一些示例中，包括在人脸中的额外特征(诸如纹身和穿孔饰品)可能会使人脸的皮肤部分的高斯参数的计算复杂化。在这些示例中，可确定覆盖人脸的额外部分的额外掩模，以掩蔽掉包括可能干扰高斯参数的计算的非皮肤部分或修饰后的皮肤部分(诸如纹身、穿孔饰品等)的部分。用于消除人脸的NIR图像的非皮肤部分的另一种技术认识到例如，穿孔饰品对NIR光具有高度反射性，并且因此在NIR图像中看起来较亮。应用于NIR图像的滤除NIR图像的明亮区域的滤波器可用于消除人脸的与包括穿孔饰品的饰品相对应的非皮肤区域。

用于掩蔽人脸的NIR图像的另一种技术是在包括人脸的NIR图像的部分上生成随机的均一片块或区域。可将一组类似大小的随机片块与诸如图7所示的人脸的分割图像702进行比较以生成每个片块的评分，所述评分与片块中所包括的人类皮肤的百分比相对应。可对片块打出低的评分，其意味着没有皮肤像素包括在片块中；中等评分，其意味着有一些皮肤像素包括在片块中；或者高评分，其意味着片块中的大部分像素是皮肤像素。可将中等片块进一步细分为子片块并且将所述子片块与分割图像702进行比较以确定大部分包括皮肤像素的高细分片块以及大部分不包括皮肤的低细分片块。可将高评级的片块和高评级的细分片块进行组合，并且可基于高片块和高细分片块而生成直方图。以此方式使用随机片块可加速与NIR图像的皮肤部分相对应的高斯参数的计算，并且由此改进对人脸的NIR图像的活体测定。

图12是人脸的掩蔽的NIR图像1200以及与掩蔽的NIR图像1200的未掩蔽部分1208相对应的直方图1202的图。NIR图像1200和直方图1202与人脸在约1米(m)距离处获取的NIR图像相对应。图12示出了由相机距对象(在此示例中为人脸)的距离的差异引起的直方图1202中的NIR像素强度的分布的差异所造成的问题的解决方案。本文讨论的技术采用来自近点光源广视野NIR照明器的光。不是基于激光的或者未经特殊光学器件准直的大多数NIR照明器是近点光源广视野NIR照明器。例如，基于发光二极管(LED)的NIR照明器通常被配置为提供近点光源广视野NIR照明。来自近点光源广视野NIR照明器的光在其从光源透射到将被照射的对象时会扩散开来。由于所述光在垂直于传播方向的两个维度上扩散，因此光的强度会出现每单位面积强度的平方反比定律式降低。在这种背景下，平方反比定律意味着NIR光的每单位面积强度将出现与距光源的距离平方的倒数成比例的强度降低。

当强度出现平方反比定律式降低的NIR照明照射对象时，光可通过镜面反射或漫反射来反射。镜面反射是来自镜子或抛光表面(诸如金属)的反射，其中由表面反射的每条光线的方向和偏振被保留，使得例如图像被保留。漫反射是来自表面的反射，其中每条光线被表面吸收并且以随机偏振在随机方向上重新发射。在漫反射中，被照射的表面上的每个点实际上变成点光源、广视野光发射体。镜面反射与漫反射之间的一个差异在于，在镜面反射中，反射光继续受到强度的平方反比定律式降低的影响，而漫反射使反射光出现第二平方反比定律式降低，从而使得强度出现二次方反比定律式降低的光的净强度随着距光源的距离而变化，其中光的强度的降低是距发射体的距离的四次方倒数的降低。因此，用漫反射的NIR光获取的NIR图像中的像素数据的强度会出现强度的二次方倒数降低，并且基于像素数据而形成的直方图中的像素强度的分布将反映这种基于相对于NIR照射对象的距离的强度降低。

实际上，对象(包括人脸)将以镜面反射和漫反射的组合反射NIR光。例如，由眼镜和金属饰品(诸如穿孔饰品)引起的NIR图像中的高光或亮点是镜面反射的示例。有光泽的皮肤表面的片块与周围皮肤相比较也可包括更高百分比的镜面反射，因此包括其表观亮度。尽管例如人类皮肤可反射出现平方反比定律式降低和二次方反比定律式降低的组合的光，但是一般而言，反射光的强度会随着NIR照明器与NIR相机之间的往返距离的增加而减小。本文讨论的技术可通过补偿对象之间的距离变化来改进活体测定，其保留反射率数据以准许基于反射率数据而进行活体测定。传统技术(诸如直方图均衡化)以改变直方图数据以阻止活体测定的方式增加图像对比度。

除了强度的平方定律式降低之外，当对相机的视野中的对象执行相对距离估计时，可考虑包括在获取RGB/NIR数据的相机中的镜头的设计。例如，取决于镜头的f数，将基于对象距镜头的距离而将畸变引入到对象的图像中。例如，广角镜头(低f数镜头)将引入畸变，从而使得当人的脸接近相机镜头时，人的鼻子看起来大得出奇。广角镜头可根据对象相对于光轴的位置来扩大镜头附近的对象并且压缩位于远处的对象。其他镜头(例如，远心镜头或直线镜头)不会基于距离而使对象畸变。本文公开的技术可通过准许针对将使用的每个相机将与镜头大小、放大倍数和f数相对应的参数输入到认证系统来补偿镜头畸变。镜头参数可用于确定单应性矩阵，所述单应性矩阵可用于对图像执行仿射变换并且补偿由镜头引入的畸变。仿射变换可通过经由对图像平面中的像素在x和y上执行平移、旋转和缩放变化来改变图像中的像素位置而补偿畸变。

本文描述的技术基于对包括人脸的皮肤部分的NIR图像区域中的像素强度的测量而执行相对距离估计。只要NIR图像中的被摄对象协作来确保被摄对象的脸的皮肤部分在NIR图像的未掩蔽区域内，这些技术就是成功的。直方图1202示出了拟合到来自NIR图像1200掩模部分1208的原始计数数据的高斯分布1204、1206。NIR图像1200是在被摄对象距相机大约1m(米)的情况下获取的。高斯分布1204与NIR图像1200的背景部分相对应，并且高斯分布1206与从被摄对象的面部皮肤反射的NIR光相对应。

图13是人脸的掩蔽的NIR图像1300以及与掩蔽的NIR图像1300的未掩蔽部分1308相对应的直方图1302的图。掩蔽的NIR图像1300和直方图1302与人脸在约0.5米(m)距离处获取的NIR图像相对应。直方图1302示出了拟合到来自NIR图像1300掩模部分1308的原始计数数据的高斯分布1304、1306。高斯分布1304与NIR图像1300的背景部分相对应，并且高斯分布1306与从被摄对象的面部皮肤反射的NIR光相对应。

为了估计NIR图像1200、1300中的被摄对象之间的相对距离，在注册时计算目标上的像素的高斯分布的参数。目标上的像素被定义为落在NIR图像1200、1300的未掩蔽部分1208、1308内的像素。当呈现被摄对象的NIR图像以进行认证或质询时，高斯分布均值之间的逆二次关系可通过以下等式来近似：

其中注册像素可与实际直方图像素强度值或高斯分布均值相对应，并且质询像素同样可与实际直方图像素强度值或高斯分布均值相对应。由于在注册时传感器距被摄对象的距离可能是未知的，因此RD是测量质询NIR图像中传感器距被摄对象的距离相对于注册NIR图像中传感器距被摄对象的距离的相对度量。原始计数数据或基于直方图1202、1302中的原始直方图数据的高斯分布可根据以下等式基于所计算的相对距离而进行缩放：

其中LS是用于乘以直方图中的原始计数数据的活体比例因子，并且β是可通过利用示例NIR照明器以及示例NIR相机和多个距离处的被摄对象的多个NIR图像进行实验来根据经验确定的比例因子。如果其他计算不需要相对距离RD，则等式(4)简化为：

相对于图12和图13讨论的技术基于通过测量所获取的NIR图像中的像素强度来确定的高斯参数的比率而对直方图中的像素强度进行缩放。由于高斯参数的比率基于所获取的NIR图像而确定，因此攻击者可能会试图通过在远距离处呈现极大的伪造对象来欺骗如本文所讨论的活体认证系统。这会将被摄对象反射率降低到活人对象的反射率，同时看起来好像仍然靠近相机。为了缓解这种情况，可利用二次反欺骗方法。可并入有常规技术，诸如需要眼睛快动、眨眼率检测、自然运动检测等。这些技术可使得在一定距离处欺骗变得明显更加困难(例如，在没有被摄对象的广泛合作的情况下，很难打印出海报大小的人脸并且伪造眨眼行为)。

此外，如果被动距离测量技术可用于测量对象到获取NIR图像的传感器的距离，则除了本文讨论的距离估计技术之外，还可使用如此确定的距离度量。被动距离测量技术的示例包括使用光偏振、激光雷达和超声的距离估计。例如，激光雷达可通过测量光脉冲从传感器行进到对象并返回所需的时间来确定从传感器到场景中的对象的距离。偏振技术可测量NIR图像中的背景与对象之间的反射光偏振的差异。超声传感器可测量超声能量脉冲从换能器行进到对象并返回所需的时间。通过光偏振、激光雷达或超声确定的距离值可与通过本文讨论的技术确定的估计距离值进行平均，以生成估计的相对距离度量。

本文讨论的关于NIR图像数据的分类的所有技术都可进行强化学习。通过以下方式来执行强化学习：保持关于由使用中的活体认证系统实现的正确结果和不正确结果的数量的统计并且使用所述统计结果来重新训练所述活体认证系统。例如，假设活体认证系统用于在有效用户接近时解锁车辆。有效用户是具有预先安排的使用车辆的许可的用户。在活体认证系统无法正确地认证有效用户并且解锁车辆的示例中，用户可能会被迫利用钥匙或钥匙扣手动地解锁车辆，或者使用双因素授权系统，诸如输入发送到手机号码的码。当用户被迫手动地解锁车辆时，认证系统可存储关于不正确认证的数据，所述数据包括被不正确地认证的用户的NIR图像。

确定如何处理关于不正确认证的数据可基于奖励系统。奖励系统根据认证失败的结果来重新训练对应于认证系统的训练模型。如果潜在用户无法获得对车辆的访问，则假设失败的尝试是有企图的欺骗，并且将数据附加到可能的欺骗数据的训练数据集。如果潜在用户使用手动方法(例如，钥匙、钥匙扣或双因素授权)中的一种获得了访问，则将数据附加到将在训练过程中校正的假否定的训练数据集。可基于更新的训练数据集而定期地重新训练认证系统，或者当添加到训练数据集的新的图像的数量超过用户确定的阈值时重新训练所述认证系统。重新训练可应用于基于高斯参数的确定性认证系统和基于深度神经网络的系统两者。

可在多个车辆之间联合或共享关于认证潜在用户失败的数据。可将关于认证失败的数据上传到包括训练数据集的中央储存库的基于云的服务器。可将上传的NIR图像和对应的结果聚合在更新的训练数据集中，并且可将基于新的数据而重新训练的结果与先前训练的结果进行比较。如果新的训练数据集提高了性能，则可使用认证系统将新的训练模型推送或下载到车辆。应注意，不需要将关于用户身份的个人数据上传到基于云的服务器，仅需要NIR图像和结果。通过基于从多个车辆上传的训练数据而联合新的训练模型，可在所述系统的生命周期内不断地提高认证系统的性能。

此外，本文描述的技术可应用于例如需要对物品进行认证以确定物品是真实的还是伪造的物品鉴别任务。可使用本文描述的技术来认证具有可重复形状和表面外观的任何对象。例如，作为传入零件检查过程的一部分，可认证车辆零件以确定真皮革或假皮革的存在。如本文所描述的环境光测定、图像分割和相对距离估计可基于使用如本文所描述的深度神经网络进行的处理的高斯分布而应用于材料光谱技术以认证物品。

图14是相对于图1至图13描述的用于从NIR图像认证被摄对象活体性的过程的流程图的图。过程1400可由计算装置(诸如计算装置110)的处理器实现，例如将来自传感器的信息作为输入，以及执行命令，以及输出对象信息。过程1400包括可以所示次序执行的多个框。可选地或另外地，过程1400可包括更少的框，或者可包括以不同次序执行的框。

过程1400开始于框1402，其中计算装置获取被摄对象(例如，人脸)的第一NIR图像。这与质询图像相对应，其中获取并处理被摄对象的第一NIR图像以提供将用于针对先前时间获取的注册NIR图像进行测试的数据。

在框1404处，对所获取的第一NIR图像进行分割以确定第一NIR图像的对应于第一表面的部分。在本文描述的技术的示例中，如上文相对于图7所描述，对第一NIR图像的对应于人类皮肤的部分进行分割以将所述部分与第一NIR图像的对应于背景、毛发、衣物等的部分分开来。

在框1406处，进行与对应于第一NIR图像中的人类皮肤的分割部分相对应的像素计数值的第一度量。像素计数数据的第一度量对应于来自第一NIR图像的像素计数数据的第一直方图。如上文相对于上文图2所讨论，分析第一直方图以确定对应于第一NIR图像中的人类皮肤的像素的高斯分布参数。如上文相对于图5和图6所讨论，高斯混合模型可用于将对应于人类皮肤像素的高斯分布与对应于非皮肤表面的高斯分布分开来。

在框1408处，将与来自第一NIR图像的分割部分的像素计数数据相对应的高斯分布参数与包括与来自先前直方图的像素计数数据相对应的高斯分布参数的第二像素值度量进行比较。先前直方图是如上文相对于图2所讨论基于人类被摄对象的第二NIR图像(注册NIR图像)而确定的像素值度量。也对第二NIR图像进行分割，使得包括高斯分布参数的第二像素值度量与来自第二NIR图像的人类皮肤像素相对应。

在框1410处，通过以下方式对第一NIR图像进行测试以确定第一NIR图像是否包括活人被摄对象：将来自第一NIR图像的分割部分的高斯分布参数与来自先前获取的第二NIR图像的所存储的高斯分布参数进行比较。如果来自第一NIR图像的分割部分的高斯分布参数在根据经验确定的公差内等于来自第二NIR图像的高斯分布参数，则第一NIR图像被活体认证。如果来自第一NIR图像的高斯分布参数在根据经验确定的公差内不等于来自第二NIR图像的高斯分布参数，则第一NIR图像不被认证。

在框1412处，第一NIR图像已经通过活体认证，并且被输出到面部识别软件程序来进行进一步处理以确定第一NIR图像中的被摄对象的身份。在框1412之后，过程1400结束。

在框1414处，第一NIR图像未通过活体认证，并且不会被输出到面部识别软件程序来进行进一步处理。在框1414之后，过程1400结束。

诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文讨论的过程框可体现为计算机可执行命令。

计算机可执行命令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：Java^TM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。一般来讲，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可使用多种计算机可读介质来将此类命令和其他数据存储在文件中并且传输此类命令和其他数据。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。

计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。此类介质可采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括动态随机存取存储器(DRAM)，其通常构成主存储器。计算机可读介质的常见形式包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或者计算机可从中读取的任何其他介质。

除非本文做出相反的明确指示，否则权利要求中使用的所有术语旨在给出如所属领域技术人员所理解的普通和平常的含义。特别地，除非权利要求叙述相反的明确限制，否则使用诸如“一个/种”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一个或多个。

术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被理解为仅指代小部件的示例。

修饰值或结果的副词“大约”意味着形状、结构、测量值、值、测定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量值、值、测定、计算等有偏差。

在附图中，相同的附图标记指示相同的要素。另外，可改变这些要素中的一些或全部。相对于本文描述的介质、过程、系统、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

根据本发明，提供了一种计算机，所述计算机具有：处理器；以及存储器，所述存储器包括指令，所述指令可由所述处理器执行以：通过利用第一光束照射第一对象来获取第一图像；对所述第一对象的所述第一图像进行分割以确定与第一表面材料相对应的区域；确定所述第一图像的与所述第一表面材料相对应的区域中的第一像素值度量；执行所述第一像素值度量与根据第二对象的第二图像确定的第二像素值度量的比较，其中所述第二图像是先前通过利用第二光束照射所述第二对象来获取的；以及在所述比较确定所述第一度量在公差内等于所述第二像素值度量时，确定所述第一对象和所述第二对象是同一对象。

根据实施例，所述第一光束是近红外光束，并且所述第二光束是近红外光束。

根据实施例，所述第一图像和所述第二图像是利用获取近红外像素、红色像素、绿色像素和蓝色像素的相机来获取。

根据实施例，本发明的特征还在于，用于通过利用卷积神经网络处理所述图像来将所述图像分割为第一表面材料区域和非第一表面材料区域的指令。

根据实施例，本发明的特征还在于，用于使用由人类操作者分割为第一表面材料区域和非第一表面材料区域的地面实况图像来训练所述神经网络以将所述第一图像分割为第一表面材料区域和非第一表面材料区域的指令。

根据实施例，本发明的特征还在于，用于通过基于确定包括眼睛和嘴巴的面部特征的位置而将掩模应用于所述第一图像来将所述图像分割为第一表面材料区域和非第一表面材料区域的指令。

根据实施例，本发明的特征还在于，用于通过以下方式来将所述第一图像分割为第一表面材料区域和非第一表面材料区域的指令：确定所述图像中的类似大小的随机片块并且利用第二卷积神经网络处理所述随机片块以确定包括非皮肤像素的片块、包括皮肤像素的片块以及包括皮肤像素和非皮肤像素两者的片块。

根据实施例，包括第一表面材料和非第一表面材料的片块被划分为子片块并且进行再处理以确定皮肤子片块和非皮肤子片块。

根据实施例，通过以下方式来将皮肤区域的直方图与先前获取的直方图进行比较：将高斯混合模型应用于所述直方图以确定进行比较的高斯分布。

根据实施例，所述第一像素值度量和所述第二像素值度量分别是对包括在第一图像和第二图像中的像素值的第一直方图和第二直方图计算的第一均值和第二均值。

根据实施例，所述第一均值和所述第二均值分别基于应用于所述第一直方图和所述第二直方图的高斯混合模型而计算。

根据实施例，本发明的特征还在于，用于输出关于所述第一对象和所述第二对象是否为同一类型的对象的确定的指令。

根据实施例，本发明的特征还在于，用于在所述比较确定所述第一对象和所述第二对象中的每一者都是人脸时执行人类鉴别测试的指令。

根据实施例，本发明的特征还在于，用于在所述比较确定所述第一对象和所述第二对象中的每一者都是人脸并且是同一对象时操作车辆的指令。

根据本发明，一种方法包括：通过利用第一光束照射第一对象来获取第一图像；对所述第一对象的所述第一图像进行分割以确定与第一表面材料相对应的区域；确定所述第一图像的与所述第一表面材料相对应的区域中的第一像素值度量；执行所述第一像素值度量与根据第二对象的第二图像确定的第二像素值度量的比较，其中所述第二图像是先前通过利用第二光束照射所述第二对象来获取的；以及在所述比较确定所述第一度量在公差内等于所述第二像素值度量时，确定所述第一对象和所述第二对象是同一对象。

在本发明的一方面，所述第一光束是近红外光束，并且所述第二光束是近红外光束。

在本发明的一方面，所述第一图像和所述第二图像是利用获取近红外像素、红色像素、绿色像素和蓝色像素的相机来获取。

在本发明的一方面，所述方法包括用于通过利用卷积神经网络处理第一红外图像来将所述图像分割为第一表面材料区域和非第一表面材料区域的指令。

在本发明的一方面，所述方法包括用于使用由人类操作者分割为第一表面材料区域和非第一表面材料区域的地面实况图像来训练所述神经网络以将所述图像分割为第一表面材料区域和非第一表面材料区域的指令。

在本发明的一方面，所述方法包括用于通过基于确定包括眼睛和嘴巴的面部特征的位置而将掩模应用于所述图像来将所述图像分割为第一表面材料区域和非第一表面材料区域的指令。

Claims

1.一种方法，所述方法包括：

通过利用第一光束照射第一对象来获取第一图像；

对所述第一对象的所述第一图像进行分割以确定与第一表面材料相对应的区域；

确定所述第一图像的与所述第一表面材料相对应的区域中的第一像素值度量；

执行所述第一像素值度量与根据第二对象的第二图像确定的第二像素值度量的比较，其中所述第二图像是先前通过利用第二光束照射所述第二对象来获取的；以及

在所述比较确定所述第一度量在公差内等于所述第二像素值度量时，确定所述第一对象和所述第二对象是同一对象。

2.如权利要求1所述的方法，其中所述第一光束是近红外光束，并且所述第二光束是近红外光束。

3.如权利要求2所述的方法，其中所述第一图像和所述第二图像是利用获取近红外像素、红色像素、绿色像素和蓝色像素的相机来获取。

4.如权利要求1所述的方法，所述方法还包括通过利用卷积神经网络处理所述图像来将所述图像分割为第一表面材料区域和非第一表面材料区域。

5.如权利要求4所述的方法，所述方法还包括使用由人类操作者分割为第一表面材料区域和非第一表面材料区域的地面实况图像来训练所述神经网络以将所述第一图像分割为第一表面材料区域和非第一表面材料区域。

6.如权利要求1所述的方法，所述方法还包括通过基于确定包括眼睛和嘴巴的面部特征的位置而将掩模应用于所述第一图像来将所述图像分割为第一表面材料区域和非第一表面材料区域。

7.如权利要求1所述的方法，所述方法还包括通过以下方式来将所述第一图像分割为第一表面材料区域和非第一表面材料区域：确定所述图像中的类似大小的随机片块并且利用第二卷积神经网络处理所述随机片块以确定包括非皮肤像素的片块、包括皮肤像素的片块以及包括皮肤像素和非皮肤像素两者的片块。

8.如权利要求7所述的方法，其中包括第一表面材料和非第一表面材料的片块被划分为子片块并且进行再处理以确定皮肤子片块和非皮肤子片块。

9.如权利要求8所述的方法，其中通过以下方式来将皮肤区域的直方图与先前获取的直方图进行比较：将高斯混合模型应用于所述直方图以确定进行比较的高斯分布。

10.如权利要求1所述的方法，其中所述第一像素值度量和所述第二像素值度量分别是对包括在第一图像和第二图像中的像素值的第一直方图和第二直方图计算的第一均值和第二均值。

11.如权利要求10所述的方法，其中所述第一均值和所述第二均值分别基于应用于所述第一直方图和所述第二直方图的高斯混合模型而计算。

12.如权利要求1所述的方法，所述方法还包括输出关于所述第一对象和所述第二对象是否为同一类型的对象的确定。

13.如权利要求1所述的方法，所述方法还包括在所述比较确定所述第一对象和所述第二对象中的每一者都是人脸时，执行人类鉴别测试。

14.如权利要求13所述的方法，所述方法还包括在所述比较确定所述第一对象和所述第二对象中的每一者都是人脸并且是所述同一对象时，操作车辆。

15.一种系统，所述系统包括被编程为执行权利要求1-14中任一项所述的方法的计算机。