CN110490044B - 人脸建模设备和人脸建模方法 - Google Patents

Abstract

本发明实施例提供一种人脸建模设备和人脸建模方法，该设备包括图像采集单元和图像处理单元，图像采集单元包括图像传感器、补光器和滤光组件，图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号；补光器包括第一补光装置，第一补光装置用于近红外补光；滤光组件包括第一滤光片，第一滤光片使可见光和部分近红外光通过；图像处理单元包括信号处理模块和人脸建模模块，信号处理模块对第一图像信号和第二图像信号进行处理，得到用于显示的第一图像信息和用于人脸建模的第二图像信息；人脸建模模块对第二图像信息进行人脸建模，得到人脸建模信息并输出。本发明实施例能够根据不同需求对图像进行处理，提高图像输出效果。

Description

人脸建模设备和人脸建模方法

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种人脸建模设备和人脸建模方法。

背景技术

随着图像处理技术的发展，人脸识别技术受到广泛关注。人脸识别是指基于人的脸部特征信息对人脸进行身份识别。当环境中的光线较暗时，采集到的图像信息有限，导致人脸识别的效果不好。

为解决该问题，现有技术中，通常在图像采集设备中安装两个图像传感器，其中一个图像传感器用于采集可见光图像，另一个图像传感器采集红外光图像，然后对采集到的可见光图像和红外光图像进行融合，得到融合后的彩色图像。通过两个图像传感器的采集，能够使得图像采集设备不依赖于现场光照环境，实现全天候的较高的人脸识别准确率。

但是，当对采集的图像有人脸建模和编码输出等不同需求时，现有图像采集设备只能针对融合后的彩色图像进行处理，图像输出的效果不够好，且灵活度较低。

发明内容

本发明实施例提供一种人脸建模设备和人脸建模方法，解决现有技术不能根据人脸建模和编码输出的不同需求对图像进行处理，导致图像输出效果不好的问题。

第一方面，本发明实施例提供一种人脸建模设备，包括图像采集单元和图像处理单元，其中：

所述图像采集单元包括图像传感器、补光器和滤光组件，所述图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；所述滤光组件包括第一滤光片，所述第一滤光片使可见光和部分近红外光通过；

所述图像处理单元包括信号处理模块和人脸建模模块，所述信号处理模块用于对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，所述第一图像信息用于显示输出；所述人脸建模模块用于对所述第二图像信息进行人脸建模，得到人脸建模信息并输出。

在一种可能的实现方式中，所述对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，包括：

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

其中，所述第一处理参数与所述第二处理参数不同。

在一种可能的实现方式中，所述人脸建模模块具体用于：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息进行活体防伪检测，得到通过活体防伪检测的人脸区域图像；

根据所述通过活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

在一种可能的实现方式中，所述人脸建模模块具体用于：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息及所述第一图像信息进行多光谱活体防伪检测，得到通过多光谱活体防伪检测的人脸区域图像；

根据所述通过多光谱活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

在一种可能的实现方式中，所述人脸建模模块具体还用于：

对目标人脸区域图像进行预处理，得到预处理后的目标人脸区域图像，所述目标人脸区域图像为所述通过活体防伪检测的人脸区域图像或所述通过多光谱活体防伪检测的人脸区域图像；

对所述预处理后的目标人脸区域图像进行特征定位，得到所述预处理后的目标人脸区域图像上的人脸的特征点信息；

根据所述人脸的特征点信息对所述预处理后的目标人脸区域图像上的人脸区域进行人脸建模，得到人脸建模信息。

在一种可能的实现方式中，所述信号处理模块还用于：

根据所述人脸检测信息，获取所述第一图像信息中的人脸区域；

根据所述人脸区域对所述第一图像信息进行标注，得到标注后的第一图像信息，并将所述标注后的第一图像信息输出和显示。

在一种可能的实现方式中，所述信号处理模块包括缓存装置，其中：

所述缓存装置用于在需要对所述第一图像信号和所述第二图像信号融合时，缓存所述第一图像信号和/或所述第二图像信号，将所述第一图像信号和所述第二图像信号进行同步，得到同步后的第一图像信号和同步后的第二图像信号。

在一种可能的实现方式中，所述图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

在一种可能的实现方式中，所述多个感光通道用于感应至少两种不同的可见光波段的光。

在一种可能的实现方式中，所述多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；

其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。

在一种可能的实现方式中，所述图像传感器为红绿蓝RGB传感器、红绿蓝白RGBW传感器，或红白白蓝RCCB传感器，或红黄黄蓝RYYB传感器。

在一种可能的实现方式中，所述补光器还包括第二补光装置，所述第二补光装置用于进行可见光补光；

其中，所述第二补光装置用于以常亮方式进行可见光补光；或者

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在可见光补光，在所述第二预设曝光的整个曝光时间段内不存在可见光补光；或者

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的整个曝光时间段内不存在可见光补光，在所述第二预设曝光的部分曝光时间段内存在可见光补光。

在一种可能的实现方式中，所述第一补光装置对应的补光时间段与所述第二预设曝光对应的曝光时间段无交集。

在一种可能的实现方式中，所述滤光组件还包括第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；

所述第二滤光片使可见光通过；

所述切换部件用于将所述第一滤光片或所述第二滤光片切换到所述图像传感器的入光侧；

当所述切换部件将所述第一滤光片切换到所述图像传感器的入光侧时，所述滤光组件对除可见光和目标波段的近红外光之外的其他波段的光进行滤除，使所述可见光和所述目标波段的近红外光传播至所述图像传感器；

当所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧时，所述滤光组件对除可见光之外的其他波段的光进行滤除，使所述可见光传播至所述图像传感器。

在一种可能的实现方式中，所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

在一种可能的实现方式中，所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

在一种可能的实现方式中，所述第一补光状态的补光开始时刻晚于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻早于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

在一种可能的实现方式中，所述第一补光状态的补光开始时刻早于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻晚于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

在一种可能的实现方式中，所述第一补光状态的补光开始时刻早于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻早于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

在一种可能的实现方式中，所述第一补光状态的补光开始时刻晚于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻晚于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

在一种可能的实现方式中，所述图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

在一种可能的实现方式中，所述图像采集单元还包括镜头，所述滤光部件位于所述图像传感器和所述镜头之间，且所述图像传感器位于所述滤光部件的出光侧；或者

所述镜头位于所述滤光部件和所述图像传感器之间，且所述图像传感器位于所述镜头的出光侧。

在一种可能的实现方式中，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

在一种可能的实现方式中，所述第一预设曝光的曝光增益小于所述第二预设曝光的曝光增益。

在一种可能的实现方式中，所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

在一种可能的实现方式中，所述第一预设曝光的曝光时间等于所述第二预设曝光的曝光时间。

第二方面，本发明实施例提供一种人脸建模方法，应用于人脸建模设备，所述人脸建模设备包括图像采集单元和图像处理单元，所述图像采集单元包括图像传感器、补光器和滤光组件，所述图像处理单元包括信号处理模块和人脸建模模块，所述方法包括：

通过所述滤光组件使可见光和部分近红外光通过；

通过所述图像传感器采集第一图像信号和第二图像信号，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，其中，通过所述补光器至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

通过所述信号处理模块对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，所述第一图像信息用于显示输出；

通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出。

在一种可能的实现方式中，所述通过所述信号处理模块对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，包括：

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

其中，所述第一处理参数与所述第二处理参数不同。

在一种可能的实现方式中，所述通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出，包括：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息进行活体防伪检测，得到通过活体防伪检测的人脸区域图像；

根据所述通过活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

在一种可能的实现方式中，所述通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出，包括：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息及所述第一图像信息进行多光谱活体防伪检测，得到通过多光谱活体防伪检测的人脸区域图像；

根据所述通过多光谱活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

在一种可能的实现方式中，所述方法还包括：

根据所述人脸检测信息，获取所述第一图像信息中的人脸区域；

根据所述人脸区域对所述第一图像信息进行标注，得到标注后的第一图像信息，并将所述标注后的第一图像信息输出和显示。

本发明实施例提供的人脸建模设备和人脸建模方法，首先图像传感器根据不同的曝光状态采集对应的图像信号，同时由补光模块在不同的曝光状态时进行不同状态的补光，从而使得采集的图像信号能够根据不同的用途各有侧重，其次，信号处理模块既可以对采集到的图像信号进行分别处理，也可以将采集到的图像信号融合后进行处理，将得到第一图像信息用于输出显示，第二图像信息用于人脸建模，得到人脸建模信息，从而能够根据不同的实际需求，对图像信号进行灵活处理，提高图像输出的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人脸建模设备的结构示意图；

图2为本发明实施例提供的一种图像采集单元的结构示意图；

图3为本发明实施例提供的图像处理单元的示意图；

图4为本发明实施例提供的一种图像采集单元产生第一图像信号的原理示意图；

图5为本发明实施例提供的一种图像采集单元产生第二图像信号的原理示意图；

图6为本发明实施例提供的近红外补光的波长和相对强度之间的关系示意图；

图7为第一滤光片可以通过的光的波长与通过率之间的关系的示意图；

图8为本发明实施例提供的第二种图像采集单元的结构示意图；

图9是本申请实施例提供的一种RGB传感器的示意图；

图10是本申请实施例提供的一种RGBW传感器的示意图；

图11是本申请实施例提供的一种RCCB传感器的示意图；

图12是本申请实施例提供的一种RYYB传感器的示意图；

图13是本申请实施例提供的一种图像传感器的感应曲线示意图；

图14是本申请实施例提供的一种卷帘曝光方式的示意图；

图15为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图一；

图16为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图二；

图17为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图三；

图18为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图四；

图19是本发明实施例提供的近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图一；

图20是本发明实施例提供的近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图二；

图21是本发明实施例提供的近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图三；

图22为本发明实施例提供的人脸建模模块的示意图；

图23为本发明实施例提供的另一种图像采集单元的结构示意图；

图24为本发明实施例提供的标注后的第一图像信息的示意图一；

图25为本发明实施例提供的标注后的第一图像信息的示意图二；

图26为本发明实施例提供的一种人脸建模方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的人脸建模设备的结构示意图，如图1所示，包括图像采集单元10和图像处理单元11，其中：

所述图像采集单元10包括图像传感器01、补光器02和滤光组件03，所述图像传感器01用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；所述补光器02包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；所述滤光组件03包括第一滤光片，所述第一滤光片使可见光和部分近红外光通过。

图像传感器01包括多个像素点，每个像素点能够感应可见光或其他波段的光，例如红外光。图像传感器01的作用是将光信号转换为电信号并输出，其输出与光照强度成正相关。图2为本发明实施例提供的一种图像采集单元的结构示意图，如图2所示，图像采集单元还可以包括镜头04，此时，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。作为一种示例，第一滤光片可以是滤光薄膜，这样，当滤光组件位于镜头和图像传感器之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。

需要说明的一点是，补光器02可以位于图像采集单元10内，也可以位于图像采集单元10的外部。补光器02可以为图像采集单元10的一部分，也可以为独立于图像采集单元10的一个器件。当补光器02位于图像采集单元10的外部时，补光器02可以与图像采集单元10进行通信连接，从而可以保证图像采集单元10中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

第一预设曝光和第二预设曝光指的是采集图像时采用的曝光参数，曝光参数包括但不限于曝光时间、模拟增益、数字增益和光圈大小等。其中，曝光时间是指图像传感器的各个像素点的感光时间，例如，若图像传感器为相机，则曝光时间指的是相机的快门打开到关闭的时间间隔。曝光时间的长短影响进光量的大小，当光线较强时，曝光时间可设置较短，当光线较暗时，可适当延长曝光时间，提高进光量。

增益分为模拟增益和数字增益，模拟增益是指将图像传感器输出的电信号进行放大，数字增益是指完成模数转换后，将得到的数字信号放大。调节增益时，能够调整输出的图像的亮度，增益越大，则图像亮度越高，但同时噪声也会越大，造成颗粒增加，输出画面较模糊。光圈大小也能够控制进光量的大小，光圈较大时进光量较多，反之则进光量较少。

本发明实施例中，包括两种曝光状态，分别为第一预设曝光和第二预设曝光，第一预设曝光和第二预设曝光可以采用相同的曝光参数，也可以采用不同的曝光参数。其中，本发明实施例的人脸建模设备可以具体为一种人脸建模相机。

例如，若第二图像信号用于处理后进行显示，第一图像信号用于处理后进行人脸建模，则在白天光线较好时，第一预设曝光和第二预设曝光的曝光参数可以设置相同，白天光线较强，曝光时间和增益可适当调小，第一预设曝光和第二预设曝光的曝光参数也可以设置不同，由于白天光线较好，而用于人脸建模的第一图像信号对图像的亮度不敏感，因此可以将第一预设曝光的曝光时间或增益适当调小；而在夜晚光线较暗时，可以将第一预设曝光和第二预设曝光的曝光时间和增益适当调大，以增加进光量，提高图像亮度，又由于用于人脸建模的第一图像信号不需要很高的图像亮度，因此也可以仅适当增大第二预设曝光的曝光时间和增益。具体的调节，可根据实际需要确定，此处不作特别限定。

本发明实施例在第一预设曝光和第二预设曝光时，还分别进行不同状态的补光，补光类型可以有可见光补光，也可以有近红外补光。其中，至少在第一预设曝光的部分曝光时间段有近红外光补光。对于第一预设曝光和第二预设曝光的时间段，可以有可见光补光，也可以没有可见光补光，具体的设定可以根据实际需要。其中，可见光补光主要是为了在光线较暗时提高图像的亮度，红外光补光可以在黑暗条件下进行图像的采集，同时避免过度提高光线亮度造成的图像成像质量差的问题。

所述图像处理单元11包括信号处理模块12和人脸建模模块13，所述信号处理模块12用于对所述第一图像和所述第二图像进行处理，得到第一图像信息和第二图像信息，所述第一图像信息用于显示输出；所述人脸建模模块13用于对所述第二图像信息进行人脸建模，得到人脸建模信息并输出。

图3为本发明实施例提供的图像处理单元的示意图，如图3所示，第一图像信号和第二图像信号传入信号处理模块12，信号处理模块12进行相应的处理。该信号处理模块12的具体实现方式可以是一个包含信号处理算法或程序的逻辑平台，该平台可以是基于X86或ARM架构的逻辑平台，也可以是现场可编程门阵列(Field-Programmable Gate Array，以下简称FPGA)逻辑电路。以FPGA为例，运行于上述平台上的处理算法包括但不限于黑电平、图像插值、数字增益、白平衡、图像降噪、图像增强、图像融合等。

信号处理模块12对输入的第一图像信号和第二图像信号进行处理，得到第一图像信息和第二图像信息，其中，针对要得到的第一图像信息和第二图像信息的作用不同，对应采取的处理参数也不同。第一图像信息后续是用于显示给人看，因此对图像的成像质量、亮度和色彩都有一定的要求，因此需要根据实际的要求来设定对应的处理参数，得到第一图像信息。第二图像信息后续是用于人脸建模，人脸建模对图像的亮度和色彩要求不高，但是对图像的信噪比较高，因此需要根据该要求，设定对应的处理参数，得到第二图像信息。

得到第一图像信息后，输出并显示，得到第二图像信息后，将其输入到人脸建模模块13中，人脸建模模块13能够对输入的第二图像信息进行人脸检测，并根据人脸检测结果进行特征定位，得到人脸建模信息。其中，人脸建模信息是用于唯一标识该人脸的一串向量和数字，根据这串向量和数字，能够在人脸数据中中进行匹配，从而找出对应的人脸。

本发明实施例提供的人脸建模设备，首先图像传感器根据不同的曝光状态采集对应的图像信号，同时由补光器在不同的曝光状态时进行不同状态的补光，从而使得采集的图像信号能够根据不同的用途各有侧重，其次，信号处理模块既可以对采集到的图像信号进行分别处理，也可以将采集到的图像信号融合后进行处理，将较适用于显示的第一图像信息用于输出显示，将较适用于人脸建模的第二图像信息用于人脸建模，得到人脸建模信息，从而能够根据不同的实际需求，对图像信号进行灵活处理，提高图像输出的效果。

下面结合图4-18，并采用具体的实施例，对该人脸建模设备的原理和使用方案进行详细说明。

补光器用于产生人工补光，在本发明实施例中，补光器产生的人工补光可以为可见光补光，也可以为近红外光补光。具体实现中，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。

需要说明的是，第二预设曝光的曝光时间段内不进行近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。

需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在进行近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。

以图像采集单元中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图4是本发明实施例提供的一种图像采集单元产生第一图像信号的原理示意图，图像采集单元采集第一图像信号和第二图像信号的过程为：参见图4，在图像传感器01进行第一预设曝光时，第一补光装置021进行近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；参见图5，图5是本发明实施例提供的一种图像采集单元产生第二图像信号的原理示意图，在图像传感器01进行第二预设曝光时，第一补光装置021不进行近红外补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号。需要说明的是，第一滤光片031可以使部分近红外光通过，换句话说，通过第一滤光片031的近红外光可以为部分近红外光，也可以为全部近红外光，本申请实施例对此不做限定。

另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。

在进行近红外光补光时，近红外补光能量集中于650nm～1000nm中的某一段，通常是700nm～800nm范围内(其能量波峰在750nm附近)或900nm～1000nm范围内(其能量波峰在940nm附近)。同时，补光器可以产生频闪的补光，即可以进行不同补光状态的高频切换。如第一补光状态下照明补光灯发出可见光，第二补光状态下发出红外光，也可以是第一补光状态下不发光，第二补光状态下发出红外光，亦可以是其他所需要的组合方式。

其中，第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米，这样，可以减轻常见的850纳米的近红灯造成的干扰。另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。

由于在进行近红外补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不进行近红外补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。

第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图6所示。从图6可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在进行近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。

例如，参见图7，图7为第一滤光片031可以通过的光的波长与通过率之间的关系的示意图。入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。

例如，参见图7，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图5可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

在一种可能的实现方式中，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图8，图8是本发明实施例提供的第二种图像采集单元的结构示意图，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内进行近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。

在一些实施例中，上述多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像信号，这样，25个帧周期内就会产生25组图像信号。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次曝光中相邻的两次曝光，也可以是一个帧周期内多次曝光中不相邻的两次曝光，本申请实施例对此不做限定。

第一补光装置可以具体为红外灯，第二补光装置可以具体为照明灯，照明灯用于产生可见光补光，红外灯用于产生红外光补光。

当周围环境较暗时，可进行可见光补光，提高周围环境的亮度，使得得到的图像亮度较高，色彩较好。当不需要输出显示采集到的图像时，也可以进行近红外光补光，能够在黑暗条件下采集图像，提高图像质量，从而提高人脸建模的质量。

第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中。可以理解的是，与第二预设曝光相比，在进行近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。

在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。

在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。

滤光组件主要是对部分光线进行滤除，本发明实施例中，滤光组件除了包括第一滤光片外，还包括第二滤光片和切换部件，第一滤光片和第二滤光片均与切换部件连接；

所述第二滤光片使可见光通过；

所述切换部件用于将所述第一滤光片或所述第二滤光片切换到所述图像传感器的入光侧；

当所述切换部件将所述第一滤光片切换到所述图像传感器的入光侧时，所述滤光组件对除可见光和目标波段的近红外光之外的其他波段的光进行滤除，使所述可见光和所述目标波段的近红外光传播至所述图像传感器；

当所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧时，所述滤光组件对除可见光之外的其他波段的光进行滤除，使所述可见光传播至所述图像传感器。

其中，对于某一波段的近红外光，若其通过率超过30％，即可认为滤光组件允许该波段的近红外光通过，若通过率未超过30％，则滤光组件不允许该波段的光通过。本发明实施例中，在650nm～1000nm的波段内，通常情况下通过率大于30％的波段宽度小于150nm。

一种可能的实现方式是，第一滤光片允许通过的近红外光波段与补光器产生的近红外光波段相对应，即，第一滤光片允许通过的近红外波段与补光器发出的近红外光波段相同或相近。这样，补光器发出的近红外光，大部分都能通过滤光组件，被图像传感器采集到，而不会被滤除掉，从而减小了浪费。第二滤光片允许可见光通过。

本发明实施例中，滤光组件至少包括两种滤光模式，分别是第一滤光模式和第二滤光模式。第一滤光模式下，切换部件将第一滤光片切换到图像传感器的入光侧，滤光组件对除可见光和目标波段的近红外光之外的其他波段的光进行滤除，使可见光和目标波段的近红外光传播至图像传感器；第二滤光模式下，切换部件将第二滤光片切换到图像传感器的入光侧，滤光组件对除可见光之外的其他波段的光进行滤除，使可见光传播至图像传感器，滤光组件不对可见光进行滤除操作。其中，滤光组件还包括切换部件，切换部件用于切换滤光组件的滤光模式，使得滤光模式根据实际需要，在第一滤光模式和第二滤光模式之间进行切换。

其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光，这样，可以保证第一图像信号和第二图像信号中具有完整的分辨率，不缺失像素值。在一种可能的实现方式中，该多个感光通道可以用于感应至少两种不同的可见光波段的光。

在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图9，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图10，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图11，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图12。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光，这样，可以保证第一图像信号中具有完整的分辨率，不缺失像素值。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，图像传感器01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当图像传感器01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图13，图13中的R曲线代表图像传感器01对红光波段的光的感应曲线，G曲线代表图像传感器01对绿光波段的光的感应曲线，B曲线代表图像传感器01对蓝光波段的光的感应曲线，W(或者C)曲线代表图像传感器01感应全波段的光的感应曲线，NIR(Nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。

图像传感器能够通过多次曝光产生第一图像信号和第二图像信号。其中，第一图像信号是图像传感器处于第一预设曝光产生的图像信号，第二图像信号是图像传感器处于第二预设曝光产生的图像信号，第一曝光和第二曝光为多次曝光中的两次曝光。

作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。

示例性地，参见图14，图14为一种卷帘曝光方式的示意图。从图14可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

图像传感器的第一预设曝光和第二预设曝光可以采用相同的曝光参数，也可以采用不同的曝光参数，其中曝光参数包括且不限于曝光时间、模拟增益、数字增益、光圈大小等。当第一预设曝光与第二预设曝光采用不同曝光参数时，通常是指增益以及曝光时间不同。

下面结合图15-图18，详细说明曝光与补光控制时间段之间的关系。

图15为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图一，如图15所示，所述第一补光状态(即第一预设曝光所对应的近红外补光)的补光开始时刻晚于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻早于或等于所述第一预设曝光的曝光结束时刻。即在第二预设曝光时存在可见光补光或不存在任何补光，第一预设曝光时存在近红外光补光或存在近红外光补光以及可见光补光，从而通过第一预设曝光和第二预设曝光能够产生光谱不同的图像。

图16为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图二，如图16所示，所述第一补光状态的补光开始时刻早于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻晚于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。第一预设曝光和第二预设曝光对应的补光状态不同，即在第二预设曝光时存在可见光补光或不存在任何补光，第一预设曝光时存在近红外光补光或存在近红外光补光以及可见光补光，从而通过第一预设曝光和第二预设曝光能够产生光谱不同的图像。

图17为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图三，如图17所示，所述第一补光状态的补光开始时刻早于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻早于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光对应的曝光时间段无交集。第一预设曝光和第二预设曝光对应的补光状态不同，即在第二预设曝光时存在可见光补光或不存在任何补光，第一预设曝光时存在近红外光补光或存在近红外光补光以及可见光补光，从而通过第一预设曝光和第二预设曝光能够产生光谱不同的图像。

图18为本发明实施例提供的近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图四，如图18所示，所述第一补光状态的补光开始时刻晚于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻晚于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的后一次所述第二预设曝光对应的曝光时间段无交集。

第一预设曝光和第二预设曝光对应的补光状态不同，即在第二预设曝光时存在可见光补光或不存在任何补光，第一预设曝光时存在近红外光补光或存在近红外光补光以及可见光补光，从而通过第一预设曝光和第二预设曝光能够产生光谱不同的图像。

在图15-图18中，图像传感器在第一预设曝光和第二预设曝光两种曝光条件下，交错进行曝光，图15至图18仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

在另一些实施例中，当图像传感器01采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

例如，参见图19，图19是本发明实施例提供的近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图一，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图20，图20是本发明实施例提供的近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图二对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图21，图21是本发明实施例提供的近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图三对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图19至图21中，针对第一预设曝光和第二预设曝光，倾斜虚线表示曝光开始时刻，倾斜实线表示曝光结束时刻，针对第一预设曝光，竖直虚线之间表示第一预设曝光对应的近红外补光的时间段，图19至图21仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

其中，多次曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：

第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。

第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。

第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。

第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。

第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。

第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。

其中，上述多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括N次曝光，该N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，该N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。

上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。

综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021频闪式的补光，使图像传感器01产生并输出包含近红外亮度信息的第一图像信号，以及包含可见光亮度信息的第二图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器01获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器01产生并输出的包含可见光亮度信息的第三图像信号，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息，提高了图像采集单元的使用灵活性，并且还可以方便地与其他图像采集单元进行兼容。

本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便在第一预设曝光的过程中进行近红外补光并产生第一图像信号，在第二预设曝光的过程中不进行近红外补光并产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，使得该图像采集单元更加简便，进而使得获取第一图像信号和第二图像信号也更加高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。

图像传感器，能够与补光器和滤光组件配合控制，通过多次曝光，在较短的一段时间内同时采集并输出上述第一图像信号和第二图像信号。

本发明实施例提供的人脸建模设备，通过近红外光实现人脸补光，不依赖于环境光，在较暗的环境下也可以采集到质量较好的图像信号，保证了人脸建模的准确性和稳定性，在需要的时候能够适当的进行可见光补光，从而使采集到的图像信号拥有更好的色彩信息。能够利用单个图像传感器，通过分时多次曝光，在较短的一段时间内根据不同的曝光状态采集输出色彩还原较为准确的第一图像信号和在近红外补光的条件下获得的第二图像信号，能够适应输出显示和人脸建模的不同需求，提升了设备的灵活性。

在得到第一图像信号和第二图像信号后，信号处理模块能够根据第一图像信号和第二图像信号的成像状况对图像采集单元进行反馈，具体的：

根据第一图像信号的统计信息，向图像传感器输入第一控制参数，第一控制参数用于调整图像传感器的第一预设曝光；

根据第二图像信号的统计信息，向图像传感器输入第二控制参数，第二控制参数用于调整图像传感器的第二预设曝光。

信号处理模块根据获取到的第一图像信号和第二图像信号的成像质量，来调整第一预设曝光和第二预设曝光，其中统计信息包括但不限于亮度信息，主要是根据亮度信息来调整第一控制参数或第二控制参数，进而提高后续第一图像信号和第二图像信号的成像质量，起到反馈的作用。若第一图像信号或第二图像信号的亮度不合适，则调整第一控制参数或第二控制参数的增益和曝光量，来调整亮度。

图像处理单元将根据第一图像信号和第二图像信号进行处理，得到第一图像信息和第二图像信息。本发明实施例中，对第一图像信号和第二图像信号进行处理，得到第一图像信息和第二图像信息，共有四种可能的实现方式：

第一种为，根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；

第二种为，根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

第三种为，根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；

第四种为，根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

其中，所述第一处理参数与所述第二处理参数不同。

其中，根据第一处理参数或第二处理参数对第一图像信号和第二图像信号进行处理时，一种可能的处理是对第一图像信号和第二图像信号进行融合后处理，也可以是融合和处理同时进行，融合也可以是处理的一部分，第一图像信号和第二图像信号融合后得到融合信息，融合信息为对所述第一图像信号和所述第二图像信号进行融合得到的信息，图像融合是指将采集到的关于同一目标的多幅图像数据经过图像处理和计算机技术等，最大限度的提取各自图像中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率，提升原始图像的空间分辨率和光谱分辨率。

图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。图像融合的目标是在实际应用目标下将相关信息最大合并的基础上减少输出的不确定度和冗余度。图像融合能扩大图像所含有的时间空间信息，减少不确定性，增加可靠性。

本发明实施例中，由于第一图像信号和第二图像信号是图像传感器在不同的曝光状态下获得的，因此第一图像信号和第二图像信号的生成时间不一致，因此，为了实现第一图像信号和第二图像信号的融合，信号处理模块中设置了缓存装置，该缓存装置用于缓存所述第一图像信号和/或所述第二图像信号，将所述第一图像信号和所述第二图像信号进行同步，得到同步后的第一图像信号和同步后的第二图像信号，再进行融合。将同步后的第一图像信号和同步后的第二图像信号融合后，能够提取第一图像信号和第二图像信号中的有利信息，得到更高质量的融合信息。

本发明实施例中，第二图像信息可以由信号处理模块根据第一处理参数对第一图像信号处理得到，也可以根据第一处理参数对第一图像信号和第二图像信号处理得到，第一图像信息可以由信号处理模块根据第二处理参数对第二图像信号处理得到，也可以根据第二处理参数对第一图像信号和第二图像信号处理得到，其中，根据处理参数对第一图像信号和第二图像信号处理，可以是先将第一图像信号和第二图像信号融合，得到融合信息后再处理，也可以是融合和处理同时进行。由于融合信息的质量较高，从而得到的对应的图像信息质量更好。

其中，第一处理参数和第二处理参数包括但不限于黑电平、数字增益、白平衡、图像降噪、图像插值和图像增强等处理所需要的参数。黑电平是指在经过一定校准的显示装置上没有一行光亮输出的视频信号电平，黑电平调节不影响信号的放大倍数，如果向上条件黑电平，图像将变暗，如果向下调节黑电平，图像将变亮。

数字增益能够放大信号，从而调节图像的亮度，但是增大数字增益，也会使得噪声增加，图像成像质量降低。白平衡用于对图像的色彩还原和色调的处理，来调整图像的成像色彩。图像降噪是减少数字图像中的噪声，从而提高成像质量，提升图像识别处理的精确度。

图像插值是指从低分辨率图像生成高分辨率图像的过程，用于恢复图像中所丢失的信息，使得图像更加清晰。图像增强是指改善图像的视觉效果，有目的的强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量，加强图像判读和识别的效果。例如，在本发明实施例中，感兴趣的特征是人脸，则可对图像中的人脸进行增强，对其他的背景特征进行抑制。

根据显示输出和人脸建模的不同需要，本发明实施例对第一处理参数和第二处理参数的设定不同。例如，第一图像信息是用于显示输出的，对图像的亮度、色彩和色调等方面要求较高，因此需要设定对应的黑电平参数、数字增益参数和白平衡参数等，对其他参数要求可相对不太严格。第二图像信息是用于人脸建模的，对于亮度、色彩和色调方面要求较低，但是对成像的清晰度以及信噪比较高，因此需要设定对应的图像降噪参数、图像插值参数和图像增强参数，其中图像降噪参数和图像插值参数用于提高第二图像信息的成像质量，图像增强参数用于将检测到的人脸进行突出处理。

得到第一图像信息和第二图像信息后，第一图像信息可以直接用于显示输出，第二图像信息传输进人脸建模模块后，人脸建模模块进行相应的处理。人脸建模模块是包含人脸建模算法或程序的逻辑平台，该平台与图像处理单元一样可以是基于X86或ARM架构的逻辑平台或是FPGA逻辑电路。该平台可以与信号处理模块共用硬件，也可以不共用。一种可能的实现方式为，人脸建模算法与信号处理算法运行于同一FPGA逻辑电路上。

图22为本发明实施例提供的人脸建模模块的示意图，如图22所示，包括人脸检测子模块221和特征建模子模块222，其中：

人脸检测子模块221对输入的第二图像信息进行人脸检测，获取人脸检测信息，人脸检测信息包括检测到的人脸区域图像信息。人脸检测子模块221能够对输入的第二图像信息进行人脸检测，并输出检测到的人脸检测信息。当检测到人脸时，人脸检测信息具体为检测到的人脸区域图像信息，当未检测到人脸时，则不进行后续的人脸建模。

检测到人脸后，还需要进一步判断检测到的人脸是否为照片、录像、面具等非生物攻击。

人脸检测子模块221还包含活体防伪，在得到人脸检测信息后，能够根据人脸检测信息对第二图像信息进行活体防伪检测，若第二图像信息中的人脸为活体人脸，则得到通过活体防伪检测的人脸区域图像。

同时人脸检测子模块221还包括多光谱活体防伪检测，在得到人脸检测信息后，能够根据人脸检测信息以及第一图像信息对第二图像信息进行多光谱活体防伪检测，若第二图像信息中的人脸为活体人脸，则得到通过多光谱活体防伪检测的人脸区域图像。

本发明实施例中，针对人脸区域图像信息，会进一步对其中的人脸进行活体判断，从而防止照片、录像、面具等的伪装攻击。其中，判断的方式既可以根据人脸检测信息对第二图像信息进行活体防伪检测，也可以根据人脸检测信息和第一图像信息对第二图像信息进行多光谱活体防伪检测，第一图像信息和第二图像信息中既包含可见光，也包含近红外光，具有更丰富的场景信息。多光谱活体防伪检测能够利用目标物体表面不同的反射率进行活体检测，从而降低误检率，提高防伪效果。

特征建模子模块222能够对目标人脸区域图像进行预处理，得到预处理后的目标人脸区域图像，其中，目标人脸区域图像为通过活体防伪检测的人脸区域图像或通过多光谱活体防伪检测的人脸区域图像，即，目标人脸区域图像中的人脸是经过人脸检测子模块判断后，确定为活体人脸的图像。

预处理包括：位置校正、光线变换、直方图均衡化等。位置校正能够调节图像的畸变和稳定性，同时能够将感兴趣的目标物体的位置调整到相应较显眼的位置，方便观察。光线变换是对图像的光线进行相应的处理，包括调整图像的亮度和灰度等。直方图均衡化是指利用图像的直方图对图像的对比度进行调整，例如对于感兴趣的图像区域，可以适当调大对比度，使得图像更加清晰醒目，便于后续处理。

特征建模子模块222能够对预处理后的目标人脸区域图像进行特征定位，得到预处理后的目标人脸区域图像上的人脸的特征点信息，其中，人脸的特征点信息包括且不限于：眼睛、鼻子、嘴巴等的位置，眉毛形状，脸部轮廓等信息。最后，特征建模子模块222根据人脸的特征点信息对预处理后的目标人脸区域图像上的人脸区域进行人脸建模，得到人脸建模信息并输出人脸建模信息。其中，人脸建模的过程可以通过对人脸区域进行深度网络卷积获得，人脸建模信息可以是与检测到的人脸相关的一串向量信息，这串向量信息能够唯一确定对应的人脸，也能够在人脸数据库中唯一匹配到对应的人脸。

在一种可能的实现方式中，信号处理模块还可以用于根据人脸检测信息获取第一图像信息中的人脸区域，然后，根据人脸区域对第一图像信息进行标注，得到标注后的第一图像信息，并将标注后的第一图像信息输出和显示。下面结合图23-图25对上述处理过程进行说明。

图23为本发明实施例提供的另一种图像采集单元的结构示意图，如图23所示，包括信号处理模块12和人脸建模模块13，其中，信号处理模块12根据第一图像信号和第二图像信号处理得到第一图像信息和第二图像信息，人脸建模模块13根据第二图像信息得到人脸检测信息和人脸建模信息，然后根据人脸检测信息获取第一图像信息中的人脸区域，根据人脸区域对第一图像信息进行标注，得到标注后的第一图像信息，并将标注后的第一图像信息输出和显示。

图24为本发明实施例提供的标注后的第一图像信息的示意图一，如图24所示，左边为第一图像信息，人脸检测子模块检测到了人脸，之后信号处理模块根据人脸区域，对第一图像信息进行标注，图24的右边即为标注后的第一图像信息。图25为本发明实施例提供的标注后的第一图像信息的示意图二，如图25所示，左边为第一图像信息，人脸检测子模块没有检测到人脸，则信号处理模块在第一图像信息上显示文字“未检测到人脸”，得到右边的对应的标注后的第一图像信息。

本发明实施例提供的人脸建模设备，在输出用于显示的第一图像信息时，能够灵活的选取合适的处理参数和图像信号组合，达到质量更优的图像显示效果；在输出用于人脸建模的第二图像信息时，能够灵活的选取合适的处理参数和图像信号组合，达到更利于人脸建模的图像效果，从而获得更高的人脸检测率和建模质量。

图26为本发明实施例提供的一种人脸建模方法的流程示意图，如图26所示，包括：

S261，通过所述滤光组件使可见光和部分近红外光通过；

S262，通过所述图像传感器采集第一图像信号和第二图像信号，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，其中，通过所述补光器至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

S263，通过所述信号处理模块对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，所述第一图像信息用于显示输出；

S264，通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出。

在一种可能的实现方式中，所述通过所述信号处理模块对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，包括：

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

其中，所述第一处理参数与所述第二处理参数不同。

在一种可能的实现方式中，所述通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出，包括：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息进行活体防伪检测，得到通过活体防伪检测的人脸区域图像；

根据所述通过活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

在一种可能的实现方式中，所述通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出，包括：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息及所述第一图像信息进行多光谱活体防伪检测，得到通过多光谱活体防伪检测的人脸区域图像；

根据所述通过多光谱活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

在一种可能的实现方式中，所述方法还包括：

根据所述人脸检测信息，获取所述第一图像信息中的人脸区域；

根据所述人脸区域对所述第一图像信息进行标注，得到标注后的第一图像信息，并将所述标注后的第一图像信息输出和显示。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (30)

1.一种人脸建模设备，其特征在于，包括图像采集单元和图像处理单元，其中：

所述图像采集单元包括图像传感器、补光器和滤光组件，所述图像传感器用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；所述滤光组件包括第一滤光片，所述第一滤光片使可见光和部分近红外光通过；所述滤光组件还包括第二滤光片和切换部件，所述第一滤光片和所述第二滤光片均与所述切换部件连接；所述第二滤光片使可见光通过；

所述图像处理单元包括信号处理模块和人脸建模模块，所述信号处理模块用于对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，所述第一图像信息用于显示输出；所述人脸建模模块用于对所述第二图像信息进行人脸建模，得到人脸建模信息并输出；

在所述第二图像信息是通过对所述第一图像信号进行处理得到时，所述第一图像信息是通过对所述第二图像信号进行处理得到的或者是通过对所述第一图像信号和所述第二图像信号进行处理得到的；

在所述第二图像信息是通过对所述第一图像信号和所述第二图像信号进行处理得到时，所述第一图像信息是通过对所述第二图像信号进行处理得到的或者是通过对所述第一图像信号和所述第二图像信号进行处理得到的。

2.根据权利要求1所述的设备，其特征在于，所述对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，包括：

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

其中，所述第一处理参数与所述第二处理参数不同。

3.根据权利要求1所述的设备，其特征在于，所述人脸建模模块具体用于：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息进行活体防伪检测，得到通过活体防伪检测的人脸区域图像；

根据所述通过活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

4.根据权利要求1所述的设备，其特征在于，所述人脸建模模块具体用于：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息及所述第一图像信息进行多光谱活体防伪检测，得到通过多光谱活体防伪检测的人脸区域图像；

根据所述通过多光谱活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

5.根据权利要求3或4所述的设备，其特征在于，所述人脸建模模块具体还用于：

对目标人脸区域图像进行预处理，得到预处理后的目标人脸区域图像，所述目标人脸区域图像为所述通过活体防伪检测的人脸区域图像或所述通过多光谱活体防伪检测的人脸区域图像；

对所述预处理后的目标人脸区域图像进行特征定位，得到所述预处理后的目标人脸区域图像上的人脸的特征点信息；

根据所述人脸的特征点信息对所述预处理后的目标人脸区域图像上的人脸区域进行人脸建模，得到人脸建模信息。

6.根据权利要求3或4所述的设备，其特征在于，所述信号处理模块还用于：

根据所述人脸检测信息，获取所述第一图像信息中的人脸区域；

根据所述人脸区域对所述第一图像信息进行标注，得到标注后的第一图像信息，并将所述标注后的第一图像信息输出和显示。

7.根据权利要求2所述的设备，其特征在于，所述信号处理模块包括缓存装置，其中：

所述缓存装置用于在需要对所述第一图像信号和所述第二图像信号融合时，缓存所述第一图像信号和/或所述第二图像信号，将所述第一图像信号和所述第二图像信号进行同步，得到同步后的第一图像信号和同步后的第二图像信号。

8.根据权利要求1所述的设备，其特征在于，所述图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。

9.根据权利要求8所述的设备，其特征在于，所述多个感光通道用于感应至少两种不同的可见光波段的光。

10.根据权利要求9所述的设备，其特征在于，所述多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；

其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。

11.根据权利要求1所述的设备，其特征在于，所述图像传感器为红绿蓝RGB传感器、红绿蓝白RGBW传感器，或红白白蓝RCCB传感器，或红黄黄蓝RYYB传感器。

12.根据权利要求1所述的设备，其特征在于，所述补光器还包括第二补光装置，所述第二补光装置用于进行可见光补光；

其中，所述第二补光装置用于以常亮方式进行可见光补光；或者

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在可见光补光，在所述第二预设曝光的整个曝光时间段内不存在可见光补光；或者

所述第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的整个曝光时间段内不存在可见光补光，在所述第二预设曝光的部分曝光时间段内存在可见光补光。

13.根据权利要求1所述的设备，其特征在于，所述第一补光装置对应的补光时间段与所述第二预设曝光对应的曝光时间段无交集。

14.根据权利要求1所述的设备，其特征在于，

所述切换部件用于将所述第一滤光片或所述第二滤光片切换到所述图像传感器的入光侧；

当所述切换部件将所述第一滤光片切换到所述图像传感器的入光侧时，所述滤光组件对除可见光和目标波段的近红外光之外的其他波段的光进行滤除，使所述可见光和所述目标波段的近红外光传播至所述图像传感器；

当所述切换部件将所述第二滤光片切换到所述图像传感器的入光侧时，所述滤光组件对除可见光之外的其他波段的光进行滤除，使所述可见光传播至所述图像传感器。

15.根据权利要求1所述的设备，其特征在于，

所述第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

16.根据权利要求15所述的设备，其特征在于，

所述第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者

所述第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

17.根据权利要求13所述的设备，其特征在于，所述第一补光状态的补光开始时刻晚于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻早于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

18.根据权利要求13所述的设备，其特征在于，所述第一补光状态的补光开始时刻早于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻晚于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

19.根据权利要求13所述的设备，其特征在于，所述第一补光状态的补光开始时刻早于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻早于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

20.根据权利要求13所述的设备，其特征在于，所述第一补光状态的补光开始时刻晚于或等于所述第一预设曝光的曝光开始时刻，所述第一补光状态的补光结束时刻晚于或等于所述第一预设曝光的曝光结束时刻，且所述第一补光状态对应的补光时间段与当前曝光的前一次所述第二预设曝光、后一次所述第二预设曝光对应的曝光时间段都无交集。

21.根据权利要求1所述的设备，其特征在于，所述图像采集单元还包括镜头，所述滤光组件位于所述图像传感器和所述镜头之间，且所述图像传感器位于所述滤光组件的出光侧；或者

所述镜头位于所述滤光组件和所述图像传感器之间，且所述图像传感器位于所述镜头的出光侧。

22.根据权利要求1所述的设备，其特征在于，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

23.根据权利要求22所述的设备，其特征在于，所述第一预设曝光的曝光增益小于所述第二预设曝光的曝光增益。

24.根据权利要求1所述的设备，其特征在于，所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。

25.根据权利要求24所述的设备，其特征在于，所述第一预设曝光的曝光时间等于所述第二预设曝光的曝光时间。

26.一种人脸建模方法，应用于人脸建模设备，所述人脸建模设备包括图像采集单元和图像处理单元，所述图像采集单元包括图像传感器、补光器和滤光组件，所述图像处理单元包括信号处理模块和人脸建模模块，所述滤光组件包括第一滤光片和第二滤光片，其特征在于，所述方法包括：

通过所述第一滤光片使可见光和部分近红外光通过；通过所述第二滤光片使可见光通过；

通过所述图像传感器采集第一图像信号和第二图像信号，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，其中，通过所述补光器至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

通过所述信号处理模块对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，所述第一图像信息用于显示输出；

通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出；

在所述第二图像信息是通过对所述第一图像信号进行处理得到时，所述第一图像信息是通过对所述第二图像信号进行处理得到的或者是通过对所述第一图像信号和所述第二图像信号进行处理得到的；

在所述第二图像信息是通过对所述第一图像信号和所述第二图像信号进行处理得到时，所述第一图像信息是通过对所述第二图像信号进行处理得到的或者是通过对所述第一图像信号和所述第二图像信号进行处理得到的。

27.根据权利要求26所述的方法，其特征在于，所述通过所述信号处理模块对所述第一图像信号和所述第二图像信号进行处理，得到第一图像信息和第二图像信息，包括：

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据第一处理参数对所述第一图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据第二处理参数对所述第二图像信号进行处理，得到第一图像信息；或者，

根据所述第一处理参数对第一图像信号和第二图像信号进行处理，得到第二图像信息，根据所述第二处理参数对第一图像信号和第二图像信号进行处理，得到第一图像信息；

其中，所述第一处理参数与所述第二处理参数不同。

28.根据权利要求26所述的方法，其特征在于，所述通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出，包括：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息进行活体防伪检测，得到通过活体防伪检测的人脸区域图像；

根据所述通过活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

29.根据权利要求26所述的方法，其特征在于，所述通过所述人脸建模模块对所述第二图像信息进行人脸建模，得到人脸建模信息并输出，包括：

对输入的所述第二图像信息进行人脸检测，获取人脸检测信息，所述人脸检测信息包括检测到的人脸区域图像信息；

根据所述人脸检测信息及所述第一图像信息进行多光谱活体防伪检测，得到通过多光谱活体防伪检测的人脸区域图像；

根据所述通过多光谱活体防伪检测的人脸区域图像进行人脸建模，输出人脸建模信息。

30.根据权利要求28或29所述的方法，其特征在于，所述方法还包括：

根据所述人脸检测信息，获取所述第一图像信息中的人脸区域；

根据所述人脸区域对所述第一图像信息进行标注，得到标注后的第一图像信息，并将所述标注后的第一图像信息输出和显示。

Images