CN110991266A - 一种双目人脸活体检测方法及装置 - Google Patents

Abstract

本发明提供了一种双目人脸活体检测方法，该方法包括：分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；采用双目标定法，对近红外图像和可见光图像进行双目标定，获取标定参数；对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。与现有技术相比，本发明能有效地提高活体人脸检测的准确率。

Description

一种双目人脸活体检测方法及装置

技术领域

本发明涉及图像处理、视频监控以及安防，特别涉及人脸检测方法及装置。

背景技术

近年来，由于人脸识别的广泛应用和其较高的市场期望，人脸识别一直是模式识别中的一个热门方向。

然而，随着科技和互联网的不断发展，获取合法用户的人脸图像信息是一件非常容易的事情，假冒者能够利用监控摄像、智能手机、相机、互联网等取得合法用户的人脸图像信息，从而达到攻击的目的。为了抵抗上述攻击，双目人脸活体检测得到越来越多的关注。

基于人机交互的活体检测方法由于其可靠性高得到越来越广泛的应用，但该方法需要用户进行配合，按指令完成闭眼、张嘴、转头等动作，用户体验不友好。可靠性比较高的3D成像活体检测方法在手机上已得到应用，但目前3D成像系统成本较高，且对于稍远距离的成像效果不太好。

利用近红外相机成像特点，如屏幕无法成像、不同材质反射率不同等，结合可见光摄像头组成的双目人脸识别系统，其在成本增加不太多的条件下，能够有效提高单可见光相机的活体检测能力，但目前对于部分纸质打印、面具等攻击物，活体检测还是存在误检的情况。而可见光、近红外双目系统当前常规的图像处理方式是两路图像各自处理，分别进行人脸检测、活体检测等处理后再对结果进行合并，最后得到活体检测识别结果，相比可见光单目系统，其计算资源消耗会成倍增加。

综上所述，需要提出一种能够提高人脸检测率、降低资源消耗的基于可见光和近红外的双目人脸活体检测方法。

发明内容

有鉴于此，本发明的主要目的在于实现基于可见光和近红外的双目人脸活体检测，并且能够提高人脸检测准确率，降低资源消耗。

为达到上述目的，按照本发明的一个方面，提供了一种双目人脸活体检测方法，该方法包括：

第一步骤，分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；

第二步骤，采用双目标定法，对近红外图像和可见光图像进行双目标定，获取标定参数；

第三步骤，对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；

第四步骤，分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

进一步地，所述第二步骤中双目标定法包括：采用两组以上连线与双目视觉系统成像面平行的两个特征点作为标定点，根据双目视差与标定点对X轴方向距离为线性关系，拟合出对应的线性方程参数，将线性方程参数作为标定参数。

进一步地，所述第二步骤中双目标定法包括以下的一种：视差标定法、基于图像矫正的视差标定法、人脸特征点标定法。

进一步地，所述视差标定法包括：将可见光相机、近红外相机固定，分别将带有特征点的物体放置在距相机不同距离位置，至少存在两个特征点的连线与成像面平行，采集两组以上由可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量，N≥2；针对每组可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的物体的特征点，将相对应的特征点记作标定点对；选取两个连线与成像面平行的特征点作为一组，获取两个特征点在可见光图像的横坐标

获取两个特征点在可见光图像的横坐标

获取两个特征点在在世界坐标系中X轴方向的坐标

其中j＝{1，2，…，M}，M表示N组图像对中选取的M组两个连线与成像面平行的特征点对，j表示第j对特征点对；计算每组特征点对的视差

计算每组特征点对图像上X轴方向间距

计算每组特征点对实际X轴方向间距

根据每组特征点，采用曲线拟合方法，根据公式

获取可见光相机与近红外相机之间的基线距B，其中w_c表示物体上连线与成像面平行的两个特征点在世界坐标系下X轴方向的间距，W表示对应的两个特征点在图像中X轴方向的间距，将基线距B作为标定参数并输出。

进一步地，所述基于图像矫正的视差标定法包括：将可见光图像作为左图像，近红外图像作为右图像；采用立体校正方法，根据标定得到的立体视觉摄像机内、外参数，获取左、右图像校正映射参数表M_left、M_right；采用坐标映射方法，获取校正后的左、右图像坐标；对校正后的左、右图像坐标，采用视差标定法，获取校正后的左图像与右图像的基线距B；将左、右图像校正映射参数表M_left、M_right和基线距B作为标定参数并输出。

进一步地，所述人脸特征点标定法包括：

多组图像对采集步骤，将可见光相机、近红外相机固定，同一被测人位于距离相机不同距离位置，分别采集多组由包含被测人人脸的可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，M}，N为采集的图像对的数量；

图像对特征点提取步骤，针对每组包含人脸的可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的人脸特征点，将相对应的人脸特征点记作标定点对；

双目视差计算参数获取步骤，计算图像对中人脸框宽度和眼距，计算图像对中可见光图像的眼距与人脸框宽度的比值，计算近红外图像与可见光图像的缩放比，将可见光图像中人脸特征点坐标缩放至近红外图像尺度，计算标定点对在Y方向的偏离量，采用曲线拟合方法，获取标定参数并输出。

进一步地，所述图像对特征点提取步骤包括：采用人脸检测方法，分别获取可见光图像和近红外图像中的人脸框{FIV_i,FINi_i}，其中FIV_i和FINi_i分别表示第i组可见光图像和近红外图像中的人脸框；分别获取图像对中的人脸框的左眼中心点、右眼中心点作为图像对的人脸特征点序列{PVEl_i,PVEr_i,PNiEl_i,PNiEr_i}，其中PVEl_i、PVEr_i分别表示第i组可见光图像中的人脸框左眼、右眼中心点，PNiEl_i、PNiEr_i分别表示第i组近红外图像中的人脸框左眼、右眼中心点；将图像对的人脸特征点序列{PVEl_i,PVEr_i,PNiEl_i,PNiEr_i}作为标定点对。

进一步地，所述双目视差计算参数获取步骤包括：

人脸框宽度和眼距计算步骤，针对每组图像对，通过可见光图像中人脸框的右边界和左边界作差，得到可见光图像中人脸框宽度WFV_i，通过近红外图像中人脸框的右边界和左边界作差，得到近红外图像的人脸框宽度WFNi_i；根据公式DEV_i＝xPVEr_i-xPVEl_i，计算每组图像对中可见光图像的眼距DEV_i，其中xPVEr_i和xPVEl_i分别为第i组可见光图像中的人脸框右眼中心点左眼中心点的X坐标值；根据公式DENi_i＝xPNiEr_i-xPNiEl_i，计算每组图像对中近红外图像的眼距DENi_i，其中xPNiEr_i和xPNiEl_i分别为第i组近红外图像中的人脸框右眼中心点和左眼中心点X坐标值；根据公式

计算图像对中可见光图像的眼距与人脸框宽度的比值RV；

可见光图像缩放步骤，根据公式

计算近红外图像与可见光图像的缩放比R；将可见光图像人脸特征点缩放至近红外图像尺度，即PVEl_i＝PVEl_i*R，PVEr_i＝PVEr_i*R；

标定参数计算步骤，根据公式

计算标定点对在Y方向的偏离量Δy；根据标定点对中对应人脸特征点的差值，计算每组标定点对的双目视差D_i，将可见光图像中的眼距或者近红外图像中的眼距或者可见光图像和近红外图像中的眼距的平均值，作为图像对中眼距W_i ^e；根据多组标定点对，采用曲线拟合方法，根据公式f_aW_i ^e+f_b＝D_i，获取与基线相关的参数f_a和与X方向偏移量相关的参数f_b；根据公式

获取与基线相关的参数

将近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b作为4个标定参数并输出。

进一步地，所述第三步骤包括：

可见光图像人脸框获取步骤，采用人脸检测方法，对可见光图像进行人脸检测，获取可见光图像中人脸框的位置坐标，提取可见光图像人脸框box1；

近红外图像人脸框获取步骤，根据标定参数、可见光图像人脸框的位置坐标，获取近红外图像人脸框的位置坐标，提取近红外图像人脸子框box2；

人脸子图像获取步骤，根据可见光图像人脸框box1的位置坐标，从可见光图像中对应位置提取的图像作为可见光人脸子图像，根据红外图像人脸子框box2的位置坐标，从近红外图像中对应位置提取的图像作为近红外人脸子图像。

进一步地，所述近红外图像人脸框获取步骤包括：根据双目视差与图像人脸宽度的线性关系，采用标定参数，计算得到双目视差，再由可见光图像人脸框坐标，根据视差偏移得到近红外图像人脸框坐标。

进一步地，所述近红外图像人脸框获取步骤包括以下步骤的一种：基于视差标定法的近红外图像人脸框获取步骤、基于图像矫正视差标定法的近红外图像人脸框获取步骤、基于人脸特征点标定法的近红外图像人脸框获取步骤。

进一步地，所述基于视差标定法的近红外图像人脸框获取步骤包括：计算双目视差

根据公式box2.y＝box1.y和box2.x＝box1.x+D，分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中B为基线距，Wbox1为可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，基线距B为所述视差标定法获得的标定参数。

进一步地，所述基于图像矫正视差标定法的近红外图像人脸框获取步骤包括：根据左、右图像校正映射参数表M_left、M_right，对可见光和近红外图像进行立体校正，在校正后的可见光图像中得到提取人脸框box1′，计算双目视差

根据公式box2′.y＝M_left(box1′.y)和box2′.x＝M_right(box1′.x)+D，分别计算近红外图像人脸框Y和X方向坐标box2′.y和box2′.x，其中B为基线距，Wbox1′为校正后的可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1′.x和box1′.y分别为校正后的可见光图像人脸框的X和Y方向的坐标，左和右图像校正映射参数表M_left和M_right、基线距B为所述基于图像矫正的视差标定法获得的标定参数。

进一步地，所述基于人脸特征点标定法的近红外图像人脸框获取步骤包括：根据公式box2.y＝box1.y*R+Δy和

分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，Wbox1为可见光图像人脸框的宽度，近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b为所述人脸特征点标定法获得的4个标定参数。

进一步地，所述人脸子图像获取步骤还包括：分别根据可见光图像人脸框box1和近红外图像人脸框box2的位置坐标，采用人脸对齐方法，进行人脸对齐校正处理，分别从校正后的可见光图像和近红外图像中对应人脸框位置提取的图像作为可见光人脸子图像和近红外人脸子图像。

进一步地，所述第四步骤包括：

人脸子图像归一化处理步骤，分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，获取归一化可见光人脸子图像和归一化近红外人脸子图像；

人脸子图像活体检测步骤，对归一化可见光人脸子图像进行卷积处理，获取对应的特征图Map1；对归一化近红外人脸子图像进行卷积处理，获取对应的特征图Map2；对特征图Map1和Map2进行合并处理，获得合并特征图Map3；对合并特征图Map3进行卷积处理，输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

按照本发明的另一个方面，提供了一种双目人脸活体检测装置，该装置包括：

双目图像采集模块，用于分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；

双目标定参数获取模块，用于采用双目标定模块，对近红外图像和可见光图像进行双目标定，获取标定参数；

双目图像人脸子图像获取模块，用于对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；

双目图像人脸子图像活体检测模块，用于分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

进一步地，所述双目标定参数获取模块中双目标定模块包括：用于采用两组以上连线与双目视觉系统成像面平行的两个特征点作为标定点，根据双目视差与标定点对X轴方向距离为线性关系，拟合出对应的线性方程参数，将线性方程参数作为标定参数。

进一步地，所述双目标定参数获取模块中双目标定模块包括以下的一种：视差标定模块、基于图像矫正的视差标定模块、人脸特征点标定模块。

进一步地，所述视差标定模块包括：用于将可见光相机、近红外相机固定，分别将带有特征点的物体放置在距相机不同距离位置，至少存在两个特征点的连线与成像面平行，采集两组以上由可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，M}，N为采集的图像对的数量，N≥2；针对每组可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的物体的特征点，将相对应的特征点记作标定点对；选取两个连线与成像面平行的特征点作为一组，获取两个特征点在可见光图像的横坐标

获取两个特征点在可见光图像的横坐标

获取两个特征点在在世界坐标系中X轴方向的坐标

其中j＝{1，2，…，M}，M表示N组图像对中选取的M组两个连线与成像面平行的特征点对，j表示第j对特征点对；计算每组特征点对的视差

计算每组特征点对图像上X轴方向间距

计算每组特征点对实际X轴方向间距

根据每组特征点，采用曲线拟合方法，根据公式

获取可见光相机与近红外相机之间的基线距B，其中w_c表示物体上连线与成像面平行的两个特征点在世界坐标系下X轴方向的间距，W表示对应的两个特征点在图像中X轴方向的间距，将基线距B作为标定参数并输出。

进一步地，所述基于图像矫正的视差标定模块包括：用于将可见光图像作为左图像，近红外图像作为右图像；采用立体校正方法，根据标定得到的立体视觉摄像机内、外参数，获取左、右图像校正映射参数表M_left、M_right；采用坐标映射方法，获取校正后的左、右图像坐标；对校正后的左、右图像坐标，采用视差标定模块，获取校正后的左图像与右图像的基线距B；将左、右图像校正映射参数表M_left、M_right和基线距B作为标定参数并输出。

进一步地，所述人脸特征点标定模块包括：

多组图像对采集模块，用于将可见光相机、近红外相机固定，同一被测人位于距离相机不同距离位置，分别采集多组由包含被测人人脸的可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量；

图像对特征点提取模块，用于针对每组包含人脸的可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的人脸特征点，将相对应的人脸特征点记作标定点对；

双目视差计算参数获取模块，用于计算图像对中人脸框宽度和眼距，计算图像对中可见光图像的眼距与人脸框宽度的比值，计算近红外图像与可见光图像的缩放比，将可见光图像中人脸特征点坐标缩放至近红外图像尺度，计算标定点对在Y方向的偏离量，采用曲线拟合方法，获取标定参数并输出。

进一步地，所述图像对特征点提取模块包括：用于采用人脸检测方法，分别获取可见光图像和近红外图像中的人脸框{FIV_i,FINi_i}，其中FIV_i和FINi_i分别表示第i组可见光图像和近红外图像中的人脸框；分别获取图像对中的人脸框的左眼中心点、右眼中心点作为图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}，其中PVEl_i、PVEr_i分别表示第i组可见光图像中的人脸框左眼、右眼中心点，PNiEl_i、PNiEr_i分别表示第i组近红外图像中的人脸框左眼、右眼中心点；将图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}作为标定点对。

进一步地，所述双目视差计算参数获取模块包括：

人脸框宽度和眼距计算模块，用于针对每组图像对，通过可见光图像中人脸框的右边界和左边界作差，得到可见光图像中人脸框宽度WFV_i，通过近红外图像中人脸框的右边界和左边界作差，得到近红外图像的人脸框宽度WFNi_i；根据公式DEV_i＝xPVEr_i-xPVEl_i，计算每组图像对中可见光图像的眼距DEV_i，其中xPVEr_i和xPVEl_i分别为第i组可见光图像中的人脸框右眼中心点左眼中心点的X坐标值；根据公式DENi_i＝xPNiEr_i-xPNiEl_i，计算每组图像对中近红外图像的眼距DENi_i，其中xPNiEr_i和xPNiEl_i分别为第i组近红外图像中的人脸框右眼中心点和左眼中心点X坐标值；根据公式

计算图像对中可见光图像的眼距与人脸框宽度的比值RV；

可见光图像缩放模块，用于根据公式

计算近红外图像与可见光图像的缩放比R；将可见光图像人脸特征点缩放至近红外图像尺度，即PVEl_i＝PVEl_i*R，PVEr_i＝PVEr_i*R；

标定参数计算模块，用于根据公式

计算标定点对在Y方向的偏离量Δy；根据标定点对中对应人脸特征点的差值，计算每组标定点对的双目视差D_i，将可见光图像中的眼距或者近红外图像中的眼距或者可见光图像和近红外图像中的眼距的平均值，作为图像对中眼距W_i ^e；根据多组标定点对，采用曲线拟合方法，根据公式f_aW_i ^e+f_b＝D_i，获取与基线相关的参数f_a和与X方向偏移量相关的参数f_b；根据公式

获取与基线相关的参数

将近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b作为4个标定参数并输出。

进一步地，所述双目图像人脸子图像获取模块包括：

可见光图像人脸框获取模块，用于采用人脸检测方法，对可见光图像进行人脸检测，获取可见光图像中人脸框的位置坐标，提取可见光图像人脸框box1；

近红外图像人脸框获取模块，用于根据标定参数、可见光图像人脸框的位置坐标，获取近红外图像人脸框的位置坐标，提取近红外图像人脸子框box2；

人脸子图像获取模块，用于根据可见光图像人脸框box1的位置坐标，从可见光图像中对应位置提取的图像作为可见光人脸子图像，根据红外图像人脸子框box2的位置坐标，从近红外图像中对应位置提取的图像作为近红外人脸子图像。

进一步地，所述近红外图像人脸框获取模块包括：用于根据双目视差与图像人脸宽度的线性关系，采用标定参数，计算得到双目视差，再由可见光图像人脸框坐标，根据视差偏移得到近红外图像人脸框坐标。

进一步地，所述近红外图像人脸框获取模块包括以下模块的一种：基于视差标定法的近红外图像人脸框获取模块、基于图像矫正视差标定法的近红外图像人脸框获取模块、基于人脸特征点标定法的近红外图像人脸框获取模块。

进一步地，所述基于视差标定法的近红外图像人脸框获取模块包括：用于计算双目视差

根据公式box2.y＝box1.y和box2.x＝box1.x+D，分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中B为基线距，Wbox1为可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，基线距B为所述视差标定模块获得的标定参数。

进一步地，所述基于图像矫正视差标定法的近红外图像人脸框获取模块包括：用于根据左、右图像校正映射参数表M_left、M_right，对可见光和近红外图像进行立体校正，在校正后的可见光图像中得到提取人脸框box1′，计算双目视差

根据公式box2′.y＝M_left(box1′.y)和box2′.x＝M_right(box1′.x)+D，分别计算近红外图像人脸框Y和X方向坐标box2′.y和box2′.x，其中B为基线距，Wbox1′为校正后的可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1′.x和box1′.y分别为校正后的可见光图像人脸框的X和Y方向的坐标，左和右图像校正映射参数表M_left和M_right、基线距B为所述基于图像矫正的视差标定模块获得的标定参数。

进一步地，所述基于人脸特征点标定法的近红外图像人脸框获取模块包括：用于根据公式box2.y＝box1.y*R+Δy和

分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，Wbox1为可见光图像人脸框的宽度，近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b为所述人脸特征点标定模块获得的4个标定参数。

进一步地，所述人脸子图像获取模块还包括：用于分别根据可见光图像人脸框box1和近红外图像人脸框box2的位置坐标，采用人脸对齐方法，进行人脸对齐校正处理，分别从校正后的可见光图像和近红外图像中对应人脸框位置提取的图像作为可见光人脸子图像和近红外人脸子图像。

进一步地，所述双目图像人脸子图像活体检测模块包括：

人脸子图像归一化处理模块，用于分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，获取归一化可见光人脸子图像和归一化近红外人脸子图像；

人脸子图像活体检测模块，用于对归一化可见光人脸子图像进行卷积处理，获取对应的特征图Map1；对归一化近红外人脸子图像进行卷积处理，获取对应的特征图Map2；对特征图Map1和Map2进行合并处理，获得合并特征图Map3；对合并特征图Map3进行卷积处理，输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

与现有的双目人脸活体检测技术相比，本发明的双目人脸活体检测方法及装置采用，能够有效地区分活体和非活体人脸。

附图说明

图1示出了按照本发明的一种双目人脸活体检测方法的流程图。

图2示出了按照本发明的一种双目人脸活体检测装置的框架图。

具体实施方式

为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的一种双目人脸活体检测方法的流程图。如图1所示，按照本发明的一种双目人脸活体检测方法包括：

第一步骤S1，分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；

第二步骤S2，采用双目标定法，对近红外图像和可见光图像进行双目标定，获取标定参数；

第三步骤S3，对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；

第四步骤S4，分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

进一步地，所述第一步骤S1包括：采用可见光相机，采集可见光图像；采用近红外相机，采集近红外图像。

进一步地，所述第二步骤S2中双目标定法包括：采用两组以上连线与双目视觉系统成像面平行的两个特征点作为标定点，根据双目视差与标定点对X轴方向距离为线性关系，拟合出对应的线性方程参数，将线性方程参数作为标定参数。

进一步地，所述第二步骤S2中双目标定法包括以下的一种：视差标定法、基于图像矫正的视差标定法、人脸特征点标定法。

进一步地，所述视差标定法包括：将可见光相机、近红外相机固定，分别将带有特征点的物体放置在距相机不同距离位置，至少存在两个特征点的连线与成像面平行，采集两组以上由可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量，N≥2；针对每组可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的物体的特征点，将相对应的特征点记作标定点对；选取两个连线与成像面平行的特征点作为一组，获取两个特征点在可见光图像的横坐标

获取两个特征点在近红外图像的横坐标

获取两个特征点在在世界坐标系中X轴方向的坐标

其中j＝{1，2，…，M}，M表示N组图像对中选取的M组两个连线与成像面平行的特征点对，j表示第j对特征点对；计算每组特征点对的视差

计算每组特征点对图像上X轴方向间距

计算每组特征点对实际X轴方向间距

根据每组特征点，采用曲线拟合方法，根据公式

获取可见光相机与近红外相机之间的基线距B，其中w_c表示物体上连线与成像面平行的两个特征点在世界坐标系下X轴方向的间距，W表示对应的两个特征点在图像中X轴方向的间距，将基线距B作为标定参数并输出。

进一步地，所述物体包括以下的一种：靶标、标定物。

进一步地，所述基于图像矫正的视差标定法包括：将可见光图像作为左图像，近红外图像作为右图像；采用立体校正方法，根据标定得到的立体视觉摄像机内、外参数，获取左、右图像校正映射参数表M_left、M_right；采用坐标映射方法，获取校正后的左、右图像坐标；对校正后的左、右图像坐标，采用视差标定法，获取校正后的左图像与右图像的基线距B；将左、右图像校正映射参数表M_left、M_right和基线距B作为标定参数并输出。

进一步地，所述立体校正方法为Bouguet立体校正方法。

进一步地，所述人脸特征点标定法包括：

多组图像对采集步骤S21，将可见光相机、近红外相机固定，同一被测人位于距离相机不同距离位置，分别采集多组由包含被测人人脸的可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量；

图像对特征点提取步骤S22，针对每组包含人脸的可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的人脸特征点，将相对应的人脸特征点记作标定点对；

双目视差计算参数获取步骤S23，计算图像对中人脸框宽度和眼距，计算图像对中可见光图像的眼距与人脸框宽度的比值，计算近红外图像与可见光图像的缩放比，将可见光图像中人脸特征点坐标缩放至近红外图像尺度，计算标定点对在Y方向的偏离量，采用曲线拟合方法，获取标定参数并输出。

进一步地，所述多组图像对采集步骤S21中采集过程中，被测人人脸正面朝向相机。

进一步地，所述图像对特征点提取步骤S22包括：采用人脸检测方法，分别获取可见光图像和近红外图像中的人脸框{FIV_i,FINi_i}，其中FIV_i和FINi_i分别表示第i组可见光图像和近红外图像中的人脸框；分别获取图像对中的人脸框的左眼中心点、右眼中心点作为图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}，其中PVEl_i、PVEr_i分别表示第i组可见光图像中的人脸框左眼、右眼中心点，PNiEl_i、PNiEr_i分别表示第i组近红外图像中的人脸框左眼、右眼中心点；将图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}作为标定点对。

进一步地，所述双目视差计算参数获取步骤S23包括：

人脸框宽度和眼距计算步骤S231，针对每组图像对，通过可见光图像中人脸框的右边界和左边界作差，得到可见光图像中人脸框宽度WFV_i，通过近红外图像中人脸框的右边界和左边界作差，得到近红外图像的人脸框宽度WFNi_i；根据公式DEV_i＝xPVEr_i-xPVEl_i，计算每组图像对中可见光图像的眼距DEV_i，其中xPVEr_i和xPVEl_i分别为第i组可见光图像中的人脸框右眼中心点左眼中心点的X坐标值；根据公式DENi_i＝xPNiEr_i-xPNiEl_i，计算每组图像对中近红外图像的眼距DENi_i，其中xPNiEr_i和xPNiEl_i分别为第i组近红外图像中的人脸框右眼中心点和左眼中心点X坐标值；根据公式

计算图像对中可见光图像的眼距与人脸框宽度的比值RV；

可见光图像缩放步骤S232，根据公式

计算近红外图像与可见光图像的缩放比R；将可见光图像人脸特征点缩放至近红外图像尺度，即PVEl_i＝PVEl_i*R，PVEr_i＝PVEr_i*R；

标定参数计算步骤S233，根据公式

计算标定点对在Y方向的偏离量Δy；根据标定点对中对应人脸特征点的差值，计算每组标定点对的双目视差D_i，将可见光图像中的眼距或者近红外图像中的眼距或者可见光图像和近红外图像中的眼距的平均值，作为图像对中眼距W_i ^e；根据多组标定点对，采用曲线拟合方法，根据公式f_aW_i ^e+f_b＝D_i，获取与基线相关的参数f_a和与X方向偏移量相关的参数f_b；根据公式

获取与基线相关的参数

将近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b作为4个标定参数并输出。

示例性地，所述标定参数计算步骤S233中，根据公式D_i＝xPNiEl_i-xPVEl_i，或者D_i＝xPNiEr_i-xPVEr_i，或者D_i＝(xPNiEl_i-xPVEl_i+xPNiEr_i-xPVEr_i)*0.5，计算每组标定点对的双目视差D_i；根据公式W_i ^e＝DEV_i，或者W_i ^e＝DENi_i，或者W_i ^e＝0.5*(DEV_i+DENi_i)，计算图像对中眼距W_i ^e。

进一步地，所述第三步骤S3包括：

可见光图像人脸框获取步骤S31，采用人脸检测方法，对可见光图像进行人脸检测，获取可见光图像中人脸框的位置坐标，提取可见光图像人脸框box1；

近红外图像人脸框获取步骤S32，根据标定参数、可见光图像人脸框的位置坐标，获取近红外图像人脸框的位置坐标，提取近红外图像人脸子框box2；

人脸子图像获取步骤S33，根据可见光图像人脸框box1的位置坐标，从可见光图像中对应位置提取的图像作为可见光人脸子图像，根据红外图像人脸子框box2的位置坐标，从近红外图像中对应位置提取的图像作为近红外人脸子图像。

进一步地，所述人脸检测方法包括以下一种或者多种的组合：基于分类器的人脸检测方法、基于神经网络的人脸检测方法。

进一步地，所述近红外图像人脸框获取步骤S32包括：根据双目视差与图像人脸宽度的线性关系，采用标定参数，计算得到双目视差，再由可见光图像人脸框坐标，根据视差偏移得到近红外图像人脸框坐标。

进一步地，所述近红外图像人脸框获取步骤S32包括以下步骤的一种：基于视差标定法的近红外图像人脸框获取步骤、基于图像矫正视差标定法的近红外图像人脸框获取步骤、基于人脸特征点标定法的近红外图像人脸框获取步骤。

进一步地，所述基于视差标定法的近红外图像人脸框获取步骤包括：计算双目视差

根据公式box2.y＝box1.y和box2.x＝box1.x+D，分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中B为基线距，Wbox1为可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，基线距B为所述视差标定法获得的标定参数。

其中，所述人脸实际宽度Wface可以人为设定。进一步地，所述人脸实际宽度Wface的取值范围为12～20厘米。

进一步地，所述基于图像矫正视差标定法的近红外图像人脸框获取步骤包括：根据左、右图像校正映射参数表M_left、M_right，对可见光和近红外图像进行立体校正，在校正后的可见光图像中得到提取人脸框box1′，计算双目视差

根据公式box2′.y＝M_left(box1′.y)和box2′.x＝M_right(box1′.x)+D，分别计算近红外图像人脸框Y和X方向坐标box2′.y和box2′.x，其中B为基线距，Wbox1′为校正后的可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1′.x和box1′.y分别为校正后的可见光图像人脸框的X和Y方向的坐标，左和右图像校正映射参数表M_left和M_right、基线距B为所述基于图像矫正的视差标定法获得的标定参数。

其中，所述人脸实际宽度Wface可以人为设定。进一步地，所述人脸实际宽度Wface的取值范围为12～20厘米。

进一步地，所述基于人脸特征点标定法的近红外图像人脸框获取步骤包括：根据公式box2.y＝box1.y*R+Δy和

分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，Wbox1为可见光图像人脸框的宽度，近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b为所述人脸特征点标定法获得的4个标定参数。

进一步地，所述人脸子图像获取步骤S33还包括：分别根据可见光图像人脸框box1和近红外图像人脸框box2的位置坐标，采用人脸对齐方法，进行人脸对齐校正处理，分别从校正后的可见光图像和近红外图像中对应人脸框位置提取的图像作为可见光人脸子图像和近红外人脸子图像。

进一步地，所述人脸对齐方法包括：采用分类器或者神经网络提取人脸特征点，根据特征点坐标进行仿射变换，获得对齐校正后图像。

进一步地，所述第四步骤S4包括：

人脸子图像归一化处理步骤S41，分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，获取归一化可见光人脸子图像和归一化近红外人脸子图像；

人脸子图像活体检测步骤S42，对归一化可见光人脸子图像进行卷积处理，获取对应的特征图Map1；对归一化近红外人脸子图像进行卷积处理，获取对应的特征图Map2；对特征图Map1和Map2进行合并处理，获得合并特征图Map3；对合并特征图Map3进行卷积处理，输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

图2给出了按照本发明的一种双目人脸活体检测装置的框架图。如图2所示，按照本发明的一种双目人脸活体检测装置包括：

双目图像采集模块1，用于分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；

双目标定参数获取模块2，用于采用双目标定模块，对近红外图像和可见光图像进行双目标定，获取标定参数；

双目图像人脸子图像获取模块3，用于对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；

双目图像人脸子图像活体检测模块4，用于分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

进一步地，所述双目图像采集模块1包括：可见光相机和近红外相机，其中所述可见光相机用于采集可见光图像，所述近红外相机用于采集近红外图像。

进一步地，所述双目标定参数获取模块2中双目标定模块包括：用于采用两组以上连线与双目视觉系统成像面平行的两个特征点作为标定点，根据双目视差与标定点对X轴方向距离为线性关系，拟合出对应的线性方程参数，将线性方程参数作为标定参数。

进一步地，所述双目标定参数获取模块2中双目标定模块包括以下的一种：视差标定模块、基于图像矫正的视差标定模块、人脸特征点标定模块。

进一步地，所述视差标定模块包括：用于将可见光相机、近红外相机固定，分别将带有特征点的物体放置在距相机不同距离位置，至少存在两个特征点的连线与成像面平行，采集两组以上由可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量，N≥2；针对每组可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的物体的特征点，将相对应的特征点记作标定点对；选取两个连线与成像面平行的特征点作为一组，获取两个特征点在可见光图像的横坐标

获取两个特征点在可见光图像的横坐标

获取两个特征点在在世界坐标系中X轴方向的坐标

其中j＝{1，2，…，M}，M表示N组图像对中选取的M组两个连线与成像面平行的特征点对，j表示第j对特征点对；计算每组特征点对的视差

计算每组特征点对图像上X轴方向间距

计算每组特征点对实际X轴方向间距

根据每组特征点，采用曲线拟合方法，根据公式

获取可见光相机与近红外相机之间的基线距B，其中w_c表示物体上连线与成像面平行的两个特征点在世界坐标系下X轴方向的间距，W表示对应的两个特征点在图像中X轴方向的间距，将基线距B作为标定参数并输出。

进一步地，所述物体包括以下的一种：靶标、标定物。

进一步地，所述基于图像矫正的视差标定模块包括：用于将可见光图像作为左图像，近红外图像作为右图像；采用立体校正方法，根据标定得到的立体视觉摄像机内、外参数，获取左、右图像校正映射参数表M_left、M_right；采用坐标映射方法，获取校正后的左、右图像坐标；对校正后的左、右图像坐标，采用视差标定模块，获取校正后的左图像与右图像的基线距B；将左、右图像校正映射参数表M_left、M_right和基线距B作为标定参数并输出。

进一步地，所述人脸特征点标定模块包括：

多组图像对采集模块21，用于将可见光相机、近红外相机固定，同一被测人位于距离相机不同距离位置，分别采集多组由包含被测人人脸的可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量；

图像对特征点提取模块22，用于针对每组包含人脸的可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的人脸特征点，将相对应的人脸特征点记作标定点对；

双目视差计算参数获取模块23，用于计算图像对中人脸框宽度和眼距，计算图像对中可见光图像的眼距与人脸框宽度的比值，计算近红外图像与可见光图像的缩放比，将可见光图像中人脸特征点坐标缩放至近红外图像尺度，计算标定点对在Y方向的偏离量，采用曲线拟合方法，获取标定参数并输出。

进一步地，所述多组图像对采集模块21中采集过程中，被测人人脸正面朝向相机。

进一步地，所述图像对特征点提取模块22包括：用于采用人脸检测方法，分别获取可见光图像和近红外图像中的人脸框{FIV_i,FINi_i}，其中FIV_i和FINi_i分别表示第i组可见光图像和近红外图像中的人脸框；分别获取图像对中的人脸框的左眼中心点、右眼中心点作为图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}，其中PVEl_i、PVEr_i分别表示第i组可见光图像中的人脸框左眼、右眼中心点，PNiEl_i、PNiEr_i分别表示第i组近红外图像中的人脸框左眼、右眼中心点；将图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}作为标定点对。

进一步地，所述双目视差计算参数获取模块23包括：

人脸框宽度和眼距计算模块231，用于针对每组图像对，通过可见光图像中人脸框的右边界和左边界作差，得到可见光图像中人脸框宽度WFV_i，通过近红外图像中人脸框的右边界和左边界作差，得到近红外图像的人脸框宽度WFNi_i；根据公式DEV_i＝xPVEr_i-xPVEl_i，计算每组图像对中可见光图像的眼距DEV_i，其中xPVEr_i和xPVEl_i分别为第i组可见光图像中的人脸框右眼中心点左眼中心点的X坐标值；根据公式DENi_i＝xPNiEr_i-xPNiEl_i，计算每组图像对中近红外图像的眼距DENi_i，其中xPNiEr_i和xPNiEl_i分别为第i组近红外图像中的人脸框右眼中心点和左眼中心点X坐标值；根据公式

计算图像对中可见光图像的眼距与人脸框宽度的比值RV；

可见光图像缩放模块232，用于根据公式

计算近红外图像与可见光图像的缩放比R；将可见光图像人脸特征点缩放至近红外图像尺度，即PVEl_i＝PVEl_i*R，PVEr_i＝PVEr_i*R；

标定参数计算模块233，用于根据公式

计算标定点对在Y方向的偏离量Δy；根据标定点对中对应人脸特征点的差值，计算每组标定点对的双目视差D_i，将可见光图像中的眼距或者近红外图像中的眼距或者可见光图像和近红外图像中的眼距的平均值，作为图像对中眼距W_i ^e；根据多组标定点对，采用曲线拟合方法，根据公式f_aW_i ^e+f_b＝D_i，获取与基线相关的参数f_a和与X方向偏移量相关的参数f_b；根据公式

获取与基线相关的参数

将近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b作为4个标定参数并输出。

进一步地，所述双目图像人脸子图像获取模块3包括：

可见光图像人脸框获取模块31，用于采用人脸检测方法，对可见光图像进行人脸检测，获取可见光图像中人脸框的位置坐标，提取可见光图像人脸框box1；

近红外图像人脸框获取模块32，用于根据标定参数、可见光图像人脸框的位置坐标，获取近红外图像人脸框的位置坐标，提取近红外图像人脸子框box2；

人脸子图像获取模块33，用于根据可见光图像人脸框box1的位置坐标，从可见光图像中对应位置提取的图像作为可见光人脸子图像，根据红外图像人脸子框box2的位置坐标，从近红外图像中对应位置提取的图像作为近红外人脸子图像。

进一步地，所述近红外图像人脸框获取模块32包括：用于根据双目视差与图像人脸宽度的线性关系，采用标定参数，计算得到双目视差，再由可见光图像人脸框坐标，根据视差偏移得到近红外图像人脸框坐标。

进一步地，所述近红外图像人脸框获取模块32包括以下模块的一种：基于视差标定法的近红外图像人脸框获取模块、基于图像矫正视差标定法的近红外图像人脸框获取模块、基于人脸特征点标定法的近红外图像人脸框获取模块。

进一步地，所述基于视差标定法的近红外图像人脸框获取模块包括：用于计算双目视差

根据公式box2.y＝box1.y和box2.x＝box1.x+D，分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中B为基线距，Wbox1为可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，基线距B为所述视差标定模块获得的标定参数。

其中，所述人脸实际宽度Wface可以人为设定。进一步地，所述人脸实际宽度Wface的取值范围为12～20厘米。

进一步地，所述基于图像矫正视差标定法的近红外图像人脸框获取模块包括：用于根据左、右图像校正映射参数表M_left、M_right，对可见光和近红外图像进行立体校正，在校正后的可见光图像中得到提取人脸框box1′，计算双目视差

根据公式box2′.y＝M_left(box1′.y)和box2′.x＝M_right(box1′.x)+D，分别计算近红外图像人脸框Y和X方向坐标box2′.y和box2′.x，其中B为基线距，Wbox1′为校正后的可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1′.x和box1′.y分别为校正后的可见光图像人脸框的X和Y方向的坐标，左和右图像校正映射参数表M_left和M_right、基线距B为所述基于图像矫正的视差标定模块获得的标定参数。

进一步地，所述基于人脸特征点标定法的近红外图像人脸框获取模块包括：用于根据公式box2.y＝box1.y*R+Δy和

分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，Wbox1为可见光图像人脸框的宽度，近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b为所述人脸特征点标定模块获得的4个标定参数。

进一步地，所述人脸子图像获取模块33还包括：用于分别根据可见光图像人脸框box1和近红外图像人脸框box2的位置坐标，采用人脸对齐方法，进行人脸对齐校正处理，分别从校正后的可见光图像和近红外图像中对应人脸框位置提取的图像作为可见光人脸子图像和近红外人脸子图像。

进一步地，所述双目图像人脸子图像活体检测模块4包括：

人脸子图像归一化处理模块41，用于分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，获取归一化可见光人脸子图像和归一化近红外人脸子图像；

人脸子图像活体检测模块42，用于对归一化可见光人脸子图像进行卷积处理，获取对应的特征图Map1；对归一化近红外人脸子图像进行卷积处理，获取对应的特征图Map2；对特征图Map1和Map2进行合并处理，获得合并特征图Map3；对合并特征图Map3进行卷积处理，输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

与现有的双目人脸活体检测技术相比，本发明的一种双目人脸活体检测方法及装置基于可见光和近红外图像，由可见光图像人脸检测结果目标框位置，按标定参数映射得到近红外图像人脸框位置，进而将2个人脸图像作为输入，送入1个经过训练的深度学习卷积神经网络进行检测，得到人脸活体检测结果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (21)

1.一种双目人脸活体检测方法，其特征在于，该方法包括：

第一步骤，分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；

第二步骤，采用双目标定法，对近红外图像和可见光图像进行双目标定，获取标定参数；

第三步骤，对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；

第四步骤，分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

2.如权利要求1所述的方法，其特征在于，所述第二步骤中双目标定法包括：采用两组以上连线与双目视觉系统成像面平行的两个特征点作为标定点，根据双目视差与标定点对X轴方向距离为线性关系，拟合出对应的线性方程参数，将线性方程参数作为标定参数。

3.如权利要求2所述的方法，其特征在于，所述双目标定法包括以下的一种：

视差标定法、基于图像矫正的视差标定法、人脸特征点标定法；

其中所述视差标定法包括：将可见光相机、近红外相机固定，分别将带有特征点的物体放置在距相机不同距离位置，至少存在两个特征点的连线与成像面平行，采集两组以上由可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量，N≥2；针对每组可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的物体的特征点，将相对应的特征点记作标定点对；选取两个连线与成像面平行的特征点作为一组，获取两个特征点在可见光图像的横坐标

获取两个特征点在可见光图像的横坐标

获取两个特征点在在世界坐标系中X轴方向的坐标

其中j＝{1，2，…，M}，M表示N组图像对中选取的M组两个连线与成像面平行的特征点对，j表示第j对特征点对；计算每组特征点对的视差

计算每组特征点对图像上X轴方向间距

计算每组特征点对实际X轴方向间距

根据每组特征点，采用曲线拟合方法，根据公式

获取可见光相机与近红外相机之间的基线距B，其中w_c表示物体上连线与成像面平行的两个特征点在世界坐标系下X轴方向的间距，W表示对应的两个特征点在图像中X轴方向的间距，将基线距B作为标定参数并输出；

所述基于图像矫正的视差标定法包括：将可见光图像作为左图像，近红外图像作为右图像；采用立体校正方法，根据标定得到的立体视觉摄像机内、外参数，获取左、右图像校正映射参数表M_left、M_right；采用坐标映射方法，获取校正后的左、右图像坐标；对校正后的左、右图像坐标，采用视差标定法，获取校正后的左图像与右图像的基线距B；将左、右图像校正映射参数表M_left、M_right和基线距B作为标定参数并输出；

所述人脸特征点标定法包括：

多组图像对采集步骤，将可见光相机、近红外相机固定，同一被测人位于距离相机不同距离位置，分别采集多组由包含被测人人脸的可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量；

图像对特征点提取步骤，针对每组包含人脸的可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的人脸特征点，将相对应的人脸特征点记作标定点对；

双目视差计算参数获取步骤，计算图像对中人脸框宽度和眼距，计算图像对中可见光图像的眼距与人脸框宽度的比值，计算近红外图像与可见光图像的缩放比，将可见光图像中人脸特征点坐标缩放至近红外图像尺度，计算标定点对在Y方向的偏离量，采用曲线拟合方法，获取标定参数并输出。

4.如权利要求3所述的方法，其特征在于，所述多组图像对采集步骤中采集过程中，被测人人脸正面朝向相机。

5.如权利要求3所述的方法，其特征在于，所述图像对特征点提取步骤包括：采用人脸检测方法，分别获取可见光图像和近红外图像中的人脸框{FIV_i,FINi_i}，其中FIV_i和FINi_i分别表示第i组可见光图像和近红外图像中的人脸框；分别获取图像对中的人脸框的左眼中心点、右眼中心点作为图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}，其中PVEl_i、PVEr_i分别表示第i组可见光图像中的人脸框左眼、右眼中心点，PNiEl_i、PNiEr_i分别表示第i组近红外图像中的人脸框左眼、右眼中心点；将图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}作为标定点对。

6.如权利要求3所述的方法，其特征在于，所述双目视差计算参数获取步骤包括：

人脸框宽度和眼距计算步骤，针对每组图像对，通过可见光图像中人脸框的右边界和左边界作差，得到可见光图像中人脸框宽度WFV_i，通过近红外图像中人脸框的右边界和左边界作差，得到近红外图像的人脸框宽度WFNi_i；根据公式DEV_i＝xPVEr_i-xPVEl_i，计算每组图像对中可见光图像的眼距DEV_i，其中xPVEr_i和xPVEl_i分别为第i组可见光图像中的人脸框右眼中心点左眼中心点的X坐标值；根据公式DENi_i＝xPNiEr_i-xPNiEl_i，计算每组图像对中近红外图像的眼距DENi_i，其中xPNiEr_i和xPNiEl_i分别为第i组近红外图像中的人脸框右眼中心点和左眼中心点X坐标值；根据公式

计算图像对中可见光图像的眼距与人脸框宽度的比值RV；

可见光图像缩放步骤，根据公式

计算近红外图像与可见光图像的缩放比R；将可见光图像人脸特征点缩放至近红外图像尺度，即PVEl_i＝PVEl_i*R，PVEr_i＝PVEr_i*R；

标定参数计算步骤，根据公式

计算标定点对在Y方向的偏离量Δy；根据标定点对中对应人脸特征点的差值，计算每组标定点对的双目视差D_i，将可见光图像中的眼距或者近红外图像中的眼距或者可见光图像和近红外图像中的眼距的平均值，作为图像对中眼距W_i ^e；根据多组标定点对，采用曲线拟合方法，根据公式f_aW_i ^e+f_b＝D_i，获取与基线相关的参数f_a和与X方向偏移量相关的参数f_b；根据公式

获取与基线相关的参数

将近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b作为4个标定参数并输出。

7.如权利要求1所述的方法，其特征在于，所述第三步骤包括：

可见光图像人脸框获取步骤，采用人脸检测方法，对可见光图像进行人脸检测，获取可见光图像中人脸框的位置坐标，提取可见光图像人脸框box1；

近红外图像人脸框获取步骤，根据标定参数、可见光图像人脸框的位置坐标，获取近红外图像人脸框的位置坐标，提取近红外图像人脸子框box2；

人脸子图像获取步骤，根据可见光图像人脸框box1的位置坐标，从可见光图像中对应位置提取的图像作为可见光人脸子图像，根据红外图像人脸子框box2的位置坐标，从近红外图像中对应位置提取的图像作为近红外人脸子图像。

8.如权利要求7所述的方法，其特征在于，所述近红外图像人脸框获取步骤包括：根据双目视差与图像人脸宽度的线性关系，采用标定参数，计算得到双目视差，再由可见光图像人脸框坐标，根据视差偏移得到近红外图像人脸框坐标。

9.如权利要求3或6或8所述的方法，其特征在于，所述近红外图像人脸框获取步骤包括以下步骤的一种：基于视差标定法的近红外图像人脸框获取步骤、基于图像矫正视差标定法的近红外图像人脸框获取步骤、基于人脸特征点标定法的近红外图像人脸框获取步骤；

所述基于视差标定法的近红外图像人脸框获取步骤包括：计算双目视差

根据公式box2.y＝box1.y和box2.x＝box1.x+D，分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中B为基线距，Wbox1为可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，基线距B为所述视差标定法获得的标定参数；所述基于图像矫正视差标定法的近红外图像人脸框获取步骤包括：根据左、右图像校正映射参数表M_left、M_right，对可见光和近红外图像进行立体校正，在校正后的可见光图像中得到提取人脸框box1′，计算双目视差

根据公式box2′.y＝M_left(box1′.y)和box2′.x＝M_right(box1′.x)+D，分别计算近红外图像人脸框Y和X方向坐标box2′.y和box2′.x，其中B为基线距，Wbox1′为校正后的可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1′.x和box1′.y分别为校正后的可见光图像人脸框的X和Y方向的坐标，左和右图像校正映射参数表M_left和M_right、基线距B为所述基于图像矫正的视差标定法获得的标定参数；

所述基于人脸特征点标定法的近红外图像人脸框获取步骤包括：根据公式box2.y＝box1.y*R+Δy和

分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，Wbox1为可见光图像人脸框的宽度，近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b为所述人脸特征点标定法获得的4个标定参数。

10.如权利要求7所述的方法，其特征在于，所述人脸子图像获取步骤还包括：分别根据可见光图像人脸框box1和近红外图像人脸框box2的位置坐标，采用人脸对齐方法，进行人脸对齐校正处理，分别从校正后的可见光图像和近红外图像中对应人脸框位置提取的图像作为可见光人脸子图像和近红外人脸子图像。

11.如权利要求1所述的方法，其特征在于，所述第四步骤包括：

人脸子图像归一化处理步骤，分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，获取归一化可见光人脸子图像和归一化近红外人脸子图像；

人脸子图像活体检测步骤，对归一化可见光人脸子图像进行卷积处理，获取对应的特征图Map1；对归一化近红外人脸子图像进行卷积处理，获取对应的特征图Map2；对特征图Map1和Map2进行合并处理，获得合并特征图Map3；对合并特征图Map3进行卷积处理，输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

12.一种双目人脸活体检测装置，其特征在于，该装置包括：

双目图像采集模块，用于分别采用近红外相机和可见光相机，获取近红外图像和可见光图像；

双目标定参数获取模块，用于采用双目标定模块，对近红外图像和可见光图像进行双目标定，获取标定参数；

双目图像人脸子图像获取模块，用于对可见光图像进行人脸检测，获取可见光图像人脸框，根据标定参数、可见光图像中人脸框的位置坐标，获取近红外图像人脸子框，提取可见光人脸子图像和近红外人脸子图像；

双目图像人脸子图像活体检测模块，用于分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

13.如权利要求12所述的装置，其特征在于，所述双目标定参数获取模块中双目标定模块包括：用于采用两组以上连线与双目视觉系统成像面平行的两个特征点作为标定点，根据双目视差与标定点对X轴方向距离为线性关系，拟合出对应的线性方程参数，将线性方程参数作为标定参数。

14.如权利要求13所述的装置，其特征在于，所述双目标定模块包括以下的一种：视差标定模块、基于图像矫正的视差标定模块、人脸特征点标定模块；

其中，所述视差标定模块包括：用于将可见光相机、近红外相机固定，分别将带有特征点的物体放置在距相机不同距离位置，至少存在两个特征点的连线与成像面平行，采集两组以上由可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量，N≥2；针对每组可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的物体的特征点，将相对应的特征点记作标定点对；选取两个连线与成像面平行的特征点作为一组，获取两个特征点在可见光图像的横坐标

获取两个特征点在可见光图像的横坐标

获取两个特征点在在世界坐标系中X轴方向的坐标

其中j＝{1，2，…，M}，M表示N组图像对中选取的M组两个连线与成像面平行的特征点对，j表示第j对特征点对；计算每组特征点对的视差

计算每组特征点对图像上X轴方向间距

计算每组特征点对实际X轴方向间距

根据每组特征点，采用曲线拟合方法，根据公式

获取可见光相机与近红外相机之间的基线距B，其中w_c表示物体上连线与成像面平行的两个特征点在世界坐标系下X轴方向的间距，W表示对应的两个特征点在图像中X轴方向的间距，将基线距B作为标定参数并输出；

所述基于图像矫正的视差标定模块包括：用于将可见光图像作为左图像，近红外图像作为右图像；采用立体校正方法，根据标定得到的立体视觉摄像机内、外参数，获取左、右图像校正映射参数表M_left、M_right；采用坐标映射方法，获取校正后的左、右图像坐标；对校正后的左、右图像坐标，采用视差标定模块，获取校正后的左图像与右图像的基线距B；将左、右图像校正映射参数表M_left、M_right和基线距B作为标定参数并输出；

所述人脸特征点标定模块包括：

多组图像对采集模块，用于将可见光相机、近红外相机固定，同一被测人位于距离相机不同距离位置，分别采集多组由包含被测人人脸的可见光图像和近红外图像组成的图像对{IV_i,INi_i}，其中IV_i和INi_i分别表示第i组可见光图像和近红外图像，i＝{1，2，…，N}，N为采集的图像对的数量；

图像对特征点提取模块，用于针对每组包含人脸的可见光图像和近红外图像组成的图像对，提取可见光图像和近红外图像相对应的人脸特征点，将相对应的人脸特征点记作标定点对；

双目视差计算参数获取模块，用于计算图像对中人脸框宽度和眼距，计算图像对中可见光图像的眼距与人脸框宽度的比值，计算近红外图像与可见光图像的缩放比，将可见光图像中人脸特征点坐标缩放至近红外图像尺度，计算标定点对在Y方向的偏离量，采用曲线拟合方法，获取标定参数并输出。

15.如权利要求14所述的装置，其特征在于，所述图像对特征点提取模块包括：用于采用人脸检测方法，分别获取可见光图像和近红外图像中的人脸框{FIV_i,FINi_i}，其中FIV_i和FINi_i分别表示第i组可见光图像和近红外图像中的人脸框；分别获取图像对中的人脸框的左眼中心点、右眼中心点作为图像对的人脸特征点序列{PVEl_i,PVEr_i,PNiEl_i,PNiEr_i}，其中PVEl_i、PVEr_i分别表示第i组可见光图像中的人脸框左眼、右眼中心点，PNiEl_i、PNiEr_i分别表示第i组近红外图像中的人脸框左眼、右眼中心点；将图像对的人脸特征点序列{PVEl_i，PVEr_i，PNiEl_i，PNiEr_i}作为标定点对。

16.如权利要求14所述的装置，其特征在于，所述双目视差计算参数获取模块包括：

人脸框宽度和眼距计算模块，用于针对每组图像对，通过可见光图像中人脸框的右边界和左边界作差，得到可见光图像中人脸框宽度WFV_i，通过近红外图像中人脸框的右边界和左边界作差，得到近红外图像的人脸框宽度WFNi_i；根据公式DEV_i＝xPVEr_i-xPVEl_i，计算每组图像对中可见光图像的眼距DEV_i，其中xPVEr_i和xPVEl_i分别为第i组可见光图像中的人脸框右眼中心点左眼中心点的X坐标值；根据公式DENi_i＝xPNiEr_i-xPNiEl_i，计算每组图像对中近红外图像的眼距DENi_i，其中xPNiEr_i和xPNiEl_i分别为第i组近红外图像中的人脸框右眼中心点和左眼中心点X坐标值；根据公式

计算图像对中可见光图像的眼距与人脸框宽度的比值RV；

可见光图像缩放模块，用于根据公式

计算近红外图像与可见光图像的缩放比R；将可见光图像人脸特征点缩放至近红外图像尺度，即PVEl_i＝PVEl_i*R，PVEr_i＝PVEr_i*R；

标定参数计算模块，用于根据公式

计算标定点对在Y方向的偏离量Δy；根据标定点对中对应人脸特征点的差值，计算每组标定点对的双目视差D_i，将可见光图像中的眼距或者近红外图像中的眼距或者可见光图像和近红外图像中的眼距的平均值，作为图像对中眼距W_i ^e；根据多组标定点对，采用曲线拟合方法，根据公式f_aW_i ^e+f_b＝D_i，获取与基线相关的参数f_a和与X方向偏移量相关的参数f_b；根据公式

获取与基线相关的参数

将近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b作为4个标定参数并输出。

17.如权利要求12所述的装置，其特征在于，所述双目图像人脸子图像获取模块包括：

可见光图像人脸框获取模块，用于采用人脸检测方法，对可见光图像进行人脸检测，获取可见光图像中人脸框的位置坐标，提取可见光图像人脸框box1；

近红外图像人脸框获取模块，用于根据标定参数、可见光图像人脸框的位置坐标，获取近红外图像人脸框的位置坐标，提取近红外图像人脸子框box2；

人脸子图像获取模块，用于根据可见光图像人脸框box1的位置坐标，从可见光图像中对应位置提取的图像作为可见光人脸子图像，根据红外图像人脸子框box2的位置坐标，从近红外图像中对应位置提取的图像作为近红外人脸子图像。

18.如权利要求17所述的装置，其特征在于，所述近红外图像人脸框获取模块包括：用于根据双目视差与图像人脸宽度的线性关系，采用标定参数，计算得到双目视差，再由可见光图像人脸框坐标，根据视差偏移得到近红外图像人脸框坐标。

19.如权利要求14或16或18所述的装置，其特征在于，所述近红外图像人脸框获取模块包括以下模块的一种：基于视差标定法的近红外图像人脸框获取模块、基于图像矫正视差标定法的近红外图像人脸框获取模块、基于人脸特征点标定法的近红外图像人脸框获取模块；

所述基于视差标定法的近红外图像人脸框获取模块包括：用于计算双目视差

根据公式box2.y＝box1.y和box2.x＝box1.x+D，分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中B为基线距，Wbox1为可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，基线距B为所述视差标定模块获得的标定参数；

所述基于图像矫正视差标定法的近红外图像人脸框获取模块包括：用于根据左、右图像校正映射参数表M_left、M_right，对可见光和近红外图像进行立体校正，在校正后的可见光图像中得到提取人脸框box1′，计算双目视差

根据公式box2′.y＝M_left(box1′.y)和box2′.x＝M_right(box1′.x)+D，分别计算近红外图像人脸框Y和X方向坐标box2′.y和box2′.x，其中B为基线距，Wbox1′为校正后的可见光图像人脸框的宽度，Wface表示人脸实际宽度，box1′.x和box1′.y分别为校正后的可见光图像人脸框的X和Y方向的坐标，左和右图像校正映射参数表M_left和M_right、基线距B为所述基于图像矫正的视差标定模块获得的标定参数；所述基于人脸特征点标定法的近红外图像人脸框获取模块包括：用于根据公式box2.y＝box1.y*R+Δy和

分别计算近红外图像人脸框Y和X方向坐标box2.y和box2.x，其中box1.x和box1.y分别为可见光图像人脸框的X和Y方向的坐标，Wbox1为可见光图像人脸框的宽度，近红外图像与可见光图像的缩放比R、标定点对在Y方向的偏离量Δy、

f_b为所述人脸特征点标定模块获得的4个标定参数。

20.如权利要求17所述的装置，其特征在于，所述人脸子图像获取模块还包括：用于分别根据可见光图像人脸框box1和近红外图像人脸框box2的位置坐标，采用人脸对齐方法，进行人脸对齐校正处理，分别从校正后的可见光图像和近红外图像中对应人脸框位置提取的图像作为可见光人脸子图像和近红外人脸子图像。

21.如权利要求12所述的装置，其特征在于，所述双目图像人脸子图像活体检测模块包括：

人脸子图像归一化处理模块，用于分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，获取归一化可见光人脸子图像和归一化近红外人脸子图像；人脸子图像活体检测模块，用于对归一化可见光人脸子图像进行卷积处理，获取对应的特征图Map1；对归一化近红外人脸子图像进行卷积处理，获取对应的特征图Map2；对特征图Map1和Map2进行合并处理，获得合并特征图Map3；对合并特征图Map3进行卷积处理，输入到训练好的基于卷积神经网络的人脸检测模型中进行活体检测，输出活体检测结果。

Images