CN117011900A - 一种双目活体检测左右图片对齐的方法 - Google Patents

Abstract

本发明提供一种双目活体检测左右图片对齐的方法，所述方法通过对人脸检测模型裁剪得到的左右图进行归一化处理，在ORB特征点匹配时，通过匹配特征点计算宽度和高度差值，对匹配特征点效果不好的点进行了两次筛选过滤；第一次筛选是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值时，才认为是一个匹配；第二次筛选是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度差值大的匹配点，使最后计算的高度、宽度差值不受差值变化大的匹配点影响。从而实现在非标定情况下，对双目左右图像对齐。

Description

一种双目活体检测左右图片对齐的方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种双目活体检测左右图片对齐的方法。

背景技术

随着科技的发展，现有技术在人脸活体识别系统中，由于双目摄像头会采用不同的模组，以及两个摄像头存在差异，不可避免会在成像参数和组装精度上有所不同。因此需要进行双目对齐，以确保两个镜头在活体检测、人脸比对时，使用的是同一张人脸图像。现有的双目对齐方法是分别对单个摄像头进行标定，得到相机的参数信息，将两个摄像头参数信息融合进行双目标定，得到旋转和平移矩阵，通过这些信息，映射变换到左右图像上，实现双目图像对齐。

然而，现有方法存在一些缺陷，如下：

目前，常规的双目对齐方法是对双目相机进行标定，通过标定得到相机的参数信息，计算相关的旋转平移矩阵，映射到双目图像上进行对齐。当应用到多场景时，标定的参数信息不能够共享，仍还需进行重新标定，标定过程繁琐、通用能力差。

另外，现有技术中的常用术语如下：

ORB特征：由关键点与描述符组成。

特征点：图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。

关键点：关键点就是一小块图像，指特征点在图像上的位置。

描述符：描述符是一种数学结构，能够针对不同的场景，给出一定的旋转不变的特征，通常是一个向量，描述了该关键点周围的像素信息。暴力匹配(BMMatcher)：对图像1中的每一个特征点与图像2中的所有特征点测量描述符的距离，然后排序，取最近的一个作为匹配点。

发明内容

为了解决上述现有技术中的问题，本申请的目的在于：基于人脸检测识别算法，裁剪出左右图像中的人脸框，通过ORB特征匹配，得到有效的关键特征匹配点，以左图关键点为基准，计算左右图像的高度差及宽度差，通过此差值，对右图的高度及宽度进行处理，从而实现在非标定情况下，对双目左右图像对齐。

具体地，本发明提供一种双目活体检测左右图片对齐的方法，所述方法通过对人脸检测模型裁剪得到的左、右图进行归一化处理，在ORB特征点匹配时，通过匹配特征点计算宽度和高度差值，对匹配特征点效果不好的点，进行了两次筛选过滤，所述效果不好的点是两个特征点在坐标系中的位置差异大的点；第一次筛选是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值，此阈值为0.6，才认为是一个匹配；第二次筛选是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度差值大的匹配点，所述高度差值大的范围为0～15，使最后计算的高度、宽度差值不受差值大的匹配点影响。

所述方法包括以下步骤：

S1.根据人脸检测算法使用人脸检测模型，得到人脸框裁剪左右图：通过人脸检测模型确定左图人脸框，对左图人脸框实现中心点向四周扩充，所述扩充是以人脸框为中心，扩充尺寸为人脸框最短边的1.1倍，对中心点上下左右，每次增加扩充尺寸的一半，以便增多人脸特征信息；同时将扩充好的框在左、右图中进行裁剪，保证裁剪的有效区域一致；

S2.ORB特征点匹配：

在进行ORB特征点匹配时，需要对左、右裁剪图进行均值归一化，以保障过暗图片能找到更多的特征匹配点；

S3.计算左图与右图的高度及宽度差值：

将匹配好的特征点进行排序，剔除高度差值变化大的特征点，使计算出的宽度差及高度差均值更准确；

S4.双目左、右图对齐。

所述方法进一步包括：

S1.根据人脸检测算法裁剪左右图：

将左摄像头采集到的左图人脸即双目摄像头中左摄像头采集到的人脸数据数据，通过人脸检测模型，这个人脸检测模型没有固定的版本号，可以使用yolov5，检测出人脸框的位置，计算人脸检测框的宽高大小及中心坐标，假设人脸检测框顶点坐标(50,50)，宽90，高100，中心点坐标为(95,100)，在中心点处对人脸框进行上下左右扩充，扩充大小为人脸检测框最大边的一半，通过扩充的人脸检测框，对左、右图进行裁剪，扩充后的检测框顶点为(40,45)，宽110，高110，将此区域进行裁剪；S2.ORB特征点匹配：

先对左、右裁剪图进行均值归一化处理，使左、右裁剪图亮度有明显提升并保持一致；

所述ORB特征匹配：创建ORB匹配器，其所述匹配器创建方式如下：Ptr<ORB>orbDetector＝create(int nfeatures＝500,

float scaleFactor＝1.2f,int nlevels＝8,int firstLevel＝0)；分别计算左、右裁剪图的关键点及描述符；通过描述符进行暴力匹配MFMacher，剔除误匹配点；保留满足条件即匹配后的描述符行数必须大于2的匹配特征点；

S3.计算左图与右图的高度及宽度差值：

对匹配好的特征点通过关键点所在位置，计算每个匹配特征点在左右裁剪图中的高度差值，将高度差值大的匹配点过滤，所述高度差值范围为0～15，宽度差值范围为0～8，在此基础上，求出所有匹配点宽度均值，设定左、右图的宽度差值；

S4.双目左右图对齐：

以左裁剪图为基础，将计算的高度及宽度差值加入左裁剪框，得到新的裁剪框为无差值人脸框，以新的裁剪框重新对右图进行裁剪，最终得到的右裁剪图将与左裁剪图完成对齐，将对齐的左、右图应用于立体视觉中，进行活体检测。

所述步骤S2中归一化处理的流程包括：

S2.1，输入图像；计算像素均值；压缩均值到128比例因子，该比例因子与所述输入图像相乘，得到

S2.2，原图像像素压缩；与128像素进行差值并得到差值结果；计算差值均值；压缩均值到30比例因子，该比例因子与所述差值结果相乘，得到S2.3，差值压缩，该差值压缩与所述原图像像素压缩相加，得到

S2.4，新的像素值；进而变化到0～255，其中小于0的像素变为0，大于255的像素变为255，完成归一化。

所述步骤S3中，计算左图与右图的高度及宽度差值，进一步包括：S3.1，对匹配特征点，计算高度差值，排序比较，剔除差值变化大的匹配点；

S3.2，计算宽度差值；

S3.3，宽度差值求均值，高度差值求均值；

S3.4，确定宽度及高度差值。

由此，本申请的优势在于：

1.通过对人脸检测模型裁剪得到的左右图进行归一化处理，消除了其他变换时对图像变换的影响。同时，使过暗的图像变得明亮，在ORB特征点匹配时，匹配到的特征点增多，提高了左右图之间的差值，使左右图对齐更加精确化。

2.通过匹配特征点计算宽度和高度差值时，对匹配特征点效果不好的点进行了两次筛选过滤。第一次是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值时，才认为是一个匹配。第二次是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度差值较大的匹配点，使最后计算的高度、宽度差值不受差值变化较大的匹配点影响。两次筛选过滤，从一定程度上提升了差值的准确性。

3.与传统标定方法比较，通过计算特征点匹配的高度、宽度差值，使双目左右图进行对齐精确度更高、效率更快、简单方便实用，并可以应用到所有双目摄像头上，所以使用该方法对双目图片进行对齐选择更佳。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明的方法的流程图。

图2是本发明的方法实施例的流程示意图

图3是本发明方法中图像归一化流程示意图。

图4(1)是本发明方法中归一化处理效果中原始较黑图。

图4(2)是本发明方法中归一化处理效果中归一化图。

图5是本发明方法中ORB特征匹配结果图。

图6是本发明方法中ORB特征匹配流程示意图。

图7是本发明方法中计算左图与右图的高度及宽度差值的流程图。

具体实施方式

为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。

本发明方法涉及一种双目活体检测左右图片对齐的方法，如图1所示，本方法的主要实施步骤如下：

S1.根据人脸检测算法使用人脸检测模型，得到人脸框裁剪左右图：通过人脸检测模型确定左图人脸框，对左图人脸框实现中心点向四周扩充，所述扩充是以人脸框为中心，扩充尺寸为人脸框最短边的1.1倍，对中心点上下左右，每次增加扩充尺寸的一半，以便增多人脸特征信息；同时将扩充好的框在左、右图中进行裁剪，保证裁剪的有效区域一致；

S2.ORB特征点匹配：

在进行ORB特征点匹配时，需要对左、右裁剪图进行均值归一化，以保障过暗图片能找到更多的特征匹配点；

S3.计算左图与右图的高度及宽度差值：

将匹配好的特征点进行排序，剔除高度差值变化大的特征点，使计算出的宽度及高度差值更准确；

S4.双目左、右图对齐。

其中，步骤S1包含：通过yolov5人脸检测模型确定左图人脸框，对左图人脸框实现中心点向四周括充，使人脸特征信息增多。同时将扩充好的框在左右图中进行裁剪，保证裁剪的有效区域一致；将左摄像头采集到的左图人脸即双目摄像头中左摄像头采集到的人脸数据数据，通过yolov5人脸检测模型，检测出人脸框的位置，计算人脸检测框的宽高大小及中心坐标，假设人脸检测框顶点坐标(50,50)，宽90，高100，中心点坐标为(95,100)，在中心点处对人脸框进行上下左右扩充，扩充大小为人脸检测框最大边的一半，通过扩充的人脸检测框，对左、右图进行裁剪，扩充后的检测框顶点为(40,45)，宽110，高110，将此区域进行裁剪；

其中，步骤S2包含：在进行ORB特征点匹配时，需要对左右裁剪图进行均值归一化，保障了过暗图片能找到更多的特征匹配点，如图4(1)、(2)所示；

其中，步骤S3包含：将匹配好的特征点进行排序，剔除高度差值变化大的特征点，使计算出的宽度差及高度差均值更准确。

如图2所示，现将该方法的具体实施步骤陈述如下：

S1.根据人脸检测算法裁剪左右图：

将左摄像头采集到的左图人脸数据，通过人脸检测模型，检测出人脸框的位置，计算人脸检测框的宽高大小及中心坐标，在中心点处对人脸框进行上下左右扩充，扩充大小为人脸检测框最大边的一半，通过扩充人脸检测框，对左右图进行裁剪；

S2.ORB特征点匹配：

先对左右裁剪图进行均值归一化处理，使左右裁剪图亮度有明显提升并保持一致，具体实现流程图如图3所示，归一化处理的流程包括：

S2.1，输入图像；计算像素均值；压缩均值到128比例因子，该比例因子与所述输入图像相乘，得到

S2.2，原图像像素压缩；与128像素进行差值并得到差值结果；计算差值均值；压缩均值到30比例因子，该比例因子与所述差值结果相乘，得到S2.3，差值压缩，该差值压缩与所述原图像像素压缩相加，得到

S2.4，新的像素值；进而变化到0～255，其中小于0的像素变为0，大于255的像素变为255，完成归一化。

创建ORB匹配器，其所述匹配器创建方式如下：Ptr<ORB>orbDetector＝create(int nfeatures＝500,

float scaleFactor＝1.2f,int nlevels＝8,int firstLevel＝0)；

分别计算左右裁剪图的关键点及描述符，通过描述符进行MFMacher(暴力匹配)，剔除误匹配点，保留满足条件即匹配后的描述符行数必须大于2的匹配特征点，其中图5中未连线的匹配点为误匹配点，已连线的匹配点为满足条件的点。具体实现流程如图6所示。

S3.计算左图与右图的高度及宽度差值：

对匹配好的特征点通过关键点所在位置，计算每个匹配特征点在左右裁剪图中的高度差值，将高度差值较大的匹配点过滤，在此基础上，求出所有匹配点宽度均值，设定左右图的宽度差值，具体实现流程图如图7所示：

S3.1，对匹配特征点，计算高度差值，排序比较，剔除差值变化大的匹配点；

S3.2，计算宽度差值；

S3.3，宽度差值求均值，高度差值求均值；

S3.4，确定宽度及高度差值。

S4.双目左右图对齐：

以左裁剪框为基础，将计算的高度及宽度差值加入左裁剪框，得到新的裁剪框为无差值人脸框，以该新的裁剪框重新对右图进行裁剪，最终得到的右裁剪图将与左裁剪图完成对齐，将对齐的左右图应用于立体视觉中，进行活体检测。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种双目活体检测左右图片对齐的方法，其特征在于，所述方法通过对人脸检测模型裁剪得到的左、右图进行归一化处理，在ORB特征点匹配时，通过匹配特征点计算宽度和高度差值，对匹配特征点效果不好的点，进行了两次筛选过滤，所述效果不好的点是两个特征点在坐标系中的位置差异大的点；第一次筛选是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值，此阈值为0.6，才认为是一个匹配；第二次筛选是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度差值大的匹配点，所述高度差值大的范围为0～15，使最后计算的高度、宽度差值不受差值大的匹配点影响。

2.根据权利要求1所述的一种双目活体检测左右图片对齐的方法，其特征在于，所述方法包括以下步骤：

S1.根据人脸检测算法使用人脸检测模型，得到人脸框裁剪左右图：

通过人脸检测模型确定左图人脸框，对左图人脸框实现中心点向四周扩充，所述扩充是以人脸框为中心，扩充尺寸为人脸框最短边的1.1倍，对中心点上下左右，每次增加扩充尺寸的一半，以便增多人脸特征信息；同时将扩充好的框在左、右图中进行裁剪，保证裁剪的有效区域一致；

S2.ORB特征点匹配：

在进行ORB特征点匹配时，需要对左、右裁剪图进行均值归一化，以保障过暗图片能找到更多的特征匹配点；

S3.计算左图与右图的高度及宽度差值：

将匹配好的特征点进行排序，剔除高度差值变化大的特征点，使计算出的宽度差及高度差均值更准确；

S4.双目左、右图对齐。

3.根据权利要求2所述的一种双目活体检测左右图片对齐的方法，其特征在于，所述方法进一步包括：

S1.根据人脸检测算法裁剪左右图：

将左摄像头采集到的左图人脸即双目摄像头中左摄像头采集到的人脸数据数据，通过人脸检测模型，检测出人脸框的位置，计算人脸检测框的宽高大小及中心坐标，假设人脸检测框顶点坐标(50,50)，宽90，高100，中心点坐标为(95,100)，在中心点处对人脸框进行上下左右扩充，扩充大小为人脸检测框最大边的一半，通过扩充的人脸检测框，对左、右图进行裁剪，扩充后的检测框顶点为(40,45)，宽110，高110，将此区域进行裁剪；

S2.ORB特征点匹配：

先对左、右裁剪图进行均值归一化处理，使左、右裁剪图亮度有明显提升并保持一致；

所述ORB特征匹配：创建ORB匹配器，其所述匹配器创建方式如下：

Ptr<ORB>orbDetector＝create(int nfeatures＝500,

float scaleFactor＝1.2f,int nlevels＝8,int firstLevel＝0)；分别计算左、右裁剪图的关键点及描述符；通过描述符进行暴力匹配MFMacher，剔除误匹配点；保留满足条件即匹配后的描述符行数必须大于2的匹配特征点；

S3.计算左图与右图的高度及宽度差值：

对匹配好的特征点通过关键点所在位置，计算每个匹配特征点在左右裁剪图中的高度差值，将高度差值大的匹配点过滤，所述高度差值范围为0～15，宽度差值范围为0～8，在此基础上，求出所有匹配点宽度均值，设定左、右图的宽度差值；

S4.双目左右图对齐：

以左裁剪图为基础，将计算的高度及宽度差值加入左裁剪框，得到新的裁剪框为无差值人脸框，以新的裁剪框重新对右图进行裁剪，最终得到的右裁剪图将与左裁剪图完成对齐，将对齐的左、右图应用于立体视觉中，进行活体检测。

4.根据权利要求3所述的一种双目活体检测左右图片对齐的方法，其特征在于，所述步骤S2中归一化处理的流程包括：

S2.1，输入图像；计算像素均值；压缩均值到128比例因子，该比例因子与所述输入图像相乘，得到

S2.2，原图像像素压缩；与128像素进行差值并得到差值结果；计算差值均值；压缩均值到30比例因子，该比例因子与所述差值结果相乘，得到

S2.3，差值压缩，该差值压缩与所述原图像像素压缩相加，得到

S2.4，新的像素值；进而变化到0～255，其中小于0的像素变为0，大于255的像素变为255，完成归一化。

5.根据权利要求3所述的一种双目活体检测左右图片对齐的方法，其特征在于，所述步骤S3中，计算左图与右图的高度及宽度差值，进一步包括：

S3.1，对匹配特征点，计算高度差值，排序比较，剔除差值变化大的匹配点；

S3.2，计算宽度差值；

S3.3，宽度差值求均值，高度差值求均值；

S3.4，确定宽度及高度差值。