CN112364805B - 一种旋转手掌图像检测方法 - Google Patents

Abstract

本发明公开了一种旋转手掌图像检测方法，第一步对待检测图像以5°为间隔进行旋转，形成72原始图像从0°～360°范围的旋转图像存入图像旋转星盘；第二步将图像旋转星盘中的所有图片按照次序批量输入预先训练好的正向手掌检测器；第三步对所有的检测结果进行最大可能筛选，得到唯一的候选检测结果；第四步计算候选检测结果中旋转角对应的反向旋转矩阵；最后通过旋转矩阵对候选检测结果进行旋转处理，得到最终的附带角度的手掌图像检测结果；本发明提出了图像旋转星盘和最大可能筛选方法，并结合当前深度学习中目标检测领域最为高效的检测网络Yolov3，实现附带角度的手掌图像检测。

Description

一种旋转手掌图像检测方法

技术领域

本发明涉及图像检测和图像识别技术领域，具体涉及一种融合图像旋转星盘、最大可能筛选和正向手掌检测器结合的任意角度手掌图像检测方法。

背景技术

掌纹图像拥有丰富的纹理信息，并且可以与指纹特征进行多模态融合，进一步提高识别的准确性，因此在生物特征识别领域越来越多的学者开始致力于该项研究。感兴趣区域提取对于掌纹识别有着至关重要的作用，传统的掌纹识别算法通过坐标变换法去提取感兴趣区域，这种方法依赖于关键点的检测，对手掌图片的要求较高，无法很好地应用在非受限环境中。随着目标检测领域相关技术的不断成熟，使用目标检测算法对手掌区域直接进行检测成为了可能。但是传统的目标检测通用算法[1,2,3,4]注重于目标位置与大小的检测而忽略了其角度，因此使用该算法进行手掌图像检测时仅仅能够检测到手掌所在的大概区域，这对于掌纹识别会造成很大的影响，因为手掌在不同的方向下其掌纹信息是随之发生变化的，只有检测出附带旋转角度的手掌才可以在后续感兴趣区域提取中获得具有方向一致性的手掌区域。

针对旋转角度的检测，在人脸识别方面已有许多的研究，一种是数据增强的方法，即在训练集中增加各种角度的人脸进行训练，但该思路大大的依赖于样本的多样性，同时为了让网络能同时学到这么多的信息，也需要一个较大的网络结构，并且其检测结果也无法显示出具体的旋转角度，只能输出一个人脸的位置所在的大概区域。H.A.Rowley[5]等人早在1998年提出一种Router人脸检测网络结构，该网络结构边检测人脸，边计算出人脸的角度，再根据角度对人脸进行旋转，然后只训练一个正脸的分类器既可，缺点是角度是个360°的回归问题，容错空间太大，无法得到足够精确的角度预测。2007年C.Huang[6]等人提出使用不同的角度人脸样本去训练多个检测器，缺点就是平，平面内人脸的角度存在360°，要训练这么多分类器，时间复杂度和模型复杂度都太大。2018年Xuepeng Shi[7]等人在Router网络的基础上提出了一种由粗到精的渐进式旋转不变性人脸检测的方法，该方法文章使用了一个检测网络和三个个渐进校准网络(PCN)来由粗到细的预测人脸角度值。PCN-1进行人脸0°和-180°的二分类任务，将人脸从(-180°,180°)矫正为(-90°,90°)；PCN-2进行人脸0°，90°和-90°的三分类任务，将人脸从(-90°,90°)矫正为(-45°,45°)；PCN-3直接进行人脸角度回归，得出旋转角度。该方法由于需要训练训练四个网络，所以十分耗费时间，并且由于PCN-3直接对角度进行回归，在人脸数据中其角度误差达到了8°，这对于掌纹识别中感兴趣区域的提取而言是难以接受的误差。

[1]Shaoqing Ren,Kaiming He,Ross Girshick,and Jian Sun.Faster r-cnn:Towards real-time object detection with region proposal networks.In Advancesin Neural Information Processing Systems,2015.

[2]Joseph Redmon and Santosh Divvala and Ross Girshick and AliFarhadi.You Only Look Once:Unified,Real-Time Object Detection.In CVPR 2015.

[3]Liu,Wei and Anguelov,Dragomir and Erhan,Dumitru and Szegedy,Christian and Reed,Scott and Fu,Cheng-Yang and Berg,Alexander C.SSD:SingleShot MultiBox Detector.In CVPR 2016.

[4]Tsung-Yi Lin,Piotr Dollár,Ross Girshick,Kaiming He,BharathHariharan and Serge Belongie.Feature Pyramid Networks for Object Detection(CVPR),2017.

[5]H.A.Rowley,S.Baluja,and T.Kanade.Rotation invariant neuralnetwork-based face detection.In The IEEE Conference on Computer Vision andPattern Recognition(CVPR),pages 38–44,1998.

[6]C.Huang,H.Ai,Y.Li,and S.Lao.High-performance rotation invariantmultiview face detection.IEEE Transactions on Pattern Analysis and MachineIntelligence(TPAMI),29(4):671–686,2007.

[7]Xuepeng Shi,Shiguang Shan,Meina Kan,Shuzhe Wu,Xilin Chen.PCN:Real-Time Rotation-Invariant Face Detection with Progressive CalibrationNetworks.In CVPR 2018.

发明内容

为了解决上述现有技术存在的问题，本发明融合图像旋转星盘、最大可能筛选和正向手掌检测器，提出一种旋转手掌图像检测方法，结果显示该方法能够准确检测出图像中手掌所在区域的位置和平面内与水平方向之间的旋转角度。

为达到以上目的，本发明采用如下技术方案：

一种旋转手掌角图像测方法，第一步对待检测图像I进行0像素填充，得到长宽之比为1:1的图像I(θ₀)，保证其在旋转过程中信息的完整性，接着对图像I(θ₀)以5°为间隔进行旋转，形成72原始图像从0°～360°的图像旋转星盘；第二步将图像旋转星盘中的所有图片按照次序批量输入预先训练好的正向手掌检测器；第三步对正向手掌检测器的所有的检测结果进行最大可能筛选，得到唯一的候选检测结果；第四步通过候选检测结果计算角点坐标并进行偏移量调整，然后通过旋转矩阵对角点坐标进行反向旋转变换和二次偏移调整，得到最终的附带角度的手掌图像检测结果；本发明提出了图像旋转星盘和最大可能筛选方法，并结合当前深度学习中目标检测领域最为高效的目标检测网络Yolov3，实现附带角度的手掌图像检测。

所述的第二步将“图像旋转星盘”中的所有图片批量输入预先训练好的正向手掌检测器，具体方法为：使用通用的目标检测网络Yolov3，将其默认的检测类别修改检测类别为2，使用正负样本之比为1:1的正向手掌和非正向手掌对其进行训练，得到正向手掌检测器；接着将图像旋转星盘中的所有图片依次输入正向手掌检测器，通过检测结果判断其是否存在正向手掌的位置信息。

所述的第三步对正向手掌检测器的所有检测结果进行最大可能筛选，得到唯一的候选检测结果，具体方法为：如果“图像旋转星盘”中仅有一张图像I(θ_i)被检测出存在正向手掌的位置信息L_i＝(x_i,y_i,w_i,h_i)，说明待检测图片在旋转已知角度θ_i后成为正向手掌，且其旋转后的位置信息为L_i，候选检测结果记为(θ_i,L_i)；如果图像旋转星盘中有n张图像(I(θ_i)～I(θ_i+n))被检测出存在正向手掌的位置信息L_i～L_i+n，对其进行最大可能筛选，若n为奇数，取最中间的一组

作为旋转角度

后的位置信息，候选检测结果记为

其中，

若n为偶数，取最中间的两组的平均值

作为旋转角度

后的位置信息，候选检测结果记为

其中，

所述的第四步通过候选检测结果计算角点坐标并进行偏移量调整，然后通过旋转矩阵对角点坐标进行反向旋转变换和二次偏移调整，得到最终附带角度的手掌图像检测结果，具体方法为：通过候选检测结果(θ_i,L_i)中L_i＝(x_i,y_i,w_i,h_i)所包含的检测框中心坐标(x_i,y_i)和宽高(w_i,h_i)计算检测框四个角点的对应坐标P＝(X₁₁,X₁₂,X₂₁,X₂₂)＝((x₁₁,y₁₁),(x₁₂,y₁₂),(x₂₁,y₂₁),(x₂₂,y₂₂))，接着对其进行偏移调整，使其相对坐标系的原点位于图像中心，水平方向和竖直方向的偏移量分别为：

调整后的角点坐标为P'＝(X'₁₁,X'₁₂,X'₁,X₂'₂)，计算公式如下：

X'₁₁＝(x₁₁-t_x,t_y-y₁₁)  (5)

X'₁₂＝(x₁₂-t_x,t_y-y₁₂)  (6)

X'₂₁＝(x₂₁-t_x,t_y-y₂₁)  (7)

X'₂₂＝(x₂₂-t_x,t_y-y₂₂)  (8)

接着对其进行偏移调整，使其相对坐标系的原点位于图像中心，水平方向和竖直方向的偏移量分别为：

调整后的角点坐标为P'＝(X'₁₁,X'₁₂,X'₂₁,X'₂₂)，计算公式如下：

X'₁₁＝(x₁₁-t_x,t_y-y₁₁)  (10)

X'₁₂＝(x₁₂-t_x,t_y-y₁₂)  (11)

X'₂₁＝(x₂₁-t_x,t_y-y₂₁)  (12)

X'₂₂＝(x₂₂-t_x,t_y-y₂₂)  (13)

接着对调整后的角点坐标进行反向旋转变换，得到旋转后相对于图像中心的角点坐标P”＝(X”₁₁,X”₁₂,X”₂₁,X”₂₂)＝((x”₁₁,y”₁₁),(x”₁₂,y”₁₂),(x”₂₁,y”₂₁),(x”₂₂,y”₂₂))，计算公式如下：

X”＝(R·X'^T)^T  (14)

其中R为-θ对应的旋转矩阵，最后进行二次偏移调整，使其相对坐标系原点重新回到左上角，得到待检测图片中手掌所在检测框的四个角点的实际坐标

计算公式如下：

本发明与现有技术相比较，具有如下优点：

传统的目标检测方法只能够检测出目标所在的区域位置信息，而无法检测出平面内目标在水平面上的旋转角度，因此应用该类算法进行手掌检测得到的结果无法直接进行掌纹识别，通常要使用关键点检测进一步确定手掌的角度，然后再进行掌纹识别中(手掌感兴趣区域)ROI的提取。本发明采用图像旋转星盘和正向手掌检测器相结合，并使用最大可能筛选和旋转矩阵，创造出能够检测图像中手掌位置和平面内与水平方向旋转角度的检测方法，弥补了传统方法存在的缺陷，使得能够同时检测到手掌所在区域和旋转角度，进而按照事先设置的比例关系可直接进行手掌感兴趣区域ROI提取，节省了掌纹识别中关键点检测的步骤。

附图说明

图1为本发明一种旋转手掌图像检测算法的流程示意图。

图2为本发明中图像旋转星盘中包含的手掌图像示意图。

图3为本发明算法和传统目标检测算法在XJTU-UP手掌数据集上未参加训练的测试集中的部分实验结果比较，其中：图3(a)为待检测图像，图3(b)为传统Yolov3算法的手掌图像检测结果，图3(c)为本发明旋转不变性手掌图像检测的结果，图3(d)为该方法在检测的基础上进一步提取出来的具有方向一致性的手掌ROI区域等比例放大结果。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的详细描述。

本发明方法总流程图如图1所示。旋转不变性手掌图像检测方法，第一步对待检测图像I进行0像素填充，得到长宽之比为1:1的图像I(θ₀)，保证其在旋转过程中信息的完整性，接着对图像I(θ₀)以5°为间隔进行顺时针旋转形成72张(I(θ₀)～I(θ₇₁))原始图像从0°～360°范围变化的旋转图像并存入图像旋转星盘；第二步将图像旋转星盘中的所有图片按照次序批量输入预先训练好的正向手掌检测器；第三步对正向手掌检测器的所有的检测结果进行最大可能筛选，得到唯一的候选检测结果；第四步计算候选检测结果中旋转角对应的反向旋转矩阵；最后通过旋转矩阵对候选检测结果进行旋转处理，得到最终的附带角度的手掌图像检测结果。

1.将“图像旋转星盘”中的所有图片输入正向手掌检测器

使用通用的Yolov3目标检测网络，修改检测类别为2；如图2所示，本次研究使用的是XJTU-UP手掌数据集，对其进行预处理，得到1008张与水平方向成90°的正向手掌图像作为正样本；以上述正样本为基础，对其进行5°～360°的随机角度旋转，得到1008张负样本。最终的训练集包含2016张在非受限环境下拍摄的手掌图像；然后使用该训练数据集对该网络进行训练，得到正向手掌检测器；接着将“图像旋转星盘”中的所有图片依次输入正向手掌检测器，判断其是否可以检测出正向手掌的位置信息。

2.对所有的检测结果进行最大可能筛选，得到唯一的候选检测结果

如果“图像旋转星盘”中仅有一张图像I(θ_i)被检测出存在正向手掌的位置信息L_i＝(x_i,y_i,w_i,h_i)，说明待检测图片在旋转已知角度θ_i后成为正向手掌，且其旋转后的位置信息为L_i，候选检测结果记为(θ_i,L_i)；如果“图像旋转星盘”中有n张图像(I(θ_i)～I(θ_i+n))被检测出存在正向手掌的位置信息L_i～L_i+n，对其进行最大可能筛选，若n为奇数，取最中间的一组

作为旋转角度

后的位置信息，候选检测结果记为

其中，

若n为偶数，取最中间的两组的平均值

作为旋转角度

后的位置信息，候选检测结果记为

其中，

3.计算候选检测结果中的旋转角的反向旋转矩阵

取候选检测结果(θ_i,L_i)中的θ_i，求其反向旋转的旋转矩阵R，其中，

4.对候选检测结果进行旋转处理，得到最终附带旋转角的检测结果

通过候选检测结果计算角点坐标并进行偏移量调整，然后通过旋转矩阵对角点坐标进行反向旋转变换和二次偏移调整，得到最终的附带角度的手掌图像检测结果，具体方法为：通过候选检测结果(θ_i,L_i)中L_i＝(x_i,y_i,w_i,h_i)所包含的检测框中心坐标(x_i,y_i)和宽高(w_i,h_i)计算检测框四个角点的对应坐标P＝(X₁₁,X₁₂,X₂₁,X₂₂)＝((x₁₁,y₁₁),(x₁₂,y₁₂),(x₂₁,y₂₁),(x₂₂,y₂₂))，计算公式为：

接着对其进行偏移调整，使其相对坐标系的原点位于图像中心，水平方向和竖直方向的偏移量分别为：

调整后的角点坐标为P'＝(X'₁₁,X'₁₂,X'₂₁,X'₂₂)，计算公式如下：

X'₁₁＝(x₁₁-t_x,t_y-y₁₁)  (10)

X'₁₂＝(x₁₂-t_x,t_y-y₁₂)  (11)

X'₂₁＝(x₂₁-t_x,t_y-y₂₁)  (12)

X'₂₂＝(x₂₂-t_x,t_y-y₂₂)  (13)

接着对调整后的角点坐标进行反向旋转变换，得到旋转后相对于图像中心的角点坐标P”＝(X”₁₁,X”₁₂,X”₂₁,X”₂₂)＝((x”₁₁,y”₁₁),(x”₁₂,y”₁₂),(x”₂₁,y”₂₁),(x”₂₂,y”₂₂))，计算公式如下：

X”＝(R·X'^T)^T  (14)

其中R为-θ对应的旋转矩阵，最后进行二次偏移调整，使其相对坐标系原点重新回到左上角，得到待检测图片中手掌所在检测框的四个角点的实际坐标

其中：

图3为本发明算法和传统目标检测算法在XJTU-UP手掌数据集上未参加训练的测试集中的部分实验结果比较，其中：图3(a)为待检测图像，图3(b)为传统Yolov3算法的手掌图像检测结果，图3(c)为本发明旋转不变性手掌图像检测的结果，图3(d)为该方法在检测的基础上进一步提取出来的具有方向一致性的手掌ROI区域等比例放大结果。可以看出本发明提出方法能够有效地检测出平面内带旋转角度的手掌图像，对于0～360范围内的所有角度都有比较好检测效果，并且角度误差只有2.5°，精度上较之前的方法也有所提升。除此之外，以我们的检测结果为基础，进一步通过一定的比例关系，可以提取出具有方向一致性的手掌ROI区域用于掌纹识别。

Claims (2)

1.一种旋转手掌图像检测方法，其特征在于：第一步对待检测图像I进行0像素填充，得到长宽之比为1:1的图像I(θ₀)，保证其在旋转过程中信息的完整性，接着对图像I(θ₀)以5°为间隔进行顺时针旋转形成72张I(θ₀)～I(θ₇₁)原始图像从0°～360°范围变化的旋转图像并存入图像旋转星盘；第二步将图像旋转星盘中的所有图片按照次序批量输入预先训练好的正向手掌检测器；第三步对正向手掌检测器的所有的检测结果进行最大可能筛选，得到唯一的候选检测结果；第四步通过候选检测结果计算角点坐标并进行偏移量调整，然后通过旋转矩阵对角点坐标进行反向旋转变换和二次偏移调整，得到最终的附带角度的手掌图像检测结果；根据图像旋转星盘和最大可能筛选方法，并结合当前深度学习中目标检测领域最为高效的目标检测网络Yolov3，实现附带角度的手掌图像检测；

第二步将图像旋转星盘中的所有图片按照次序批量输入预先训练好的正向手掌检测器，具体方法为：使用通用的目标检测网络Yolov3，将其默认的检测类别修改检测类别为2，使用正负样本之比为1:1的正向手掌和非正向手掌对其进行训练，得到正向手掌检测器；接着将图像旋转星盘中的所有图片依次输入正向手掌检测器，通过检测结果判断其是否存在正向手掌的位置信息；

第三步对正向手掌检测器的所有检测结果进行最大可能筛选，得到唯一的候选检测结果，具体方法为：如果图像旋转星盘中仅有一张图像I(θ_i)被检测出存在正向手掌的位置信息L_i＝(x_i,y_i,w_i,h_i)，说明待检测图片在旋转已知角度θ_i后成为正向手掌，且其旋转后手掌的位置信息为L_i，候选检测结果记为(θ_i,L_i)；如果图像旋转星盘中有n张图像I(θ_i)～I(θ_i+n)被检测出存在正向手掌的位置信息L_i～L_i+n，若n为奇数，取最中间的一组

作为待检测图片在旋转角度

后手掌所在的位置信息，候选检测结果记为

其中，

若n为偶数，取最中间的两组的平均值

作为待检测图片在旋转角度

后手掌所在的位置信息，候选检测结果记为

，其中，

2.根据权利要求1所述的旋转手掌图像检测方法，其特征在于：第四步通过候选检测结果计算角点坐标并进行偏移量调整，然后通过旋转矩阵对角点坐标进行反向旋转变换和二次偏移调整，得到最终的附带角度的手掌图像检测结果，具体方法为：通过候选检测结果(θ_i,L_i)中L_i＝(x_i,y_i,w_i,h_i)所包含的检测框中心坐标(x_i,y_i)和宽高(w_i,h_i)计算检测框四个角点的对应坐标P＝(X₁₁,X₁₂,X₂₁,X₂₂)＝((x₁₁,y₁₁),(x₁₂,y₁₂),(x₂₁,y₂₁),(x₂₂,y₂₂))，计算公式为：

接着对其进行偏移调整，使其相对坐标系的原点位于图像中心，水平方向和竖直方向的偏移量分别为：

调整后的角点坐标为P'＝(X’₁₁,X’₁₂,X’₂₁,X’₂₂)，计算公式如下：

X’₁₁＝(x₁₁-t_x,t_y-y₁₁)    (10)

X’₁₂＝(x₁₂-t_x,t_y-y₁₂)    (11)

X’₂₁＝(x₂₁-t_x,t_y-y₂₁)    (12)

X’₂₂＝(x₂₂-t_x,t_y-y₂₂)    (13)

接着对调整后的角点坐标进行反向旋转变换，得到旋转后相对于图像中心的角点坐标P”＝(X”₁₁,X”₁₂,X”₂₁,X”₂₂)＝((x”₁₁,y”₁₁),(x”₁₂,y”₁₂),(x”₂₁,y”₂₁),(x”₂₂,y”₂₂))，计算公式如下：

X”＝(R·X'^T)^T    (14)

其中R为-θ对应的旋转矩阵，最后进行二次偏移调整，使其相对坐标系原点重新回到左上角，得到待检测图片中手掌所在检测框的四个角点的实际坐标

其中：

Images