CN114359998B - 一种人脸口罩佩戴状态下的识别方法 - Google Patents
一种人脸口罩佩戴状态下的识别方法 Download PDFInfo
- Publication number
- CN114359998B CN114359998B CN202111478584.XA CN202111478584A CN114359998B CN 114359998 B CN114359998 B CN 114359998B CN 202111478584 A CN202111478584 A CN 202111478584A CN 114359998 B CN114359998 B CN 114359998B
- Authority
- CN
- China
- Prior art keywords
- image
- corner
- mask
- feature
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 37
- 239000013598 vector Substances 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000003708 edge detection Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims 2
- 239000003054 catalyst Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明属于图像识别技术领域，具体的说，是一种人脸口罩佩戴状态下的识别方法，首先使用改进的YOLO网络进行口罩检测，为了提高识别效率和速度之后采用金字塔式分层处理结构，初筛阶段通过轮廓特征筛选得到候选目标库；精选阶段从候选目标库内选择对象提取改进尺度不变特征，改善了角点筛选匹配的算法，节省了大部分数据库内角点特征提取及匹配的时间，显著提高了SIFT算法提取特征的速度和匹配的准确率，能够实现包含佩戴口罩情况下对人脸的快速且高精准识别。
Description
技术领域
本发明属于图像识别技术领域，具体的说，是一种人脸口罩佩戴状态下的识别方法。
背景技术
随着机器视觉及人工智能技术的蓬勃发展，人脸识别技术作为目前发展最快也最有潜力的生物识别手段在各个领域都有着重要的应用，正常情况下的人脸识别的发展已经相当成熟。疫情期间，佩戴口罩已经成为一种生活常态；摘下口罩进行人脸识别具有很高的风险；识别过程不仅不方便，而且效率不高。因此人脸口罩佩戴状态下的身份识别具有相当大的价值与意义，同时也有着迫切的需求。
发明内容
本发明的目的是提出一种人脸口罩佩戴状态下的识别方法，使佩戴口罩情况下的人脸识别的效果更加高效、准确。
为了实现上述目标，本发明采用的技术方案是：
一种人脸口罩佩戴状态下的识别方法，具体实现过程包括：
步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；
步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；
步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；
步骤四：对步骤一构建的数据集内处的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像；
步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过初筛的进入候选目标库，为后续精确识别做准备；
步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征(SIFT)，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内，识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征；
步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
在上述技术方案中，步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转等操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片。
步骤二中，对使用图像采集设备拍摄获得的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件。
步骤三中，改进了YOLO V4网络对数据库内人脸图像进行训练。其中使用深度卷积模块改进了主干特征提取网络，改进后提高了口罩检测的速度，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作；接着对升维后的特征层进行深度可分离卷积，卷积核大小为3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富；最后进行1×1的卷积BatchNorm标准化和Swish激活进行降维，输出特征层。输入大小为x*y的图片，最终根据P6，P7，P8输出的三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数。
步骤四中，对步骤一构建的数据集内处的图像进行改进边缘检测，具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为3*3和5*5的椭圆结构元素，结构元素b1是小尺度，能较好地保留图像的细节信息但是去噪效果比较差；结构元素b2尺度较大，有着较好的去噪效果但是细节信息丢失多。对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1。其中I为输出图像，f为初步数据集内人脸图像。
步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像，具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框，对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除以下半部分的轮廓图像获得局部轮廓图像。
步骤五中，对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的进入候选目标库。其中初步筛选的依据为：计算两幅图像的matchShapes函数若Q小于设置阈值k，则通过初步筛选，对初筛的图片进行下一步骤的识别工作。其中，A表示对象1，B表示对象2，/>表示对象1的Hu值，Hu不变矩在图像旋转、缩放、平移等操作后，仍能保持矩的不变性，matchShapes函数Q内参数选取7个Hu不变矩中不变性保持的最好的第一个和第二个。
其中r＝(q+p)/2+1，
x0＝m10/m00，y0＝m01/m00，
步骤六中，通过步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像。对获取的局部人脸图像提取尺度不变特征(SIFT)后将输出的所有角点特征向量组合为矩阵X＝[x1,x2,…,xi,…,xn]T，i表示识别对象的第i个角点，xi表示识别对象的第i个角点的128维的特征向量。为了提高匹配速度，将输出特征向量的维度降至D维。为此对矩阵X进行主成分分析，具体操作为：将X的每一行进行零均值化，即减去这一行的均值；求出协方差矩阵求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列为矩阵，取前D行组成矩阵P；Y＝PX即为最后输出的降维后D维的特征向量。
步骤七中，采用金字塔式分层处理结构思想，对通过步骤五轮廓特征初筛的对象作为候选对象，对其运用步骤六的提取特征方法提取特征，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果；对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果，其中角点筛选匹配依据如下:
其中对于待识别对象A检测出N个角点，i为数据库内待匹配对象，f(i)表示第i个对象检测出的角点数量。Z[f(i)]表示第i个对象与A匹配成功的角点数量。Z[fk(i)]表示第i个对象检测到第k个角点时与A匹配成功的角点数量。Y[Ki,Ki+1]表示输出Ki与Ki+1中最小的对象i的值。pnk(m)为两个角点特征向量间相似度，匹配时设置一个阈值Pα，若匹配时pnk(m)>Pα，则两个角点不匹配。Pα根据经验值及样本训练来设定，相似度设置为对象A与样本库内匹配对象角点间特征向量的相对欧式距离。
pnk(m)表示对象A内第n个角点与样本库内对象第k个角点匹配，其中第m个匹配成功的角点之间的相对欧式距离。
为了进一步提高搜索速度，
当计算pnk(m)时，先计算若前d维度相对欧式距离已经大于阈值Pα，则不进行下面维度计算，d按经验一般取小于整体维度D的值。
对象A第n个角点的欧式距离为：
对象A第n个角点与样本库内对象第k个角点之间的绝对欧式距离为：
Rn＝(rn1,rn2,…,rnD)为识别对象第n个角点D维的特征描述向量，Sk＝(sk1,sk2,…,skD)为样本库内对象第k个角点对比匹配的D维特征描述向量。最后输出的X为匹配对象编号。
具体来说：对于待识别对象A检测出N个角点，在样本库内对象检测出M个角点，当该对象与A中N个角点匹配成功的数量多于样本库内前一对象时，将该对象作为与A最相似的对象；若该对象以及样本库内前一对象与A中N个角点匹配成功的数量一致时，将他们与对象A匹配成功每一个角点相似度累加，选择累加值最小的对象作为与A最相似的对象；在角点匹配过程中，当样本库内对象检测到第k个角点时与A匹配成功的角点数量加上剩余检测出来的所有角点数量小于前一对象匹配成功的数量，不进行剩余角点匹配。
本发明的有益效果：本发明针对目前佩戴口罩情况下人脸识别的问题，首先使用改进的YOLO网络进行口罩检测，为了提高识别效率和速度之后采用金字塔式分层处理结构，初筛阶段通过轮廓特征筛选得到候选目标库；精选阶段从候选目标库内选择对象提取改进尺度不变特征，改善了角点筛选匹配的算法，节省了大部分数据库内角点特征提取及匹配的时间，显著提高了SIFT算法提取特征的速度和匹配的准确率。能够实现包含佩戴口罩情况下对人脸的快速且高精准识别。
附图说明
图1为本发明标注并建立样本库流程图。
图2为本发明识别过程流程图。
图3为本发明为改进YOLO V4整体网络图。
图4为本发明为改进YOLO V4网络的主干特征提取网络中的深度卷积模块结构。
图5为本发明中大小为3*3和5*5的椭圆结构元。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
如图1-图5所示，为了解决佩戴口罩情况下的人脸识别问题，本实施例设计了一种快速、准确、效果明显的识别方法，具体流程如下：
步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；
在步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转等操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片；
步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；
在步骤二中，对使用图像采集设备拍摄获得的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；
步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；
在步骤三中，改进了YOLO V4网络对数据库内人脸图像进行训练。其中使用深度卷积模块改进了主干特征提取网络，改进后提高了口罩检测的速度，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作；接着对升维后的特征层进行深度可分离卷积，卷积核大小为3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富；最后进行1×1的卷积BatchNorm标准化和Swish激活进行降维，输出特征层。输入大小为x*y的图片，最终根据P6，P7，p8输出的三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数；
步骤四：对步骤一构建的数据集内处的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像。
在步骤四中，对步骤一构建的数据集内处的图像进行改进边缘检测。具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为3*3和5*5的椭圆结构元素，结构元素b1是小尺度，能较好地保留图像的细节信息但是去噪效果比较差；结构元素b2尺度较大，有着较好的去噪效果但是细节信息丢失多。对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1。其中I为输出图像，f为初步数据集内人脸图像。
在步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像。具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框。对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除以下半部分的轮廓图像获得局部轮廓图像。
步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过初筛的进入候选目标库，为后续精确识别做准备。
在步骤五中，对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的进入候选目标库。其中初步筛选的依据为：计算两幅图像的matchShapes函数若Q小于设置阈值k，则通过初步筛选，对初筛的图片进行下一步骤的识别工作。A表示对象1，B表示对象2，/>表示对象1的Hu值，Hu不变矩在图像旋转、缩放、平移等操作后，仍能保持矩的不变性，matchShapes函数Q内参数选取7个Hu不变矩中不变性保持的最好的第一个和第二个。
其中r＝(q+p)/2+1，
x0＝m10/m00，y0＝m01/m00，
步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征(SIFT)，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内。识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征。
在步骤六中，通过步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像。
在步骤六中，对获取的局部人脸图像提取尺度不变特征(SIFT)后将输出的所有角点特征向量组合为矩阵X＝[x1,x2,…,xi,…,xn]T，i表示识别对象的第i个角点，xi表示识别对象的第i个角点的128维的特征向量。为了提高匹配速度，将输出特征向量的维度降至D维。为此对矩阵X进行主成分分析，具体操作为：将X的每一行进行零均值化，即减去这一行的均值；求出协方差矩阵求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列为矩阵，取前D行组成矩阵P；Y＝PX即为最后输出的降维后D维的特征向量。
步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
在步骤七中，采用金字塔式分层处理结构思想，对通过步骤五轮廓特征初筛的对象作为候选对象，对其运用步骤六的提取特征方法提取特征，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
在步骤七中，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。其中角点筛选匹配依据如下:
其中对于待识别对象A检测出N个角点，i为数据库内待匹配对象，f(i)表示第i个对象检测出的角点数量。Z[f(i)]表示第i个对象与A匹配成功的角点数量。Z[fk(i)]表示第i个对象检测到第k个角点时与A匹配成功的角点数量。Y[Ki,Ki+1]表示输出Ki与Ki+1中最小的对象i的值。pnk(m)为两个角点特征向量间相似度，匹配时设置一个阈值Pα，若匹配时pnk(m)>Pα，则两个角点不匹配。Pα根据经验值及样本训练来设定，相似度设置为对象A与样本库内匹配对象角点间特征向量的相对欧式距离。
pnk(m)表示对象A内第n个角点与样本库内对象第k个角点匹配，其中第m个匹配成功的角点之间的相对欧式距离。
为了进一步提高搜索速度，当计算pnk(m)时，先计算 若前d维度相对欧式距离已经大于阈值Pα，则不进行下面维度计算，d按经验一般取小于整体维度D的值。
对象A第n个角点的欧式距离为：
对象A第n个角点与样本库内对象第k个角点之间的绝对欧式距离为：
Rn＝(rn1,rn2,…,rnD)为识别对象第n个角点D维的特征描述向量，Sk＝(sk1,sk2,…,skD)为样本库内对象第k个角点对比匹配的D维特征描述向量。
最后输出的X为匹配对象编号。
具体来说：对于待识别对象A检测出N个角点，在样本库内对象检测出M个角点，当该对象与A中N个角点匹配成功的数量多于样本库内前一对象时，将该对象作为与A最相似的对象；若该对象以及样本库内前一对象与A中N个角点匹配成功的数量一致时，将他们与对象A匹配成功每一个角点相似度累加，选择累加值最小的对象作为与A最相似的对象；在角点匹配过程中，当样本库内对象检测到第k个角点时与A匹配成功的角点数量加上剩余检测出来的所有角点数量小于前一对象匹配成功的数量，不进行剩余角点匹配。
综上所述，本发明针对目前佩戴口罩情况下人脸识别的问题，首先使用改进的YOLO网络进行口罩检测，为了提高识别效率和速度之后采用金字塔式分层处理结构，初筛阶段通过轮廓特征筛选得到候选目标库；精选阶段从候选目标库内选择对象提取改进尺度不变特征，改善了角点筛选匹配的算法，节省了大部分数据库内角点特征提取及匹配的时间，显著提高了SIFT算法提取特征的速度和匹配的准确率。能够实现包含佩戴口罩情况下对人脸的快速且高精准识别。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.一种人脸口罩佩戴状态下的识别方法，其特征在于，具体实现过程包括以下步骤：
步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；
步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；
步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；
步骤四：对步骤一构建的数据集内的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像；
步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的图像进入候选目标库，为后续精确识别做准备；
步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内，识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征；
步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果；
在所述步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片；
在所述步骤三中，使用改进后的YOLO V4网络对数据库内人脸图像进行训练，其中使用深度卷积模块改进了主干特征提取网络，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作，接着对升维后的特征层进行深度可分离卷积，卷积核大小为3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富，最后进行1×1的卷积、BatchNorm标准化和Swish激活进行降维，输出特征层，输入大小为x’*y’的图片，最终根据P6，P7，P8输出的三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数；
在所述步骤四中，对步骤一构建的数据集内的图像进行改进边缘检测，具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为3*3和5*5的椭圆结构元素，结构元素b1是小尺度，结构元素b2尺度较大，对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1，其中I为输出图像，f为初步人脸图像数据集；
在所述步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像，具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框，对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除下半部分的轮廓图像获得局部轮廓图像；
在所述步骤五中，对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的进入候选目标库，其中初步筛选的依据为：计算两幅图像的matchShapes函数若Q小于设置阈值k，则通过初步筛选，对初筛的图片进行下一步骤的识别工作，其中，A表示对象1，B表示对象2，/>表示对象1的Hu值，Hu不变矩在图像旋转、缩放、平移操作后，仍能保持矩的不变性，matchShapes函数Q内参数选取7个Hu不变矩中不变性保持的最好的第一个和第二个，
其中
x0＝m10/m00，y0＝m01/m00，
在所述步骤六中，对获取的局部人脸图像提取尺度不变特征后将输出的所有角点特征向量组合为矩阵X＝[x1,x2,…,xz,…,xn]T，z表示识别对象的第z个角点，xz表示识别对象的第z个角点的128维的特征向量，为了提高匹配速度，将输出特征向量的维度降至D维，为此对矩阵X进行主成分分析，具体操作为：将X的每一行进行零均值化，即减去这一行的均值；求出协方差矩阵；求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列为矩阵，取前D行组成矩阵P；Y＝PX即为最后输出的降维后D维的特征向量；
在所述步骤七中，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果，其中角点筛选匹配依据如下:
其中对于待识别对象A检测出N个角点，q’为数据库内待匹配对象，f(q’)表示第q’个对象检测出的角点数量，Z[f(q’)]表示第q’个对象与A匹配成功的角点数量，Z[fk(q’)]表示第q’个对象检测到第k个角点时与A匹配成功的角点数量，T[Kq’,Kq’+1]表示输出Kq’与Kq’+1中最小的对象q’的值，pnk(m)为两个角点特征向量间相似度，匹配时设置一个阈值Pα，若匹配时pnk(m)>Pα，则两个角点不匹配，Pα根据经验值及样本训练来设定，相似度设置为对象A与样本库内匹配对象角点间特征向量的相对欧式距离，
pnk(m)表示对象A内第n个角点与样本库内对象第k个角点匹配，其中第m个匹配成功的角点之间的相对欧式距离；
为了进一步提高搜索速度，当计算pnk(m)时，
先计算若前d维度相对欧式距离已经大于阈值Pα，则不进行下面维度计算，d取小于整体维度D的值，
对象A第n个角点的欧式距离为：
对象A第n个角点与样本库内对象第k个角点之间的绝对欧式距离为：
Rn＝(rn1，rn2，...，rnD)为识别对象第n个角点D维的特征描述向量，
Sk＝(sk1，sk2，...，skD)为样本库内对象第k个角点对比匹配的D维特征描述向量，最后输出的X为匹配对象编号。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111478584.XA CN114359998B (zh) | 2021-12-06 | 2021-12-06 | 一种人脸口罩佩戴状态下的识别方法 |
| PCT/CN2022/104572 WO2023103372A1 (zh) | 2021-12-06 | 2022-07-08 | 一种人脸口罩佩戴状态下的识别方法 |
| ZA2022/13209A ZA202213209B (en) | 2021-12-06 | 2022-12-06 | Face recognition method in mask wearing state |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111478584.XA CN114359998B (zh) | 2021-12-06 | 2021-12-06 | 一种人脸口罩佩戴状态下的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359998A CN114359998A (zh) | 2022-04-15 |
| CN114359998B true CN114359998B (zh) | 2024-03-15 |
Family
ID=81098160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111478584.XA Active CN114359998B (zh) | 2021-12-06 | 2021-12-06 | 一种人脸口罩佩戴状态下的识别方法 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN114359998B (zh) |
| WO (1) | WO2023103372A1 (zh) |
| ZA (1) | ZA202213209B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359998B (zh) * | 2021-12-06 | 2024-03-15 | 江苏理工学院 | 一种人脸口罩佩戴状态下的识别方法 |
| CN115619410B (zh) * | 2022-10-19 | 2024-01-26 | 闫雪 | 自适应金融支付平台 |
| CN116452667B (zh) * | 2023-06-16 | 2023-08-22 | 成都实时技术股份有限公司 | 一种基于图像处理的目标识别与定位方法 |
| CN117668669B (zh) * | 2024-02-01 | 2024-04-19 | 齐鲁工业大学(山东省科学院) | 基于改进YOLOv7的管道安全监测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101741761B1 (ko) * | 2015-12-04 | 2017-05-30 | 광운대학교 산학협력단 | 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법 |
| CN108038476A (zh) * | 2018-01-03 | 2018-05-15 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
| CN108491773A (zh) * | 2018-03-12 | 2018-09-04 | 中国工商银行股份有限公司 | 一种识别方法及系统 |
| CN111768543A (zh) * | 2020-06-29 | 2020-10-13 | 杭州翔毅科技有限公司 | 基于人脸识别的通行管理方法、设备、存储介质及装置 |
| CN111914748A (zh) * | 2020-07-31 | 2020-11-10 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| WO2020248096A1 (zh) * | 2019-06-10 | 2020-12-17 | 哈尔滨工业大学（深圳） | 基于局部特征的三维人脸识别方法和系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985212B (zh) * | 2018-07-06 | 2021-06-04 | 深圳市科脉技术股份有限公司 | 人脸识别方法及装置 |
| JP2021060866A (ja) * | 2019-10-08 | 2021-04-15 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN111460962B (zh) * | 2020-03-27 | 2023-05-05 | 武汉大学 | 一种口罩人脸识别方法及系统 |
| CN111598047B (zh) * | 2020-05-28 | 2023-06-27 | 重庆康普达科技有限公司 | 一种人脸识别方法 |
| CN112487886A (zh) * | 2020-11-16 | 2021-03-12 | 北京大学 | 一种有遮挡的人脸识别方法、装置、存储介质及终端 |
| CN112418177A (zh) * | 2020-12-09 | 2021-02-26 | 南京甄视智能科技有限公司 | 人脸识别方法与系统 |
| CN114359998B (zh) * | 2021-12-06 | 2024-03-15 | 江苏理工学院 | 一种人脸口罩佩戴状态下的识别方法 |
-
2021
- 2021-12-06 CN CN202111478584.XA patent/CN114359998B/zh active Active
-
2022
- 2022-07-08 WO PCT/CN2022/104572 patent/WO2023103372A1/zh unknown
- 2022-12-06 ZA ZA2022/13209A patent/ZA202213209B/en unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101741761B1 (ko) * | 2015-12-04 | 2017-05-30 | 광운대학교 산학협력단 | 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법 |
| CN108038476A (zh) * | 2018-01-03 | 2018-05-15 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
| CN108491773A (zh) * | 2018-03-12 | 2018-09-04 | 中国工商银行股份有限公司 | 一种识别方法及系统 |
| WO2020248096A1 (zh) * | 2019-06-10 | 2020-12-17 | 哈尔滨工业大学（深圳） | 基于局部特征的三维人脸识别方法和系统 |
| CN111768543A (zh) * | 2020-06-29 | 2020-10-13 | 杭州翔毅科技有限公司 | 基于人脸识别的通行管理方法、设备、存储介质及装置 |
| CN111914748A (zh) * | 2020-07-31 | 2020-11-10 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Dan Zeng et al."A survey of face recognition techniques under occlusion".《IET Biometrics》.2021,第10卷(第6期),第581-606页. * |
| 唐颖复等."基于改进SIFT和SURF算法的沙丘图像配准".《清华大学学报（自然科学版）》.2021,第61卷(第2期),第161-169页. * |
| 魏龙等."基于改进 YOLO v4的小目标检测方法".《软件导刊》.2021,第20卷(第7期),第54-58页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| ZA202213209B (en) | 2023-08-30 |
| WO2023103372A1 (zh) | 2023-06-15 |
| CN114359998A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114359998B (zh) | 一种人脸口罩佩戴状态下的识别方法 | |
| CN111401257B (zh) | 一种基于余弦损失在非约束条件下的人脸识别方法 | |
| CN109389074B (zh) | 一种基于人脸特征点提取的表情识别方法 | |
| WO2019134327A1 (zh) | 一种基于边缘检测与sift的人脸表情识别特征提取方法 | |
| WO2016138838A1 (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
| WO2017016240A1 (zh) | 一种钞票冠字号识别方法 | |
| US20060018521A1 (en) | Object classification using image segmentation | |
| US8090151B2 (en) | Face feature point detection apparatus and method of the same | |
| CN107330397A (zh) | 一种基于大间隔相对距离度量学习的行人重识别方法 | |
| CN106909895B (zh) | 一种基于随机投影多核学习的手势识别方法 | |
| CN109376717A (zh) | 人脸对比的身份识别方法、装置、电子设备及存储介质 | |
| CN109145704B (zh) | 一种基于人脸属性的人脸画像识别方法 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| CN112686265A (zh) | 一种基于层级轮廓提取的象形文字分割方法 | |
| CN107392105B (zh) | 一种基于反向协同显著区域特征的表情识别方法 | |
| Mali et al. | Indian sign language recognition using SVM classifier | |
| CN110826534A (zh) | 一种基于局部主成分分析的人脸关键点检测方法及系统 | |
| CN107729863B (zh) | 人体指静脉识别方法 | |
| CN110909678B (zh) | 一种基于宽度学习网络特征提取的人脸识别方法及系统 | |
| CN112101293A (zh) | 人脸表情的识别方法、装置、设备及存储介质 | |
| Jindal et al. | Sign Language Detection using Convolutional Neural Network (CNN) | |
| CN111382703B (zh) | 一种基于二次筛选与分数融合的指静脉识别方法 | |
| KR100893086B1 (ko) | 조명 변화에 강인한 얼굴 검출 방법 | |
| Özgür et al. | Lip segmentation using adaptive color space training | |
| CN112270218A (zh) | 一种用于指纹自动识别的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |