CN114359998A - 一种人脸口罩佩戴状态下的识别方法 - Google Patents

一种人脸口罩佩戴状态下的识别方法 Download PDF

Info

Publication number
CN114359998A
CN114359998A CN202111478584.XA CN202111478584A CN114359998A CN 114359998 A CN114359998 A CN 114359998A CN 202111478584 A CN202111478584 A CN 202111478584A CN 114359998 A CN114359998 A CN 114359998A
Authority
CN
China
Prior art keywords
image
mask
feature
corner
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111478584.XA
Other languages
English (en)
Other versions
CN114359998B (zh
Inventor
姚克明
王羿
姜绍忠
李峰
王小兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Technology
Original Assignee
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Technology filed Critical Jiangsu University of Technology
Priority to CN202111478584.XA priority Critical patent/CN114359998B/zh
Publication of CN114359998A publication Critical patent/CN114359998A/zh
Priority to PCT/CN2022/104572 priority patent/WO2023103372A1/zh
Priority to ZA2022/13209A priority patent/ZA202213209B/en
Application granted granted Critical
Publication of CN114359998B publication Critical patent/CN114359998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别技术领域，具体的说，是一种人脸口罩佩戴状态下的识别方法，首先使用改进的YOLO网络进行口罩检测，为了提高识别效率和速度之后采用金字塔式分层处理结构，初筛阶段通过轮廓特征筛选得到候选目标库；精选阶段从候选目标库内选择对象提取改进尺度不变特征，改善了角点筛选匹配的算法，节省了大部分数据库内角点特征提取及匹配的时间，显著提高了SIFT算法提取特征的速度和匹配的准确率，能够实现包含佩戴口罩情况下对人脸的快速且高精准识别。

Description

一种人脸口罩佩戴状态下的识别方法
技术领域
本发明属于图像识别技术领域，具体的说，是一种人脸口罩佩戴状态下的识别方法。
背景技术
随着机器视觉及人工智能技术的蓬勃发展，人脸识别技术作为目前发展最快也最有潜力的生物识别手段在各个领域都有着重要的应用，正常情况下的人脸识别的发展已经相当成熟。疫情期间，佩戴口罩已经成为一种生活常态；摘下口罩进行人脸识别具有很高的风险；识别过程不仅不方便，而且效率不高。因此人脸口罩佩戴状态下的身份识别具有相当大的价值与意义，同时也有着迫切的需求。
发明内容
本发明的目的是提出一种人脸口罩佩戴状态下的识别方法，使佩戴口罩情况下的人脸识别的效果更加高效、准确。
为了实现上述目标，本发明采用的技术方案是：
一种人脸口罩佩戴状态下的识别方法，具体实现过程包括：
步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；
步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg 工具手动标注，保存带有口罩标签的图像和标签信息文件；
步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；
步骤四：对步骤一构建的数据集内处的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像；
步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过初筛的进入候选目标库，为后续精确识别做准备；
步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征(SIFT)，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内，识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征；
步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
在上述技术方案中，步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转等操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片。
步骤二中，对使用图像采集设备拍摄获得的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件。
步骤三中，改进了YOLO V4网络对数据库内人脸图像进行训练。其中使用深度卷积模块改进了主干特征提取网络，改进后提高了口罩检测的速度，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作；接着对升维后的特征层进行深度可分离卷积，卷积核大小为 3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富；最后进行1×1 的卷积BatchNorm标准化和Swish激活进行降维，输出特征层。输入大小为x*y 的图片，最终根据P6，P7，P8输出的
Figure BDA0003394192150000021
三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数。
步骤四中，对步骤一构建的数据集内处的图像进行改进边缘检测，具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为 3*3和5*5的椭圆结构元素，结构元素b1是小尺度，能较好地保留图像的细节信息但是去噪效果比较差；结构元素b2尺度较大，有着较好的去噪效果但是细节信息丢失多。对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1。其中I为输出图像，f为初步数据集内人脸图像。
步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像，具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框，对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除以下半部分的轮廓图像获得局部轮廓图像。
步骤五中，对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的进入候选目标库。其中初步筛选的依据为：计算两幅图像的matchShapes函数
Figure BDA0003394192150000031
若f小于设置阈值k，则通过初步筛选，对该识别对象进行下一步骤的识别工作。其中，A 表示对象1，B表示对象2，
Figure BDA0003394192150000032
表示对象1的Hu值，Hu不变矩在图像旋转、缩放、平移等操作后，仍能保持矩的不变性，matchShapes函数f内参数选取7个 Hu不变矩中不变性保持的最好的第一个和第二个。
Figure BDA0003394192150000033
其中
Figure BDA0003394192150000034
r＝(q+p)/2+1，
Figure BDA0003394192150000035
x0＝m10/m00，y0＝m01/m00，
Figure BDA0003394192150000036
步骤六中，通过步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像。对获取的局部人脸图像提取尺度不变特征 (SIFT)后将输出的所有角点特征向量组合为矩阵X＝[x1，x2，...，xi，...，xn]T，i 表示识别对象的第i个角点，xi表示识别对象的第i个角点的128维的特征向量。为了提高匹配速度，将输出特征向量的维度降至D维。为此对矩阵X进行主成分分析，具体操作为：将X的每一行进行零均值化，即减去这一行的均值；求出协方差矩阵
Figure BDA0003394192150000037
求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列为矩阵，取前D行组成矩阵P；Y＝PX即为最后输出的降维后D维的特征向量。
步骤七中，采用金字塔式分层处理结构思想，对通过步骤五轮廓特征初筛的对象作为候选对象，对其运用步骤六的提取特征方法提取特征，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果；对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果，其中角点筛选匹配依据如下：
Figure BDA0003394192150000041
其中对于待识别对象A检测出N个角点，i为数据库内待匹配对象，f(i)表示第i个对象检测出的角点数量。Z[f(i)]表示第i个对象与A匹配成功的角点数量。 Z[fk(i)]表示第i个对象检测到第k个角点时与A匹配成功的角点数量。Y[Ki，Ki+1] 表示输出Ki与Ki+1中最小的对象i的值。
Figure BDA0003394192150000042
pnk(m)为两个角点特征向量间相似度，匹配时设置一个阈值Pα，若匹配时pnk(m)＞Pα，则两个角点不匹配。Pα根据经验值及样本训练来设定，相似度设置为对象A与样本库内匹配对象角点间特征向量的相对欧式距离。
Figure BDA0003394192150000043
pnk(m)表示对象A内第n个角点与样本库内对象第k个角点匹配，其中第m个匹配成功的角点之间的相对欧式距离。
为了进一步提高搜索速度，
当计算pnk(m)时，先计算
Figure BDA0003394192150000044
若前d维度相对欧式距离已经大于阈值Pα，则不进行下面维度计算，d按经验一般取小于整体维度D的值。
对象A第n个角点的欧式距离为：
Figure BDA0003394192150000051
对象A第n个角点与样本库内对象第k个角点之间的绝对欧式距离为：
Figure BDA0003394192150000052
Rn＝(rn1，rn2，...，rnD)为识别对象第n个角点D维的特征描述向量， Sk＝(sk1，sk2，...，skD)为样本库内对象第k个角点对比匹配的D维特征描述向量。最后输出的X为匹配对象编号。
具体来说：对于待识别对象A检测出N个角点，在样本库内对象检测出M 个角点，当该对象与A中N个角点匹配成功的数量多于样本库内前一对象时，将该对象作为与A最相似的对象；若该对象以及样本库内前一对象与A中N个角点匹配成功的数量一致时，将他们与对象A匹配成功每一个角点相似度累加，选择累加值最小的对象作为与A最相似的对象；在角点匹配过程中，当样本库内对象检测到第k个角点时与A匹配成功的角点数量加上剩余检测出来的所有角点数量小于前一对象匹配成功的数量，不进行剩余角点匹配。
本发明的有益效果：本发明针对目前佩戴口罩情况下人脸识别的问题，首先使用改进的YOLO网络进行口罩检测，为了提高识别效率和速度之后采用金字塔式分层处理结构，初筛阶段通过轮廓特征筛选得到候选目标库；精选阶段从候选目标库内选择对象提取改进尺度不变特征，改善了角点筛选匹配的算法，节省了大部分数据库内角点特征提取及匹配的时间，显著提高了SIFT算法提取特征的速度和匹配的准确率。能够实现包含佩戴口罩情况下对人脸的快速且高精准识别。
附图说明
图1为本发明标注并建立样本库流程图。
图2为本发明识别过程流程图。
图3为本发明为改进YOLO V4整体网络图。
图4为本发明为改进YOLO V4网络的主干特征提取网络中的深度卷积模块结构。
图5为本发明中大小为3*3和5*5的椭圆结构元。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
如图1-图5所示，为了解决佩戴口罩情况下的人脸识别问题，本实施例设计了一种快速、准确、效果明显的识别方法，具体流程如下：
步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；
在步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转等操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片；
步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg 工具手动标注，保存带有口罩标签的图像和标签信息文件；
在步骤二中，对使用图像采集设备拍摄获得的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；
步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；
在步骤三中，改进了YOLO V4网络对数据库内人脸图像进行训练。其中使用深度卷积模块改进了主干特征提取网络，改进后提高了口罩检测的速度，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作；接着对升维后的特征层进行深度可分离卷积，卷积核大小为3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富；最后进行1 ×1的卷积BatchNorm标准化和Swish激活进行降维，输出特征层。输入大小为 x*y的图片，最终根据P6，P7，p8输出的
Figure BDA0003394192150000061
三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数；
步骤四：对步骤一构建的数据集内处的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像。
在步骤四中，对步骤一构建的数据集内处的图像进行改进边缘检测。具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为3*3和5*5的椭圆结构元素，结构元素b1是小尺度，能较好地保留图像的细节信息但是去噪效果比较差；结构元素b2尺度较大，有着较好的去噪效果但是细节信息丢失多。对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1。其中I为输出图像，f为初步数据集内人脸图像。
在步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像。具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框。对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除以下半部分的轮廓图像获得局部轮廓图像。
步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过初筛的进入候选目标库，为后续精确识别做准备。
在步骤五中，对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的进入候选目标库。其中初步筛选的依据为：计算两幅图像的matchShapes函数
Figure BDA0003394192150000071
若f小于设置阈值k，则通过初步筛选，对该识别对象进行下一步骤的识别工作。A表示对象1，B表示对象2，
Figure BDA0003394192150000072
表示对象1的Hu值，Hu不变矩在图像旋转、缩放、平移等操作后，仍能保持矩的不变性，matchShapes函数f内参数选取7个Hu不变矩中不变性保持的最好的第一个和第二个。
Figure BDA0003394192150000073
其中
Figure BDA0003394192150000074
r＝(q+p)/2+1，
Figure BDA0003394192150000075
x0＝m10/m00，y0＝m01/m00，
Figure BDA0003394192150000081
步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征(SIFT)，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内。识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征。
在步骤六中，通过步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像。
在步骤六中，对获取的局部人脸图像提取尺度不变特征(SIFT)后将输出的所有角点特征向量组合为矩阵X＝[x1，x2，...，xi，...，xn]T，i表示识别对象的第i个角点，xi表示识别对象的第i个角点的128维的特征向量。为了提高匹配速度，将输出特征向量的维度降至D维。为此对矩阵X进行主成分分析，具体操作为：将X的每一行进行零均值化，即减去这一行的均值；求出协方差矩阵
Figure BDA0003394192150000082
求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列为矩阵，取前D行组成矩阵P；Y＝PX即为最后输出的降维后D 维的特征向量。
步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
在步骤七中，采用金字塔式分层处理结构思想，对通过步骤五轮廓特征初筛的对象作为候选对象，对其运用步骤六的提取特征方法提取特征，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
在步骤七中，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。其中角点筛选匹配依据如下：
Figure BDA0003394192150000083
Figure BDA0003394192150000091
其中对于待识别对象A检测出N个角点，i为数据库内待匹配对象，f(i)表示第i个对象检测出的角点数量。Z[f(i)]表示第i个对象与A匹配成功的角点数量。 Z[fk(i)]表示第i个对象检测到第k个角点时与A匹配成功的角点数量。Y[Ki，Ki+1] 表示输出Ki与Ki+1中最小的对象i的值。
Figure BDA0003394192150000092
pnk(m)为两个角点特征向量间相似度，匹配时设置一个阈值Pα，若匹配时pnk(m)＞Pα，则两个角点不匹配。Pα根据经验值及样本训练来设定，相似度设置为对象A与样本库内匹配对象角点间特征向量的相对欧式距离。
Figure BDA0003394192150000093
pnk(m)表示对象A内第n个角点与样本库内对象第k个角点匹配，其中第 m个匹配成功的角点之间的相对欧式距离。
为了进一步提高搜索速度，当计算pnk(m)时，先计算
Figure BDA0003394192150000094
Figure BDA0003394192150000095
若前d维度相对欧式距离已经大于阈值 Pα，则不进行下面维度计算，d按经验一般取小于整体维度D的值。
对象A第n个角点的欧式距离为：
Figure BDA0003394192150000096
对象A第n个角点与样本库内对象第k个角点之间的绝对欧式距离为：
Figure BDA0003394192150000097
Rn＝(rn1，rn2，...，rnD)为识别对象第n个角点D维的特征描述向量，Sk＝ (sk1，sk2，...，skD)为样本库内对象第k个角点对比匹配的D维特征描述向量。
最后输出的X为匹配对象编号。
具体来说：对于待识别对象A检测出N个角点，在样本库内对象检测出M 个角点，当该对象与A中N个角点匹配成功的数量多于样本库内前一对象时，将该对象作为与A最相似的对象；若该对象以及样本库内前一对象与A中N个角点匹配成功的数量一致时，将他们与对象A匹配成功每一个角点相似度累加，选择累加值最小的对象作为与A最相似的对象；在角点匹配过程中，当样本库内对象检测到第k个角点时与A匹配成功的角点数量加上剩余检测出来的所有角点数量小于前一对象匹配成功的数量，不进行剩余角点匹配。
综上所述，本发明针对目前佩戴口罩情况下人脸识别的问题，首先使用改进的YOLO网络进行口罩检测，为了提高识别效率和速度之后采用金字塔式分层处理结构，初筛阶段通过轮廓特征筛选得到候选目标库；精选阶段从候选目标库内选择对象提取改进尺度不变特征，改善了角点筛选匹配的算法，节省了大部分数据库内角点特征提取及匹配的时间，显著提高了SIFT算法提取特征的速度和匹配的准确率。能够实现包含佩戴口罩情况下对人脸的快速且高精准识别。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种人脸口罩佩戴状态下的识别方法，其特征在于，具体实现过程包括以下步骤：
步骤一：对通过公开的包含佩戴口罩的人脸图像数据集以及自行使用图像采集设备拍摄获得的人脸图像做预处理构建初步人脸图像数据集；
步骤二：对初步构建的人脸图像数据集中自行采集的人脸图像使用Labelimg工具手动标注，保存带有口罩标签的图像和标签信息文件；
步骤三：将处理后的图像输入改进的YOLO V4网络进行训练，若检测出口罩则输出检测结果；
步骤四：对步骤一构建的数据集内处的图像进行改进边缘检测，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像；
步骤五：对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过初筛的进入候选目标库，为后续精确识别做准备；
步骤六：将步骤四获得的局部轮廓图像坐标信息与步骤一构建的数据集内的图像结合获取局部人脸图像，对其提取尺度不变特征，并结合主成分分析降维处理，保存输出特征点特征信息至对应数据库内，识别阶段对通过步骤五筛选后的候选目标库内选择对象提取特征；
步骤七：输入目标人脸图像，完成口罩佩戴检测，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果。
2.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤一中，对人脸图像做预处理，具体预处理操作为：在公开的包含佩戴口罩的人脸图像数据集中选取人脸姿态端正的图像，在保证人脸位置相对端正的前提下自行使用图像采集设备拍摄获取相关图像，对这些选取后的图片进行包括去噪、图像信息增强、尺寸归一化、旋转操作，最终构建的初步人脸图像数据集为包含多个用户多张佩戴口罩以及无佩戴口罩人脸图片。
3.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤三中，改进了YOLO V4网络对数据库内人脸图像进行训练，其中使用深度卷积模块改进了主干特征提取网络，具体方法为：首先对输入的特征层进行1*1的卷积，BatchNorm标准化和Swish激活函数激活进行升维操作，接着对升维后的特征层进行深度可分离卷积，卷积核大小为3×3或5×5，通过深度可分离卷积使特征层语义信息更加丰富，最后进行1×1的卷积BatchNorm标准化和Swish激活进行降维，输出特征层，输入大小为x*y的图片，最终根据P6，P7，P8输出的
Figure FDA0003394192140000021
三个尺度的特征向量输出口罩佩戴的结果，z为最后输出的通道数。
4.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤四中，对步骤一构建的数据集内处的图像进行改进边缘检测，具体方法为：在传统的Canny边缘检测算法中融入数学形态学技术，选用尺度大小分别为3*3和5*5的椭圆结构元素，结构元素b1是小尺度，结构元素b2尺度较大，对原图像先进行一次闭运算，再进行一次开运算，I＝f·b2·b1，其中I为输出图像，f为初步数据集内人脸图像。
5.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤四中，运用区域分割的思想去除包含口罩的下半部分轮廓图像获取局部轮廓图像，具体方法为：通过改进边缘检测获得图像的二值轮廓，对其进行均值滤波平滑处理后调用opencv库内findContours函数找到边缘以及rectangle函数创建包围轮廓的矩形框，对于输出的多个矩形框，选择图像像素坐标系内横向像素距离差最大或者矩形框中心点纵向像素位置最低的矩形框，判别该矩形框为包含口罩轮廓的矩形框，以该矩形框纵向坐标为基准，去除以下半部分的轮廓图像获得局部轮廓图像。
6.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤五中，对步骤四获得的局部轮廓图像提取轮廓特征，识别阶段通过轮廓特征进行初筛，通过初筛的进入候选目标库，其中初步筛选的依据为：计算两幅图像的matchShapes函数
Figure FDA0003394192140000022
若f小于设置阈值k，则通过初步筛选，对该识别对象进行下一步骤的识别工作，其中，A表示对象1，B表示对象2，
Figure FDA0003394192140000023
表示对象1的Hu值，Hu不变矩在图像旋转、缩放、平移等操作后，仍能保持矩的不变性，matchShapes函数f内参数选取7个Hu不变矩中不变性保持的最好的第一个和第二个，
Figure FDA0003394192140000031
其中
Figure FDA0003394192140000032
r＝(q+p)/2+1，
Figure FDA0003394192140000033
x0＝m10/m00，y0＝m01/m00，
Figure FDA0003394192140000034
7.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤六中，对获取的局部人脸图像提取尺度不变特征后将输出的所有角点特征向量组合为矩阵X＝[x1，x2，...，xi，...，xn]T，i表示识别对象的第i个角点，xi表示识别对象的第i个角点的128维的特征向量，为了提高匹配速度，将输出特征向量的维度降至D维，为此对矩阵X进行主成分分析，具体操作为：将X的每一行进行零均值化，即减去这一行的均值；求出协方差矩阵
Figure FDA0003394192140000035
求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列为矩阵，取前D行组成矩阵P；Y＝PX即为最后输出的降维后D维的特征向量。
8.根据权利要求1所述的一种人脸口罩佩戴状态下的识别方法，其特征在于，在所述步骤七中，对通过步骤五轮廓特征初筛的对象用步骤六的提取特征方法，将输出特征向量信息与数据库内信息进行匹配并最终输出识别结果，其中角点筛选匹配依据如下：
Figure FDA0003394192140000036
其中对于待识别对象A检测出N个角点，i为数据库内待匹配对象，f(i)表示第i个对象检测出的角点数量，Z[f(i)]表示第i个对象与A匹配成功的角点数量，Z[fk(i)]表示第i个对象检测到第k个角点时与A匹配成功的角点数量，Y[Ki，Ki+1]表示输出Ki与Ki+1中最小的对象i的值，
Figure FDA0003394192140000041
pnk(m)为两个角点特征向量间相似度，匹配时设置一个阈值Pα，若匹配时pnk(m)＞Pα，则两个角点不匹配，Pα根据经验值及样本训练来设定，相似度设置为对象A与样本库内匹配对象角点间特征向量的相对欧式距离，
Figure FDA0003394192140000042
pnk(m)表示对象A内第n个角点与样本库内对象第k个角点匹配，其中第m个匹配成功的角点之间的相对欧式距离；
为了进一步提高搜索速度，当计算pnk(m)时，
先计算
Figure FDA0003394192140000043
若前d维度相对欧式距离已经大于阈值Pα，则不进行下面维度计算，d按经验一般取小于整体维度D的值，
对象A第n个角点的欧式距离为：
Figure FDA0003394192140000044
对象A第n个角点与样本库内对象第k个角点之间的绝对欧式距离为：
Figure FDA0003394192140000045
Rn＝(rn1，rn2，...，rnD)为识别对象第n个角点D维的特征描述向量，
Sk＝(sk1，sk2，...，skD)为样本库内对象第k个角点对比匹配的D维特征描述向量，最后输出的X为匹配对象编号。
CN202111478584.XA 2021-12-06 2021-12-06 一种人脸口罩佩戴状态下的识别方法 Active CN114359998B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111478584.XA CN114359998B (zh) 2021-12-06 2021-12-06 一种人脸口罩佩戴状态下的识别方法
PCT/CN2022/104572 WO2023103372A1 (zh) 2021-12-06 2022-07-08 一种人脸口罩佩戴状态下的识别方法
ZA2022/13209A ZA202213209B (en) 2021-12-06 2022-12-06 Face recognition method in mask wearing state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111478584.XA CN114359998B (zh) 2021-12-06 2021-12-06 一种人脸口罩佩戴状态下的识别方法

Publications (2)

Publication Number Publication Date
CN114359998A true CN114359998A (zh) 2022-04-15
CN114359998B CN114359998B (zh) 2024-03-15

Family

ID=81098160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111478584.XA Active CN114359998B (zh) 2021-12-06 2021-12-06 一种人脸口罩佩戴状态下的识别方法

Country Status (3)

Country Link
CN (1) CN114359998B (zh)
WO (1) WO2023103372A1 (zh)
ZA (1) ZA202213209B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
WO2023103372A1 (zh) * 2021-12-06 2023-06-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN116452667A (zh) * 2023-06-16 2023-07-18 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117744745B (zh) * 2023-12-29 2024-09-17 江苏理工学院 一种基于YOLOv5网络模型的图像优化方法及优化系统
CN117668669B (zh) * 2024-02-01 2024-04-19 齐鲁工业大学(山东省科学院) 基于改进YOLOv7的管道安全监测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741761B1 (ko) * 2015-12-04 2017-05-30 광운대학교 산학협력단 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
CN108038476A (zh) * 2018-01-03 2018-05-15 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN108491773A (zh) * 2018-03-12 2018-09-04 中国工商银行股份有限公司 一种识别方法及系统
CN111768543A (zh) * 2020-06-29 2020-10-13 杭州翔毅科技有限公司 基于人脸识别的通行管理方法、设备、存储介质及装置
CN111914748A (zh) * 2020-07-31 2020-11-10 平安科技（深圳）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
WO2020248096A1 (zh) * 2019-06-10 2020-12-17 哈尔滨工业大学（深圳） 基于局部特征的三维人脸识别方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985212B (zh) * 2018-07-06 2021-06-04 深圳市科脉技术股份有限公司 人脸识别方法及装置
JP2021060866A (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN111460962B (zh) * 2020-03-27 2023-05-05 武汉大学 一种口罩人脸识别方法及系统
CN111598047B (zh) * 2020-05-28 2023-06-27 重庆康普达科技有限公司 一种人脸识别方法
CN112487886A (zh) * 2020-11-16 2021-03-12 北京大学 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN112418177A (zh) * 2020-12-09 2021-02-26 南京甄视智能科技有限公司 人脸识别方法与系统
CN114359998B (zh) * 2021-12-06 2024-03-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741761B1 (ko) * 2015-12-04 2017-05-30 광운대학교 산학협력단 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
CN108038476A (zh) * 2018-01-03 2018-05-15 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN108491773A (zh) * 2018-03-12 2018-09-04 中国工商银行股份有限公司 一种识别方法及系统
WO2020248096A1 (zh) * 2019-06-10 2020-12-17 哈尔滨工业大学（深圳） 基于局部特征的三维人脸识别方法和系统
CN111768543A (zh) * 2020-06-29 2020-10-13 杭州翔毅科技有限公司 基于人脸识别的通行管理方法、设备、存储介质及装置
CN111914748A (zh) * 2020-07-31 2020-11-10 平安科技（深圳）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAN ZENG ET AL: ""A survey of face recognition techniques under occlusion"", vol. 10, no. 6, pages 581 - 606, XP006112796, DOI: 10.1049/bme2.12029 *
唐颖复等: ""基于改进SIFT和SURF算法的沙丘图像配准"", vol. 61, no. 2, pages 161 - 169 *
魏龙等: ""基于改进 YOLO v4的小目标检测方法"", vol. 20, no. 7, pages 54 - 58 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103372A1 (zh) * 2021-12-06 2023-06-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
CN115619410B (zh) * 2022-10-19 2024-01-26 闫雪 自适应金融支付平台
CN116452667A (zh) * 2023-06-16 2023-07-18 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法
CN116452667B (zh) * 2023-06-16 2023-08-22 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法

Also Published As

Publication number Publication date
WO2023103372A1 (zh) 2023-06-15
ZA202213209B (en) 2023-08-30
CN114359998B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN114359998B (zh) 一种人脸口罩佩戴状态下的识别方法
WO2019134327A1 (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN111401257B (zh) 一种基于余弦损失在非约束条件下的人脸识别方法
CN105956582B (zh) 一种基于三维数据的人脸识别系统
CN107316031B (zh) 用于行人重识别的图像特征提取方法
CN105825183B (zh) 基于部分遮挡图像的人脸表情识别方法
CN107729820B (zh) 一种基于多尺度hog的手指静脉识别方法
US20060018521A1 (en) Object classification using image segmentation
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN107330397A (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
CN101131728A (zh) 一种基于Shape Context的人脸形状匹配方法
CN106127193B (zh) 一种人脸图像识别方法
CN112686265A (zh) 一种基于层级轮廓提取的象形文字分割方法
Mali et al. Indian sign language recognition using SVM classifier
CN111860529A (zh) 一种图像的预处理方法、系统、设备以及介质
CN109523484B (zh) 一种基于分形特征的手指静脉血管网络修复方法
CN118038515B (zh) 一种人脸识别方法
CN105809129A (zh) 一种基于Gabor小波的多阈值LBP人脸识别方法
Septiarini et al. Analysis of color and texture features for samarinda sarong classification
CN112101293A (zh) 人脸表情的识别方法、装置、设备及存储介质
CN117275048A (zh) 一种基于全局特征和局部细节点特征融合的指纹识别方法
Işikdoğan et al. Automatic recognition of Turkish fingerspelling
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
CN110390353A (zh) 一种基于图像处理的生物识别方法和系统
CN109948541A (zh) 一种面部情感识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant