CN113435361B

CN113435361B - 一种基于深度相机的口罩识别方法

Info

Publication number: CN113435361B
Application number: CN202110740788.XA
Authority: CN
Inventors: 岳洋; 王晓妍
Original assignee: Nankai University
Current assignee: Nankai University
Priority date: 2021-07-01
Filing date: 2021-07-01
Publication date: 2023-08-01
Anticipated expiration: 2041-07-01
Also published as: CN113435361A

Abstract

本发明属于光信息处理和计算机视觉技术领域，具体涉及一种基于深度相机识别人员是否佩戴口罩的方法，旨在实现公共场合的自动化口罩检测。本发明提供一种基于深度相机的口罩识别方法，包括通过深度相机获取包含人脸的深度图；将获取的深度图片裁剪为仅包含下半部分人脸的深度图片；提取人脸下半部分的轮廓；计算空间特征与频率特征；通过空间特征与频率特征识别人脸是否佩戴口罩；通过空间特征与频率特征识别人脸佩戴的口罩种类。本发明的技术方案不仅能判断人脸是否佩戴口罩，还可以判断出人脸所佩戴的口罩种类，提供统计信息，解决了公共场合的口罩检测准确率受光照条件影响大的问题，提高了检测的鲁棒性。

Description

一种基于深度相机的口罩识别方法

技术领域

本发明涉及一种基于深度相机的口罩识别方法，属于光信息处理和计算机视觉技术领域。

背景技术

佩戴口罩能有效阻止病毒的传播。随着新冠肺炎疫情的全球流行，越来越多的公共场合要求进出人员佩戴口罩。人工识别的方法不仅浪费人力，还容易造成感染。使用相机和计算机的组合能实现机器自动识别人员是否佩戴口罩，避免了人力资源的浪费和暴露风险。

判断人员是否佩戴口罩需要用到光信息处理和计算机视觉技术。目前多数图像分类方法基于二维图像。由于图像本身的限制，这些方法受光照影响大，在室内、室外性能不同。当前比较常用的分类方法基于深度学习网络，需要预先构建数据库，计算成本高。

深度相机的性能不受光照条件变化的影响，基于深度相机拍摄得到的深度图片能够反映物体与相机之间的距离和物体的三维形貌。目前基于深度相机的图像分类方法主要停留在特征提取阶段，因此基于深度相机的口罩识别将更有切实的价值。深度相机可以解决光照条件的影响，此外，我们还需要设计具有鲁棒性的特征以进行高准确率的口罩识别及分类。

发明内容

本发明的主要目的在于设计一种基于深度相机的口罩识别方法，能克服光照变化的影响，设计的特征能够用于区分人员是否佩戴口罩以及口罩的种类。

本发明采用的技术方案具体为：

一种基于深度相机识别人员是否佩戴口罩的方法，具体步骤为：

步骤一：使用深度相机拍摄包含人脸的深度图片。

步骤二：将拍摄得到的深度图片裁剪为仅包含下半部分人脸的深度图片；

步骤三：提取人脸下半部分的轮廓。具体方法为：取下半部分人脸深度图片的长、宽中点，以四个长、宽中点为顶点构建菱形区域；遍历菱形区域的像素值，取每行的极值，得到下半部分的面部轮廓。

其中，极值点具体为极大值点还是极小值点由拍摄的深度图像类型决定。本方法中的极值点一旦确定，后续方法中极值点的选取均为同一类型。

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

空间特征的计算方法为：对下半部分的面部轮廓曲线进行平滑，得到平滑后的下半部分轮廓的空间曲线；计算空间曲线的极值点的个数N和空间曲线两个最远极小值点之间的标准差SSD，若只有一个极小值点，SSD＝0。

频率特征的提取方法为：对下半部分的面部轮廓曲线进行傅里叶变换，得到下半部分的面部轮廓的频率曲线；计算频率曲线的面积S和频率曲线的标准差FSD。

步骤五：通过空间特征与频率判断人脸是否佩戴口罩。具体方法为：

平滑曲线的极值点的个数N>N’时，p₁＝1，否则p₁＝0；

平滑曲线的标准差SSD>SSD’时，p₂＝1，否则p₂＝0；

频率曲线的面积S>S’时，p₃＝1，否则p₃＝0；

频率曲线的标准差FSD>FSD’时，p₄＝1，否则p₄＝0；

P＝p₁+p₂+p₃+p₄，当P≥2时，判断人脸未佩戴口罩，当P<2时，判断人脸佩戴口罩。

其中N’、S’、SSD’、FSD’为阈值，阈值与使用的深度相机及拍摄得到的深度图像类型有关，不同深度相机使用时需要重新确定阈值。

一种基于深度相机识别人脸佩戴口罩的种类的方法，具体步骤为：

步骤一：使用深度相机拍摄包含人脸的深度图片。

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

平滑曲线的极值点的个数N>N’时，p₁＝1，否则p₁＝0；

平滑曲线的标准差SSD>SSD’时，p₂＝1，否则p₂＝0；

频率曲线的面积S>S’时，p₃＝1，否则p₃＝0；

频率曲线的标准差FSD>FSD’时，p₄＝1，否则p₄＝0；

P＝p₁+p₂+p₃+p₄，当P≥2时，判断人脸未佩戴口罩，当P<2时，判断人脸佩戴口罩。当判断人脸佩戴口罩时，继续执行步骤六。

步骤六：计算人脸下半部分轮廓的空间特征与频率特征；

空间特征的计算方法为：对下半部分的面部轮廓曲线进行平滑，得到平滑后的下半部分轮廓的空间曲线；取平滑曲线的极值点和左右端点，计算三点组成的两条直线的夹角α；以平滑曲线的极值点为中心，向左右各取一段距离L，得到2L长的曲线，用Y₁＝a₁x²+b₁x+c₁拟合这段曲线，得到a₁值。

频率特征的提取方法为：用Y₂＝a₂x²+b₂x+c₂拟合平滑曲线，对拟合后的曲线进行傅里叶变换，得到频率曲线，计算频率曲线的面积FS。

步骤七：通过空间特征与频率特征判断人脸佩戴口罩的种类。其方法为：

两条直线的夹角α<α’时，w₁＝1，否则w₁＝0；

拟合曲线的a₁<a₁’时，w₂＝1，否则w₂＝0；

频率曲线的面积FS<FS’时，w₃＝1，否则w₃＝0；

W＝w₁+w₂+w₃，当W≥2时，判断人脸佩戴的口罩为普通外科口罩，当W<2时，判断人脸佩戴的口罩为N95口罩。

其中阈值α’、a₁’、FS’和使用的相机及拍摄得到的深度图片类型有关，不同深度相机使用时需要重新确定阈值。

本发明的有益效果：

本发明设计了一种基于深度相机的判断人脸是否佩戴口罩的方法，解决了光照对成像质量的影响，提高了识别准确率。此外，本方法还能分辨人脸佩戴的口罩种类，有助于提供统计数据。

附图说明

图1是本发明主要步骤的流程图。

图2是本发明的方法中的一种实施例，具体为判断人员是否佩戴口罩时，计算空间特征和频率特征的流程图。

图3是本发明的方法中的一种实施例，具体为判断人员佩戴的口罩种类时，计算空间特征与频率特征的流程图。

图4是本发明的一种实施例的示意图。401是被拍摄的佩戴口罩的人员，402是拍摄使用的深度相机，403是深度相机拍摄得到的深度图，404是处理数据的计算终端，405是经过本发明的方法处理提取出的被拍摄人员的人脸下半部分轮廓。

图5是本发明的一种实施例拍摄得到的深度图片。501是未佩戴口罩的人脸深度图像，502是经过本发明的方法处理提取出的501中的人脸下半部分轮廓，503是佩戴外科口罩的人脸深度图像，504是经过本发明的方法处理提取出的503中的人脸下半部分轮廓，505是佩戴N95口罩的人脸深度图像，506是经过本发明的方法处理提取出的505中的人脸下半部分轮廓。

下面结合附图对本发明的具体实施方式做进一步说明：

实施例一：

当输入为图5中501所示的人员未佩戴口罩的深度图像时，按照图1和图2中的流程图，处理步骤如下。

步骤一：使用深度相机拍摄得到未佩戴口罩的人脸的深度图片501。

步骤二：将从深度相机获取的包含人脸的深度图片501裁剪为仅包含下半部分人脸的深度图片；

步骤三：提取人脸下半部分的轮廓。具体方法为：取下半部分人脸深度图片的长、宽中点，以四个长、宽中点为顶点构建菱形区域；遍历菱形区域的像素值，取每行的极小值，得到下半部分的面部轮廓。

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

空间特征的计算方法为：对下半部分的面部轮廓曲线502进行平滑，得到平滑后的下半部分轮廓的空间曲线502；计算平滑曲线的极值点的个数N和平滑曲线两个最远极小值点之间的标准差SSD(若只有一个极小值点SSD＝0)。对于本实施例，N＝3，SSD＝0.018。

频率特征的提取方法为：对下半部分的面部轮廓曲线502进行傅里叶变换，得到下半部分的面部轮廓的频率曲线；计算频率曲线的面积S和频率曲线的标准差FSD。对于本实施例，S＝172.06，FSD＝0.59。

步骤五：通过空间特征与频率判断人脸是否佩戴口罩。对于本实施例，阈值N’＝2，SSD’＝0.005，S’＝100，FSD’＝0.5。

平滑曲线的极值点的个数N>N’，p₁＝1；

平滑曲线的标准差SSD>SSD’，p₂＝1；

频率曲线的面积S>S’，p₃＝1；

频率曲线的标准差FSD>FSD’，p₄＝1；

P＝p₁+p₂+p₃+p₄＝4≥2，判断人脸未佩戴口罩，判断正确。

实施例二：

当输入为图5中503所示的人员佩戴普通外科口罩的深度图像时，按照图1、图2和图3中的流程图进行处理。

步骤一：使用深度相机拍摄得到佩戴普通外科口罩的人脸的深度图片503。

步骤二：将从深度相机获取佩戴普通外科口罩的人脸的深度图片503裁剪为仅包含下半部分人脸的深度图片；

步骤三：提取人脸下半部分的轮廓。其方法为：取下半部分人脸深度图片的长、宽中点，以四个长、宽中点为顶点构建菱形区域；遍历菱形区域的像素值，取每行的极小值，得到下半部分的面部轮廓。

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

根据图2中的流程，对下半部分的面部轮廓曲线进行平滑，得到平滑后的下半部分轮廓的空间曲线504；计算平滑曲线的极值点的个数N和平滑曲线两个最远极小值点之间的标准差SSD(若只有一个极小值点SSD＝0)。对于本实施例，N＝2，SSD＝0.0032。

对下半部分的面部轮廓曲线504进行傅里叶变换，得到下半部分的面部轮廓的频率曲线；计算频率曲线的面积S和频率曲线的标准差FSD。对于本实施例，S＝82.19，FSD＝0.432。

平滑曲线的极值点的个数N<N’，p₁＝0；

平滑曲线的标准差SSD<SSD’，p₂＝0；

频率曲线的面积S<S’，p₃＝0；

频率曲线的标准差FSD<FSD’，p₄＝0；

P＝p₁+p₂+p₃+p₄＝0<2，判断人脸佩戴口罩，进入下一步处理以判断口罩种类。

步骤六：计算人脸下半部分轮廓的空间特征与频率特征；

根据图3中的流程，对下半部分的面部轮廓曲线504进行平滑，得到平滑后的下半部分轮廓的空间曲线；取平滑曲线的极值点，再取平滑曲线的左右端点，计算三点组成的两条直线的夹角α；以平滑曲线的极值点为中心，向左右各取一段距离L，得到2L长的曲线，用Y₁＝a₁x²+b₁x+c₁拟合这段曲线，得到a₁值。对于本实施例，α＝41.57°，a₁＝1.19。

用Y₂＝a₂x²+b₂x+c₂拟合平滑曲线，对拟合后的曲线进行傅里叶变换，得到频率曲线，计算频率曲线的面积FS。对于本实施例，FS＝22.52。

步骤七：通过空间特征与频率特征判断人脸佩戴口罩的种类。对于本实施例，阈值α’＝50，a₁’＝2.5，FS’＝47。

两条直线的夹角α<α’，w₁＝1；

拟合曲线的a₁<a₁’，w₂＝1；

频率曲线的面积FS<FS’，w₃＝1；

W＝w₁+w₂+w₃＝3>2，判断人脸佩戴的口罩为普通外科口罩，判断正确。

实施例三：

当输入为图5中505所示的人员N95口罩的深度图像时，按照图1、图2和图3中的流程图进行处理。

步骤一：使用深度相机拍摄得到佩戴N95口罩的人脸的深度图片505。

步骤二：将从深度相机获取的佩戴N95口罩的人脸的深度图片505裁剪为仅包含下半部分人脸的深度图片；

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

根据图2中的流程，对下半部分的面部轮廓曲线506进行平滑，得到平滑后的下半部分轮廓的空间曲线506；计算平滑曲线的极值点的个数N和两个最远极小值点之间的标准差SSD(若只有一个极小值点SSD＝0)。对于本实施例，N＝1，SSD＝0。

对下半部分的面部轮廓曲线506进行傅里叶变换，得到下半部分的面部轮廓的频率曲线；计算频率曲线的面积S和频率曲线的标准差FSD。对于本实施例，S＝56.58，FSD＝0.416。

平滑曲线的极值点的个数N<N’，p₁＝0；

平滑曲线的标准差SSD<SSD’，p₂＝0；

频率曲线的面积S<S’，p₃＝0；

频率曲线的标准差FSD<FSD’，p₄＝0；

步骤六：计算人脸下半部分轮廓的空间特征与频率特征；

根据图3中的流程，对下半部分的面部轮廓曲线506进行平滑，得到平滑后的下半部分轮廓的空间曲线；取平滑曲线的极值点，再取平滑曲线的左右端点，计算三点组成的两条直线的夹角α；以平滑曲线的极值点为中心，向左右各取一段距离L，得到2L长的曲线，用Y₁＝a₁x²+b₁x+c₁拟合这段曲线，得到a₁值。对于本实施例，α＝61.67°，a₁＝3.58。

用Y₂＝a₂x²+b₂x+c₂拟合平滑曲线，对拟合后的曲线进行傅里叶变换，得到频率曲线，计算频率曲线的面积FS。对于本实施例，FS＝80.61。

步骤七：通过空间特征与频率特征判断人脸佩戴口罩的种类。对于本实施例，阈值α’＝50°，a₁’＝2.5，FS’＝47。

两条直线的夹角α>α’，w₁＝0；

拟合曲线的a₁>a₁’，w₂＝0；

频率曲线的面积FS>FS’，w₃＝0；

W＝w₁+w₂+w₃＝0<2，判断人脸佩戴的口罩为N95口罩，判断正确。

以上结合附图对本发明实施例进行了详细说明，此处的附图是用来提供对本发明的进一步理解。但本发明的保护范围不限于公开的实施例，意在覆盖所附权利要求的精神和范围之内所包括的多种变形和等效设置。因此，对属于本发明技术构思，并且仅仅是技术方案显而易见的改动，均应属于本发明保护范围。

Claims

1.一种基于深度相机识别人员是否佩戴口罩的方法，其特征在于，所述方法包括：

步骤一：使用深度相机拍摄得到包含人脸的深度图片；

步骤二：将从深度相机获取的包含人脸的深度图片裁剪为仅包含下半部分人脸的深度图片；

步骤三：提取人脸下半部分的轮廓，其方法为：取下半部分人脸深度图片的长、宽中点，以四个长、宽中点为顶点构建菱形区域；遍历菱形区域的像素值，取每行的极值，得到下半部分的面部轮廓；

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

其中空间特征的计算方法为：对下半部分的面部轮廓曲线进行平滑，得到平滑后的下半部分的面部轮廓的空间曲线；计算空间曲线的极值点的个数N和空间曲线两个最远极小值点之间的标准差SSD，若只有一个极小值点，SSD=0；

其中频率特征的提取方法为：对下半部分的面部轮廓曲线进行傅里叶变换，得到下半部分的面部轮廓的频率曲线；计算频率曲线的面积S和频率曲线的标准差FSD；

步骤五：通过空间特征与频率特征判断人脸是否佩戴口罩，其方法为：

空间曲线的极值点的个数N>N’时，p₁=1，否则p₁=0；

空间曲线的标准差SSD> SSD’时，p₂=1，否则p₂=0；

频率曲线的面积S> S’时，p₃=1，否则p₃=0;

频率曲线的标准差FSD> FSD’时，p₄=1，否则p₄=0；

其中N’，SSD’，S’，FSD’为阈值；

P= p₁+ p₂+ p₃+ p₄，当P≥2时，判断人脸未佩戴口罩，当P<2时，判断人脸佩戴口罩。

2.根据权利要求1所述的方法，其特征在于，步骤三中的极值点可以是极大值点或极小值点，具体为极大值点还是极小值点由拍摄的深度图像类型决定，本方法中的极值点一旦确定，后续方法中极值点的选取均为同一类型。

3.根据权利要求1所述的方法，其特征在于，步骤五中的阈值N’，SSD’，S’，FSD’ 与使用的深度相机及拍摄得到的深度图像类型有关，不同深度相机使用时需要重新确定阈值。

4.一种基于深度相机识别人脸佩戴口罩的种类的方法，其特征在于，所述方法包括：

步骤一：使用深度相机拍摄得到包含人脸的深度图片；

步骤四：计算人脸下半部分轮廓的空间特征与频率特征；

空间曲线的极值点的个数N>N’时，p₁=1，否则p₁=0；

空间曲线的标准差SSD> SSD’时，p₂=1，否则p₂=0；

频率曲线的面积S> S’时，p₃=1，否则p₃=0;

频率曲线的标准差FSD> FSD’时，p₄=1，否则p₄=0；

其中N’，SSD’，S’，FSD’为阈值；

P= p₁+ p₂+ p₃+ p₄，当P<2时，判断人脸佩戴口罩，继续执行步骤六；

步骤六：计算人脸下半部分轮廓的空间特征与频率特征；

其中空间特征的计算方法为：对下半部分的面部轮廓曲线进行平滑，得到平滑后的下半部分的面部轮廓的空间曲线；取空间曲线的极值点，再取空间曲线的左右端点，计算三点组成的两条直线的夹角α；以空间曲线的极值点为中心，向左右各取一段距离L，得到2L长的曲线，用Y₁=a₁x²+b₁x+c₁拟合这段曲线，得到a₁值；

其中频率特征的提取方法为：用Y₂=a₂x²+b₂x+c₂拟合空间曲线，对拟合后的曲线进行傅里叶变换，得到频率曲线，计算频率曲线的面积FS；

步骤七：通过空间特征与频率特征判断人脸佩戴口罩的种类，其方法为：

两条直线的夹角α<α’时，w₁=1，否则w₁=0；

拟合曲线的a₁<a₁’时，w₂=1，否则w₂=0；

频率曲线的面积FS<FS’时，w₃=1，否则w₃=0;

其中α’、a₁’、FS’为阈值；

W= w₁+ w₂+ w₃，当W≥2时，判断人脸佩戴的口罩为普通外科口罩，当W<2时，判断人脸佩戴的口罩为N95口罩。

5.根据权利要求4所述的方法，其特征在于，步骤三中的极值点可以是极大值点或极小值点，具体为极大值点还是极小值点由拍摄的深度图像类型决定，本方法中的极值点一旦确定，后续方法中极值点的选取均为同一类型。

6.根据权利要求4所述的方法，其特征在于，步骤五中的阈值N’，SSD’，S’，FSD’ 与使用的深度相机及拍摄得到的深度图像类型有关，不同深度相机使用时需要重新确定阈值。

7.根据权利要求4所述的方法，其特征在于，步骤七中的阈值α’、a₁’、FS’与使用的深度相机及拍摄得到的深度图像类型有关，不同深度相机使用时需要重新确定阈值。

8.根据权利要求4所述的方法，其特征在于，步骤七中的普通外科口罩也可以是其他材质柔软的口罩，包括但不限于普通外科口罩；N95口罩也可以是其他立体挺阔的高防护型口罩，包括但不限于N95口罩；分类包括但不限于普通外科口罩和N95口罩，也可以根据实际需要增加其他口罩种类。