CN111461028A - 复杂场景中的口罩检测模型训练及检测方法、介质及装置 - Google Patents

复杂场景中的口罩检测模型训练及检测方法、介质及装置 Download PDF

Info

Publication number
CN111461028A
CN111461028A CN202010255376.2A CN202010255376A CN111461028A CN 111461028 A CN111461028 A CN 111461028A CN 202010255376 A CN202010255376 A CN 202010255376A CN 111461028 A CN111461028 A CN 111461028A
Authority
CN
China
Prior art keywords
mask
data
target
steps
model training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010255376.2A
Other languages
English (en)
Inventor
吴晓晖
卢阳
王书平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shizai Technology Co ltd
Original Assignee
Hangzhou Shizai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shizai Technology Co ltd filed Critical Hangzhou Shizai Technology Co ltd
Priority to CN202010255376.2A priority Critical patent/CN111461028A/zh
Publication of CN111461028A publication Critical patent/CN111461028A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

复杂场景中的口罩检测模型训练及检测方法、介质及装置，涉及图片识别技术领域；口罩检测模型训练方法，包括以下步骤：S1、采集数据：数据由包括近景数据以及远景数据，整合后形成数据集；S2、对远景数据中目标进行优化：优化的方法为对远景数据内目标框进行聚类，得到更高拟合度的先验框；S3、采用深度学习模型对数据进行训练。与现有技术相比，对远景和小目标检测进行了优化，有效的改善了现有技术对远景和小目标检测效果不佳的问题，该方法鲁棒性好、能够适应远景、近景，能够快速准确地检测人员是否佩戴口罩。

Description

复杂场景中的口罩检测模型训练及检测方法、介质及装置
技术领域
本发明涉及图片识别技术领域，特别涉及复杂场景中的口罩检测模型训练及检测方法、介质及装置。
背景技术
口罩作为一种卫生用品广泛应用于厨房、医院、工厂、工地等场所，能够有效防唾液飞沫、止粉尘、有害气体等进出口鼻。对于这些需要检测是否佩戴口罩的场所，现有的检测方法有两种，第一种是在口罩上安装检测的传感器，根据检测传感器的检测数据，确定是否佩戴口罩，该方式需要在口罩上额外安装设备，会导致成本增加，可能会影响佩戴的舒适性。第二种方式是使用图像处理方法，比如通过对所述目标人脸图像进行阈值分割，通过统计上下人脸区域像素个数，和设定的阈值做对比，从而判断是否佩戴口罩，但是该方法的只是单纯的对人脸区域的像素进行统计对比，检测准确率会偏低。
目前比较先进的方法是使用目标检测，现有的目标检测方法的使用场景一般为近景，比如大厦的出入口，而且往往要求摄像头必须设置固定的位置和角度，这样对远景的效果不好，远景的实际场景有广场、工地等等，许多工地直接使用现有的高空球机，画面中的人脸比较小，角度比较差。
发明内容
本发明的目的在于，提供口罩检测模型训练方法、口罩检测方法。
本发明的技术方案：口罩检测模型训练方法，包括以下步骤：
S1、采集数据：数据由包括近景数据以及远景数据，整合后形成数据集；
S2、对远景数据中目标进行优化：优化的方法为对远景数据内目标框进行聚类，得到更高拟合度的先验框；
S3、采用深度学习模型对数据进行训练。
上述的口罩检测模型训练方法，所述步骤S2中对远景数据内目标框聚类采用kmeans算法，具体步骤如下:
A1、在数据集样本中随机选取k个样本充当各个簇的中心点{μ1,μ2,μ3......μk}，对应的簇{C1,C2,C3......Ck}。
A2、计算所有样本与各个簇中心之间的距离dist(xi，μj)，然后把样本点划入最近的簇中xi∈μnearest。
A3、根据簇中已有的样本点，重新计算簇中心
Figure BDA0002437099870000021
其中|Ci|表示第i个簇的样本个数。
A4、多次重复步骤A2和A3，直到簇中心稳定。
上述的口罩检测模型训练方法，口罩检测模型训练方法，所述步骤S3中，先将数据集中人体提取出来，判断是否佩戴口罩，将佩戴口罩的人脸置入预设的背景图像中，且对未佩戴口罩的人脸进行坐标信息标注，最终模型训练完成之后形成一个检测器，该检测器输出结果只有一个，即检测数据输入之后，仅输出所有未戴口罩的图片结果。
口罩检测方法：
与现有技术相比，优点在于：包括如下步骤：
T1、获取检测图片；
T2、将图片进行预处理，得到人体信息矩阵以及只包含人体的图片，该人体信息矩阵包括人体坐标信息；
T3、将人体图片输入到如权利要求1-4所述的口罩检测器中；
T4、检测器输出未戴口罩的人脸目标结果。
上述的口罩检测方法中：所述步骤T2的具体步骤为：先将测试图片输入到人体通用检测器，得到人体坐标信息矩阵
Figure BDA0002437099870000031
其中confn表示第n个人体目标的置信度，xn表示坐标框左上点的横坐标，yn表示坐标框左上点的纵坐标，wn表示目标坐标框的宽度，hn表示目标坐标框的高度。
上述的口罩检测方法中：遍历MPC将置信度低的数据过滤掉，得到
Figure BDA0002437099870000032
随即输入检测器中。
上述的口罩检测方法中：检测器输出未戴口罩人脸坐标信息矩阵Mf，遍历Mf，将置信度低的信息过滤掉，最终得到未戴口罩的目标。
本发明的优点在于：与现有技术相比，对远景和小目标检测进行了优化，有效的改善了现有技术对远景和小目标检测效果不佳的问题，该方法鲁棒性好、能够适应远景、近景，能够快速准确地检测人员是否佩戴口罩。
下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：构建模型，具体步骤如下：
采集数据，模型训练使用了丰富的数据集，采集数据的摄像头的位置和角度变化多，包括各种不同的场景，比如餐厅后厨、商场，以及大型开放场景的工地、广场、公路等等，以上不仅仅包括开源数据集，还有相当一部分是专用数据集，其中餐厅后厨和工地是监控场景下的专用数据集，丰富的数据提高了模型的鲁棒性。
对远景目标的优化：用kmeans算法對数据中目标框聚类，得到一组符合真实情况的先验框，提高了远景目标检测的精度。具体操作如下：
A1、在远景数据集样本中随机选取k个样本充当各个簇的中心点{μ1,μ2,μ3......μk}，对应的簇{C1,C2,C3......Ck}；
A2、计算所有样本与各个簇中心之间的距离dist(xi，μj)，然后把样本点划入最近的簇中xi∈μnearest；
A3、根据簇中已有的样本点，重新计算簇中心
Figure BDA0002437099870000041
其中|Ci|表示第i个簇的样本个数；
A4、多次重复步骤A2和A3，直到簇中心稳定。
采用深度学习模型对训练数据进行训练。使用深度学习检测是否佩戴口罩往往训练数据分成两类，一类是佩戴口罩的人脸，另一种是未戴口罩的人脸，本实施例输出只设置一个，就是未戴口罩的人脸，将佩戴口罩的人脸的图像放入背景图像，这样不仅仅规避了检测各种形状、各种颜色的口罩，提升了检测方法的稳定性，而且因为背景图像不需要任何坐标信息，所以制作训练数据时更加省时省力。只需要对未戴口罩的人脸进行坐标信息的标注即可。
具体的检测步骤如下：将待检测的图片信息输入到人体通用模型(该模型为现有技术中任一同类功能的模型即可)，输出人体坐标信息矩阵
Figure BDA0002437099870000051
其中confn表示第n个人体目标的置信度，xn表示坐标框左上点的横坐标，yn表示坐标框左上点的纵坐标，wn表示目标坐标框的宽度，hn表示目标坐标框的高度。
遍历MPC将置信度低的数据过滤掉，得到
Figure BDA0002437099870000052
随即输入口罩检测器中，输出未戴口罩人脸坐标信息矩阵
Figure BDA0002437099870000053
遍历Mf，将置信度低的信息过滤掉，最终得到未戴口罩的目标。

Claims (10)

1.口罩检测模型训练方法，其特征在于：包括以下步骤：
S1、采集数据：数据由包括近景数据以及远景数据，整合后形成数据集；
S2、对远景数据中目标进行优化：优化的方法为对远景数据内目标框进行聚类，得到更高拟合度的先验框；
S3、采用深度学习模型对数据进行训练。
2.基于权利要求1所述的口罩检测模型训练方法，其特征在于：所述步骤S1中的数据为网络上的开源数据包以及由企业提供的专用数据包。
3.基于权利要求2所述的口罩检测模型训练方法，其特征在于：所述步骤S2中对远景数据内目标框聚类采用kmeans算法，具体步骤如下:
A1、在数据集样本中随机选取k个样本充当各个簇的中心点{μ1,μ2,μ3......μk}，对应的簇{C1,C2,C3......Ck}；
A2、计算所有样本与各个簇中心之间的距离dist(xi，μj)，然后把样本点划入最近的簇中xi∈μnearest；
A3、根据簇中已有的样本点，重新计算簇中心
Figure FDA0002437099860000011
其中|Ci|表示第i个簇的样本个数；
A4、多次重复步骤A2和A3，直到簇中心稳定。
4.基于权利要求3所述的口罩检测模型训练方法，其特征在于：所述步骤S3中，先将数据集中人体提取出来，将佩戴口罩的人脸置入预设的背景图像中，且对未佩戴口罩的人脸进行坐标信息标注，最终模型训练完成之后形成一个检测器，该检测器输出结果只有一个，即检测数据输入之后，仅输出所有未戴口罩的图片结果。
5.口罩检测方法，其特征在于：包括如下步骤：
T1、获取检测图片；
T2、将图片进行预处理，得到人体信息矩阵以及只包含人体的图片，该人体信息矩阵包括人体坐标信息；
T3、将人体图片输入到如权利要求1-4所述的口罩检测器中；
T4、检测器输出未戴口罩的人脸目标结果。
6.基于权利要求5所述的口罩检测方法，其特征在于：所述步骤T2的具体步骤为：先将测试图片输入到人体通用检测器，得到人体坐标信息矩阵
Figure FDA0002437099860000021
其中confn表示第n个人体目标的置信度，xn表示坐标框左上点的横坐标，yn表示坐标框左上点的纵坐标，wn表示目标坐标框的宽度，hn表示目标坐标框的高度。
7.基于权利要求6所述的口罩检测方法，其特征在于：遍历MPC将置信度低的数据过滤掉，得到
Figure FDA0002437099860000022
随即输入检测器中。
8.基于权利要求7所述的口罩检测方法，其特征在于：检测器输出未戴口罩人脸坐标信息矩阵Mf，遍历Mf，将置信度低的信息过滤掉，最终得到未戴口罩的目标。
9.一种终端装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述口罩检测模型训练方法的步骤；或者，所述处理器执行所述计算机程序时实现如权利要求5至8所述口罩检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：计算机程序被处理器执行时实现如权利要求1至4任一项所述口罩检测模型训练方法的步骤；或者，所述处理器执行所述计算机程序时实现如权利要求5至8所述口罩检测方法的步骤。
CN202010255376.2A 2020-04-02 2020-04-02 复杂场景中的口罩检测模型训练及检测方法、介质及装置 Pending CN111461028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010255376.2A CN111461028A (zh) 2020-04-02 2020-04-02 复杂场景中的口罩检测模型训练及检测方法、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010255376.2A CN111461028A (zh) 2020-04-02 2020-04-02 复杂场景中的口罩检测模型训练及检测方法、介质及装置

Publications (1)

Publication Number Publication Date
CN111461028A true CN111461028A (zh) 2020-07-28

Family

ID=71685838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010255376.2A Pending CN111461028A (zh) 2020-04-02 2020-04-02 复杂场景中的口罩检测模型训练及检测方法、介质及装置

Country Status (1)

Country Link
CN (1) CN111461028A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及系统
CN109376676A (zh) * 2018-11-01 2019-02-22 哈尔滨工业大学 基于无人机平台的公路工程现场施工人员安全预警方法
CN109858486A (zh) * 2019-01-27 2019-06-07 中国人民解放军国防科技大学 一种基于深度学习的数据中心云端目标识别方法
CN110222672A (zh) * 2019-06-19 2019-09-10 广东工业大学 施工现场的安全帽佩戴检测方法、装置、设备及存储介质
CN110222769A (zh) * 2019-06-06 2019-09-10 大连理工大学 一种基于YOLOV3-tiny的改进目标检测方法
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN110807429A (zh) * 2019-10-23 2020-02-18 西安科技大学 基于tiny-YOLOv3的施工安全检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及系统
CN109376676A (zh) * 2018-11-01 2019-02-22 哈尔滨工业大学 基于无人机平台的公路工程现场施工人员安全预警方法
CN109858486A (zh) * 2019-01-27 2019-06-07 中国人民解放军国防科技大学 一种基于深度学习的数据中心云端目标识别方法
CN110222769A (zh) * 2019-06-06 2019-09-10 大连理工大学 一种基于YOLOV3-tiny的改进目标检测方法
CN110222672A (zh) * 2019-06-19 2019-09-10 广东工业大学 施工现场的安全帽佩戴检测方法、装置、设备及存储介质
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN110807429A (zh) * 2019-10-23 2020-02-18 西安科技大学 基于tiny-YOLOv3的施工安全检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦李成等: "《人工智能、类脑计算与图像解译前沿》", 西安电子科技大学出版社, pages: 127 - 128 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
CN115457624B (zh) * 2022-08-18 2023-09-01 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN108629946B (zh) 一种基于rgbd传感器的人体跌倒检测方法
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
US7680295B2 (en) Hand-gesture based interface apparatus
CN111726586A (zh) 一种生产体系操作规范监测提醒系统
CN110287772B (zh) 平面手掌掌心区域提取方法及装置
CN104751146B (zh) 一种基于3d点云图像的室内人体检测方法
US20190133397A1 (en) Moving robot and control method thereof
CN110232379A (zh) 一种车辆姿态检测方法及系统
WO2020253475A1 (zh) 智能车运动控制方法及装置、设备和存储介质
Kong et al. Fall detection for elderly persons using a depth camera
JP6773829B2 (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
JP2010198566A (ja) 人数計測装置、方法及びプログラム
CN106650628B (zh) 一种基于三维k曲率的指尖检测方法
CN111079694A (zh) 一种柜面助手履职监控装置和方法
CN111931869A (zh) 一种人机自然交互的用户注意力检测方法及系统
CN106599873A (zh) 基于三维姿态信息的人物身份识别方法
CN112036269A (zh) 跌倒检测方法、装置、计算机设备和存储介质
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
CN111461028A (zh) 复杂场景中的口罩检测模型训练及检测方法、介质及装置
JP6773825B2 (ja) 学習装置、学習方法、学習プログラム、及び対象物認識装置
CN111597921A (zh) 场景识别方法、装置、计算机设备和存储介质
CN109146913B (zh) 一种人脸跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728