CN112329516A - 基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质 - Google Patents
基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质 Download PDFInfo
- Publication number
- CN112329516A CN112329516A CN202010966583.9A CN202010966583A CN112329516A CN 112329516 A CN112329516 A CN 112329516A CN 202010966583 A CN202010966583 A CN 202010966583A CN 112329516 A CN112329516 A CN 112329516A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- face
- key point
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括步骤：人脸检测，关键点定位，口罩识别。本发明涉及电子设备和存储介质，用于执行上述方法。本发明基于常规车载终端设备原有人脸检测模块，通过添加关键点定位与模板匹配判别进行口罩检测。由于关键点定位只需要5点检测，可采用现有公开数据集；通过增加关键点定位与模板匹配判别来实现口罩检测，使得口罩检测与人脸检测功能模块解耦，方便在多数已有架构上做拓展，可行性高；采用关键点定位后可获取较精准的口腔部位位置，因此特征集中，可以采用简单的模板匹配算法进行口罩识别判断，计算速度快，对于新增的口罩类型只需要增加模板即可，不需要重复采集数据训练模型。
Description
技术领域
本发明涉及主动安全防御性驾驶技术领域，尤其涉及基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质。
背景技术
现有技术主要基于CNN神经网络改造已有的人脸检测模块，通过增加目标检测类别来实现口罩佩戴检测。该方法由于要重新训练神经网络并且口罩种类多，因此需要大量的戴口罩人脸数据；对于多数已有主动安全防御系统的车载终端设备来说需要对原有架构进行改造，开发成本高；检测类别数增加导致模型训练收敛难度上升，最终模型推理速度下降，精度下降；同时将戴口罩检测与人脸检测耦合在一起，限制了人脸检测模型与其他模块的对接应用，这在车载设备计算资源有限这一情况下设计不合理。
发明内容
为了克服现有技术的不足，本发明的目的在于提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，解决了目前市面上的车载终端驾驶员口罩检测方案存在对原有架构改造大，训练数据需求量大，与人脸检测模块耦合度高等问题。
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括以下步骤：
人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；
关键点定位，定位所述人脸区域图像中的人脸关键点坐标；
口罩识别，通过所述人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过所述两侧唇角关键点生成待识别区域，将所述待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。
进一步地，所述人脸检测步骤中，通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸。
进一步地，所述通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸包括以下步骤：
图像预处理，对采集的驾驶员图像进行缩放和归一化处理；
模型计算，通过mobile-ssd神经网络对预处理后的图像进行模型计算，输出人脸目标置信度和位置。
进一步地，所述模型计算步骤中，若在图像中检测到人脸，则对人脸位置区域进行裁剪，得到人脸区域图像，跳转至所述关键点定位步骤，若未在图像中检测到人脸，则获取下一帧图像进行处理。
进一步地，所述关键点定位步骤中，采用mobile-ldnet进行定位所述人脸区域图像中的人脸关键点坐标，网络架构采用deepwise轻量级神经网络结构进行设计，输入为人脸图像，输出为人脸关键点坐标。
进一步地，所述口罩识别步骤中，采用透视变换对当前人脸图像基于标准脸进行校正。
进一步地，所述口罩识别步骤中，所述口罩模板库的建立为通过选取多种材质颜色的口罩，逐一佩戴并录制正脸图片，截取图片中面部口罩区域图像，组建口罩图像模板库。
进一步地，所述口罩识别步骤中，通过所述两侧唇角关键点生成待识别区域具体为以两侧唇角关键点连线中心点为中心绘制矩形区域作为待识别区域。
一种电子设备，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
相比现有技术，本发明的有益效果在于：
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括以下步骤：人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；关键点定位，定位人脸区域图像中的人脸关键点坐标；口罩识别，通过人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过两侧唇角关键点生成待识别区域，将待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。本发明涉及一种电子设备和存储介质，用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。本发明基于常规车载终端设备原有人脸检测模块，通过添加关键点定位与模板匹配判别进行口罩检测。由于关键点定位只需要5点检测，可采用现有公开数据集；通过增加关键点定位与模板匹配判别来实现口罩检测，使得口罩检测与人脸检测功能模块解耦，方便在多数已有架构上做拓展，可行性高；采用关键点定位后可获取较精准的口腔部位位置，因此特征集中，可以采用简单的模板匹配算法进行口罩识别判断，计算速度快，对于新增的口罩类型只需要增加模板即可，不需要重复采集数据训练模型。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，如图1所示，包括以下步骤：
口罩模板库建立，选取多种材质颜色的口罩，逐一佩戴并录制正脸图片，截取图片中面部口罩区域图像，组建口罩图像模板库；
人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；本实施例中，通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸，具体包括以下步骤：
图像预处理，对采集的驾驶员图像进行缩放和归一化处理，以满足神经网络的输入要求；本实施例中，将图像缩放为300x300尺寸，并除以255进行像素值归一化。
模型计算，通过mobile-ssd神经网络对预处理后的图像进行模型计算，输出人脸目标置信度和位置，若在图像中检测到人脸，则对人脸位置区域进行裁剪，得到人脸区域图像，跳转至关键点定位步骤，若未在图像中检测到人脸，则获取下一帧图像进行处理。
关键点定位，定位人脸区域图像中的人脸关键点坐标；优选的，关键点定位步骤中，采用mobile-ldnet进行定位人脸区域图像中的人脸关键点坐标，网络架构采用deepwise轻量级神经网络结构进行设计，输入为人脸图像，输出为人脸关键点坐标。本实施例中，将人脸区域图像缩放至96*96宽高图像，并除以255进行像素值归一化；采用mobile-ldnet神经网络进行推理；获取推理结构为5个人脸关键点坐标。
口罩识别，通过人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，以两侧唇角关键点连线中心点为中心绘制矩形区域作为待识别区域，将待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。本实施例中，采用透视变换对当前人脸图像基于标准脸进行校正。
应当理解的是，人脸检测步骤与关键点定位步骤均采用神经网络实现，网络结构并非固定，可以采用其他网络结构进行替代；口罩识别步骤采用模板匹配进行判断，模板匹配所基于的特征形式并非固定，可采用其他特征替代。
一种电子设备，包括：处理器；
存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括以下步骤：人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；关键点定位，定位人脸区域图像中的人脸关键点坐标；口罩识别，通过人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过两侧唇角关键点生成待识别区域，将待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。本发明涉及一种电子设备和存储介质，用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。本发明基于常规车载终端设备原有人脸检测模块，通过添加关键点定位与模板匹配判别进行口罩检测。由于关键点定位只需要5点检测，可采用现有公开数据集；通过增加关键点定位与模板匹配判别来实现口罩检测，使得口罩检测与人脸检测功能模块解耦，方便在多数已有架构上做拓展，可行性高；采用关键点定位后可获取较精准的口腔部位位置，因此特征集中，可以采用简单的模板匹配算法进行口罩识别判断，计算速度快，对于新增的口罩类型只需要增加模板即可，不需要重复采集数据训练模型。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
Claims (10)
1.基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于，包括以下步骤：
人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；
关键点定位，定位所述人脸区域图像中的人脸关键点坐标；
口罩识别，通过所述人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过所述两侧唇角关键点生成待识别区域，将所述待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。
2.如权利要求1所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于：所述人脸检测步骤中，通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸。
3.如权利要求2所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于，所述通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸包括以下步骤：
图像预处理，对采集的驾驶员图像进行缩放和归一化处理；
模型计算，通过mobile-ssd神经网络对预处理后的图像进行模型计算，输出人脸目标置信度和位置。
4.如权利要求3所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于：所述模型计算步骤中，若在图像中检测到人脸，则对人脸位置区域进行裁剪，得到人脸区域图像，跳转至所述关键点定位步骤，若未在图像中检测到人脸，则获取下一帧图像进行处理。
5.如权利要求1所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于：所述关键点定位步骤中，采用mobile-ldnet进行定位所述人脸区域图像中的人脸关键点坐标，网络架构采用deepwise轻量级神经网络结构进行设计，输入为人脸图像，输出为人脸关键点坐标。
6.如权利要求1所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于：所述口罩识别步骤中，采用透视变换对当前人脸图像基于标准脸进行校正。
7.如权利要求1所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于：所述口罩识别步骤中，所述口罩模板库的建立为通过选取多种材质颜色的口罩，逐一佩戴并录制正脸图片，截取图片中面部口罩区域图像，组建口罩图像模板库。
8.如权利要求1所述的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，其特征在于：所述口罩识别步骤中，通过所述两侧唇角关键点生成待识别区域具体为以两侧唇角关键点连线中心点为中心绘制矩形区域作为待识别区域。
9.一种电子设备，其特征在于包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-8任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966583.9A CN112329516A (zh) | 2020-09-15 | 2020-09-15 | 基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966583.9A CN112329516A (zh) | 2020-09-15 | 2020-09-15 | 基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329516A true CN112329516A (zh) | 2021-02-05 |
Family
ID=74304002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010966583.9A Pending CN112329516A (zh) | 2020-09-15 | 2020-09-15 | 基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329516A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818953A (zh) * | 2021-03-12 | 2021-05-18 | 苏州科达科技股份有限公司 | 口罩佩戴状态识别方法、装置、设备及可读存储介质 |
| CN113420675A (zh) * | 2021-06-25 | 2021-09-21 | 浙江大华技术股份有限公司 | 一种口罩佩戴规范度的检测方法及装置 |
| CN113822152A (zh) * | 2021-08-09 | 2021-12-21 | 中标慧安信息技术股份有限公司 | 用于监测市场内部食品商户衣着情况的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659596A (zh) * | 2019-09-11 | 2020-01-07 | 高新兴科技集团股份有限公司 | 案管场景下人脸关键点定位方法、计算机存储介质及设备 |
| CN111428559A (zh) * | 2020-02-19 | 2020-07-17 | 北京三快在线科技有限公司 | 一种口罩佩戴情况检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-15 CN CN202010966583.9A patent/CN112329516A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659596A (zh) * | 2019-09-11 | 2020-01-07 | 高新兴科技集团股份有限公司 | 案管场景下人脸关键点定位方法、计算机存储介质及设备 |
| CN111428559A (zh) * | 2020-02-19 | 2020-07-17 | 北京三快在线科技有限公司 | 一种口罩佩戴情况检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 文昌卫: "基于深度学习的人脸识别系统的设计和实现", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818953A (zh) * | 2021-03-12 | 2021-05-18 | 苏州科达科技股份有限公司 | 口罩佩戴状态识别方法、装置、设备及可读存储介质 |
| CN113420675A (zh) * | 2021-06-25 | 2021-09-21 | 浙江大华技术股份有限公司 | 一种口罩佩戴规范度的检测方法及装置 |
| CN113822152A (zh) * | 2021-08-09 | 2021-12-21 | 中标慧安信息技术股份有限公司 | 用于监测市场内部食品商户衣着情况的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN112329516A (zh) | 基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质 | |
| US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
| US10049262B2 (en) | Method and system for extracting characteristic of three-dimensional face image | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| US7912253B2 (en) | Object recognition method and apparatus therefor | |
| CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN110619628B (zh) | 一种人脸图像质量评估方法 | |
| CN112541422B (zh) | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 | |
| CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
| JP2019117577A (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
| WO2020029915A1 (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
| CN111914748B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN114241542A (zh) | 基于图像拼接的人脸识别方法 | |
| CN111898571A (zh) | 动作识别系统及方法 | |
| CN112434647A (zh) | 一种人脸活体检测方法 | |
| CN113963237B (zh) | 模型训练、戴口罩状态检测方法、电子设备及存储介质 | |
| CN111626241A (zh) | 一种人脸检测方法及装置 | |
| US20240161461A1 (en) | Object detection method, object detection apparatus, and object detection system | |
| CN110674675A (zh) | 一种行人面部反欺诈方法 | |
| CN113095119A (zh) | 一种修正人脸裁剪框的人脸识别系统 | |
| CN111523406B (zh) | 一种基于生成对抗网络改进结构的偏转人脸转正方法 | |
| CN111881732B (zh) | 一种基于svm的人脸质量评价方法 | |
| CN115222621A (zh) | 图像校正方法、电子设备、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |
|
| RJ01 | Rejection of invention patent application after publication |