CN112347988A - 口罩识别模型的训练方法、装置、计算机设备和可读存储介质 - Google Patents

口罩识别模型的训练方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN112347988A
CN112347988A CN202011374483.3A CN202011374483A CN112347988A CN 112347988 A CN112347988 A CN 112347988A CN 202011374483 A CN202011374483 A CN 202011374483A CN 112347988 A CN112347988 A CN 112347988A
Authority
CN
China
Prior art keywords
face
image
mask
training
face region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011374483.3A
Other languages
English (en)
Inventor
白玲
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glodon Co Ltd
Original Assignee
Glodon Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glodon Co Ltd filed Critical Glodon Co Ltd
Priority to CN202011374483.3A priority Critical patent/CN112347988A/zh
Publication of CN112347988A publication Critical patent/CN112347988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种口罩识别模型的训练方法、装置、计算机设备和可读存储介质。该方法包括:构建人物图像的第一数据集;根据第一数据集训练人脸检测模型,其中,人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像;构建人脸区域图像的第二数据集;以及根据第二数据集训练口罩分类模型,其中,口罩分类模型用于对人脸区域图像进行分类,人脸区域图像的类别包括表征人脸区域图像中人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征人脸区域图像中未包含人脸图像的第三类别。通过本发明,能够提升口罩识别的准确率。

Description

口罩识别模型的训练方法、装置、计算机设备和可读存储介质
技术领域
本发明涉及模式识别技术领域,尤其涉及一种口罩识别模型的训练方法、装置、计算机设备和可读存储介质。
背景技术
面对2020年新冠疫情,在各种场景下的人员是否佩戴口罩成为疫情防控的关键点,从而口罩佩戴检测也随之成为一项核心工作。据统计,当前口罩佩戴率只有70%-90%,仍有大量人员暴露在易感环境中。例如,施工工地是人员较多的场所之一,为了社会的正常运作,工地需要安全复工。在新冠疫情的背景下,为了保证施工人员的安全,需要工地施工人员正确佩戴口罩。
其中,以人盯人的方式去监督管理口罩佩戴工作,较为耗费人力,存在疏漏的可能,并且易造成人群的被动聚集,增加了近距离接触风险。为了解决该困境,相关技术提出一种口罩识别方法,其目的是识别人员是否佩戴口罩,采用的原理是检测图像中是否存在人头像,然后根据人头像进一步判断是否佩戴口罩。
但是,发明人研究发现,该种口罩识别方法中使用人头检测算法有一定缺陷,如果人头像并不是正脸面对镜头的图像,在该图像中无法有效体现脸部,进而与无法准确判断出是否佩戴口罩,因此,会影响口罩识别的准确率。
综上,如何提升口罩识别的准确率,成为本领域亟需解决的技术问题。
发明内容
本发明的目的是提供一种口罩识别模型的训练方法、装置、计算机设备和可读存储介质,用于解决现有技术中的上述技术问题。
一方面,为实现上述目的,本发明提供了一种口罩识别模型的训练方法。
该口罩识别模型的训练方法包括:构建人物图像的第一数据集;根据第一数据集训练人脸检测模型,其中,人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像;构建人脸区域图像的第二数据集;以及根据第二数据集训练口罩分类模型,其中,口罩分类模型用于对人脸区域图像进行分类,人脸区域图像的类别包括表征人脸区域图像中人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征人脸区域图像中未包含人脸图像的第三类别。
进一步地,根据第一数据集训练人脸检测模型的步骤包括:确定人物图像的切分数量;根据切分数量对人物图像进行切分,得到切分后的至少两个子人物图像;将子人物图像放大至预设大小;根据放大后的子人物图像训练人脸检测模型。
进一步地,确定人物图像的切分数量的步骤包括:确定人物图像对应的识别距离;根据识别距离确定切分数量,其中,识别距离越长,切分数量越大。
进一步地,确定人物图像的切分数量的步骤包括:获取当前可用的识别资源和/或识别速度要求;根据识别资源和/或识别速度要求确定切分数量,其中,识别资源越少,切分数量越大,识别速度要求越低,切分数量越大。
进一步地,根据第一数据集训练人脸检测模型的步骤包括:根据检测框参数确定人物图像中的人脸区域图像;根据人物图像构建人脸检测模型的输入,根据人脸区域图像构建人脸检测模型的输出,对人脸检测模型进行训练;验证训练后的人脸检测模型的准确率;当验证得到的准确率不满足要求时,调节检测框参数,对人脸检测模型再次训练;当验证得到的准确率满足要求时,输出当前的检测框参数和人脸检测模型。
进一步地,构建人脸区域图像的第二数据集的步骤包括:根据输出的检测框参数,在人物图像中提取背景区域图像;将背景区域图像作为第三类别的人脸区域图像,并结合人脸检测模型输出的人脸区域图像,构建第二数据集。
进一步地,构建人物图像的第一数据集的步骤包括:确定人脸检测模型和口罩分类模型的应用场景;获取应用场景下的人物图像,以得到第一数据集。
另一方面,为实现上述目的,本发明提供了一种口罩识别模型的训练装置。
该口罩识别模型的训练装置包括:第一构建模块,用于构建人物图像的第一数据集;第一训练模块,用于根据第一数据集训练人脸检测模型,其中,人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像;第二构建模块,用于构建人脸区域图像的第二数据集;以及第二训练模块,用于根据第二数据集训练口罩分类模型,其中,口罩分类模型用于对人脸区域图像进行分类,人脸区域图像的类别包括表征人脸区域图像中人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征人脸区域图像中未包含人脸图像的第三类别。
又一方面,为实现上述目的,本发明还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
又一方面,为实现上述目的,本发明还提供计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的口罩识别模型的训练方法、装置、计算机设备和可读存储介质,构建人物图像的第一数据集,根据第一数据集训练人脸检测模型,使得人脸检测模型能够检测人物图像中的人脸区域,以输出人脸区域图像;构建人脸区域图像的第二数据集,根据第二数据集训练口罩分类模型,使得口罩分类模型能够对人脸区域图像进行分类,该分类包括表征人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征所述人脸区域图像中不包括人脸的第三类别。通过本发明,能够得到包括人脸检测模型和口罩分类模型的口罩识别模型,进而能够确定出待识别的人物图像中的人脸是否佩戴口罩,实现口罩识别。进一步,基于人脸检测模型对人物图像中的人脸进行检测,得到人脸区域图像,与基于三分类的口罩分类模型对人脸区域图像进行分类,得到人脸区域图像的类别,两个方面相互结合,利用人脸检测模型检测人脸,降低口罩分类模型误分类的概率,利用三分类的口罩分类模型对人脸区域图像进行分类,抑制人脸检测模型的误识别率,从而整体有效提升口罩识别的准确性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例一提供的口罩识别模型的训练方法的流程图;
图2为本发明实施例二提供的口罩识别模型的训练装置的框图;
图3为本发明实施例三提供的计算机设备的硬件结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
发明人对相关技术中的口罩识别方法进行了研究,研究发现,在相关技术中的口罩识别方法中,先使用人头检测算法检测出人头像,然后再利用对人头像进行分类,分类为佩戴口罩的人头像和未佩戴口罩的人头像,实现口罩识别。该方法具有一定的缺陷,原因在于,检测出的人头像并不是一定正对镜头的图像,由此导致佩戴口罩的人头像中并不存在或存在较少的口罩特征,进而在对人头像进行分类时,会将这一类型的人头像误分类为未佩戴口罩,降低了口罩识别的准确率。
为了提升口罩识别的准确率,本发明提出了一种口罩识别模型的训练方法、装置、计算机设备和可读存储介质,在本发明提出的口罩识别模型的训练方法中,预置人脸检测模型和口罩分类模型,通过构建人物图像的第一数据集,以利用该第一数据集训练人脸检测模型,使得人脸检测模型能够检测人物图像中的人脸区域,以输出人脸区域图像,也即从人物图像中检测出人脸区域图像;通过构建人脸区域图像的第二数据集,以利用该第二数据集训练口罩分类模型,使得口罩分类模型能够对人脸区域图像进行分类,确定人脸区域图像属于表征人脸区域图像中人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别还是表征人脸区域图像中未包含人脸图像的第三类别,也即确定出人脸区域图像属于人脸已佩戴口罩、未佩戴口罩或不包括人脸的哪一个分类,从而得到能够联合进行口罩识别的人脸检测模型和口罩分类模型,具体地,在接收到待检测的人物图像,需要识别人物图像中的人是否佩戴口罩时,通过训练好的人脸检测模型,检测人物图像中的人脸区域图像,通过口罩分类模型,确定检测出的人脸区域图像的类别,以确定人脸区域图像对应第一类别、第二类别或第三类别,实现口罩识别。
从中可以看出,采用本发明提供的口罩识别模型的训练方法得到的口罩识别模型包括人脸检测模型和口罩分类模型,在进行口罩识别时,并不是简单的将人脸检测模型与口罩分类模型两种简单模型加,而是将人脸检测模型与口罩分类模型有效结合,达到提升识别准确率的目的。其中,人脸检测模型检测出的人脸区域图像,属于人的正脸图像或比较接近正脸方向的图像,人脸区域图像的图像特征能够有效反应人脸是否佩戴口罩,从而有利于口罩分类模型通过人脸区域图像来对是否佩戴口罩进行分类,与通过人头像来对是否佩戴口罩分类相比,本发明不会出现将人后脑勺部分的图像输入口罩分类模型进行分类的情况,因而能够降低将佩戴口罩误识别为未佩戴口罩的概率,同时,口罩分类模型的输出能够反应人脸区域图像的三种分类,除了确定人脸是否佩戴口罩的两种类别之外,还可确定人脸区域图像中不包括人脸的分类,也就是说,当人脸检测模型误检人脸,将非人脸检测为人脸区域图像时,口罩分类模型可对这一类别进行甄别,因而能够抑制人脸检测模型误检对口罩识别方法准确性的影响,通过人脸检测模型检测人脸区域图像与口罩分类模型对人脸区域图像进行分类两部分技术特征相互结合,实现了技术效果的相互补充,从而有效提升口罩识别的准确性。
关于本发明提供的口罩识别模型的训练方法、装置、计算机设备和可读存储介质的具体实施例,将在下文中详细描述。
实施例一
本发明实施例提供了一种口罩识别模型的训练方法,通过该方法,能够训练得到包括人脸检测模型和口罩分类模型的口罩识别模型,进而能够对摄像头等监控装置拍摄的人物图像中的人佩戴口罩的情况进行识别,通过该方法,能够提升示口罩识别的准确性,具体地,图1为本发明实施例一提供的口罩识别模型的训练方法的流程图,如图1所示,该实施例提供的口罩识别模型的训练方法包括如下的步骤S101至步骤S104。
步骤S101:构建人物图像的第一数据集。
具体地,可读取人物图像数据库中的人物图像数据构建该第一数据集,或者,也可接收上游监控系统输出的监控图像数据获取人物图像数据构建该第一数据集。在一个人物图像中,可包括一个行人、两个行人或多个行人。在获取到人物图像后,可对人物图像进行过滤和预处理,例如,过滤掉拍摄分辨率不达标的人物图像、重复的人物图像或者由于设备故障导致的问题人物图像等,以避免浪费识别资源。对人物图像的预处理包括对人物图像进行裁剪,对人物图像的大小进行调整以保证人物图像的大小统一等,例如,对一些从固定位置处获取到的人物图像,人物图像中的部分边缘位置属于不可能出现行人的位置,因而可对这些边缘位置进行裁剪以减小数据处理量。对不同设备拍摄的人物图像的大小进行调整,调整为相同大小的人物图像进行处理,以减小后续识别模型的复杂度。例如,针对特定的施工工地收集摄像头监控视频,按照预定间隔截取视频帧,并进行数据清洗,包括丢掉模糊、拍摄质量差的图片,通过过滤和预处理,最终形成包括多张人物图像的第一数据集。
步骤S102:根据第一数据集训练人脸检测模型。
其中,人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像。
可选地,基于现有技术中的人工智能算法构建初始的人脸检测模型,例如利用目标检测网络构建人脸检测模型,具体如YoloV3,基于其资源占用低和运行速度快的特点,可在移动端的部署中采用该目标检测网络来构建初始的人脸检测模型。本发明对人脸检测模型具体使用的算法模型并不进行限定,可采用现有技术中任意可行的算法模型实现。关于算法实现详细的理论和公式,可参考现有技术中的相关内容,本发明对此不再赘述。
然后利用第一数据集形成用于训练人脸检测模型的训练样本。具体地,对人物图像进行标定,标出人物图像中的若干人脸区域图像,然后根据人物图像构造人脸检测模型的输入向量,例如可以将人物图像的像素值作为输入向量,或者也可以提取人物图像的图像特征作为输入向量等;根据人脸区域图像构造人脸检测模型的输出向量,例如可以为人脸区域图像的像素值,或者人脸区域图像在人物图像中的位置信息等。将构造的输入向量输入至初始的人脸检测模型,将构造的输出向量作为初始的人脸检测模型的输出,对人脸检测模型进行训练。完成训练后,可得到训练好的人脸检测模型。
通过训练好的人脸检测模型,能够检测出待识别的人物图像的人脸区域图像。具体地,根据待识别的人物图像确定人脸检测模型的输入,并输入至人脸检测模型,可得到人脸检测模型的输出,进而根据人脸检测模型的输出确定待识别的人物图像中的人脸区域图像。
步骤S103:构建人脸区域图像的第二数据集。
在该步骤中,可利用上述人脸检测模型输出的人脸区域图像构建该第二数据集,还可利用人工标定的人脸区域图像构建该第二数据集,本法明对此并不进行限定。
步骤S104:根据第二数据集训练口罩分类模型。
其中,口罩分类模型用于对人脸区域图像进行分类,人脸区域图像的类别包括表征人脸区域图像中人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征人脸区域图像中未包含人脸图像的第三类别。
可选地,口罩分类模型分别可基于现有技术中的人工智能算法构建,例如利用支持向量机或神经网络构建口罩分类模型。本发明对口罩分类模型具体使用的算法模型并不进行限定,可采用现有技术中任意可行的算法模型实现。关于算法实现详细的理论和公式,可参考现有技术中的相关内容,本发明对此不再赘述。
然后利用第二数据集形成用于训练口罩分类模型的训练样本。具体地,对第二数据集中的人脸区域图像的类别进行标定:当人脸区域图像包括人脸且已佩戴口罩时,该人脸区域图像的类别为第一类别;当人脸区域图像包括人脸且未佩戴口罩时,该人脸区域图像的类别为第二类别;当人脸区域图像不包括人脸时,该人脸区域图像的类别为第三类别。
再根据人脸区域图像构造口罩分类模型的输入向量,例如可以将人脸区域图像的像素值作为输入向量,或者也可以提取人脸区域图像的图像特征作为输入向量等。
根据人脸区域图像的类别构造口罩分类模型的输出向量。具体地,口罩分类模型的输出向量可以为概率数据,例如口罩分类模型输出第一概率和第二概率,其中,第一概率的大小用于表征人脸区域图像是否包括人脸,在构造输出向量时,当人脸区域图像包括人脸时,第一概率设置为1,当人脸区域不包括人脸时,第一概率设置为0;第二概率的大小用于人脸区域图像中的人脸是否佩戴口罩,在构造输出向量时,当人脸佩戴口罩时,第一概率设置为1,未佩戴口罩或者人脸区域不包括人脸时,第二概率均设置为0。将构造的输入向量输入至初始的口罩分类模型,将构造的输出向量作为初始的口罩分类模型的输出,对口罩分类模型进行训练。完成训练后,可得到训练好的口罩分类模型。
通过上述训练好的口罩分类模型,能够确定出待识别的人脸区域图像所属的类别。具体地,根据待识别的人脸区域图像确定口罩分类模型的输入,并输入至口罩分类模型,可得到口罩分类模型输出的第一概率和第二概率,当第一概率达到第一阈值时,表征待识别的人脸区域图像包括人脸,当第一概率未到达第一阈值时,表征待识别的人脸区域图像不包括人脸;当第二概率达到第二阈值时,表征人脸已佩戴口罩,当第二概率未到达第二阈值时,表征人脸未佩戴口罩,其中,第一概率和第二概率例如可以设置为0.5。因此,根据第一概率与第一阈值的关系和第二概率与第二阈值的关系,即可确定待识别的人脸区域图像对应的类别,具体属于第一类别、第二类别或第三类别中的哪一个。
或者,口罩分类模型的输出也可以为类别数据,例如口罩分类模型的输出向量为二维向量,当人脸区域图像中的人脸已佩戴口罩时,该二维向量为11时;当人脸区域图像中的人脸未佩戴口罩时,该二维向量为00;当人脸区域图像中不包括人脸时,该二维向量为01或10。将构造的输入向量输入至初始的口罩分类模型,将构造的输出向量作为初始的口罩分类模型的输出,对口罩分类模型进行训练。完成训练后,可得到训练好的口罩分类模型。
通过上述训练好的口罩分类模型,能够确定出待识别的人脸区域图像所属的类别。具体地,根据待识别的人脸区域图像确定口罩分类模型的输入,并输入至口罩分类模型,可得到口罩分类模型输出的二维向量,当二维向量为11时,表征待识别的人脸区域图像中的人脸已佩戴口罩;当二维向量为00时,表征待识别的人脸区域图像中的人脸未佩戴口罩;当二维向量为01或10时,表征待识别的人脸区域图像中不包括人脸。因此,根据二维向量的输出,即可确定待识别的人脸区域图像对应的类别,具体属于第一类别、第二类别或第三类别中的哪一个。
或者,口罩分类模型的输出也可以为其他数据类型,本发明对此并不进行限定。
在该实施例提供的口罩识别模型的训练方法中,构建人物图像的第一数据集,根据第一数据集训练人脸检测模型,使得人脸检测模型能够检测人物图像中的人脸区域,以输出人脸区域图像;构建人脸区域图像的第二数据集,根据第二数据集训练口罩分类模型,使得口罩分类模型能够对人脸区域图像进行分类,该分类包括表征人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征所述人脸区域图像中不包括人脸的第三类别。因此,采用该口罩识别模型的训练方法训练得到的人脸检测模型和口罩分类模型,能够确定出待识别的人物图像中的人脸是否佩戴口罩,实现口罩识别。进一步,基于人脸检测模型对人物图像中的人脸进行检测,得到人脸区域图像,与基于三分类的口罩分类模型对人脸区域图像进行分类,得到人脸区域图像的类别,两个方面相互结合,利用人脸检测模型检测人脸,降低口罩分类模型误分类的概率,利用三分类的口罩分类模型对人脸区域图像进行分类,抑制人脸检测模型的误识别率,从而整体有效提升口罩识别的准确性。
可选地,在一种实施例中,根据第一数据集训练人脸检测模型的步骤包括:确定人物图像的切分数量;根据切分数量对人物图像进行切分,得到切分后的至少两个子人物图像;将子人物图像放大至预设大小;根据放大后的子人物图像训练人脸检测模型。
具体地,在该在实施例中,先确定人物图像的切分数量,然后对人物图像进行切分,得到满足切分数量的子人物图像,再将切分后的子人物图像放大至预设大小,对人脸检测模型进行训练。其中,在确定人物图像的切分数量时,人物图像中人脸越小,切分数量越多,切分后得到的子人物图像越小,从而在将子人物图像放大到预设大小时,能够将人脸特征放大。其中,在通过放大后的子人物图像训练人脸检测模型时,根据子人物图像构建子输入向量和子输出向量进行训练。其中,子人物图像放大的程度,也即预设大小的值,可结合人脸检测模型的网络结构确定,网络结构的处理能力越强,预设大小的值越大。将子人物图像的大小统一放大为构建人脸检测模型输入向量的标准大小,也即预设大小,能够降低人脸检测模型的复杂度。
在人脸检测模型检测人物图像中的人脸区域图像时,若人脸太小,容易被漏检。传统的提升小目标检测的策略是构造图像金字塔,将局部特征进行放大,从而达到提升小目标召回的能力,但是资源消耗与推理时间成倍增加。采用该实施例提供的口罩识别模型的训练方法,先对人物图像进行切分,然后利用切分后的子人物图像进行训练,也即人脸检测模型对切分后的子人物图像进行检测,图像切分相当于扩大了人物图像中人脸的大小,能够增加小目标(也即行人脸)的像素,也即实现了人脸特征的放大,增加人脸检测模型的检测准确率,减小小目标人脸被漏检的概率,进一步提升口罩识别的准确性。
可选地,在一种实施例中,确定人物图像的切分数量的步骤包括:确定人物图像对应的识别距离;根据识别距离确定切分数量,其中,识别距离越长,切分数量越大。
具体地,在拍摄装置焦距等参数一致的情况下,识别距离可以定义为人物图像的拍摄装置距离被拍摄人物的距离,通常情况下,拍摄装置是固定在某一位置,对视角内的场景进行拍摄,得到人物图像,该人物图像对应的识别距离,也即拍摄装置的位置与视角内的场景的中心位置之间的距离。例如,在工地上某位置预置摄像头对某工地场景进行拍摄,得到该摄像头内工地场景下的人物图像,该人物图像对应的识别距离,也即摄像头的位置与该摄像头内工地场景的中心位置之间的距离。
在预先存储拍摄装置的安装位置与其视角内场景的中心位置之间的距离,作为拍摄装置的安装参数。在确定人物图像对应的识别距离时,确定人物图像的来源,也即人物图像对应的拍摄装置,进而可通过获取拍摄装置的安装参数,得到识别距离。
在根据识别距离确定切分数量时,识别距离越长,人物图像中的人脸越小,而切分数量越大,人物图像中的人脸被放大的程度也越大,有利于提升人脸区域图像检测的准确性。
采用该实施例提供的口罩识别模型的训练方法,利用人物图像对应的识别距离确定切分数量,能够提升人脸区域图像检测的准确性,同时又避免切分数量太多而造成检测时间的增加。
可选地,在一种实施例中,确定人物图像的切分数量的步骤包括:获取当前可用的识别资源和/或识别速度要求;根据识别资源和/或识别速度要求确定切分数量,其中,识别资源越少,切分数量越大,识别速度要求越低,切分数量越大。
具体而言,在确定人物图像的切分数量时,除了考虑识别距离之外,还需考虑当前可用的识别资源和识别速度要求,其中,在识别距离和识别速度要求相同的情况下,识别资源越多,人物图像的切分数量越大;在识别距离和识别资源相同的情况下,识别速度要求越低,人物图像的切分数量越大。可预设切分数量的确定策略,该策略根据识别距离、识别资源和识别速度确定切分数量,从而在该步骤中,获取当前可用的识别资源和识别速度要求后,将识别距离、识别资源和识别速度的参数分别输入上述策略,即可确定切分数量。
采用该实施例提供的口罩识别模型的训练方法,在确定切分数量时,考虑资源情况和识别速度的需求,使得子人物图像的数量能够兼顾口罩识别的准确性和运行效率。
可选地,在一种实施例中,根据第一数据集训练人脸检测模型的步骤包括:根据检测框参数确定人物图像中的人脸区域图像;根据人物图像构建人脸检测模型的输入,根据人脸区域图像构建人脸检测模型的输出,对人脸检测模型进行训练;验证训练后的人脸检测模型的准确率;当验证得到的准确率不满足要求时,调节检测框参数,对人脸检测模型再次训练;当验证得到的准确率满足要求时,输出当前的检测框参数和人脸检测模型。
具体地,人脸检测模型采用目标检测网络构建,检测框参数用于定义检测框的大小,该目标检测网络根据检测框参数将待检测人物图像划分为多个检测框,也即将人物图像分成多个格子,确定每个检测框是否为人脸区域图像。其中,当检测框过小,检测框无法全部覆盖人脸区域,当检测框过大,增加检测框中除人脸区域之外背景区域的比例,因此,检测框的大小影响人脸检测模型的准确度和口罩分类模型的准确度。
在对人脸检测模型训练时,首先构建初始人脸检测模型并设置初始检测框参数,该初始检测框参数作为待确定检测框参数。根据待确定检测框参数将人物图像划分为多个检测框,然后采用人工标定的方法确定每个检测框是否为人脸区域图像,确定出人物图像中的人脸区域图像。
再根据人物图像确定初始人脸检测模型的输入,根据确定出的人脸区域图像确定初始人脸检测模型的输出,对初始人脸检测模型进行训练,以得到待验证人脸检测模型。
然后对待验证人脸检测模型进行验证,验证其准确率。具体地,获取人物图像作为验证集,一方面,根据验证集中的人物图像确定待验证人脸检测模型的输入,输入至待验证人脸检测模型,并根据待验证人脸检测模型的输出确定该人物图像中的人脸区域图像。另一方面,根据当前的待确定检测框参数将验证集中的人物图像划分为多个检测框,然后采用人工标定的方法确定每个检测框是否为人脸区域图像,人工确定出验证集中人物图像中的人脸区域图像。
然后将待验证人脸检测模型确定出的人脸区域图像与人工标定的人脸区域图像进行比对,确定待验证人脸检测模型检测出的人脸区域图像是否正确,进而可确定人脸检测模型得准确率。
当此时人脸检测模型的检测准确率达到准确率阈值时,表征此时的人脸检测模型和当前确定的检测框参数满足检测准确性的要求,此时,将当前的人脸检测模型和检测框参数存储,作为训练好的人脸检测模型。
当此时人脸检测模型的检测准确率未达到准确率阈值时,表征此时的人脸检测模型和当前确定的检测框参数不满足检测准确性的要求,此时,对待确定检测框参数进行调节,并对人脸检测模型再次训练和验证,直到检测准确率达到准确率阈值。
采用该实施例提供的口罩识别模型的训练方法,根据准确率调整检测框参数大小,对人脸检测模型进行训练,有利于提升人脸检测模型的准确度,进而能够提升口罩识别的准确度。
可选地,在一种实施例中,构建人脸区域图像的第二数据集的步骤包括:根据输出的检测框参数,在人物图像中提取背景区域图像;将背景区域图像作为第三类别的人脸区域图像,并结合人脸检测模型输出的人脸区域图像,构建第二数据集。
具体地,在构建第二数据集中,通过人物图像中提取背景区域图像,作为第三类别的人脸区域图像,使得第三类别的人脸区域图像与第二类别和第一类别的人脸区域图像差异小,从而在训练人脸检测模型时,能够训练得到检测能力强的模型。同时,根据输出的检测框参数进行背景区域图像的提取,使得第二数据集中各人脸区域图像的大小一致,能够降低构建第二数据集的复杂度,
可选地,在一种实施例中,构建人物图像的第一数据集的步骤包括:确定人脸检测模型和口罩分类模型的应用场景;获取应用场景下的人物图像,以得到第一数据集。
具体地,可依据场景的不同划分场景类型,例如场景类型包括医院、工地、剧场等多个场景。也可以依据场景的特征划分场景类型,例如场景类型包括室内场景类型和室外场景类型。在构建第一数据集时,先确定人脸检测模型和口罩分类模型实际的应用场景,然后获取该应用场景下的人物图像得到第一数据集,对人脸检测模型进行训练。并利用人脸检测模型检测该应用场景下的人物图像时输出的人脸区域图像,构建第二数据集,对口罩分类模型进行训练。例如,确定人脸检测模型和口罩分类模型实际的应用场景为工地,收集2000多张工地的人物图像构建第一数据集,其中1000多张包括戴口罩人脸的人物图像数据,1000多张包括不戴口罩人脸的人物图像数据。
采用该实施例提供的口罩识别模型的训练方法,收集实际应用场景的数据构建训练的数据集对模型进行训练,从而在通过训练好的模型对该实际应用场景中的人物图像进行检测时,具有较高的准确率。
实施例二
对应于上述实施例一,本发明实施例二提供了一种口罩识别模型的训练装置,相应地技术特征细节和对应的技术效果可参考上述实施例一,在该实施例中不再赘述。图2为本发明实施例二提供的口罩识别模型的训练装置的框图,如图2所示,该装置包括:第一构建模块201、第一训练模块202、第二构建模块203和第二训练模块204。
第一构建模块201用于构建人物图像的第一数据集;第一训练模块202用于根据第一数据集训练人脸检测模型,其中,人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像;第二构建模块203用于构建人脸区域图像的第二数据集;以及第二训练模块204用于根据第二数据集训练口罩分类模型,其中,口罩分类模型用于对人脸区域图像进行分类,人脸区域图像的类别包括表征人脸区域图像中人脸已佩戴口罩的第一类别、表征人脸未佩戴口罩的第二类别和表征人脸区域图像中未包含人脸图像的第三类别。
可选地,在一种实施例中,第一训练模块202包括:第一确定单元,用于确定人物图像的切分数量;切分单元,用于根据切分数量对人物图像进行切分,得到切分后的至少两个子人物图像;放大单元,用于将子人物图像放大至预设大小;第一训练单元,用于根据放大后的子人物图像训练人脸检测模型。
可选地,在一种实施例中,确定单元在确定人物图像的切分数量时,具体执行的步骤包括:确定人物图像对应的识别距离;根据识别距离确定切分数量,其中,识别距离越长,切分数量越大。
可选地,在一种实施例中,第一确定单元在确定人物图像的切分数量时,具体执行的步骤包括:获取当前可用的识别资源和/或识别速度要求;根据识别资源和/或识别速度要求确定切分数量,其中,识别资源越少,切分数量越大,识别速度要求越低,切分数量越大。
可选地,在一种实施例中,第一训练模块202包括:第二确定单元,用于根据检测框参数确定人物图像中的人脸区域图像;第二训练单元,用于根据人物图像构建人脸检测模型的输入,根据人脸区域图像构建人脸检测模型的输出,对人脸检测模型进行训练;验证单元,用于验证训练后的人脸检测模型的准确率;调节单元,用于当验证得到的准确率不满足要求时,调节检测框参数,对人脸检测模型再次训练;输出单元,用于当验证得到的准确率满足要求时,输出当前的检测框参数和人脸检测模型。
可选地,在一种实施例中,第二构建模块203包括:提取单元,用于根据输出的检测框参数,在人物图像中提取背景区域图像;构建单元,用于将背景区域图像作为第三类别的人脸区域图像,并结合人脸检测模型输出的人脸区域图像,构建第二数据集。
可选地,在一种实施例中,第一构建模块201包括:第三确定单元,用于确定人脸检测模型和口罩分类模型的应用场景;获取单元,用于获取应用场景下的人物图像,以得到第一数据集。
实施例三
本实施例还提供一种计算机设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图3所示,本实施例的计算机设备01至少包括但不限于:可通过系统总线相互通信连接的存储器012、处理器011,如图3所示。需要指出的是,图3仅示出了具有组件存储器012和处理器011的计算机设备01,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器012(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器012可以是计算机设备01的内部存储单元,例如该计算机设备01的硬盘或内存。在另一些实施例中,存储器012也可以是计算机设备01的外部存储设备,例如该计算机设备01上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器012还可以既包括计算机设备01的内部存储单元也包括其外部存储设备。本实施例中,存储器012通常用于存储安装于计算机设备01的操作系统和各类应用软件,例如实施例二的口罩识别模型的训练装置的程序代码等。此外,存储器012还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器011在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器011通常用于控制计算机设备01的总体操作。本实施例中,处理器011用于运行存储器012中存储的程序代码或者处理数据,例如口罩识别模型的训练方法等。
实施例四
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储口罩识别模型的训练装置,被处理器执行时实现实施例一的口罩识别模型的训练方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种口罩识别模型的训练方法,其特征在于,包括:
构建人物图像的第一数据集;
根据所述第一数据集训练人脸检测模型,其中,所述人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像;
构建所述人脸区域图像的第二数据集;以及
根据所述第二数据集训练口罩分类模型,其中,所述口罩分类模型用于对所述人脸区域图像进行分类,所述人脸区域图像的类别包括表征所述人脸区域图像中人脸已佩戴口罩的第一类别、表征所述人脸未佩戴口罩的第二类别和表征所述人脸区域图像中未包含人脸图像的第三类别。
2.根据权利要求1所述的口罩识别模型的训练方法,其特征在于,根据所述第一数据集训练人脸检测模型的步骤包括:
确定所述人物图像的切分数量;
根据所述切分数量对所述人物图像进行切分,得到切分后的至少两个子人物图像;
将所述子人物图像放大至预设大小;
根据放大后的所述子人物图像训练人脸检测模型。
3.根据权利要求2所述的反光衣识别方法,其特征在于,确定所述人物图像的切分数量的步骤包括:
确定所述人物图像对应的识别距离;
根据所述识别距离确定所述切分数量,其中,所述识别距离越长,所述切分数量越大。
4.根据权利要求2所述的反光衣识别方法,其特征在于,确定所述人物图像的切分数量的步骤包括:
获取当前可用的识别资源和/或识别速度要求;
根据所述识别资源和/或所述识别速度要求确定所述切分数量,其中,所述识别资源越少,所述切分数量越大,所述识别速度要求越低,所述切分数量越大。
5.根据权利要求1至4中任一项所述的口罩识别模型的训练方法,其特征在于,根据所述第一数据集训练人脸检测模型的步骤包括:
根据检测框参数确定所述人物图像中的人脸区域图像;
根据所述人物图像构建所述人脸检测模型的输入,根据所述人脸区域图像构建所述人脸检测模型的输出,对所述人脸检测模型进行训练;
验证训练后的所述人脸检测模型的准确率;
当验证得到的所述准确率不满足要求时,调节所述检测框参数,对所述人脸检测模型再次训练;
当验证得到的所述准确率满足要求时,输出当前的所述检测框参数和所述人脸检测模型。
6.根据权利要求5所述的口罩识别模型的训练方法,其特征在于,构建所述人脸区域图像的第二数据集的步骤包括:
根据输出的所述检测框参数,在所述人物图像中提取背景区域图像;
将所述背景区域图像作为所述第三类别的人脸区域图像,并结合所述人脸检测模型输出的人脸区域图像,构建所述第二数据集。
7.根据权利要求1所述的口罩识别模型的训练方法,其特征在于,构建人物图像的第一数据集的步骤包括:
确定所述人脸检测模型和所述口罩分类模型的应用场景;
获取所述应用场景下的人物图像,以得到所述第一数据集。
8.一种口罩识别模型的训练装置,其特征在于,包括:
第一构建模块,用于构建人物图像的第一数据集;
第一训练模块,用于根据所述第一数据集训练人脸检测模型,其中,所述人脸检测模型用于检测人物图像中的人脸区域,以输出人脸区域图像;
第二构建模块,用于构建所述人脸区域图像的第二数据集;以及
第二训练模块,用于根据所述第二数据集训练口罩分类模型,其中,所述口罩分类模型用于对所述人脸区域图像进行分类,所述人脸区域图像的类别包括表征所述人脸区域图像中人脸已佩戴口罩的第一类别、表征所述人脸未佩戴口罩的第二类别和表征所述人脸区域图像中未包含人脸图像的第三类别。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202011374483.3A 2020-11-30 2020-11-30 口罩识别模型的训练方法、装置、计算机设备和可读存储介质 Pending CN112347988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011374483.3A CN112347988A (zh) 2020-11-30 2020-11-30 口罩识别模型的训练方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011374483.3A CN112347988A (zh) 2020-11-30 2020-11-30 口罩识别模型的训练方法、装置、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN112347988A true CN112347988A (zh) 2021-02-09

Family

ID=74365233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011374483.3A Pending CN112347988A (zh) 2020-11-30 2020-11-30 口罩识别模型的训练方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN112347988A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283405A (zh) * 2021-07-22 2021-08-20 第六镜科技(北京)有限公司 口罩检测方法、装置、计算机设备及存储介质
CN113762095A (zh) * 2021-08-18 2021-12-07 东软集团股份有限公司 口罩识别方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079473A (zh) * 2018-10-19 2020-04-28 北京奇虎科技有限公司 性别识别方法、装置、电子设备及计算机可读存储介质
CN111414887A (zh) * 2020-03-30 2020-07-14 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111444887A (zh) * 2020-04-30 2020-07-24 北京每日优鲜电子商务有限公司 口罩佩戴的检测方法、装置、存储介质及电子设备
CN111582068A (zh) * 2020-04-22 2020-08-25 北京交通大学 人员口罩佩戴状态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079473A (zh) * 2018-10-19 2020-04-28 北京奇虎科技有限公司 性别识别方法、装置、电子设备及计算机可读存储介质
CN111414887A (zh) * 2020-03-30 2020-07-14 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111582068A (zh) * 2020-04-22 2020-08-25 北京交通大学 人员口罩佩戴状态检测方法
CN111444887A (zh) * 2020-04-30 2020-07-24 北京每日优鲜电子商务有限公司 口罩佩戴的检测方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283405A (zh) * 2021-07-22 2021-08-20 第六镜科技(北京)有限公司 口罩检测方法、装置、计算机设备及存储介质
CN113762095A (zh) * 2021-08-18 2021-12-07 东软集团股份有限公司 口罩识别方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111428581B (zh) 人脸遮挡检测方法及系统
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
US8891819B2 (en) Line-of-sight detection apparatus and method thereof
US8761446B1 (en) Object detection with false positive filtering
CN108805900B (zh) 一种跟踪目标的确定方法及装置
US8644563B2 (en) Recognition of faces using prior behavior
JP2018508875A (ja) 生体顔検出用の方法及び装置
CN111339979B (zh) 基于特征提取的图像识别方法及图像识别装置
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
JP2011511977A (ja) デジタル画像における顔の表情の検出
CN110738178A (zh) 园区施工安全检测方法、装置、计算机设备及存储介质
CN107844742B (zh) 人脸图像眼镜去除方法、装置及存储介质
CN113052107B (zh) 一种检测安全帽佩戴情况的方法、计算机设备及存储介质
US20200134343A1 (en) Collation device and collation method
KR101449744B1 (ko) 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
CN112016353A (zh) 一种基于视频的人脸图像进行身份识别方法及装置
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN112347988A (zh) 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
CN113012383A (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
CN112101076A (zh) 识别猪只的方法和装置
KR20190047748A (ko) 영상의 객체 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination