CN111523476A - 口罩佩戴识别方法、装置、设备和可读存储介质 - Google Patents
口罩佩戴识别方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN111523476A CN111523476A CN202010329356.5A CN202010329356A CN111523476A CN 111523476 A CN111523476 A CN 111523476A CN 202010329356 A CN202010329356 A CN 202010329356A CN 111523476 A CN111523476 A CN 111523476A
- Authority
- CN
- China
- Prior art keywords
- facial
- image
- organ
- determining
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 210000000056 organ Anatomy 0.000 claims abstract description 498
- 230000001815 facial effect Effects 0.000 claims abstract description 475
- 230000000241 respiratory effect Effects 0.000 claims abstract description 366
- 238000001514 detection method Methods 0.000 claims description 56
- 230000015654 memory Effects 0.000 claims description 33
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 abstract description 2
- 241000700605 Viruses Species 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 208000035473 Communicable disease Diseases 0.000 description 14
- 238000004590 computer program Methods 0.000 description 12
- 210000003128 head Anatomy 0.000 description 12
- 238000013145 classification model Methods 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 208000015181 infectious disease Diseases 0.000 description 9
- 208000029152 Small face Diseases 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010057190 Respiratory tract infections Diseases 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 244000000010 microbial pathogen Species 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请公开了一种口罩佩戴识别方法、装置、设备和可读存储介质,涉及深度学习领域。具体实现方案为:获取人脸图像,并对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征是否检测到面部呼吸器官;根据识别结果,确定用户是否正确佩戴口罩。可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,进而得到识别结果;可以依据识别结果,判断用户是否正确佩戴口罩。可以准确的判定用户是否正确的佩戴口罩。
Description
技术领域
本申请实施例涉及数据/图像处理领域中的深度学习领域,尤其涉及一种口罩佩戴识别方法、装置、设备和可读存储介质。
背景技术
随着人们对于健康的关注、以及呼吸道传染病的传播,佩戴口罩已经成为目前重要的传染病防护方式。佩戴口罩可以过滤携带有病毒的飞沫,并且防范带有致病微生物的手去直接触碰口鼻。目前,随着呼吸道传染病的传播,用户在公共场合必须佩戴口罩,进而需要对用户是否佩戴口罩进行有效的检测。
现有技术中,可以采用一些现有的人脸检测算法,对用户是否佩戴口罩进行检测。
然而现有技术中,在对用户是否佩戴口罩进行检测的时候,只能识别出用户的脸部是否有口罩,无法准确的判定用户是否正确的佩戴口罩。
发明内容
提供了一种用于准确的判定用户是否正确的佩戴口罩的口罩佩戴识别方法、装置、设备和可读存储介质。
根据第一方面,提供了一种口罩佩戴识别方法,包括:
获取人脸图像,并对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,所述识别结果表征是否检测到面部呼吸器官;
根据所述识别结果,确定用户是否正确佩戴口罩。
根据第二方面,提供了一种口罩佩戴识别装置,包括:
获取单元,用于获取人脸图像;
识别单元,用于对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,所述识别结果表征是否检测到面部呼吸器官;
确定单元,用于根据所述识别结果,确定用户是否正确佩戴口罩。
根据第三方面,提供了一种口罩佩戴识别方法,包括:
获取人脸图像,并对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,所述识别结果表征用户是否正确佩戴口罩。
根据第四方面,提供了一种电子设备,包括:处理器和存储器;存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行如第一方面中任一项所述的口罩佩戴识别方法,或者执行如第三方面所述的口罩佩戴识别方法。
根据第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令被处理器执行时实现第一方面中任一项所述的口罩佩戴识别方法,或者执行如第三方面所述的口罩佩戴识别方法。
根据第六方面,提供了一种程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的口罩佩戴识别方法,或者执行如第三方面所述的口罩佩戴识别方法。
根据本申请的技术方案,获取人脸图像,并对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征是否检测到面部呼吸器官;根据识别结果,确定用户是否正确佩戴口罩。通过获取人脸图像,由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,会导致用户呼入呼吸道传染病的病毒,或者携带有病毒的飞沫呼出。进而,可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,进而得到识别结果;可以依据识别结果,判断用户是否正确佩戴口罩。可以准确的判定用户是否正确的佩戴口罩。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例的一种应用场景的示意图;
图2为本申请实施例的另一种应用场景的示意图;
图3为本申请实施例的又一种应用场景的示意图;
图4是根据本申请第一实施例的示意图;
图5是本申请实施例提供的人脸图像的示意图一;
图6是本申请实施例提供的人脸图像的示意图二;
图7是本申请实施例提供的人脸图像的示意图三;
图8是本申请实施例提供的人脸图像的示意图四;
图9是根据本申请第二实施例的示意图;
图10为本申请提供的识别模型的检测过程;
图11为本申请提供的面部呼吸器官特征模板的示意图一;
图12为本申请提供的面部呼吸器官特征模板的示意图二;
图13为本申请提供的面部呼吸器官特征模板的示意图三;
图14是根据本申请第三实施例的示意图;
图15是根据本申请第四实施例的示意图;
图16是根据本申请第五实施例的示意图;
图17是根据本申请第六实施例的示意图;
图18是根据本申请第七实施例的示意图;
图19是根据本申请第八实施例的示意图;
图20是根据本申请第九实施例的示意图;
图21是根据本申请第十实施例的示意图;
图22是根据本申请第十一实施例的示意图;
图23是根据本申请第十二实施例的示意图;
图24是根据本申请第十三实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
随着人们对于健康的关注、以及呼吸道传染病的传播,由于呼吸道传染病主要通过飞沫和密切接触进行传播,从而佩戴口罩已经成为目前重要的传染病防护方式。佩戴口罩可以过滤携带有病毒的飞沫,防止携带有病毒的飞沫被呼出,并且防范带有致病微生物的手去直接触碰口鼻。
目前,随着呼吸道传染病的传播,尤其在新型冠状病毒导致的肺炎疫情出现之后,现在要求用户在公共场合必须佩戴口罩;若用户在公共场合不佩戴口罩,会导致携带病毒的飞沫在公共场合传播,容易出现病毒的扩散,危害人们的健康。进而需要对用户是否佩戴口罩进行有效的检测,图1为本申请实施例的一种应用场景的示意图,如图1所示,对公共场合中的各个用户是否佩戴口罩,进行检测。
一个示例中,可以采用一些现有的人脸检测算法,对用户是否佩戴口罩进行检测,进而在确定用户没有佩戴口罩时进行报警。一个示例中,例如,图2为本申请实施例的另一种应用场景的示意图,如图2所示,在共场合中部署人脸口罩检测设备,例如在工地、车站、医院等公共场合部署人脸口罩检测设备;人脸口罩检测设备通过人脸口罩检测程序,自动检测出不戴口罩的人脸,然后及时发出警报,进而提示工作人员进行处理;从而,可以防范处于公共场合中的人员不佩戴口罩的情况,降低呼吸道传染病的病毒的扩散。
然而,在对用户是否佩戴口罩进行检测的时候,只能识别出用户的脸部是否有口罩,无法准确的判定用户是否正确的佩戴口罩。由于正确佩戴口罩可过滤80%带有病毒的飞沫,可以极大的降低呼吸道传染病的感染率;若出现不正确佩戴口罩的情况,那么在人流密集区将会容易出现病毒扩散的问题,无法保证公共场合中的各用户的安全。并且,由于现有技术无法准确的判定用户是否正确的佩戴口罩,进而无法正确的发出警示信息、或出现误报警的问题。
本申请的发明人在经过创造性地劳动之后,得到了本申请的发明构思:实现准确的判定用户是否正确的佩戴口罩,针对未正确佩戴口罩的情况进行准确的提示;避免呼吸道传染病的病毒的扩散。
其中,图2所示场景中是一种人脸口罩检测设备,但是人脸口罩检测设备并不仅仅限于图2所示的人脸口罩检测设备。人脸口罩检测设备也可以是终端设备;图3为本申请实施例的又一种应用场景的示意图,如图3所示,在公司中对员工是否正确佩戴口罩进行检测,图3所示的终端设备对员工是否正确佩戴口罩进行检测,然后显示检测结果。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图4是根据本申请第一实施例的示意图,如图4所示,本实施例提供的口罩佩戴识别方法,包括:
101、获取人脸图像,并对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征是否检测到面部呼吸器官。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
终端设备上设置有图像采集单元,例如图像采集单元为摄像头;图像采集单元可以采集人脸图像,进而终端设备可以获取到图像采集单元所采集的人脸图像。
或者,终端设备与图像采集设备连接;图像采集设备可以采集人脸图像,进而终端设备可以获取到图像采集设备所采集的人脸图像。
或者,图像采集设备可以采集到公共场合中的人群视频或者人群图像,然后,图像采集设备利用人脸检测算法,检测人群视频或者人群图像中的人脸图像。其中,人脸检测算法,包括但不限于以下算法:基于Adaboost的人脸检测算法、基于DPM(Deformable PartModel,DPM)的人脸检测算法、基于神经网络的人脸检测算法。
通过上述方式,终端设备获取到人脸图像;然后对每一人脸图像进行识别,以确定用户是否正确佩戴口罩。
由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,会导致用户呼入呼吸道传染病的病毒,或者携带有病毒的飞沫呼出。进而,可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,进而得到识别结果。面部呼吸器官可以是鼻子和/或嘴巴。
一个示例中,终端设备识别人脸图像中是否存在鼻子或者嘴巴;若确定存在鼻子或者嘴巴,则确定检测到面部呼吸器官;若确定不存在鼻子,并且不存在嘴巴,则确定未检测到面部呼吸器官。
102、根据识别结果,确定用户是否正确佩戴口罩。
一个示例中,步骤102具体包括以下步骤:若检测结果表征未检测到各面部呼吸器官,则确定用户正确佩戴口罩;若检测结果表征检测到任一面部呼吸器官,或者检测结果表征检测到任一面部呼吸器官的部分区域,则确定用户未正确佩戴口罩。
示例性地,识别结果表征了是否检测到面部呼吸器官,终端设备就可以直接进行判断,若检测结果表征检测到了面部呼吸器官,则确定用户没有正确佩戴口罩;若检测结果表征未检测到面部呼吸器官,则确定用户正确佩戴口罩。
一个示例中,终端设备识别人脸图像中的面部呼吸器官;若识别到任意一个完整的面部呼吸器官或者任意一个面部呼吸器官的部分区域,则确定用户未正确佩戴口罩,这是因为,面部呼吸器官若露出一部分,也会增加吸入和呼出病毒的风险,从而需要确定是否识别出面部呼吸器官的部分区域;若人脸图像中的各个面部呼吸器官,均没有被识别到,则确定用户正确佩戴口罩。
举例来说,获取到一个人脸图像,人脸图像中具有一张人脸;若识别到该人脸有鼻子或者嘴巴,则确定用户没有正确佩戴口罩;若识别到该人脸没有鼻子和嘴巴,则确定用户正确佩戴口罩。图5是本申请实施例提供的人脸图像的示意图一,如图5所示,获取到一个人脸图像,并识别到该人脸没有鼻子和嘴巴,则确定用户正确佩戴口罩。图6是本申请实施例提供的人脸图像的示意图二,如图6所示,获取到一个人脸图像,并识别到该人脸有鼻子和嘴巴,则确定用户未正确佩戴口罩。图7是本申请实施例提供的人脸图像的示意图三,如图7所示,获取到一个人脸图像,并识别到该人脸有鼻子,则确定用户未正确佩戴口罩。图8是本申请实施例提供的人脸图像的示意图四,如图8所示,获取到一个人脸图像,并识别到该人脸有露出部分的嘴巴,则确定用户未正确佩戴口罩。
本实施例中,获取人脸图像,并对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征是否检测到面部呼吸器官;根据识别结果,确定用户是否正确佩戴口罩。通过获取人脸图像,由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,会导致用户呼入呼吸道传染病的病毒,或者携带有病毒的飞沫呼出。进而,可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,进而得到识别结果;可以依据识别结果,判断用户是否正确佩戴口罩。可以准确的判定用户是否正确的佩戴口罩。
图9是根据本申请第二实施例的示意图,如图9所示,本实施例提供的口罩佩戴识别方法,包括:
201、采集待检测图像,并识别待检测图像中的人脸。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
终端设备上设置有图像采集单元,例如图像采集单元为摄像头;终端设备可以获取到图像采集单元所采集的待检测图像。或者,终端设备与图像采集设备连接,终端设备可以获取到图像采集设备所采集的待检测图像。
然后,终端设备识别待检测图像中的人脸。一个示例中,终端设备采用基于人脸检测的深度学习模型,识别待检测图像中是否具有人脸。其中,深度学习模型,例如是PyramidBox模型。
举例来说,获取清晰的第一待训练图像集合,第一待训练图像集合中包括待训练人脸图像和待训练非人脸图像;将第一待训练图像集合,输入到深度学习模型中,对深度学习模型进行训练,以将深度学习模型中的参数,训练为可以识别人脸;进而得到成熟的深度学习模型;然后,将待检测图像输入到成熟的深度学习模型中,去对待检测图像中是否具有人脸进行识别。
202、在确定待检测图像中的人脸未佩戴口罩、或者待检测图像中的人脸佩戴有口罩时,确定得到人脸图像。
示例性地,在步骤201之后,终端设备若确定人脸图像中具有人脸,则继续检测具有人脸的待检测图像中的人脸,是否佩戴有口罩。一个示例中,终端设备采用基于预设的口罩分类模型,检测人脸图像中的人脸,是否佩戴有口罩。其中,预设的口罩分类模型,例如是Mobilenet分类模型。
举例来说,获取清晰的第二待训练图像集合,第二待训练图像集合中包括待训练的佩戴有口罩的图像和未佩戴口罩的图像;将爹待训练图像集合,输入到口罩分类模型中,对口罩分类模型进行训练,以将口罩分类模型中的参数,训练为可以识别人脸;进而得到成熟的口罩分类模型;然后,将具有人脸的待检测图像输入到成熟的口罩分类模型中,去对待检测图像中人脸是否佩戴口罩。
此时,若仅执行步骤201-202,在识别待检测图像中的人脸的时候,需要提前获取大量的待训练图像集合去对深度学习模型、口罩分类模型进行训练。但是待训练图像集合中的图像,基本都是来源于开源的数据库;或者,由于待训练图像集合的数量非常大,无法从实际的环境中获取到大量的可以被允许使用的图像数据,即,待训练图像集合中的图像数据比较难以获取;从而,会影响到对深度学习模型、口罩分类模型进行训练,进而无法准确的识别待检测图像中的人脸是否佩戴了口罩。
并且,在从实际的环境中获取到大量的可以被允许使用的图像数据的时候,由于实际的公共场合中的摄像头安装的角度、高度、以及位置是各种各样的,从而采集到的人脸形态、角度各异。这也会影响到识别待检测图像中的人脸是否佩戴了口罩。
可知,若仅执行步骤201-202,是不能准确的识别待检测图像中的人脸是否佩戴了口罩。例如,人脸在侧脸,低头,以及人脸较小等情况下,存在很高的误检率,此时针对戴口罩的侧脸、低头、以及小的人脸等,可能会识别为不戴口罩,进一步的引发错误的报警;并且,也会存在针对戴口罩的侧脸、低头、以及小的人脸等,可能会识别为佩戴口罩,进一步的无法正确的发出警报。
根据以上分析,在本实施例中,若确定人脸未佩戴口罩,此时可能会出现错误检测的情况,进而将未佩戴口罩的人脸,做为之后的人脸图像进行分析。或者,若确定人脸佩戴有口罩,此时也可能会出现错误检测的情况,进而将佩戴有口罩的人脸,做为之后的人脸图像进行分析。进而完成初步的人脸识别,为后续的步骤做准备。
203、依据具有面部呼吸器官的模板图像,对人脸图像中的面部呼吸器官进行识别,得到识别结果,其中,识别结果表征是否检测到面部呼吸器官。
一个示例中,步骤203包括以下几种实现方式:
步骤203的第一种实现方式、根据预设的识别模型对人脸图像进行识别,得到识别结果,其中,识别模型为采用训练图像进行训练得到的,训练图像中包括面部呼吸器官的图像和非面部呼吸器官的图像。
一个示例中,步骤203的第一种实现方式具体包括:重复以下过程,直至识别到面部呼吸器官或者检测完人脸图像的各图像区域:根据识别模型,对人脸图像中的与滑动窗口对应的图像区域进行检测,得到图像区域的识别值;在识别值在预设阈值范围之内时,确定图像区域中具有面部呼吸器官;在识别值不在预设阈值范围之内时,确定滑动窗口对应的图像区域中不具有面部呼吸器官。
步骤203的第二种实现方式、将人脸图像与预设模板对象进行匹配,其中,预设模板对象用于指示具有面部呼吸器官的模板图像的特征,得到识别结果。
一个示例中,步骤203的第二种实现方式具体包括:预设模板对象中包括多个面部呼吸器官特征模板;将人脸图像与每一面部呼吸器官特征模板之间进行匹配,得到每一面部呼吸器官特征模板所对应的匹配结果,其中,匹配结果表征人脸图像与面部呼吸器官特征模板之间是否匹配;在各面部呼吸器官特征模板所对应的匹配结果,均表征为匹配时,确定检测到面部呼吸器官;在任一面部呼吸器官特征模板所对应的匹配结果,表征为不匹配时,确定未检测到面部呼吸器官。
示例性地,对步骤202所得到的人脸图像的面部呼吸器官进行识别,可知,人脸图像为未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像;为了可以对面部呼吸器官进行准确识别,提供了模板图像,模板图像为具有完整、清晰的面部呼吸器官的图像(可以是完整的人脸、或者仅仅是面部呼吸器官),模板图像可以体现出面部呼吸器官的图像的特征,今儿可以采用模板图像对人脸图像中是否有面部呼吸器官进行识别,例如,将模板图像与人脸图像之间进行匹配、或者依据模板图像对人脸图像进行模式识别,然后,就可以得到识别结果,其中,识别结果表征是否检测到面部呼吸器官。匹配的方式、模式识别的方式,都是一种探测器的方式,去检测面部呼吸器官。
步骤203的第一种实现方式,如下介绍。
具有面部呼吸器官的模板图像,是面部呼吸器官图像。首先,获取训练图像,训练图像中包括有面部呼吸器官的图像和非面部呼吸器官的图像。其中,训练图像中的面部呼吸器官的图像,例如是,鼻子图像、或者嘴巴图像、或者多器官图像;多器官图像,指的是,图像中具有鼻子和嘴巴。根据训练图像对识别模型进行训练,得到成熟的识别模型,识别模型例如是深度学习模型。将未佩戴口罩的人脸图像,和/或,佩戴口罩的人脸图像,输入到成熟的识别模型中,输出识别结果,识别结果表征人脸图像中是否有面部呼吸器官。采用识别模型对面部呼吸器官进行识别,由于识别模型是稳定的学习模型,进而识别的准确是非常高的。
其中,可以为识别模型设置滑动窗口,滑动窗口的大小不限制;只需要滑动窗口的大小,小于人脸图像的大小。从而在采用成熟的识别模型对图像进行识别的时候,是采用滑动窗口在人脸图像上进行滑动检测,以得到识别结果。采用滑动窗口在人脸图像上进行滑动检测,一旦检测到面部呼吸器官,则可以停止检测;可以加快识别和检测的效率。
一个示例中,图10为本申请提供的识别模型的检测过程,如图10所示,滑动窗口每滑动一次,可以获取到人脸图像中的与滑动窗口对应的图像区域。然后采用成熟的识别模型,对该图像区域进行检测,可以输出该图像区域的识别值。若确定图像区域的识别值,位于预设阈值范围之内时,则确定该图像区域中具有面部呼吸器官,则停止滑动窗口的滑动,不需要对该人脸图像再进行检测。若确定图像区域的识别值,不位于预设阈值范围之内时,则确定该图像区域中不具有面部呼吸器官;然后,将滑动窗口滑动一次,再得到人脸图像中的与滑动窗口对应的图像区域,然后重复以上图像区域的检测过程。其中,此时的“预设阈值范围”可以是一个经验值、或者是在对识别模型进行训练时所得到的数值,“预设阈值范围”所表征的数值,表征了图像区域中具有面部呼吸器官。经过上述重复过程,可以得到识别结果,识别结果表征人脸图像中是否有面部呼吸器官。
举例来说,人脸图像的大小为32*32,成熟的识别模型的滑动窗口的大小为6*6;从人脸图像的左上角开始滑动检测,对滑动窗口下的图像区域进行检测,以确定该图像区域的识别值;若该图像区域的识别值大于等于0.5,则该图像区域中有面部呼吸器官;若该图像区域的识别值小于0.5,则该图像区域中没有面部呼吸器官。
步骤203的第二种实现方式,如下介绍。
具有面部呼吸器官的模板图像,是面部呼吸器官图像;可以提取面部呼吸器官图像的特征,建立起模板对象,即,模板对象指示出具有面部呼吸器官的模板图像的特征。其中,具有面部呼吸器官的模板图像的特征,包括但不限于:颜色特征、灰度值特征、特征点特征,特征点的特征;可以采用sparse的方法,提取图像的特征点。由于模板对象指示出具有面部呼吸器官的模板图像的特征,就可以将人脸图像与预设模板对象进行匹配,得到识别结果,识别快速、简单。
一个示例中,可以采用Haar级联分类器(Haar Cascade),对人脸图像进行检测,得到识别结果。Haar级联分类器是一种模板匹配的分类器。结合本申请的应用场景,上述模板对象中包括N个面部呼吸器官特征模板,每一个面部呼吸器官特征模板代表了面部呼吸器官在不同角度下的特征分布情况,N是大于等于1的正整数。
例如,人的头部在正视前方时,人脸的鼻子是垂直于地面的,此时是,鼻子在垂直角度下的特征分布情况,即,得到在垂直角度下的鼻子特征模板;人的头部在向自己的右臂倾斜时,人脸的鼻子是向右倾斜的,此时是,鼻子在向右倾斜角度下的特征分布情况,即,得到在向右倾斜角度下的鼻子特征模板;人的头部在向自己的左臂倾斜时,人脸的鼻子是向左倾斜的,此时是,鼻子在向左倾斜角度下的特征分布情况,即,得到在向左倾斜角度下的鼻子特征模板。
再例如,人的头部在正视前方时,人脸的鼻子和嘴巴是垂直于地面的,此时是,鼻子和嘴巴在垂直角度下的特征分布情况,即,得到在垂直角度下的“鼻子和嘴巴”特征模板;人的头部在向自己的右臂倾斜时,人脸的鼻子是向右倾斜的,此时是,鼻子和嘴巴在向右倾斜角度下的特征分布情况,即,得到在向右倾斜角度下的“鼻子和嘴巴”特征模板;人的头部在向自己的左臂倾斜时,人脸的鼻子和嘴巴是向左倾斜的,此时是,鼻子和嘴巴在向左倾斜角度下的特征分布情况,即,得到在向左倾斜角度下的“鼻子和嘴巴”特征模板。
那么就可以将人脸图像与N个面部呼吸器官特征模板中的每一个面部呼吸器官特征模板,进行匹配分析,得到人脸图像与每一面部呼吸器官特征模板之间的匹配结果。在步骤203的第二种实现方式中,为了保证识别的准确率,在确定各匹配结果,都表征为匹配时,确定检测到了面部呼吸器官;在各匹配结果中的任一匹配结果,都表征为不匹配时,确定未检测到面部呼吸器官。
一个示例中,步骤203的第二种实现方式,可以具体包括以下步骤:
第一步骤、根据每一面部呼吸器官特征模板的第一模板区域,确定人脸图像中的与第一模板区域对应的第一图像区域,并根据每一面部呼吸器官特征模板的第二模板区域,确定人脸图像中的与第二模板区域对应的第二图像区域,其中,第一图像区域与第二图像区域相邻。
第二步骤、计算第一图像区域的第一特征值,并计算第二图像区域的第二特征值。
第三步骤、在确定第一特征值与第二特征值之间的差值,属于预设差值范围之内时,确定匹配结果为人脸图像与面部呼吸器官特征模板之间匹配。
在确定第一特征值与第二特征值之间的差值,不属于预设差值范围之内时,确定匹配结果为人脸图像与面部呼吸器官特征模板之间不匹配。
第四步骤、在各面部呼吸器官特征模板所对应的匹配结果,均表征为匹配时,确定检测到面部呼吸器官。
第五步骤、在任一面部呼吸器官特征模板所对应的匹配结果,表征为不匹配时,确定未检测到面部呼吸器官。
示例性地,具有面部呼吸器官的模板图像,是面部呼吸器官图像;可以提取面部呼吸器官图像的特征,建立起模板对象,即,模板对象指示出具有面部呼吸器官的模板图像的特征。并且上述模板对象中包括N个面部呼吸器官特征模板,每一个面部呼吸器官特征模板代表了面部呼吸器官在不同角度下的特征分布情况,N是大于等于1的正整数。那么,针对每一个面部呼吸器官特征模板,需要将人脸图像与每一个面部呼吸器官特征模板之间进行匹配分析。
针对每一个面部呼吸器官特征模板来说,面部呼吸器官特征模板具有两个模板区域,分别是第一模板区域和第二模板区域。就可以根据面部呼吸器官特征模板中的第一模板区域和第二模板区域之间的相对位置关系,去获取确定人脸图像中的与第一模板区域对应的第一图像区域、人脸图像中的与第二模板区域对应的第二图像区域,其中,第一图像区域与第二图像区域相邻。
例如,图11为本申请提供的面部呼吸器官特征模板的示意图一,如图11所示,图11中示出了4个面部呼吸器官特征模板。
图11中的面部呼吸器官特征模板(a)为左右对称的模板,面部呼吸器官特征模板(a)中包括第一模板区域(图11的(a)中的白色区域)和第二模板区域(图11的(a)中的黑色区域);根据图11中的面部呼吸器官特征模板(a),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域。
图11中的面部呼吸器官特征模板(b)为上下对称的模板,面部呼吸器官特征模板(b)中包括第一模板区域(图11的(b)中的白色区域)和第二模板区域(图11的(b)中的黑色区域);根据图11中的面部呼吸器官特征模板(b),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域。
图11中的面部呼吸器官特征模板(c)为倾斜的左右对称的模板1,面部呼吸器官特征模板(c)中包括第一模板区域(图11的(c)中的白色区域)和第二模板区域(图11的(c)中的黑色区域);根据图11中的面部呼吸器官特征模板(c),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域。
图11中的面部呼吸器官特征模板(d)为倾斜的左右对称的模板2,面部呼吸器官特征模板(d)中包括第一模板区域(图11的(d)中的白色区域)和第二模板区域(图11的(d)中的黑色区域);根据图11中的面部呼吸器官特征模板(d),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域。
再例如,图12为本申请提供的面部呼吸器官特征模板的示意图二,如图12所示,图12中示出了2个面部呼吸器官特征模板。
图12中的面部呼吸器官特征模板(a)为包含关系的模板1,面部呼吸器官特征模板(a)中包括第一模板区域(图12的(a)中的白色区域)和第二模板区域(图12的(a)中的黑色区域);第一模板区域和第二模板区域,都是方形区域。根据图12中的面部呼吸器官特征模板(a),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域。
图12中的面部呼吸器官特征模板(b)为包含关系的模板,面部呼吸器官特征模板(b)中包括第一模板区域(图12的(b)中的白色区域)和第二模板区域(图12的(b)中的黑色区域);第一模板区域和第二模板区域,都是菱形区域。根据图12中的面部呼吸器官特征模板(b),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域。
然后,针对每一个面部呼吸器官特征模板来说,计算第一图像区域的第一特征值,第一特征值,例如是第一图像区域的像素特征值、或者特征点的特征值、等等;并计算第二图像区域的第二特征值,第二特征值,例如是第二图像区域的像素特征值、或者特征点的特征值、等等。
针对每一个面部呼吸器官特征模板来说,可以计算第一特征值与第二特征值之间的差值。若确定差值属于预设差值范围之内时,则确定人脸图像与该面部呼吸器官特征模板之间匹配。若确定不属于预设差值范围之内时,确定人脸图像与该面部呼吸器官特征模板之间不匹配。
通过以上方式,就可以将人脸图像与N个面部呼吸器官特征模板中的每一个面部呼吸器官特征模板,进行匹配分析,得到人脸图像与每一面部呼吸器官特征模板之间的匹配结果。在确定各匹配结果,都表征为匹配时,确定检测到了面部呼吸器官;在各匹配结果中的任一匹配结果,都表征为不匹配时,确定未检测到面部呼吸器官。
举例来说,针对人脸图像,预先设置了如图11所示的4个面部呼吸器官特征模板。将人脸图像与图11中的面部呼吸器官特征模板(a)之间进行匹配,可以得到与面部呼吸器官特征模板(a)的白色区域对应的第一图像区域,并且计算出第一图像区域的特征值;并且得到与面部呼吸器官特征模板(a)的黑色区域对应的第二图像区域,并且计算出第二图像区域的特征值;计算第一图像区域的特征值与第二图像区域的特征值之间的差值,并确定该差值在预设差值范围之内。然后,将人脸图像与图11中的面部呼吸器官特征模板(b)之间进行匹配,可以得到与面部呼吸器官特征模板(b)的白色区域对应的第一图像区域,并且计算出第一图像区域的特征值;并且得到与面部呼吸器官特征模板(b)的黑色区域对应的第二图像区域,并且计算出第二图像区域的特征值;计算第一图像区域的特征值与第二图像区域的特征值之间的差值,并确定该差值在预设差值范围之内。以此类推,在计算出的4个差值,均在各自对应的预设差值范围之内时,确定人脸图像中具有面部呼吸器官。例如,图11所示的4个面部呼吸器官特征模板,均是鼻子的特征模板;则在计算出的4个差值,均在各自对应的预设差值范围之内时,确定人脸图像中具有鼻子。
或者,针对每一个面部呼吸器官特征模板来说,面部呼吸器官特征模板具有三个模板区域,分别是第一模板区域、第二模板区域和第三模板区域。就可以根据面部呼吸器官特征模板中的第一模板区域、第二模板区域与第三模板区域之间的相对位置关系,去获取确定人脸图像中的与第一模板区域对应的第一图像区域、人脸图像中的与第二模板区域对应的第二图像区域、人脸图像中的与第三模板区域对应的第三图像区域,其中,第一图像区域与第二图像区域相邻,第二图像区域与第三图像区域相邻。
例如,图13为本申请提供的面部呼吸器官特征模板的示意图三,如图13所示,图13中示出了8个面部呼吸器官特征模板。
图13中的面部呼吸器官特征模板(a)为左右对称的模板,并且中间具有一个模板区域,即,面部呼吸器官特征模板(a)中包括左右对称的第一模板区域和第二模板区域(图13的(a)中的白色区域),还包括第三模板区域(图13的(a)中的黑色区域);根据图13中的面部呼吸器官特征模板(a),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域、人脸区域中的与第三模板区域对应的第三图像区域。
图13中的面部呼吸器官特征模板(b)为左右对称的模板,并且中间具有一个模板区域,即,面部呼吸器官特征模板(b)中包括左右对称的第一模板区域和第二模板区域(图13的(b)中的白色区域),还包括第三模板区域(图13的(b)中的黑色区域);根据图13中的面部呼吸器官特征模板(b),可以到人脸区域中的与第一模板区域对应的第一图像区域、人脸区域中的与第二模板区域对应的第二图像区域、人脸区域中的与第三模板区域对应的第三图像区域。图13的(b)中的黑色区域的面积,大于图13的(a)中的黑色区域的面积。
依次类推,图13中的面部呼吸器官特征模板(c)和面部呼吸器官特征模板(d)均为上下对称的模板,并且中间具有一个模板区域;图13的(d)中的黑色区域的面积,大于图13的(c)中的黑色区域的面积。图13中的面部呼吸器官特征模板(e)和面部呼吸器官特征模板(f)为向右倾斜的模板;图13的(f)中的黑色区域的面积,大于图13的(c)中的黑色区域的面积。图13中的面部呼吸器官特征模板(g)和面部呼吸器官特征模板(h)为向右倾斜的模板;图13的(h)中的黑色区域的面积,大于图13的(g)中的黑色区域的面积。进而,得到与各模板区域对应的图像区域。
然后,针对每一个面部呼吸器官特征模板来说,计算第一图像区域的第一特征值、第二图像区域的第二特征值、第三图像区域的第三特征值。
针对每一个面部呼吸器官特征模板来说,可以计算第一特征值、第二特征值、第三特征值,三者之间的差值,例如将第一特征值分别减去第二特征值、第三特征值。若确定差值属于预设差值范围之内时,则确定人脸图像与该面部呼吸器官特征模板之间匹配。若确定不属于预设差值范围之内时,确定人脸图像与该面部呼吸器官特征模板之间不匹配。进而,将人脸图像与N个面部呼吸器官特征模板中的每一个面部呼吸器官特征模板,进行匹配分析,得到人脸图像与每一面部呼吸器官特征模板之间的匹配结果。在确定各匹配结果,都表征为匹配时,确定检测到了面部呼吸器官;在各匹配结果中的任一匹配结果,都表征为不匹配时,确定未检测到面部呼吸器官。
举例来说,图13所示的8个面部呼吸器官特征模板,均是嘴巴的特征模板;则在计算出的8个差值,均在各自对应的预设差值范围之内时,确定人脸图像中具有嘴巴。
204、根据识别结果,确定用户是否正确佩戴口罩。
示例性地,本步骤可以参见图4的步骤102,不再赘述。
205、在确定用户未正确佩戴口罩时,发出提示信息。
示例性地,例性地,在步骤204之后,执行本步骤。若检测到面部呼吸器官,则确认用户没有正确佩戴口罩;为了便于对未正确佩戴口罩的用户进行防范和处理,需要发出提示信息,以提示工作人员进行处理。
一个示例中,提示信息可以是以下的一种或多种:语音信息、灯光信息、震动信息、文字信息、弹窗提示。
206、在确定用户正确佩戴口罩时,则不需要发出提示。
例性地,在步骤204之后,执行本步骤。在确定用户正确佩戴口罩时,不需要发出警报。
207、在确定从待检测图像中未检测到人脸时,确定用户正确佩戴口罩。
示例性地,在步骤201之后,终端设备若确定人脸图像中不具有人脸,则确定人脸都全部遮挡,确定无法检测到面部呼吸器官,进而确定用户正确佩戴口罩。此时,终端设备不需要发出提示信息。
通过本实施例提供的完整方案,相比仅执行到步骤202来说,可以在严格的环境中,例如,地铁、高铁等人流密集较高并且人脸图片相对复杂的环境中,准确的识别出未正确佩戴口罩的用户;其中,“未正确佩戴口罩的用户”指的是,未佩戴口罩的用户、或者未遮挡住面部呼吸器官的用户。通过测试发现,本实施例提供的完整方案的误检率很低,可以小于3%。
本实施例,识别待检测图像中的未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像、无人脸的图像。针对识别出的无人脸的图像,确定用户包裹严实、正确佩戴口罩。由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,进而针对未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像,根据识别模型进行识别、或者根据模板对象进行匹配,得到识别结果,其中,识别结果表征是否检测到面部呼吸器官。可以准确的对人脸图像是否具有面部呼吸器官进行识别,进而准确的确定用户是否正确佩戴口罩。尤其是针对于低头,侧脸,小的人脸等情况,避免这些图像被判断为不戴口罩的人脸,可以正确的发出警报;并且,针对误判为戴口罩的人脸,通过检测面部呼吸器官的方式,再次进行确认,避免未发出警报。
图14是根据本申请第三实施例的示意图,如图14所示,本实施例提供的口罩佩戴识别方法,包括:
301、采集待检测图像,并识别待检测图像中的人脸。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
本步骤可以参见图9所示的步骤201,不再赘述。
302、在确定待检测图像中的人脸未佩戴口罩、或者待检测图像中的人脸佩戴有口罩时,确定得到人脸图像。
示例性地,在步骤301之后,执行本步骤。本步骤可以参见图9所示的步骤202,不再赘述。
303、检测人脸图像中的各面部器官的轮廓。
一个示例中,步骤303具体包括:对人脸图像进行边缘检测,得到各面部器官的轮廓;或者,对人脸图像进行图像分割,得到各面部器官的轮廓。
示例性地,对步骤302所得到的人脸图像的面部呼吸器官进行识别,可知,人脸图像为未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像。
为了可以对面部呼吸器官进行准确识别,可以基于轮廓的方式检测是否存在面部呼吸器官。
首先,需要提取人脸图像中的各面部器官的轮廓,例如,提取眼睛的轮廓、鼻子的轮廓、耳朵的轮廓、嘴巴的轮廓。
本实施例中提供了多种检测面部器官的轮廓的方式。一个示例中,采用边缘检测算法,对人脸图像进行边缘检测,就可以直接得到人脸图像中的各个区域的轮廓,即得到各面部器官的轮廓。边缘检测算法例如是Canny算法等等。采用边缘检测的方式,可以快速的检测出面部器官的轮廓。
另一个示例中,对人脸图像进行图像分割,就可以直接得到人脸图像中的各个区域的轮廓,即得到各面部器官的轮廓。例如,采用聚类算法对人脸图像进行图像分割,得到各面部器官的轮廓。采用图像分割的方式,可以快速的、准确的检测出面部器官的轮廓。
304、根据各面部器官的轮廓,确定各面部器官中是否存在面部呼吸器官。
一个示例中,步骤304包括以下几种实现方式:
步骤304的第一种实现方式、计算每一面部器官的轮廓的面积值,并根据各面部器官的轮廓的面积值,确定面部器官之间的比例值;在确定比例值为预设比例值时,确定各面部器官中存在面部呼吸器官;在确定比例值不为预设比例值时,确定各面部器官中不存在面部呼吸器官。
步骤304的第二种实现方式、将各面部器官的轮廓与预设的面部呼吸器官轮廓之间匹配;在确定任一面部器官的的轮廓与预设的面部呼吸器官轮廓之间匹配时,确定各面部器官中存在面部呼吸器官;在确定各面部器官的的轮廓与预设的面部呼吸器官轮廓之间均不匹配时,确定各面部器官中不存在面部呼吸器官。
示例性地,已经得到人脸图像中的各面部器官的轮廓,由于不同种类的面部器官的轮廓是不同,就可以直接依据各面部器官的轮廓,判断各面部器官中是否存在面部呼吸器官,进而快速的判断出人脸图像中是否存在面部呼气器官;若存在,则确定用户未正确佩戴口罩。
一个示例中,由于不同种类的面部器官的轮廓是不同的,从而各面部器官之间的比例值,是一定的预设比例值;该预设比例值,可以是一个经验值,即根据大数据分析所得到“面部器官之间的比例”。就可以计算所得到每一面部器官的轮廓的面积值;将各面部器官的轮廓的面积值进行相除,得到面部器官之间的比例值;例如,将眼睛的轮廓的面积值A、鼻子的轮廓的面积值B、嘴巴的轮廓面积值C,三者相除,得到比例值A/B/C。在确定比例值为预设比例值时,确定各面部器官中存在面部呼吸器官,进而确定在人脸图像中检测到面部呼吸器官,即,确定识别结果为检测到面部呼吸器官;确定比例值不为预设比例值时,确定各面部器官中不存在面部呼吸器官,进而确定在人脸图像中没有检测到面部呼吸器官,即,确定识别结果为未检测到面部呼吸器官。由于不同种类的面部器官的轮廓是不同的,从而各面部器官之间的比例值,是一定的预设比例值;一旦缺少了鼻子或嘴巴,则各面部器官之间的比例值,必然会有较大改变;进而基于各面部器官之间的比例值,可以准确的分析出人脸图像中是否具有面部呼吸器官。
举例来说,将眼睛的轮廓的面积值1、鼻子的轮廓的面积值2、嘴巴的轮廓面积值2,三者相除,得到预设比例值1/2/2;若检测到各面部器官之间的比例值为1/0.5/0.1,则确定人脸图像中不具有面部呼吸器官;若检测到各面部器官之间的比例值为1/2/2,则确定人脸图像中具有面部呼吸器官。
另一个示例中,由于不同种类的面部器官的轮廓是不同的,则可以预先获取到标准的面部呼吸器官轮廓;然后,将步骤303所得到各面部器官的轮廓与标准的面部呼吸器官轮廓之间进行匹配;若步骤303所得到的任一面部器官的的轮廓与标准的面部呼吸器官轮廓之间匹配,则确定各面部器官中存在面部呼吸器官,即,确定识别结果为检测到面部呼吸器官;若步骤303所得到的各面部器官的的轮廓与标准的面部呼吸器官轮廓之间都是不匹配,则确定各面部器官中不存在面部呼吸器官,即,确定识别结果为未检测到面部呼吸器官。由于不同种类的面部器官的轮廓是不同的,一旦缺少了鼻子或嘴巴,则面部器官与标准面部呼吸器官之间的轮廓是匹配不上的;进而基于各面部器官的轮廓的直接比对,可以准确的分析出人脸图像中是否具有面部呼吸器官。
举例来说,预先获取到了鼻子的标准轮廓;将步骤303所得到的各面部器官的的轮廓,逐一与鼻子的标准轮廓进行比对。若确定有一个面部器官的的轮廓与鼻子的标准轮廓之间匹配,则确定检测了鼻子。若确定有各面部器官的的轮廓与鼻子的标准轮廓之间都是不匹配,则确定没有检测鼻子;然后,将各面部器官的的轮廓与嘴巴的标准轮廓之间进行比对;若确定有一个面部器官的的轮廓与嘴巴的标准轮廓之间匹配,则确定检测了嘴巴;若若确定各面部器官的的轮廓与嘴巴的标准轮廓之间都是不匹配,则确定没有检测到嘴巴,确定没有检测到任一面部呼吸器官。
305、根据识别结果,确定用户是否正确佩戴口罩。
示例性地,本步骤可以参见图9所示的步骤204,不再赘述。
306、在确定用户未正确佩戴口罩时,发出提示信息。
示例性地,在步骤305之后,执行本步骤。本步骤可以参见图9所示的步骤205,不再赘述。
307、在确定用户正确佩戴口罩时,则不需要发出提示。
示例性地,在步骤305之后,执行本步骤。本步骤可以参见图9所示的步骤206,不再赘述。
308、在确定从待检测图像中未检测到人脸时,确定用户正确佩戴口罩。
示例性地,在步骤301之后,执行本步骤。本步骤可以参见图9所示的步骤207,不再赘述。
本实施例,识别待检测图像中的未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像、无人脸的图像。针对识别出的无人脸的图像,确定用户包裹严实、正确佩戴口罩。由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,进而针对未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像,根据人脸图像中的面部器官的轮廓,检测是否存在面部呼吸器官。可以准确快速的对人脸图像是否具有面部呼吸器官进行识别,进而准确的确定用户是否正确佩戴口罩。尤其是针对于低头,侧脸,小的人脸等情况,避免这些图像被判断为不戴口罩的人脸,可以正确的发出警报;并且,针对误判为戴口罩的人脸,通过检测面部呼吸器官的方式,再次进行确认,避免未发出警报。
图15是根据本申请第四实施例的示意图,如图15所示,本实施例提供的口罩佩戴识别方法,包括:
401、采集待检测图像,并识别待检测图像中的人脸。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
本步骤可以参见图9所示的步骤201,不再赘述。
402、在确定待检测图像中的人脸未佩戴口罩、或者待检测图像中的人脸佩戴有口罩时,确定得到人脸图像。
示例性地,在步骤401之后,执行本步骤。本步骤可以参见图9所示的步骤202,不再赘述。
403、检测人脸图像的角点特征值;在角点特征值为面部呼吸器官的预设角点特征值时,确定检测到面部呼吸器官;在角点特征值不为面部呼吸器官的预设角点特征值时,确定未检测到面部呼吸器官。
示例性地,对步骤402所得到的人脸图像的面部呼吸器官进行识别,可知,人脸图像为未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像。
为了可以对面部呼吸器官进行准确识别,可以基于角点的方式检测是否存在面部呼吸器官。
首先,检测人脸图像的角点的角点特征值。可以采用角点检测算法、或者Opencv中的算法,检测人脸图像的角点,并计算角点特征值。
由于不同种类的面部器官的角点特征值是不同的。可以预先获取不同种类的面部呼吸器官的预设角点特征值;“预设角点特征值”,可以是一个经验值,即根据大数据分析所得到“不同种类的面部器官的标准的角点特征值”。
然后,某一角点特征值为一种面部呼吸器官的预设角点特征值时,确定检测到面部呼吸器官,即,确定识别结果为检测到面部呼吸器官;在各角点特征值,均不是各个面部呼吸器官的预设角点特征值时,确定未检测到面部呼吸器官,即,确定识别结果为未检测到面部呼吸器官。
由于不同种类的面部器官的角点特征值是不同的,基于面部器官的角点特征值,可以准确的分析出人脸图像中是否具有面部呼吸器官。
404、根据识别结果,确定用户是否正确佩戴口罩。
示例性地,本步骤可以参见图9所示的步骤204,不再赘述。
405、在确定用户未正确佩戴口罩时,发出提示信息。
示例性地,在步骤404之后,执行本步骤。本步骤可以参见图9所示的步骤205,不再赘述。
406、在确定用户正确佩戴口罩时,则不需要发出提示。
示例性地,在步骤404之后,执行本步骤。本步骤可以参见图9所示的步骤206,不再赘述。
407、在确定从待检测图像中未检测到人脸时,确定用户正确佩戴口罩。
示例性地,在步骤401之后,执行本步骤。本步骤可以参见图9所示的步骤207,不再赘述。
本实施例,识别待检测图像中的未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像、无人脸的图像。针对识别出的无人脸的图像,确定用户包裹严实、正确佩戴口罩。由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,进而针对未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像,根据人脸图像中的面部器官的角点特征值,检测是否存在面部呼吸器官。可以准确快速的对人脸图像是否具有面部呼吸器官进行识别,进而准确的确定用户是否正确佩戴口罩。尤其是针对于低头,侧脸,小的人脸等情况,避免这些图像被判断为不戴口罩的人脸,可以正确的发出警报;并且,针对误判为戴口罩的人脸,通过检测面部呼吸器官的方式,再次进行确认,避免未发出警报。
图16是根据本申请第五实施例的示意图,如图16所示,本实施例提供的口罩佩戴识别方法,包括:
501、获取人脸图像。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。本步骤可以参见图4所示的步骤101,不再赘述。
502、对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征用户是否正确佩戴口罩。
示例性地,由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,会导致用户呼入呼吸道传染病的病毒,或者携带有病毒的飞沫呼出。进而,可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,进而得到识别结果。面部呼吸器官可以是鼻子和/或嘴巴。
一个示例中,终端设备识别人脸图像中是否存在鼻子或者嘴巴;若确定存在鼻子或者嘴巴,则确定检测到面部呼吸器官,并直接确定用户未正确佩戴口罩;若确定不存在鼻子,并且不存在嘴巴,则确定未检测到面部呼吸器官,并直接确定用户正确佩戴口罩。
本实施例中,获取人脸图像,并对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征用户是否正确佩戴口罩。通过获取人脸图像,由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,会导致用户呼入呼吸道传染病的病毒,或者携带有病毒的飞沫呼出。进而,可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,直接确定出用户是否正确佩戴口罩。可以准确的判定用户是否正确的佩戴口罩。
图17是根据本申请第六实施例的示意图,如图17所示,本实施例提供的口罩佩戴识别装置,包括:
获取单元31,用于获取人脸图像。
识别单元32,用于对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征是否检测到面部呼吸器官。
确定单元33,用于根据识别结果,确定用户是否正确佩戴口罩。
一个示例中,识别单元32,具体用于:
依据具有面部呼吸器官的模板图像,对人脸图像中的面部呼吸器官进行识别,得到识别结果。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图18是根据本申请第七实施例的示意图,如图18所示,在图17所示实施例的基础上,本实施例提供的口罩佩戴识别装置,识别单元32,具体用于:
根据预设的识别模型对人脸图像进行识别,得到识别结果,其中,识别模型为采用训练图像进行训练得到的,训练图像中包括面部呼吸器官的图像和非面部呼吸器官的图像。
一个示例中,识别单元32,包括:
执行模块321,用于重复以下过程,直至识别到面部呼吸器官或者检测完人脸图像的各图像区域:
第一检测模块322,用于根据识别模型,对人脸图像中的与滑动窗口对应的图像区域进行检测,得到图像区域的识别值;
第一确定模块323,用于在识别值在预设阈值范围之内时,确定图像区域中具有面部呼吸器官;
第二确定模块324,用于在识别值不在预设阈值范围之内时,确定滑动窗口对应的图像区域中不具有面部呼吸器官。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图19是根据本申请第八实施例的示意图,如图19所示,在图17所示实施例的基础上,本实施例提供的口罩佩戴识别装置,识别单元32,具体用于:将人脸图像与预设模板对象进行匹配,其中,预设模板对象用于指示具有面部呼吸器官的模板图像的特征,得到识别结果。
预设模板对象中包括多个面部呼吸器官特征模板。
一个示例中,识别单元32,包括:
匹配模块325,用于将人脸图像与每一面部呼吸器官特征模板之间进行匹配,得到每一面部呼吸器官特征模板所对应的匹配结果,其中,匹配结果表征人脸图像与面部呼吸器官特征模板之间是否匹配。
第三确定模块326,用于在各面部呼吸器官特征模板所对应的匹配结果,均表征为匹配时,确定检测到面部呼吸器官;
第四确定模块327,用于在任一面部呼吸器官特征模板所对应的匹配结果,表征为不匹配时,确定未检测到面部呼吸器官。
一个示例中,匹配模块325,包括:
第一确定子模块3251,用于根据每一面部呼吸器官特征模板的第一模板区域,确定人脸图像中的与第一模板区域对应的第一图像区域,并根据每一面部呼吸器官特征模板的第二模板区域,确定人脸图像中的与第二模板区域对应的第二图像区域,其中,第一图像区域与第二图像区域相邻。
第二确定子模块3252,用于计算第一图像区域的第一特征值,并计算第二图像区域的第二特征值。
第三确定子模块3253,用于在确定第一特征值与第二特征值之间的差值,属于预设差值范围之内时,确定匹配结果为人脸图像与面部呼吸器官特征模板之间匹配。
第四确定子模块3254,用于在确定第一特征值与第二特征值之间的差值,不属于预设差值范围之内时,确定匹配结果为人脸图像与面部呼吸器官特征模板之间不匹配。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图20是根据本申请第九实施例的示意图,如图20所示,在图17所示实施例的基础上,本实施例提供的口罩佩戴识别装置,识别单元32,包括:
第二检测模块328,用于检测人脸图像中的各面部器官的轮廓。
第五确定模块329,用于根据各面部器官的轮廓,确定各面部器官中是否存在面部呼吸器官。
一个示例中,第二检测模块328,具体用于:对人脸图像进行边缘检测,得到各面部器官的轮廓;或者,对人脸图像进行图像分割,得到各面部器官的轮廓。
一个示例中,第五确定模块329,包括:
第五确定子模块3291,用于计算每一面部器官的轮廓的面积值,并根据各面部器官的轮廓的面积值,确定面部器官之间的比例值;
第六确定子模块3292,用于在确定比例值为预设比例值时,确定各面部器官中存在面部呼吸器官。
第七确定子模块3293,用于在确定比例值不为预设比例值时,确定各面部器官中不存在面部呼吸器官。
或者,一个示例中,第五确定模块329,包括:
匹配子模块3294,用于将各面部器官的轮廓与预设的面部呼吸器官轮廓之间匹配。
第八确定子模块3295,用于在确定任一面部器官的的轮廓与预设的面部呼吸器官轮廓之间匹配时,确定各面部器官中存在面部呼吸器官。
第九确定子模块3296,用于在确定各面部器官的的轮廓与预设的面部呼吸器官轮廓之间均不匹配时,确定各面部器官中不存在面部呼吸器官。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图21是根据本申请第十实施例的示意图,如图21所示,在图17所示实施例的基础上,本实施例提供的口罩佩戴识别装置,识别单元32,包括:
第三检测模块3210,用于检测人脸图像的角点特征值。
第六确定模块3211,用于在角点特征值为面部呼吸器官的预设角点特征值时,确定检测到面部呼吸器官。
第七确定模块3212,用于在角点特征值不为面部呼吸器官的预设角点特征值时,确定未检测到面部呼吸器官。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图22是根据本申请第十一实施例的示意图,如图22所示,在图17-图22所示实施例的基础上,本实施例提供的口罩佩戴识别装置,还包括:
提示单元41,用于在确定用户未正确佩戴口罩时,发出提示信息。
一个示例中,确定单元33,具体用于:若检测结果表征未检测到各面部呼吸器官,则确定用户正确佩戴口罩;若检测结果表征检测到任一面部呼吸器官,或者检测结果表征检测到任一面部呼吸器官的部分区域,则确定用户未正确佩戴口罩。
一个示例中,获取单元31,包括:
采集模块311,用于采集待检测图像;
识别模块312,用于识别待检测图像中的人脸;在确定待检测图像中的人脸未佩戴口罩、或者待检测图像中的人脸佩戴有口罩时,确定得到人脸图像。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图23是根据本申请第十二实施例的示意图,如图23所示,本实施例中的电子设备70可以包括:处理器71和存储器72。
存储器72,用于存储程序;存储器72,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器72用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指令、数据等可以被处理器71调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指据等可以被处理器71调用。
处理器71,用于执行存储器72存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器71和存储器72可以是独立结构,也可以是集成在一起的集成结构。当处理器71和存储器72是独立结构时,存储器72、处理器71可以通过总线73耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
图24是根据本申请第十三实施例的示意图,如图24所示,图24是用来实现本申请实施例的口罩佩戴识别方法口罩佩戴识别的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图24所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图24中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的口罩佩戴识别方法口罩佩戴识别。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的口罩佩戴识别方法口罩佩戴识别。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的口罩佩戴识别方法口罩佩戴识别对应的程序指令/模块(例如,附图17所示的获取单元31、识别单元32和确定单元33)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的口罩佩戴识别方法口罩佩戴识别。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于实现口罩佩戴识别方法口罩佩戴识别的电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至用于实现口罩佩戴识别方法口罩佩戴识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
口罩佩戴识别方法口罩佩戴识别的电子设备还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图24中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与用于实现口罩佩戴识别方法口罩佩戴识别的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,获取人脸图像,并对人脸图像中的面部呼吸器官进行识别,得到识别结果,识别结果表征是否检测到面部呼吸器官;根据识别结果,确定用户是否正确佩戴口罩。通过获取人脸图像,由于口罩用于遮挡用户的面部呼吸器官,则在口罩没有遮挡住用户的面部呼吸器官的时候,口罩就失去了作用,会导致用户呼入呼吸道传染病的病毒,或者携带有病毒的飞沫呼出。进而,可以对人脸图像中的面部呼吸器官进行识别,去检测人脸图像是否具有面部呼吸器官,进而得到识别结果;可以依据识别结果,判断用户是否正确佩戴口罩。可以准确的判定用户是否正确的佩戴口罩。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (33)
1.一种口罩佩戴识别方法,其特征在于,包括:
获取人脸图像,并对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,所述识别结果表征是否检测到面部呼吸器官;
根据所述识别结果,确定用户是否正确佩戴口罩。
2.根据权利要求1所述的方法,其特征在于,对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,包括:
依据具有面部呼吸器官的模板图像,对所述人脸图像中的面部呼吸器官进行识别,得到所述识别结果。
3.根据权利要求2所述的方法,其特征在于,依据具有面部呼吸器官的模板图像,对所述人脸图像中的面部呼吸器官进行识别,得到所述识别结果,包括:
根据预设的识别模型对所述人脸图像进行识别,得到所述识别结果,其中,所述识别模型为采用训练图像进行训练得到的,所述训练图像中包括面部呼吸器官的图像和非面部呼吸器官的图像。
4.根据权利要求3所述的方法,其特征在于,根据预设的识别模型对所述人脸图像进行识别,得到所述识别结果,包括:
重复以下过程,直至识别到面部呼吸器官或者检测完所述人脸图像的各图像区域:
根据所述识别模型,对所述人脸图像中的与滑动窗口对应的图像区域进行检测,得到图像区域的识别值;
在所述识别值在预设阈值范围之内时,确定所述图像区域中具有面部呼吸器官;
在所述识别值不在预设阈值范围之内时,确定所述滑动窗口对应的图像区域中不具有面部呼吸器官。
5.根据权利要求2所述的方法,其特征在于,依据具有面部呼吸器官的模板图像,对所述人脸图像中的面部呼吸器官进行识别,得到所述识别结果,包括:
将所述人脸图像与预设模板对象进行匹配,其中,所述预设模板对象用于指示具有面部呼吸器官的模板图像的特征,得到所述识别结果。
6.根据权利要求5所述的方法,其特征在于,所述预设模板对象中包括多个面部呼吸器官特征模板;
将所述人脸图像与预设模板对象进行匹配,得到所述识别结果,包括:
将所述人脸图像与每一所述面部呼吸器官特征模板之间进行匹配,得到每一所述面部呼吸器官特征模板所对应的匹配结果,其中,所述匹配结果表征所述人脸图像与所述面部呼吸器官特征模板之间是否匹配;
在各所述面部呼吸器官特征模板所对应的匹配结果,均表征为匹配时,确定检测到面部呼吸器官;
在任一所述面部呼吸器官特征模板所对应的匹配结果,表征为不匹配时,确定未检测到面部呼吸器官。
7.根据权利要求6所述的方法,其特征在于,将所述人脸图像与每一所述面部呼吸器官特征模板之间进行匹配,得到每一所述面部呼吸器官特征模板所对应的匹配结果,包括:
根据每一所述面部呼吸器官特征模板的第一模板区域,确定所述人脸图像中的与第一模板区域对应的第一图像区域,并根据每一所述面部呼吸器官特征模板的第二模板区域,确定所述人脸图像中的与第二模板区域对应的第二图像区域,其中,所述第一图像区域与所述第二图像区域相邻;
计算所述第一图像区域的第一特征值,并计算所述第二图像区域的第二特征值;
在确定所述第一特征值与所述第二特征值之间的差值,属于预设差值范围之内时,确定所述匹配结果为人脸图像与所述面部呼吸器官特征模板之间匹配;
在确定所述第一特征值与所述第二特征值之间的差值,不属于预设差值范围之内时,确定所述匹配结果为人脸图像与所述面部呼吸器官特征模板之间不匹配。
8.根据权利要求1所述的方法,其特征在于,对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,包括:
检测所述人脸图像中的各面部器官的轮廓;
根据所述各面部器官的轮廓,确定各面部器官中是否存在面部呼吸器官。
9.根据权利要求8所述的方法,其特征在于,检测所述人脸图像中的面部器官的轮廓,包括:
对所述人脸图像进行边缘检测,得到所述各面部器官的轮廓;
或者,对所述人脸图像进行图像分割,得到所述各面部器官的轮廓。
10.根据权利要求8所述的方法,其特征在于,根据所述各面部器官的轮廓,确定各面部器官中是否存在面部呼吸器官,包括:
计算每一面部器官的轮廓的面积值,并根据各面部器官的轮廓的面积值,确定面部器官之间的比例值;
在确定所述比例值为预设比例值时,确定各面部器官中存在面部呼吸器官;
在确定所述比例值不为预设比例值时,确定各面部器官中不存在面部呼吸器官。
11.根据权利要求8所述的方法,其特征在于,根据所述各面部器官的轮廓,确定各面部器官中是否存在面部呼吸器官,包括:
将所述各面部器官的轮廓与预设的面部呼吸器官轮廓之间匹配;
在确定任一面部器官的的轮廓与预设的面部呼吸器官轮廓之间匹配时,确定各面部器官中存在面部呼吸器官;
在确定各面部器官的的轮廓与预设的面部呼吸器官轮廓之间均不匹配时,确定各面部器官中不存在面部呼吸器官。
12.根据权利要求1所述的方法,其特征在于,对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,包括:
检测所述人脸图像的角点特征值;
在所述角点特征值为面部呼吸器官的预设角点特征值时,确定检测到面部呼吸器官;
在所述角点特征值不为面部呼吸器官的预设角点特征值时,确定未检测到面部呼吸器官。
13.根据权利要求1-12任一项所述的方法,其特征在于,所述方法还包括:
在确定用户未正确佩戴口罩时,发出提示信息。
14.根据权利要求1-12任一项所述的方法,其特征在于,根据所述检测结果,确定用户是否正确佩戴口罩,包括:
若所述检测结果表征未检测到各面部呼吸器官,则确定用户正确佩戴口罩;
若所述检测结果表征检测到任一面部呼吸器官,或者所述检测结果表征检测到任一面部呼吸器官的部分区域,则确定用户未正确佩戴口罩。
15.根据权利要求1-12任一项所述的方法,其特征在于,所述获取人脸图像,包括:
采集待检测图像,并识别所述待检测图像中的人脸;
在确定所述待检测图像中的人脸未佩戴口罩、或者所述待检测图像中的人脸佩戴有口罩时,确定得到所述人脸图像。
16.一种口罩佩戴识别装置,其特征在于,包括:
获取单元,用于获取人脸图像;
识别单元,用于对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,所述识别结果表征是否检测到面部呼吸器官;
确定单元,用于根据所述识别结果,确定用户是否正确佩戴口罩。
17.根据权利要求16所述的装置,其特征在于,所述识别单元,具体用于:
依据具有面部呼吸器官的模板图像,对所述人脸图像中的面部呼吸器官进行识别,得到所述识别结果。
18.根据权利要求17所述的装置,其特征在于,所述识别单元,具体用于:
根据预设的识别模型对所述人脸图像进行识别,得到所述识别结果,其中,所述识别模型为采用训练图像进行训练得到的,所述训练图像中包括面部呼吸器官的图像和非面部呼吸器官的图像。
19.根据权利要求18所述的装置,其特征在于,所述识别单元,包括:
执行模块,用于重复以下过程,直至识别到面部呼吸器官或者检测完所述人脸图像的各图像区域:
第一检测模块,用于根据所述识别模型,对所述人脸图像中的与滑动窗口对应的图像区域进行检测,得到图像区域的识别值;
第一确定模块,用于在所述识别值在预设阈值范围之内时,确定所述图像区域中具有面部呼吸器官;
第二确定模块,用于在所述识别值不在预设阈值范围之内时,确定所述滑动窗口对应的图像区域中不具有面部呼吸器官。
20.根据权利要求17所述的装置,其特征在于,所述识别单元,具体用于:
将所述人脸图像与预设模板对象进行匹配,其中,所述预设模板对象用于指示具有面部呼吸器官的模板图像的特征,得到所述识别结果。
21.根据权利要求20所述的装置,其特征在于,所述预设模板对象中包括多个面部呼吸器官特征模板;
所述识别单元,包括:
匹配模块,用于将所述人脸图像与每一所述面部呼吸器官特征模板之间进行匹配,得到每一所述面部呼吸器官特征模板所对应的匹配结果,其中,所述匹配结果表征所述人脸图像与所述面部呼吸器官特征模板之间是否匹配;
第三确定模块,用于在各所述面部呼吸器官特征模板所对应的匹配结果,均表征为匹配时,确定检测到面部呼吸器官;
第四确定模块,用于在任一所述面部呼吸器官特征模板所对应的匹配结果,表征为不匹配时,确定未检测到面部呼吸器官。
22.根据权利要求21所述的装置,其特征在于,所述匹配模块,包括:
第一确定子模块,用于根据每一所述面部呼吸器官特征模板的第一模板区域,确定所述人脸图像中的与第一模板区域对应的第一图像区域,并根据每一所述面部呼吸器官特征模板的第二模板区域,确定所述人脸图像中的与第二模板区域对应的第二图像区域,其中,所述第一图像区域与所述第二图像区域相邻;
第二确定子模块,用于计算所述第一图像区域的第一特征值,并计算所述第二图像区域的第二特征值;
第三确定子模块,用于在确定所述第一特征值与所述第二特征值之间的差值,属于预设差值范围之内时,确定所述匹配结果为人脸图像与所述面部呼吸器官特征模板之间匹配;
第四确定子模块,用于在确定所述第一特征值与所述第二特征值之间的差值,不属于预设差值范围之内时,确定所述匹配结果为人脸图像与所述面部呼吸器官特征模板之间不匹配。
23.根据权利要求16所述的装置,其特征在于,所述识别单元,包括:
第二检测模块,用于检测所述人脸图像中的各面部器官的轮廓;
第五确定模块,用于根据所述各面部器官的轮廓,确定各面部器官中是否存在面部呼吸器官。
24.根据权利要求23所述的装置,其特征在于,所述第二检测模块,具体用于:
对所述人脸图像进行边缘检测,得到所述各面部器官的轮廓;
或者,对所述人脸图像进行图像分割,得到所述各面部器官的轮廓。
25.根据权利要求23所述的装置,其特征在于,所述第五确定模块,包括:
第五确定子模块,用于计算每一面部器官的轮廓的面积值,并根据各面部器官的轮廓的面积值,确定面部器官之间的比例值;
第六确定子模块,用于在确定所述比例值为预设比例值时,确定各面部器官中存在面部呼吸器官;
第七确定子模块,用于在确定所述比例值不为预设比例值时,确定各面部器官中不存在面部呼吸器官。
26.根据权利要求23所述的装置,其特征在于,所述第五确定模块,包括:
匹配子模块,用于将所述各面部器官的轮廓与预设的面部呼吸器官轮廓之间匹配;
第八确定子模块,用于在确定任一面部器官的的轮廓与预设的面部呼吸器官轮廓之间匹配时,确定各面部器官中存在面部呼吸器官;
第九确定子模块,用于在确定各面部器官的的轮廓与预设的面部呼吸器官轮廓之间均不匹配时,确定各面部器官中不存在面部呼吸器官。
27.根据权利要求16所述的装置,其特征在于,所述识别单元,包括:
第三检测模块,用于检测所述人脸图像的角点特征值;
第六确定模块,用于在所述角点特征值为面部呼吸器官的预设角点特征值时,确定检测到面部呼吸器官;
第七确定模块,用于在所述角点特征值不为面部呼吸器官的预设角点特征值时,确定未检测到面部呼吸器官。
28.根据权利要求16-27任一项所述的装置,其特征在于,所述装置还包括:
提示单元,用于在确定用户未正确佩戴口罩时,发出提示信息。
29.根据权利要求16-27任一项所述的装置,其特征在于,所述确定单元,具体用于:
若所述检测结果表征未检测到各面部呼吸器官,则确定用户正确佩戴口罩;若所述检测结果表征检测到任一面部呼吸器官,或者所述检测结果表征检测到任一面部呼吸器官的部分区域,则确定用户未正确佩戴口罩。
30.根据权利要求16-27任一项所述的装置,其特征在于,所述获取单元,包括:
采集模块,用于采集待检测图像;
识别模块,用于识别所述待检测图像中的人脸;在确定所述待检测图像中的人脸未佩戴口罩、或者所述待检测图像中的人脸佩戴有口罩时,确定得到所述人脸图像。
31.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-15中任一项所述的方法。
32.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-15中任一项所述的方法。
33.一种口罩佩戴识别方法,其特征在于,包括:
获取人脸图像,并对所述人脸图像中的面部呼吸器官进行识别,得到识别结果,所述识别结果表征用户是否正确佩戴口罩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329356.5A CN111523476B (zh) | 2020-04-23 | 2020-04-23 | 口罩佩戴识别方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010329356.5A CN111523476B (zh) | 2020-04-23 | 2020-04-23 | 口罩佩戴识别方法、装置、设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111523476A true CN111523476A (zh) | 2020-08-11 |
CN111523476B CN111523476B (zh) | 2023-08-22 |
Family
ID=71904255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010329356.5A Active CN111523476B (zh) | 2020-04-23 | 2020-04-23 | 口罩佩戴识别方法、装置、设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111523476B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232110A (zh) * | 2020-08-31 | 2021-01-15 | 中天天河(天津)大数据科技有限公司 | 一种智能化人脸温控识别装置及防疫系统 |
CN112464827A (zh) * | 2020-11-30 | 2021-03-09 | 深圳集智数字科技有限公司 | 口罩佩戴识别方法、装置、设备及存储介质 |
CN112488647A (zh) * | 2020-11-25 | 2021-03-12 | 京东方科技集团股份有限公司 | 考勤系统及方法、存储介质及电子设备 |
CN112716758A (zh) * | 2020-12-24 | 2021-04-30 | 西南医科大学附属医院 | 带服务功能的康复机器人 |
CN112912893A (zh) * | 2021-01-28 | 2021-06-04 | 深圳市锐明技术股份有限公司 | 佩戴口罩的检测方法、装置、终端设备及可读存储介质 |
CN112992372A (zh) * | 2021-03-09 | 2021-06-18 | 深圳前海微众银行股份有限公司 | 疫情风险监测方法、装置、设备、存储介质及程序产品 |
CN114092875A (zh) * | 2021-11-01 | 2022-02-25 | 南方电网深圳数字电网研究院有限公司 | 基于机器学习的作业现场安全监管方法及装置 |
WO2022084171A1 (en) * | 2020-10-20 | 2022-04-28 | Signify Holding B.V. | Systems and methods for monitoring face mask wearing |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0535992A (ja) * | 1991-07-26 | 1993-02-12 | Sharp Corp | 警報装置 |
JP2010003116A (ja) * | 2008-06-20 | 2010-01-07 | Toyota Central R&D Labs Inc | 対象物判定装置及びプログラム |
CN102306304A (zh) * | 2011-03-25 | 2012-01-04 | 杜利利 | 人脸遮挡物识别方法及其装置 |
US20120146792A1 (en) * | 2010-12-09 | 2012-06-14 | Nicholas De Luca | Automated monitoring and control of contamination in a production area |
JP2012181629A (ja) * | 2011-02-28 | 2012-09-20 | Sogo Keibi Hosho Co Ltd | 顔検出方法および顔検出装置、ならびに、プログラム |
CN105631406A (zh) * | 2015-12-18 | 2016-06-01 | 小米科技有限责任公司 | 图像识别处理方法和装置 |
JP2016139353A (ja) * | 2015-01-29 | 2016-08-04 | アズビル株式会社 | 画像判定装置および画像判定方法 |
CN110991401A (zh) * | 2019-12-18 | 2020-04-10 | 天地伟业技术有限公司 | 一种监测厨师是否佩戴口罩和帽子进行安全操作的方法 |
-
2020
- 2020-04-23 CN CN202010329356.5A patent/CN111523476B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0535992A (ja) * | 1991-07-26 | 1993-02-12 | Sharp Corp | 警報装置 |
JP2010003116A (ja) * | 2008-06-20 | 2010-01-07 | Toyota Central R&D Labs Inc | 対象物判定装置及びプログラム |
US20120146792A1 (en) * | 2010-12-09 | 2012-06-14 | Nicholas De Luca | Automated monitoring and control of contamination in a production area |
JP2012181629A (ja) * | 2011-02-28 | 2012-09-20 | Sogo Keibi Hosho Co Ltd | 顔検出方法および顔検出装置、ならびに、プログラム |
CN102306304A (zh) * | 2011-03-25 | 2012-01-04 | 杜利利 | 人脸遮挡物识别方法及其装置 |
JP2016139353A (ja) * | 2015-01-29 | 2016-08-04 | アズビル株式会社 | 画像判定装置および画像判定方法 |
CN105631406A (zh) * | 2015-12-18 | 2016-06-01 | 小米科技有限责任公司 | 图像识别处理方法和装置 |
CN110991401A (zh) * | 2019-12-18 | 2020-04-10 | 天地伟业技术有限公司 | 一种监测厨师是否佩戴口罩和帽子进行安全操作的方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232110A (zh) * | 2020-08-31 | 2021-01-15 | 中天天河(天津)大数据科技有限公司 | 一种智能化人脸温控识别装置及防疫系统 |
WO2022084171A1 (en) * | 2020-10-20 | 2022-04-28 | Signify Holding B.V. | Systems and methods for monitoring face mask wearing |
CN112488647A (zh) * | 2020-11-25 | 2021-03-12 | 京东方科技集团股份有限公司 | 考勤系统及方法、存储介质及电子设备 |
CN112464827A (zh) * | 2020-11-30 | 2021-03-09 | 深圳集智数字科技有限公司 | 口罩佩戴识别方法、装置、设备及存储介质 |
CN112464827B (zh) * | 2020-11-30 | 2024-06-04 | 深圳集智数字科技有限公司 | 口罩佩戴识别方法、装置、设备及存储介质 |
CN112716758A (zh) * | 2020-12-24 | 2021-04-30 | 西南医科大学附属医院 | 带服务功能的康复机器人 |
CN112912893A (zh) * | 2021-01-28 | 2021-06-04 | 深圳市锐明技术股份有限公司 | 佩戴口罩的检测方法、装置、终端设备及可读存储介质 |
WO2022160202A1 (zh) * | 2021-01-28 | 2022-08-04 | 深圳市锐明技术股份有限公司 | 佩戴口罩的检测方法、装置、终端设备及可读存储介质 |
CN112992372A (zh) * | 2021-03-09 | 2021-06-18 | 深圳前海微众银行股份有限公司 | 疫情风险监测方法、装置、设备、存储介质及程序产品 |
CN114092875A (zh) * | 2021-11-01 | 2022-02-25 | 南方电网深圳数字电网研究院有限公司 | 基于机器学习的作业现场安全监管方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111523476B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523476A (zh) | 口罩佩戴识别方法、装置、设备和可读存储介质 | |
CN111523473B (zh) | 口罩佩戴识别方法、装置、设备和可读存储介质 | |
CN111259751A (zh) | 基于视频的人体行为识别方法、装置、设备及存储介质 | |
CN106682578B (zh) | 基于眨眼检测的弱光人脸识别方法 | |
EP3716212A1 (en) | Image coding method, action recognition method, and computer device | |
CN111914629A (zh) | 为人脸识别生成训练数据的方法、装置、设备和存储介质 | |
US20220270287A1 (en) | Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium | |
Porfirio et al. | Libras sign language hand configuration recognition based on 3D meshes | |
US20220068109A1 (en) | Mask wearing status alarming method, mobile device and computer readable storage medium | |
Zhao et al. | Automatic 2.5-D facial landmarking and emotion annotation for social interaction assistance | |
US20200272810A1 (en) | Response apparatus and response method | |
CN111222379A (zh) | 一种手部检测方法及装置 | |
CN111914630A (zh) | 为人脸识别生成训练数据的方法、装置、设备和存储介质 | |
Chatterjee et al. | Comparative study of camshift and KLT algorithms for real time face detection and tracking applications | |
CN112270303A (zh) | 图像识别方法、装置以及电子设备 | |
De et al. | Computer vision based framework for digit recognition by hand gesture analysis | |
Arif et al. | An evaluation of a modified Haar-like features based classifier method for face mask detection in the COVID-19 spread prevention | |
WO2021100214A1 (ja) | 情報処理方法、情報処理装置、及び制御プログラム | |
Savant et al. | Indian sign language recognition system: approaches and challenges | |
Vrânceanu et al. | A fast method for detecting eye accessing cues used in Neuro-Linguistic Programming | |
KR101635600B1 (ko) | 배경 차연산과 손가락 제스쳐 인식을 이용한 핸드 마우스 기능 수행 방법 | |
Saeed et al. | Coping with hand-hand overlapping in bimanual movements | |
Riad et al. | Hand gesture recognition system based on a geometric model and rule based classifier | |
CN110110623A (zh) | 一种基于Android平台的人脸识别系统及设计方法 | |
Kavitha et al. | An Automated Facemask Detection For Covid-19 Using Viola-Jones Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |