CN111523473B - 口罩佩戴识别方法、装置、设备和可读存储介质 - Google Patents

口罩佩戴识别方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN111523473B
CN111523473B CN202010328713.6A CN202010328713A CN111523473B CN 111523473 B CN111523473 B CN 111523473B CN 202010328713 A CN202010328713 A CN 202010328713A CN 111523473 B CN111523473 B CN 111523473B
Authority
CN
China
Prior art keywords
mask
color
image
pixel
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010328713.6A
Other languages
English (en)
Other versions
CN111523473A (zh
Inventor
邢召龙
石晓伟
成瑜娟
赵乔
于佃海
马艳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010328713.6A priority Critical patent/CN111523473B/zh
Publication of CN111523473A publication Critical patent/CN111523473A/zh
Application granted granted Critical
Publication of CN111523473B publication Critical patent/CN111523473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种口罩佩戴识别方法、装置、设备和可读存储介质,涉及深度学习领域。具体实现方案为:获取人脸图像,并提取人脸图像的面部颜色特征;根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。通过获取人脸图像,由于不同的口罩有不同的颜色特征;并且在佩戴口罩时的人脸图像的面部颜色、在未佩戴口罩时的人脸图像的面部颜色,两者是不相同的;从而,可以依据不同颜色的口罩的口罩颜色特征,对面部颜色特征进行识别,去判断用户是否佩戴了口罩,可以准确的判定用户是否佩戴口罩。

Description

口罩佩戴识别方法、装置、设备和可读存储介质
技术领域
本申请实施例涉及数据/图像处理领域中的深度学习领域,尤其涉及一种口罩佩戴识别方法、装置、设备和可读存储介质。
背景技术
随着人们对于健康的关注、以及呼吸道传染病的传播,佩戴口罩已经成为目前重要的传染病防护方式。佩戴口罩可以过滤携带有病毒的飞沫,并且防范带有致病微生物的手去直接触碰口鼻。目前,随着呼吸道传染病的传播,用户在公共场合必须佩戴口罩,进而需要对用户是否佩戴口罩进行有效的检测。
现有技术中,可以采用一些现有的人脸检测算法,对用户是否佩戴口罩进行检测。
然而现有技术中,在对用户是否佩戴口罩进行检测的时候,现有的检测算法只能识别出用户的脸部是否佩戴白色、粉色口罩,无法针对深色口罩进行识别,例如,无法识别是否佩戴黑色口罩、灰色口罩;进而依然无法准确的判定用户是否佩戴口罩,无法防止病毒的传播。
发明内容
提供了一种用于准确的判定用户是否佩戴口罩的口罩佩戴识别方法、装置、设备和可读存储介质。
根据第一方面,提供了一种口罩佩戴识别方法,包括:
获取人脸图像,并提取所述人脸图像的面部颜色特征;
根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,其中,所述识别结果表征用户是否佩戴口罩。
根据第二方面,提供了一种口罩佩戴识别装置,包括:
获取单元,用于获取人脸图像;
提取单元,用于提取所述人脸图像的面部颜色特征;
识别单元,用于根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,其中,所述识别结果表征用户是否佩戴口罩。
根据第三方面,提供了一种口罩佩戴识别方法,包括:
提取人脸图像的面部颜色特征;
根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,其中,所述识别结果表征用户是否佩戴口罩。
根据第四方面,提供了一种电子设备,包括:处理器和存储器;存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行如第一方面中任一项所述的口罩佩戴识别方法,或者执行如第三方面所述的口罩佩戴识别方法。
根据第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令被处理器执行时实现第一方面中任一项所述的口罩佩戴识别方法,或者执行如第三方面所述的口罩佩戴识别方法。
根据第六方面,提供了一种程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的口罩佩戴识别方法,或者执行如第三方面所述的口罩佩戴识别方法。
根据本申请的技术方案,获取人脸图像,并提取人脸图像的面部颜色特征;根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。通过获取人脸图像,由于不同的口罩有不同的颜色特征;并且在佩戴口罩时的人脸图像的面部颜色、在未佩戴口罩时的人脸图像的面部颜色,两者是不相同的;从而,可以依据不同颜色的口罩的口罩颜色特征,对面部颜色特征进行识别,去判断用户是否佩戴了口罩,可以准确的判定用户是否佩戴口罩。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例的一种应用场景的示意图;
图2为本申请实施例的另一种应用场景的示意图;
图3为本申请实施例的又一种应用场景的示意图;
图4是根据本申请第一实施例的示意图;
图5是根据本申请第二实施例的示意图;
图6为本申请实施例提供的人脸图像的示意图;
图7为本申请实施例提供的预设图像区域的示意图一;
图8为本申请实施例提供的预设图像区域的示意图二;
图9是根据本申请第三实施例的示意图;
图10是根据本申请第四实施例的示意图;
图11是根据本申请第五实施例的示意图;
图12是根据本申请第六实施例的示意图;
图13是根据本申请第七实施例的示意图;
图14是根据本申请第八实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
随着人们对于健康的关注、以及呼吸道传染病的传播,由于呼吸道传染病主要通过飞沫和密切接触进行传播,从而佩戴口罩已经成为目前重要的传染病防护方式。佩戴口罩可以过滤携带有病毒的飞沫,防止携带有病毒的飞沫被呼出,并且防范带有致病微生物的手去直接触碰口鼻。
目前,随着呼吸道传染病的传播,尤其在新型冠状病毒导致的肺炎疫情出现之后,现在要求用户在公共场合必须佩戴口罩;若用户在公共场合不佩戴口罩,会导致携带病毒的飞沫在公共场合传播,容易出现病毒的扩散,危害人们的健康。进而需要对用户是否佩戴口罩进行有效的检测,图1为本申请实施例的一种应用场景的示意图,如图1所示,对公共场合中的各个用户是否佩戴口罩,进行检测。
一个示例中,可以采用一些现有的人脸检测算法,对用户是否佩戴口罩进行检测,进而在确定用户没有佩戴口罩时进行报警。一个示例中,例如,图2为本申请实施例的另一种应用场景的示意图,如图2所示,在共场合中部署人脸口罩检测设备,例如在工地、车站、医院等公共场合部署人脸口罩检测设备;人脸口罩检测设备通过人脸口罩检测程序,自动检测出不戴口罩的人脸,然后及时发出警报,进而提示工作人员进行处理;从而,可以防范处于公共场合中的人员不佩戴口罩的情况,降低呼吸道传染病的病毒的扩散。
然而,在对用户是否佩戴口罩进行检测的时候,现有的检测算法只能识别出用户的脸部是否佩戴白色、粉色口罩,无法针对深色口罩进行识别,例如,无法识别是否佩戴黑色口罩、灰色口罩;进而依然无法准确的判定用户是否佩戴口罩,无法防止病毒的传播。并且,由于现有技术无法准确的判定用户是否佩戴口罩,进而无法准确的发出警示信息、或出现误报警的问题。
本申请的发明人在经过创造性地劳动之后,得到了本申请的发明构思:实现准确的判定用户是否佩戴口罩,针对未佩戴口罩的情况进行准确的提示;避免呼吸道传染病的病毒的扩散。
其中,图2所示场景中是一种人脸口罩检测设备,但是人脸口罩检测设备并不仅仅限于图2所示的人脸口罩检测设备。人脸口罩检测设备也可以是终端设备;图3为本申请实施例的又一种应用场景的示意图,如图3所示,在公司中对员工是否佩戴口罩进行检测,图3所示的终端设备对员工是否佩戴口罩进行检测,然后显示检测结果。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图4是根据本申请第一实施例的示意图,如图4所示,本实施例提供的口罩佩戴识别方法,包括:
101、获取人脸图像,并提取人脸图像的面部颜色特征。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
终端设备上设置有图像采集单元,例如图像采集单元为摄像头;图像采集单元可以采集人脸图像,进而终端设备可以获取到图像采集单元所采集的人脸图像。
或者,终端设备与图像采集设备连接;图像采集设备可以采集人脸图像,进而终端设备可以获取到图像采集设备所采集的人脸图像。
或者,图像采集设备可以采集到公共场合中的人群视频或者人群图像,然后,图像采集设备利用人脸检测算法,检测人群视频或者人群图像中的人脸图像。其中,人脸检测算法,包括但不限于以下算法:基于Adaboost的人脸检测算法、基于DPM(Deformable PartModel,DPM)的人脸检测算法、基于神经网络的人脸检测算法。
通过上述方式,终端设备获取到人脸图像;然后对每一人脸图像进行识别,以确定用户是否佩戴有口罩。
由于口罩有颜色,在佩戴口罩时的人脸图像的面部颜色、在未佩戴口罩时的人脸图像的面部颜色,两者是不相同的,进而可以基于人脸的面部颜色,去识别用户是否佩戴了口罩。
那么需要提取人脸图像的面部颜色特征。一个示例中,可以提取人脸图像中每一个像素点的像素颜色特征值,像素点的像素颜色特征值,例如是灰度值、或者RGB(RedGreen Blue)颜色空间下的颜色平均值、或者HSV(Hue Saturation Value)颜色空间下的颜色平均值、或者HIS(Hue Saturation Intensity)颜色空间下的颜色平均值、或者CMYK(Cyan Magenta Yellow)颜色空间下的颜色平均值。然后,对各像素点的颜像素颜色特征值求取平均值,得到一个颜色均值,该颜色均值作为了人脸图像的面部颜色特征;或者,对各像素点的像素颜色特征值进行加权求和,得到一个数值,该数值作为了人脸图像的面部颜色特征。
102、根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。
示例性地,由于不同的口罩有不同的颜色特征,可以针对不同颜色的口罩,获取与每一种颜色的口罩对应的口罩颜色特征。一个示例中,每一种颜色的口罩,提取多个口罩中的每一口罩的颜色特征;每一口罩的颜色特征,例如是,灰度值特征、或者RGB颜色空间下的颜色特征、或者CMY颜色空间下的颜色特征、HSV颜色空间下的颜色特征、或者HIS颜色空间下的颜色特征、或者Lab颜色空间下的颜色特征、或者CMYK颜色空间下的颜色特征。进而,建立起标准的口罩数据库,口罩数据库中包括每一种颜色的口罩对应的口罩颜色特征。
举例来说,针对颜色种类为A的口罩,拍摄到多个口罩的图像,或者从网络设备下载多个口罩的图像;然后,提取每一个口罩的图像的各像素点的像素颜色特征值,像素点的像素颜色特征值,例如是灰度值、或者RGB颜色空间下的颜色平均值、或者HSV颜色空间下的颜色平均值、或者HIS颜色空间下的颜色平均值、或者CMYK颜色空间下的颜色平均值。然后,对各像素点的像素颜色特征值求取平均值,得到一个颜色均值,该颜色均值作为了颜色种类为A的口罩的口罩颜色特征;或者,对各像素点的像素颜色特征值进行加权求和,得到一个数值,该数值作为了颜色种类为A的口罩的口罩颜色特征。
然后,根据口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。
一个示例中,将口罩颜色特征与人脸图像的面部颜色特征之间进行匹配,若面部颜色特征所表征的数值,等于口罩颜色特征所表征的数值,则确定用户佩戴有口罩;若面部颜色特征所表征的数值,不等于口罩颜色特征所表征的数值,则确定用户未佩戴有口罩。或者,若面部颜色特征所表征的数值,属于口罩颜色特征所表征的数值的范围之内,则确定用户佩戴有口罩;若面部颜色特征所表征的数值,不属于口罩颜色特征所表征的数值的范围之内,则确定用户未佩戴有口罩。
另一个示例中,由于已经配置了多种不同颜色的口罩的口罩颜色特征,例如,黑色口罩具有对应的口罩颜色特征、灰色口罩具有对应的口罩颜色特征、蓝色口罩具有对应的口罩颜色特征、白色口罩具有对应的口罩颜色特征。可以将人脸图像的面部颜色特征依次与各个不同颜色的口罩的口罩颜色特征,进行比对;例如,先将人脸图像的面部颜色特征,与黑色口罩的口罩颜色特征进行比对,若确定面部颜色特征所表征的数值,属于黑色口罩的口罩颜色特征所表征的数值的范围之内,则确定用户佩戴黑色口罩;若确定面部颜色特征所表征的数值,不属于黑色口罩的口罩颜色特征所表征的数值的范围之内,则将人脸图像的面部颜色特征,与蓝色口罩的口罩颜色特征进行比对,以此类推。
本实施例,通过获取人脸图像,并提取人脸图像的面部颜色特征;根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。通过获取人脸图像,由于不同的口罩有不同的颜色特征;并且在佩戴口罩时的人脸图像的面部颜色、在未佩戴口罩时的人脸图像的面部颜色,两者是不相同的;从而,可以依据不同颜色的口罩的口罩颜色特征,对面部颜色特征进行识别,去判断用户是否佩戴了口罩,可以准确的判定用户是否佩戴口罩。
图5是根据本申请第二实施例的示意图,如图5所示,本实施例提供的口罩佩戴识别方法,包括:
201、采集待检测图像,并识别待检测图像中的人脸。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
终端设备上设置有图像采集单元,例如图像采集单元为摄像头;终端设备可以获取到图像采集单元所采集的待检测图像。或者,终端设备与图像采集设备连接,终端设备可以获取到图像采集设备所采集的待检测图像。
然后,终端设备识别待检测图像中的人脸。一个示例中,终端设备采用基于人脸检测的深度学习模型,识别待检测图像中是否具有人脸。其中,深度学习模型,例如是PyramidBox模型。
举例来说,获取清晰的第一待训练图像集合,第一待训练图像集合中包括待训练人脸图像和待训练非人脸图像;将第一待训练图像集合,输入到深度学习模型中,对深度学习模型进行训练,以将深度学习模型中的参数,训练为可以识别人脸;进而得到成熟的深度学习模型;然后,将待检测图像输入到成熟的深度学习模型中,去对待检测图像中是否具有人脸进行识别。
202、在确定待检测图像中的人脸未佩戴口罩、或者待检测图像中的人脸佩戴有口罩时,确定得到人脸图像。
示例性地,在步骤201之后,终端设备若确定人脸图像中具有人脸,则继续检测具有人脸的待检测图像中的人脸,是否佩戴有口罩。一个示例中,终端设备采用基于预设的口罩分类模型,检测人脸图像中的人脸,是否佩戴有口罩。其中,预设的口罩分类模型,例如是Mobilenet分类模型。
举例来说,获取清晰的第二待训练图像集合,第二待训练图像集合中包括待训练的佩戴有口罩的图像和未佩戴口罩的图像;将爹待训练图像集合,输入到口罩分类模型中,对口罩分类模型进行训练,以将口罩分类模型中的参数,训练为可以识别人脸;进而得到成熟的口罩分类模型;然后,将具有人脸的待检测图像输入到成熟的口罩分类模型中,去对待检测图像中人脸是否佩戴口罩。
此时,若仅执行步骤201-202,在识别待检测图像中的人脸的时候,需要提前获取大量的待训练图像集合去对深度学习模型、口罩分类模型进行训练。但是待训练图像集合中的图像,基本都是来源于开源的数据库,而开源的数据库中基本都是白色口罩为主的口罩图片,进而基于开源的数据库所得到深度学习模型,只能识别出用户是否佩戴了白色口罩,针对于黑色、蓝色等等各种非白色的口罩无法准确的识别用户是否佩戴;进而无法准确的识别待检测图像中的人脸是否佩戴了口罩。或者,由于待训练图像集合的数量非常大,无法从实际的环境中获取到大量的可以被允许使用的图像数据,即,待训练图像集合中的图像数据比较难以获取;从而,会影响到对深度学习模型、口罩分类模型进行训练,进而无法准确的识别待检测图像中的人脸是否佩戴了口罩。
可知,若仅执行步骤201-202,是不能准确的识别待检测图像中的人脸是否佩戴了口罩。针对于黑色、蓝色等等各种非白色的口罩无法准确的识别用户是否佩戴;在用户佩戴了黑色、蓝色等等各种非白色的口罩的时候,可能会误判断为用户未佩戴口罩,进而发出错误警报。
根据以上分析,在本实施例中,若确定人脸未佩戴口罩,此时可能会出现错误检测的情况,进而将未佩戴口罩的人脸,做为之后的人脸图像进行分析。或者,若确定人脸佩戴有口罩,此时也可能会出现错误检测的情况,进而将佩戴有口罩的人脸,做为之后的人脸图像进行分析。进而完成初步的人脸识别,为后续的步骤做准备。
203、提取人脸图像的面部颜色特征。
一个示例中,面部颜色特征包括人脸图像中的预设图像区域的像素点的像素颜色特征值,预设图像区域为人脸的下部区域。
一个示例中,步骤203具体包括以下步骤:
第一步骤、截取人脸图像中的预设图像区域,其中,预设图像区域与人脸图像之间的比例为预设比例,预设图像区域为人脸的下部区域。一个示例中,第一步骤具体包括:识别人脸图像中的眼部区域,并截取人脸图像中的位于眼部区域之下的图像区域。
第二步骤、从图像区域中提取多个像素点,并提取每一像素点的像素颜色特征值。
第三步骤、确定各像素点的像素颜色特征值为图像颜色特征。
一个示例中,多个像素点分布在图像区域的不同栅格上。
示例性地,在提取人脸图像的面部颜色特征的时候,是基于人脸图像的像素点的像素颜色特征值进行提取的,其中,像素点的像素颜色特征值,例如是灰度值、或者RGB颜色空间下的颜色值、或者HSV颜色空间下的颜色值、或者HIS颜色空间下的颜色值、或者CMYK颜色空间下的颜色值。这里的各个颜色空间下的颜色值,可以是该颜色空间下的各颜色通道的颜色值。例如,RGB颜色空间下的颜色值,包括了R颜色值、G颜色值和B颜色值;HSV颜色空间下的颜色值,包括了色调(H)、饱和度(S)、明度(V);HIS颜色空间下的颜色值,包括了色调、饱和度、亮度。
为了准确并快速的识别人脸图像中的人脸是否佩戴口罩,需要快速、准确的提取人脸图像的面部颜色特征;并且由于需要将面部颜色特征与口罩颜色特征进行比对,为了可以准备的进行比对,需要准确的定位人脸图像中的可能佩戴口罩的区域。那么就需要提取人脸图像中的可能佩戴口罩的区域。
首先,截取人脸图像中的部分区域。一个示例中,依据预设比例,对人脸图像进行截取,得到预设图像区域,该预设图像区域与人脸图像之间的比例为预设比例。其中“预设比例”指的是,佩戴有口罩的人脸图像(是预先得到的佩戴口罩的人脸图像)中的口罩区域与整个人脸之间比例值。可知,预设图像区域为人脸的下部区域。
举例来说,截图人脸图像的下部的预设面积的图像,例如,截取1/n面积的图像,n为大于1的正整数。
一个示例中,为了可以准确的提取到用于佩戴口罩的图像区域,可以识别人脸图像中的眼部区域。例如,对人脸图像进行边缘检测,得到各面部器官的轮廓;或者,对人脸图像进行图像分割,得到各面部器官的轮廓;然后,计算每一面部器官的轮廓的面积值,并根据各面部器官的轮廓的面积值,确定面部器官之间的比例值;在确定比例值,符合眼部与人脸之间的比例值时,确定识别到眼部区域。并截取人脸图像中的位于眼部区域之下的区域,将该区域作为上述“预设图像区域”。
然后,由于所截取的图像区域中有非常多的像素点,为了节约计算量,并不会对所截取的图像区域中的所有像素点的像素颜色特征值进行计算,而是只提取图像区域中的N个像素点,N为大于1的正整数;并且获取N个像素点中的每一个像素点的像素颜色特征值。然后,将各像素点的像素颜色特征值为图像颜色特征。由于只针对人脸图像的一部分图像区域进行计算,并且只计算图像区域中的部分像素点,进而可以节约计算量,提升识别口罩的速度和效率。
举例来说,图6为本申请实施例提供的人脸图像的示意图,如图6所示,在步骤202之后,可以得到一个人脸图像;然后,图7为本申请实施例提供的预设图像区域的示意图一,如图7所示,截取人脸图像中的部分区域,得到预设图像区域;图8为本申请实施例提供的预设图像区域的示意图二,如图8所示,将所截取的预设图像区域划分为了M个栅格,M为大于1的正整数;每一个栅格是预设图像区域上的一个小的区域;从而M个栅格上提取T个栅格,T为大于1、且小于等于M的正整数;提取T个栅格的中心点位置上的像素点像素颜色特征值,进而,将得到的各像素点的像素颜色特征值为图像颜色特征。进而,在减少了像素点计算量的基础上,可以均衡的从预设图像区域中提取待处理的像素点。
例如,将位于预设图像区域的中心、四周的栅格,作为上述T个栅格。
一个示例中,在本步骤中,在提取每一像素点的像素颜色特征值之后,还可以执行以下步骤:显示每一像素点在人脸图像中的位置;接收用户发送的矫正指令,并根据矫正指令对每一像素点在人脸图像中的位置进行矫正。
示例性地,在提取了每一像素点的像素颜色特征值之后,终端设备可以显示像素点在人脸图像中的位置,例如以标记点的方式,显示出像素点的位置;然后,用户通过触控终端设备的屏幕、或者触控键盘、或者手势操作等方式发出矫正指令,矫正指令用于指示对某一个像素点在人脸图像中的位置进行调整;然后,终端设备根据矫正指令对像素点在人脸图像中的位置进行调整。此时,对像素点在人脸图像中的位置进行调整,可以得到矫正了识别位置点的人脸图像,“识别位置点”指的是口罩在人脸图像中的位置点;进而这些“矫正了识别位置点的人脸图像”可以用于口罩识别的训练,例如,用于识别口罩位置的深度学习模型的训练。
204、根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。
一个示例中,口罩颜色特征是预设口罩图像的颜色特征;步骤204具体包括:
第一步骤、将预设图像区域与预设口罩图像之间进行像素点位置匹配;
第二步骤、将预设图像区域上的关键像素点、预设口罩图像上的与关键像素点之间位置匹配的口罩像素点,两者进行像素颜色特征值的比较。
第三步骤、在确定像素颜色特征值,属于口罩颜色特征所表征的数值范围之内时,确定识别结果为用户佩戴有口罩;确定像素颜色特征值,不属于口罩颜色特征所表征的数值范围之内时,确定识别结果为用户未佩戴口罩。
一个示例中,针对于“像素颜色特征值”有以下几种限定方式:
第一种限定方式、像素颜色特征值,为预设图像区域中的多个像素点的颜色值之间的颜色平均值;像素点的颜色值,为像素点在各颜色通道下的数值之间的平均值。
第二种限定方式、像素颜色特征值,包括预设图像区域中的多个像素点在每一颜色通道下的数值均值;口罩颜色特征中包括口罩在不同颜色通道下的数值。
示例性地,由于不同的口罩有不同的颜色特征,可以针对不同颜色的口罩,获取与每一种颜色的口罩对应的口罩颜色特征。一个示例中,每一种颜色的口罩,提取多个口罩中的每一口罩的颜色特征。进而,建立起标准的口罩数据库,口罩数据库中包括每一种颜色的口罩对应的口罩颜色特征。
然后,根据口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。
一个示例中,由于口罩颜色特征是预设的一种颜色的标准的口罩图像的颜色特征;例如,口罩颜色特征是黑色的口罩图像的颜色特征,或者,口罩颜色特征是蓝色的口罩图像的颜色特征。为了更为准确的进行口罩识别,可以将所截取到的预设图像区域与口罩图像之间进行位置匹配,本申请中是进行像素点的位置匹配。一个示例中,将预设图像区域与口罩图像的大小进行归一化处理,即,调整预设图像区域的图像大小与口罩图像的图像大小,为同样的大小。例如,对预设图像区域、口罩图像进行图像伸缩处理,使得预设图像区域的图像大小与口罩图像的图像大小是相同的。
然后,提取预设图像区域上的关键像素点的像素颜色特征值,并提取口罩图像上的口罩像素点的像素颜色特征值,并且关键像素点与口罩像素点之间的位置是对应的。一个示例中,将预设图像区域的四周、中心点的像素点,作为关键像素点;将口罩图像的四周、中心点的像素点,作为口罩像素点。进而,将预设图像区域上的关键像素点、预设口罩图像上的与关键像素点之间位置匹配的口罩像素点,两者进行像素颜色特征值的比较。
若预设图像区域上的关键像素点的像素颜色特征值,位于口罩图像上的口罩像素点的像素颜色特征值(可以是一个取值范围)的范围之内,则确定识别结果为用户佩戴有口罩;此时,可知,确定像素颜色特征值,属于口罩颜色特征所表征的数值范围之内时。
若预设图像区域上的关键像素点的像素颜色特征值,不位于口罩图像上的口罩像素点的像素颜色特征值(可以是一个取值范围)的范围之内,则确定识别结果为用户未佩戴口罩;此时,可知,确定像素颜色特征值,不属于口罩颜色特征所表征的数值范围之内时。由于口罩颜色特征表征了一个数值范围,即,口罩图像上的口罩像素点的像素颜色特征值,可以是一个取值范围;从而避免口罩图像的颜色取值的偏差,会识别口罩造成误导;例如,标准的口罩图像,可能在拍摄过程中,会有色差,进而为使得口罩颜色特征表征为一个数值范围,从而在将图像区域上的关键像素点的像素颜色特征值、口罩图像上的口罩颜色特征,进行比较的时候,避免误差。
本实施例中,针对于“像素颜色特征值”的含义,可以采用以下几种实施方式。
第一种实施方式,提取所截取的预设图像区域中的N个像素点;确定N个像素点中的每一个像素点,在一个颜色空间下的各颜色通道的数值(即,颜色数值);例如,提取每一个像素点在RGB颜色空间下的R通道上的R数值、G通道上的G数值、B通道上的B数值。然后,针对每一个像素点,计算像素点在各颜色通道下的数值之间的平均值,得到每一个像素点的颜色值;例如,将一个像素点的R通道上的R数值、G通道上的G数值、B通道上的B数值,三者计算一个平均值,得到该像素点的颜色值。由于得到每一个像素点的眼遏制,就可以将N个像素点的颜色值,计算平均值,得到一个颜色平均值,该颜色平均值就可以作为预设图像区域的像素点的像素颜色特征值(即,预设图像区域的像素颜色特征值)。
指定颜色的口罩的口罩颜色特征,可以表征出该指定颜色的颜色数值;就可以将像素颜色特征值,与指定颜色的口罩的口罩颜色特征所表征的数值进行比较;若两者匹配(两者等于,或者,像素颜色特征值属于口罩颜色特征所表征的数值范围),则确定识别结果为用户佩戴口罩;若不两者匹配(两者不等于,或者,像素颜色特征值不属于口罩颜色特征所表征的数值范围),则确定识别结果为用户未佩戴口罩。
举例来说,根据N个像素点中的每一像素点的RGB均值,确定N个像素点的RGB平均值;若N个像素点的RGB平均值在预设RGB范围之内,则确定人脸佩戴有指定颜色的口罩。其中,该预设RGB范围为指定颜色的口罩的RGB值的取值。例如,灰色口罩、黑色口罩。
例如,将N个像素点的RGB平均值与黑色口罩的像素值0之间进行比较。
第二种实施方式,提取所截取的预设图像区域中的N个像素点;确定N个像素点中的每一个像素点,在一个颜色空间下的各颜色通道的数值(即,颜色数值);例如,提取每一个像素点在RGB颜色空间下的R通道上的R数值、G通道上的G数值、B通道上的B数值。此时,得到每一个像素点的像素值,例如,每一个像素点的像素值包括了R通道上的R数值、G通道上的G数值、B通道上的B数值。
将N个像素点在同一颜色通道下数值,求取平均值,得到数值均值;例如,求取N个像素点在R通道上的R数值的平均值,求取N个像素点在G通道上的G数值的平均值,求取N个像素点在B通道上的B数值的平均值。从而得到的设图像区域的像素点的像素颜色特征值”(即,预设图像区域的像素颜色特征值)中,包括了N个像素点在每一颜色通道下的数值均值,即,包括了N个像素点在第一颜色通道下的数值均值、N个像素点在第二颜色通道下的数值均值、N个像素点在第三颜色通道下的数值均值。第一颜色通道,例如是R通道;第一颜色通道,例如是G通道;第一颜色通道,例如是B通道。
并且,指定颜色的口罩的口罩颜色特征,可以表征出口罩在一个颜色空间下的各个颜色通道下的数值;例如,蓝色口罩在RGB颜色空间下的R通道上的R数值、G通道上的G数值、B通道上的B数值。
可以将N个像素点在每一颜色通道下的数值均值、口罩在该颜色通道下的数值(或者数值范围),两者进行比较;若两者匹配(两者等于,或者,N个像素点在每一颜色通道下的数值均值属于口罩在该颜色通道下的数值范围),则确定识别结果为用户佩戴口罩;若两者匹配(两者不等于,或者,N个像素点在每一颜色通道下的数值均值不属于口罩在该颜色通道下的数值范围),则确定识别结果为用户佩戴口罩。
举例来说,根据N个像素点中的每一像素点的R值,确定N个像素点的R平均值;根据N个像素点中的每一像素点的G值,确定N个像素点的G平均值;根据N个像素点中的每一像素点的B值,确定N个像素点的B平均值;将R平均值与预设R值范围进行比较,将G平均值与预设G值范围进行比较,将B平均值与预设B值范围进行比较;三者均满足时,确定人脸佩戴有指定颜色的口罩。其中,预设R值范围为指定颜色的口罩的R值的取值,预设G值范围为指定颜色的口罩的G值的取值,预设B值范围为指定颜色的口罩的B值的取值。
举例来说,可以采用python代码模拟本实施例提供的方案;设定黑色口罩的口罩颜色特征(口罩颜色特征,是一个阈值范围)。输入人脸图像,采用步骤204的方案提取人脸图像的面部颜色特征,得到面部颜色特征的数值;并且已经设定了口罩颜色特征是一个阈值;将面部颜色特征的数值与该阈值范围进行比较,得到一个返回值;若该返回值表征为面部颜色特征的数值属于阈值范围之内,则确定用户佩戴有黑色口罩。
需要注意的是,各个颜色空间,都适用于本方案。
通过以上两种实施方式,可以对像素颜色特征值进行简单快速的判断,以快速的判断用户是否佩戴口罩。
205、在确定用户未正确佩戴口罩时,发出提示信息。
示例性地,在步骤204之后,执行本步骤。若确认用户正确佩戴口罩;为了便于对未佩戴口罩的用户进行防范和处理,需要发出提示信息,以提示工作人员进行处理。
一个示例中,提示信息可以是以下的一种或多种:语音信息、灯光信息、震动信息、文字信息、弹窗提示。
206、在确定用户正确佩戴口罩时,则不需要发出提示。
示例性地,在步骤204之后,执行本步骤。在确定用户正确佩戴口罩时,不需要发出警报。
207、在确定从待检测图像中未检测到人脸时,确定用户正确佩戴口罩。
示例性地,在步骤201之后,终端设备若确定人脸图像中不具有人脸,则确定人脸都全部遮挡,确定无法检测到面部呼吸器官,进而确定用户正确佩戴口罩。此时,终端设备不需要发出提示信息。
通过本实施例提供的完整方案,可以在严格的环境中,例如,地铁、高铁等人流密集较高并且人脸图片相对复杂的环境中,准确的识别出佩戴口罩的用户;其中,“未正确佩戴口罩的用户”指的是,未佩戴口罩的用户、或者未遮挡住面部呼吸器官的用户。通过测试发现,本实施例提供的方案,针对佩戴了各类颜色的口罩的人脸,都可以准确识别出是否佩戴口罩。
本实施例,识别待检测图像中的未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像、无人脸的图像。针对识别出的无人脸的图像,确定用户包裹严实、正确佩戴口罩。针对未佩戴口罩的人脸图像、或者佩戴有口罩的人脸图像,截取人脸图像中的预设图像区域;从图像区域中提取多个像素点,并提取每一像素点的像素颜色特征值。基于像素颜色特征值与指定颜色的口罩的口罩颜色之间进行比对,可以准确的分析出用户是否佩戴口罩。在确定用户未佩戴口罩时,发出报警。
图9是根据本申请第三实施例的示意图,如图9所示,本实施例提供的口罩佩戴识别方法,包括:
301、获取人脸图像,并提取人脸图像的面部颜色特征。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
本步骤可以参见图4的步骤101,不再赘述。
302、口罩颜色特征用于指示至少一种颜色的口罩的颜色值;将面部颜色特征与每一种颜色的口罩的口罩颜色特征之间进行匹配,得到与每一种颜色的口罩对应的匹配结果,其中,匹配结果表征面部颜色特征与口罩的口罩颜色特征之间是否匹配。
示例性地,由于在人流量较大的场合中,各个用户所佩戴的口罩颜色是多样化的,进而可需要对多种颜色的口罩进行识别。
口罩颜色特征指示出至少一种颜色的口罩的颜色值,即,至少一种颜色的口罩具有各自的口罩颜色特征。
针对每一种颜色的口罩的口罩颜色特征,将面部颜色特征与该颜色的口罩的口罩颜色特征之间匹配,匹配的方式可以参见图5所示的方案;得到与每一种颜色的口罩对应的匹配结果。
或者,针对每一种颜色的口罩的口罩颜色特征,将面部颜色特征与该颜色的口罩的口罩颜色特征之间匹配,匹配的方式,可以如下:首先,获取待训练图像,待训练图像中包括佩戴有指定颜色口罩的人脸图像和未佩戴任何口罩的人脸图像;根据待训练图像对深度学习模型进行训练,得到成熟的深度学习模型;将未佩戴口罩的人脸图像,输入到成熟的深度学习模型中,输出识别结果,识别结果表征人脸图像中是否佩戴指定颜色的口罩。一个示例中,采用成熟的深度学习模型的滑动窗口,对未佩戴口罩的人脸图像进行滑动检测,以得到识别结果。
举例来说,未佩戴口罩的人脸图像的大小为32*32,成熟的深度学习模型的滑动窗口的大小为6*6,从未佩戴口罩的人脸图像的左上角开始滑动检测,对滑动窗口的大小下的图像区域进行检测,以确定该图像区域的识别值;若该图像区域的识别值大于等于预设值,则该图像区域中有指定颜色的口罩;若该图像区域的识别值小于0.5,则该图像区域中没有指定颜色的口罩。
举例来说,需要将人脸图像的面部颜色特征,分别与黑色口罩的口罩颜色特征、蓝色口罩的口罩颜色特征、灰色口罩的口罩颜色特征、白色口罩的口罩颜色特征之间进行比对。
303、在任一匹配结果表征为匹配时,确定用户佩戴有口罩。
示例性地,在确定面部颜色特征与任一种颜色的口罩之间匹配时,确定用户佩戴有口罩。
304、在各匹配结果均表征为不匹配时,确定用户未佩戴口罩。
示例性地,在确定面部颜色特征与所有种颜色的口罩之间都不匹配时,确定用户未佩戴有口罩。
本实施例,由于在人流量较大的场合中,各个用户所佩戴的口罩颜色是多样化的,进而可需要对多种颜色的口罩进行识别;进而将面部颜色特征与每一种颜色的口罩的口罩颜色特征之间进行匹配,可以准确的识别用户是否佩戴口罩;在确定用户未佩戴口罩时,发出报警。
图10是根据本申请第四实施例的示意图,如图10所示,本实施例提供的口罩佩戴识别方法,包括:
401、提取人脸图像的面部颜色特征。
示例性地,本实施例以执行主体可以是终端设备、或者人脸口罩检测设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为终端设备进行说明。
终端设备直接可以采集到人脸图像,然后就可以人脸图像的面部颜色特征。“提取人脸图像的面部颜色特征”,可以参见图4的步骤101,不再赘述。
401、根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。
示例性地,本步骤可以参见图4的步骤102,不再赘述。
本实施例,由于不同的口罩有不同的颜色特征;并且在佩戴口罩时的人脸图像的面部颜色、在未佩戴口罩时的人脸图像的面部颜色,两者是不相同的;从而,可以依据不同颜色的口罩的口罩颜色特征,对面部颜色特征进行识别,去判断用户是否佩戴了口罩,可以准确的判定用户是否佩戴口罩。
图11是根据本申请第五实施例的示意图,如图11所示,本实施例提供的口罩佩戴识别装置,包括:
获取单元31,用于获取人脸图像。
提取单元32,用于提取人脸图像的面部颜色特征。
识别单元33,用于根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。
一个示例中,口罩颜色特征用于指示至少一种颜色的口罩的颜色值;识别单元33,具体用于:
将面部颜色特征与每一种颜色的口罩的口罩颜色特征之间进行匹配,得到与每一种颜色的口罩对应的匹配结果,其中,匹配结果表征面部颜色特征与口罩的口罩颜色特征之间是否匹配;在任一匹配结果表征为匹配时,确定用户佩戴有口罩;在各匹配结果均表征为不匹配时,确定用户未佩戴口罩。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图12是根据本申请第六实施例的示意图,如图12所示,在图11所示实施例的基础上,本实施例提供的口罩佩戴识别装置,面部颜色特征包括人脸图像中的预设图像区域的像素点的像素颜色特征值,预设图像区域为人脸的下部区域。
一个示例中,识别单元33,包括:
第一确定模块331,用于在确定像素颜色特征值,属于口罩颜色特征所表征的数值范围之内时,确定识别结果为用户佩戴有口罩。
第二确定模块332,用于确定像素颜色特征值,不属于口罩颜色特征所表征的数值范围之内时,确定识别结果为用户未佩戴口罩。
一个示例中,像素颜色特征值,为预设图像区域中的多个像素点的颜色值之间的颜色平均值;像素点的颜色值,为像素点在各颜色通道下的数值之间的平均值。
或者,像素颜色特征值,包括预设图像区域中的多个像素点在每一颜色通道下的数值均值;口罩颜色特征中包括口罩在不同颜色通道下的数值。
一个示例中,口罩颜色特征是预设口罩图像的颜色特征;识别单元33,还包括:
匹配模块333,用于在第一确定模块331确定像素颜色特征值,属于口罩颜色特征所表征的数值范围之内时,确定识别结果为用户佩戴有口罩之前,将预设图像区域与预设口罩图像之间进行像素点位置匹配。
比较模块334,用于将预设图像区域上的关键像素点、预设口罩图像上的与关键像素点之间位置匹配的口罩像素点,两者进行像素颜色特征值的比较。
一个示例中,提取单元32,包括:
截取模块321,用于截取人脸图像中的预设图像区域,其中,预设图像区域与人脸图像之间的比例为预设比例,预设图像区域为人脸的下部区域。
提取模块322,用于从图像区域中提取多个像素点,并提取每一像素点的像素颜色特征值。
第三确定模块323,用于确定各像素点的像素颜色特征值为图像颜色特征。
一个示例中,提取单元32,还包括:
显示模块324,用于在提取模块322提取每一像素点的像素颜色特征值之后,显示每一像素点在人脸图像中的位置。
矫正模块325,用于接收用户发送的矫正指令,并根据矫正指令对每一像素点在人脸图像中的位置进行矫正。
一个示例中,多个像素点分布在图像区域的不同栅格上。
一个示例中,截取模块321,具体用于:识别人脸图像中的眼部区域,并截取人脸图像中的位于眼部区域之下的图像区域。
一个示例中,本实施例提供的装置,还包括:
提示单元41,用于在确定用户未佩戴口罩时,发出提示信息。
一个示例中,获取单元31,包括:
采集模块311,用于采集待检测图像。
识别模块312,用于识别待检测图像中的人脸。
第四确定模块313,用于在确定待检测图像中的人脸未佩戴口罩、或者待检测图像中的人脸佩戴有口罩时,确定得到人脸图像。
本实施例的口罩佩戴识别装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图13是根据本申请第七实施例的示意图,如图13所示,本实施例中的电子设备70可以包括:处理器71和存储器72。
存储器72,用于存储程序;存储器72,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器72用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指令、数据等可以被处理器71调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指据等可以被处理器71调用。
处理器71,用于执行存储器72存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器71和存储器72可以是独立结构,也可以是集成在一起的集成结构。当处理器71和存储器72是独立结构时,存储器72、处理器71可以通过总线73耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
图14是根据本申请第八实施例的示意图,如图14所示,图14是用来实现本申请实施例的口罩佩戴识别方法口罩佩戴识别的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图14所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的口罩佩戴识别方法口罩佩戴识别。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的口罩佩戴识别方法口罩佩戴识别。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的口罩佩戴识别方法口罩佩戴识别对应的程序指令/模块(例如,附图11所示的获取单元31、提取单元32和识别单元33)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的口罩佩戴识别方法口罩佩戴识别。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于实现口罩佩戴识别方法口罩佩戴识别的电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至用于实现口罩佩戴识别方法口罩佩戴识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
口罩佩戴识别方法口罩佩戴识别的电子设备还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图14中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与用于实现口罩佩戴识别方法口罩佩戴识别的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过获取人脸图像,并提取人脸图像的面部颜色特征;根据预设的口罩颜色特征对面部颜色特征进行识别,得到识别结果,其中,识别结果表征用户是否佩戴口罩。通过获取人脸图像,由于不同的口罩有不同的颜色特征;并且在佩戴口罩时的人脸图像的面部颜色、在未佩戴口罩时的人脸图像的面部颜色,两者是不相同的;从而,可以依据不同颜色的口罩的口罩颜色特征,对面部颜色特征进行识别,去判断用户是否佩戴了口罩,可以准确的判定用户是否佩戴口罩。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (25)

1.一种口罩佩戴识别方法,其特征在于,包括:
获取人脸图像,并提取所述人脸图像的面部颜色特征,所述面部颜色特征包括所述人脸图像中的预设图像区域的像素点的像素颜色特征值,所述预设图像区域为人脸的下部区域;
根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,其中,所述识别结果表征用户是否佩戴口罩;
所述口罩颜色特征用于指示至少一种颜色的口罩的口罩颜色特征;
根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,包括:
将所述面部颜色特征与每一种颜色的口罩的口罩颜色特征之间进行匹配,得到与每一种颜色的口罩对应的匹配结果,其中,所述匹配结果表征面部颜色特征与口罩的口罩颜色特征之间是否匹配;
在任一所述匹配结果表征为匹配时,确定用户佩戴有口罩;
在各所述匹配结果均表征为不匹配时,确定用户未佩戴口罩。
2.根据权利要求1所述的方法,其特征在于,根据任一所述匹配结果,确定用户是否佩戴口罩,包括:
在确定所述像素颜色特征值,属于所述口罩颜色特征所表征的数值范围之内时,确定所述识别结果为用户佩戴有口罩;
确定所述像素颜色特征值,不属于所述口罩颜色特征所表征的数值范围之内时,确定所述识别结果为用户未佩戴口罩。
3.根据权利要求2所述的方法,其特征在于,所述像素颜色特征值,为所述预设图像区域中的多个像素点的颜色值之间的颜色平均值;像素点的颜色值,为像素点在各颜色通道下的数值之间的平均值。
4.根据权利要求2所述的方法,其特征在于,所述像素颜色特征值,包括所述预设图像区域中的多个像素点在每一颜色通道下的数值均值;所述口罩颜色特征中包括口罩在不同颜色通道下的数值。
5.根据权利要求2所述的方法,其特征在于,所述口罩颜色特征是预设口罩图像的颜色特征;
在确定所述像素颜色特征值,属于所述口罩颜色特征所表征的数值范围之内时,确定所述识别结果为用户佩戴有口罩之前,还包括:
将所述预设图像区域与所述预设口罩图像之间进行像素点位置匹配;
将所述预设图像区域上的关键像素点、所述预设口罩图像上的与所述关键像素点之间位置匹配的口罩像素点,两者进行像素颜色特征值的比较。
6.根据权利要求1所述的方法,其特征在于,提取所述人脸图像的面部颜色特征信息,包括:
截取所述人脸图像中的预设图像区域,其中,所述预设图像区域与所述人脸图像之间的比例为预设比例;
从所述图像区域中提取多个像素点,并提取每一所述像素点的像素颜色特征值;
确定各所述像素点的像素颜色特征值为所述面部颜色特征。
7.根据权利要求6所述的方法,其特征在于,在提取每一所述像素点的像素颜色特征值之后,还包括:
显示每一所述像素点在所述人脸图像中的位置;
接收用户发送的矫正指令,并根据所述矫正指令对每一所述像素点在所述人脸图像中的位置进行矫正。
8.根据权利要求6所述的方法,其特征在于,所述多个像素点分布在所述图像区域的不同栅格上。
9.根据权利要求6所述的方法,其特征在于,截取所述人脸图像中的预设图像区域,包括:
识别所述人脸图像中的眼部区域,并截取人脸图像中的位于眼部区域之下的所述图像区域。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
在确定用户未佩戴口罩时,发出提示信息。
11.根据权利要求1-9任一项所述的方法,其特征在于,所述获取人脸图像,包括:
采集待检测图像,并识别所述待检测图像中的人脸;
在确定所述待检测图像中的人脸未佩戴口罩、或者所述待检测图像中的人脸佩戴有口罩时,确定得到所述人脸图像。
12.一种口罩佩戴识别装置,其特征在于,包括:
获取单元,用于获取人脸图像;
提取单元,用于提取所述人脸图像的面部颜色特征,所述面部颜色特征包括所述人脸图像中的预设图像区域的像素点的像素颜色特征值,所述预设图像区域为人脸的下部区域;
识别单元,用于根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,其中,所述识别结果表征用户是否佩戴口罩;
所述口罩颜色特征用于指示至少一种颜色的口罩的口罩颜色特征;
所述识别单元,具体用于将所述面部颜色特征与每一种颜色的口罩的口罩颜色特征之间进行匹配,得到与每一种颜色的口罩对应的匹配结果,其中,所述匹配结果表征面部颜色特征与口罩的口罩颜色特征之间是否匹配;
在任一所述匹配结果表征为匹配时,确定用户佩戴有口罩;
在各所述匹配结果均表征为不匹配时,确定用户未佩戴口罩。
13.根据权利要求12所述的装置,其特征在于,所述识别单元,包括:
第一确定模块,用于在确定所述像素颜色特征值,属于所述口罩颜色特征所表征的数值范围之内时,确定所述识别结果为用户佩戴有口罩;
第二确定模块,用于确定所述像素颜色特征值,不属于所述口罩颜色特征所表征的数值范围之内时,确定所述识别结果为用户未佩戴口罩。
14.根据权利要求13所述的装置,其特征在于,所述像素颜色特征值,为所述预设图像区域中的多个像素点的颜色值之间的颜色平均值;像素点的颜色值,为像素点在各颜色通道下的数值之间的平均值。
15.根据权利要求13所述的装置,其特征在于,所述像素颜色特征值,包括所述预设图像区域中的多个像素点在每一颜色通道下的数值均值;所述口罩颜色特征中包括口罩在不同颜色通道下的数值。
16.根据权利要求13所述的装置,其特征在于,所述口罩颜色特征是预设口罩图像的颜色特征;
所述识别单元,还包括:
匹配模块,用于在所述第一确定模块确定所述像素颜色特征值,属于所述口罩颜色特征所表征的数值范围之内时,确定所述识别结果为用户佩戴有口罩之前,将所述预设图像区域与所述预设口罩图像之间进行像素点位置匹配;
比较模块,用于将所述预设图像区域上的关键像素点、所述预设口罩图像上的与所述关键像素点之间位置匹配的口罩像素点,两者进行像素颜色特征值的比较。
17.根据权利要求12所述的装置,其特征在于,所述提取单元,包括:
截取模块,用于截取所述人脸图像中的预设图像区域,其中,所述预设图像区域与所述人脸图像之间的比例为预设比例;
提取模块,用于从所述图像区域中提取多个像素点,并提取每一所述像素点的像素颜色特征值;
第三确定模块,用于确定各所述像素点的像素颜色特征值为所述面部颜色特征。
18.根据权利要求17所述的装置,其特征在于,所述提取单元,还包括:
显示模块,用于在所述提取模块提取每一所述像素点的像素颜色特征值之后,显示每一所述像素点在所述人脸图像中的位置;
矫正模块,用于接收用户发送的矫正指令,并根据所述矫正指令对每一所述像素点在所述人脸图像中的位置进行矫正。
19.根据权利要求17所述的装置,其特征在于,所述多个像素点分布在所述图像区域的不同栅格上。
20.根据权利要求17所述的装置,其特征在于,所述截取模块,具体用于:
识别所述人脸图像中的眼部区域,并截取人脸图像中的位于眼部区域之下的所述图像区域。
21.根据权利要求12-20任一项所述的装置,其特征在于,所述装置,还包括:
提示单元,用于在确定用户未佩戴口罩时,发出提示信息。
22.根据权利要求12-20任一项所述的装置,其特征在于,所述获取单元,包括:
采集模块,用于采集待检测图像;
识别模块,用于识别所述待检测图像中的人脸;
第四确定模块,用于在确定所述待检测图像中的人脸未佩戴口罩、或者所述待检测图像中的人脸佩戴有口罩时,确定得到所述人脸图像。
23.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
25.一种口罩佩戴识别方法,其特征在于,包括:
提取人脸图像的面部颜色特征,所述面部颜色特征包括所述人脸图像中的预设图像区域的像素点的像素颜色特征值,所述预设图像区域为人脸的下部区域;
根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,其中,所述识别结果表征用户是否佩戴口罩;
所述口罩颜色特征用于指示至少一种颜色的口罩的口罩颜色特征;
根据预设的口罩颜色特征对所述面部颜色特征进行识别,得到识别结果,包括:
将所述面部颜色特征与每一种颜色的口罩的口罩颜色特征之间进行匹配,得到与每一种颜色的口罩对应的匹配结果,其中,所述匹配结果表征面部颜色特征与口罩的口罩颜色特征之间是否匹配;
在任一所述匹配结果表征为匹配时,确定用户佩戴有口罩;
在各所述匹配结果均表征为不匹配时,确定用户未佩戴口罩。
CN202010328713.6A 2020-04-23 2020-04-23 口罩佩戴识别方法、装置、设备和可读存储介质 Active CN111523473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010328713.6A CN111523473B (zh) 2020-04-23 2020-04-23 口罩佩戴识别方法、装置、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010328713.6A CN111523473B (zh) 2020-04-23 2020-04-23 口罩佩戴识别方法、装置、设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111523473A CN111523473A (zh) 2020-08-11
CN111523473B true CN111523473B (zh) 2023-09-26

Family

ID=71904510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010328713.6A Active CN111523473B (zh) 2020-04-23 2020-04-23 口罩佩戴识别方法、装置、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111523473B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001872B (zh) 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
KR102283833B1 (ko) * 2020-08-28 2021-08-03 이연수 자동 소독제 분사장치
CN112434562B (zh) * 2020-11-03 2023-08-25 浙江大华技术股份有限公司 口罩佩戴状态的检测方法、设备、电子装置和存储介质
CN112434578B (zh) * 2020-11-13 2023-07-25 浙江大华技术股份有限公司 口罩佩戴规范性检测方法、装置、计算机设备和存储介质
CN112488647A (zh) * 2020-11-25 2021-03-12 京东方科技集团股份有限公司 考勤系统及方法、存储介质及电子设备
CN113033278A (zh) * 2020-12-09 2021-06-25 中国联合网络通信集团有限公司 口罩佩戴的检测方法及装置
CN113283405A (zh) * 2021-07-22 2021-08-20 第六镜科技(北京)有限公司 口罩检测方法、装置、计算机设备及存储介质
CN113553984B (zh) * 2021-08-02 2023-10-13 中再云图技术有限公司 一种基于上下文辅助的视频口罩检测方法
CN114067477A (zh) * 2021-11-04 2022-02-18 极视角(上海)科技有限公司 一种ai图像识别用的口罩识别门禁及使用方法
WO2024050760A1 (en) * 2022-09-08 2024-03-14 Intel Corporation Image processing with face mask detection

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310397A (ja) * 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc マスク着用判定装置
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN103325114A (zh) * 2013-06-13 2013-09-25 同济大学 基于改进视觉注意模型的目标车辆匹配方法
CN104794458A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种从模糊视频中识别人员的方法
CN105374053A (zh) * 2015-11-12 2016-03-02 启安动物行为学科技股份有限公司 老鼠步态分析中的足底压力分布获取方法、装置及系统
JP2016189135A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 認識装置、認識方法及び認識プログラム
CN107016370A (zh) * 2017-04-10 2017-08-04 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
CN107689069A (zh) * 2017-08-24 2018-02-13 深圳市唯特视科技有限公司 一种基于识别面部遮挡的图像自动合成方法
CN108549507A (zh) * 2018-03-01 2018-09-18 平安科技(深圳)有限公司 排列应用图标的方法、终端设备及计算机可读存储介质
CN108830062A (zh) * 2018-05-29 2018-11-16 努比亚技术有限公司 人脸识别方法、移动终端及计算机可读存储介质
CN109101923A (zh) * 2018-08-14 2018-12-28 罗普特(厦门)科技集团有限公司 一种人员佩戴口罩情况的检测方法以及装置
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809163B2 (en) * 2004-12-27 2010-10-05 Southern Taiwan University Method for prohibiting a person with a facial mask to operate an automatic teller machine
EP3652701A4 (en) * 2017-07-13 2021-11-03 Shiseido Company, Limited VIRTUAL FACE MAKEUP REMOVAL, FAST FACE RECOGNITION AND LANDMARK TRACKING

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310397A (ja) * 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc マスク着用判定装置
CN103150904A (zh) * 2013-02-05 2013-06-12 中山大学 一种基于图像特征的卡口车辆图像识别方法
CN103325114A (zh) * 2013-06-13 2013-09-25 同济大学 基于改进视觉注意模型的目标车辆匹配方法
JP2016189135A (ja) * 2015-03-30 2016-11-04 パイオニア株式会社 認識装置、認識方法及び認識プログラム
CN104794458A (zh) * 2015-05-07 2015-07-22 北京丰华联合科技有限公司 一种从模糊视频中识别人员的方法
CN105374053A (zh) * 2015-11-12 2016-03-02 启安动物行为学科技股份有限公司 老鼠步态分析中的足底压力分布获取方法、装置及系统
CN107016370A (zh) * 2017-04-10 2017-08-04 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
CN107689069A (zh) * 2017-08-24 2018-02-13 深圳市唯特视科技有限公司 一种基于识别面部遮挡的图像自动合成方法
CN108549507A (zh) * 2018-03-01 2018-09-18 平安科技(深圳)有限公司 排列应用图标的方法、终端设备及计算机可读存储介质
CN108830062A (zh) * 2018-05-29 2018-11-16 努比亚技术有限公司 人脸识别方法、移动终端及计算机可读存储介质
CN109101923A (zh) * 2018-08-14 2018-12-28 罗普特(厦门)科技集团有限公司 一种人员佩戴口罩情况的检测方法以及装置
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Multi-task template matching for object detection, segmentation and pose estimation using depth images;Park K等;《2019 International Conference on Robotics and Automation (ICRA)》;7207-7213 *
Wu Y等.Deep matching and validation network: An end-to-end solution to constrained image splicing localization and detection.《Proceedings of the 25th ACM international conference on Multimedia》.2017,1480-1502. *
基于OpenCv的口罩佩戴识别系统;陈杰蒙等;《缔客世界》(第12期);1 *
基于局部特征的移动目标跟踪方法研究;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第9期);I138-1029 *
苗树艳.基于信息融合的人脸识别研究.《中国优秀硕士学位论文全文数据库 (信息科技辑)》.2016,(第1期),I138-566. *

Also Published As

Publication number Publication date
CN111523473A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523473B (zh) 口罩佩戴识别方法、装置、设备和可读存储介质
CN111523476B (zh) 口罩佩戴识别方法、装置、设备和可读存储介质
JP7151814B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230120985A1 (en) Method for training face recognition model
US11798193B2 (en) Multi-dimensional image detection on at least two acquired images
KR20190001066A (ko) 얼굴 인증 방법 및 장치
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN111783605B (zh) 一种人脸图像识别方法、装置、设备及存储介质
CN103942539B (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN110956061A (zh) 动作识别方法及装置、驾驶员状态分析方法及装置
CN107844742B (zh) 人脸图像眼镜去除方法、装置及存储介质
CN105844242A (zh) 图像中的肤色检测方法
CN112115886A (zh) 图像检测方法和相关装置、设备、存储介质
US20220068109A1 (en) Mask wearing status alarming method, mobile device and computer readable storage medium
WO2016070688A1 (zh) 虚拟操作界面遥控控制方法及系统
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
CN112883902A (zh) 视频检测方法、装置、电子设备及存储介质
US20180307896A1 (en) Facial detection device, facial detection system provided with same, and facial detection method
CN104392425B (zh) 一种基于人脸的自动调整对比度的图像增强方法
CN112101288B (zh) 安全帽佩戴检测方法、装置、设备及存储介质
CN111259763A (zh) 目标检测方法、装置、电子设备及可读存储介质
US20200302572A1 (en) Information processing device, information processing system, information processing method, and program
CN105631285A (zh) 一种生物特征身份识别方法及装置
CN111710008A (zh) 人流密度的生成方法、装置、电子设备以及存储介质
Manaf et al. Color recognition system with augmented reality concept and finger interaction: Case study for color blind aid system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant