CN111860566A - 遮挡物识别模型训练方法、识别方法、装置及存储介质 - Google Patents
遮挡物识别模型训练方法、识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111860566A CN111860566A CN202010334114.5A CN202010334114A CN111860566A CN 111860566 A CN111860566 A CN 111860566A CN 202010334114 A CN202010334114 A CN 202010334114A CN 111860566 A CN111860566 A CN 111860566A
- Authority
- CN
- China
- Prior art keywords
- face
- target
- image
- combined
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012549 training Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 230000000903 blocking effect Effects 0.000 claims description 61
- 238000001514 detection method Methods 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种遮挡物识别模型训练方法、识别方法、装置及存储介质，涉及图像处理领域，其中，该方法包括：获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。本申请可以通过训练后的模型识别非目标遮挡物冒充口罩遮挡面部的情况，达到提高对非目标遮挡物识别能力的效果。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种遮挡物识别模型训练方法、识别方法、装置及存储介质。
背景技术
人们日常生活中遇到突发疫情或者在厂矿生产过程中对尘土防护时，通常需要佩戴口罩，为了防止突发疫情传播蔓延、防止尘土通过呼吸进入人体等情况发生，需要监督人们佩戴口罩的情况。
目前，在监督人们佩戴口罩的情况时，通常是通过人脸检测的方式进行识别，获取脸部是否存在遮挡物来判定人们是否佩戴口罩，而在实际的生活中，出于无意或特意逃避检测和监督等目的，还存在有人用手、臂、衣物或与口罩颜色相似的物体等遮挡口鼻的情况，这很容易造成误判，即将此类的情况误判成了佩戴口罩。
发明内容
有鉴于此，本申请的目的在于提供一种遮挡物识别模型训练方法、识别方法、装置及存储介质，可以通过使用人脸样本集合、遮挡物负样本集合以及预设组合方式组合得到大量的人脸遮挡样本，以获取可以识别目标遮挡物的模型来准确识别目标遮挡物，另外还可以解决模型训练过程中样本较少而导致的训练效果不佳的问题。
本申请的第一方面，提供一种遮挡物识别模型训练方法，包括：
获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；
根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；
采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。
在一些实施例中，获取人脸样本集合，包括：
获取包含未遮挡人脸的原始图像；
采用人脸检测算法检测获取原始图像中的人脸；
采用预设关键点检测算法检测并标注人脸的多个关键点坐标，将标注后的人脸图像加入人脸样本集合。
在一些实施例中，根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，包括：
在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；
根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像；
将非目标遮挡物遮挡后的人脸图像加入人脸遮挡样本。
在一些实施例中，预设组合方式包括多种组合方式，不同组合方式基于关键点坐标的遮挡位置、遮挡范围不同。
在一些实施例中，根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，包括：
在多种组合方式中随机选取一种目标组合方式；
根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。
在一些实施例中，根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，包括：
根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域；
采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像。
在一些实施例中，采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像，包括：
采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像。
本申请第二方面，提供一种遮挡物识别方法，包括：
获取待识别图像，待识别图像包括含有遮挡物的人脸图像；
采用遮挡物识别模型识别待识别图像中的遮挡物是否为目标遮挡物，其中，遮挡物识别模型由人脸遮挡样本训练获取，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签，人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。
本申请第三方面，提供一种遮挡物识别模型训练装置，包括：样本获取模块、样本训练模块；
样本获取模块，用于获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；
样本获取模块，还用于根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；
样本训练模块，用于采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。
在一些实施例中，样本获取模块，具体用于获取包含未遮挡人脸的原始图像；采用人脸检测算法检测获取原始图像中的人脸；采用预设关键点检测算法检测并标注人脸的多个关键点坐标，将标注后的人脸图像加入人脸样本集合。
在一个实施例中，样本获取模块，具体用于在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像；将非目标遮挡物遮挡后的人脸图像加入人脸遮挡样本。
在一些实施例中，该装置中的预设组合方式包括多种组合方式，不同组合方式基于关键点坐标的遮挡位置、遮挡范围不同。
在一些实施例中，样本获取模块，具体用于在多种组合方式中随机选取一种目标组合方式；根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。
在一些实施例中，样本获取模块，具体用于根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域；采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像。
在一些实施例中，样本获取模块，具体用于采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像。
本申请第四方面，提供一种遮挡物识别装置，包括：图像获取模块、图像识别模块；
图像获取模块，用于获取待识别图像，待识别图像包括含有遮挡物的人脸图像；
图像识别模块，用于采用遮挡物识别模型识别待识别图像中的遮挡物是否为目标遮挡物，其中，遮挡物识别模型由人脸遮挡样本训练获取，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签，人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。
本申请第五方面，提供一种电子设备，该电子设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行前述第一方面提供的方法步骤。
本申请第六方面，提供一种电子设备，该电子设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行前述第二方面提供的方法步骤。
本申请第七方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述第一或第二方面提供的方法步骤。
本申请的有益效果：
本实施例提供的遮挡物识别模型训练方法、识别方法、装置及存储介质，可以通过获取人脸样本集合、遮挡物负样本集合，并根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，进而再训练获取遮挡物识别模型。实现了可以分别采集人脸样本集合、遮挡物负样本集合，通过随机组合就可以获取大量的人脸遮挡样本，可以大大提升人脸遮挡样本的获取效率和数据，进而再进行模型训练，也就可以更加提升遮挡物识别模型的训练效果和后续的识别准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的遮挡物识别系统的框图；
图2示出了本申请实施例提供的电子设备的示例性硬件和软件组件的示意图；
图3示出了本申请实施例提供的遮挡物识别模型训练方法的流程示意图；
图4示出了本申请实施例提供的获取人脸样本集合的流程示意图；
图5示出了本申请实施例提供的人脸关键点的示意图；
图6示出了本申请实施例提供的获取人脸遮挡样本的流程示意图；
图7示出了本申请实施例提供的人脸遮挡区域划分的示意图；
图8示出了本申请实施例提供的获取非目标遮挡物遮挡后的人脸图像的流程示意图；
图9示出了本申请实施例提供的获取非目标遮挡物遮挡后的人脸图像的另一流程示意图；
图10示出了本申请实施例提供的遮挡物识别方法的流程示意图；
图11示出了本申请实施例提供的遮挡物识别模型训练装置的结构示意图；
图12示出了本申请实施例提供的遮挡物识别装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例针对在一些场景下需要规定用户使用指定遮挡物的情况，例如疫情、特殊季节、流行病等时期，需要要求用户必须佩戴口罩，但是存在用户使用其他遮挡物替代口罩等不合规情况，需要进行检测分辨。目前的训练过程中，通过网络或者实际拍摄，可以拿到的负样本(即非指定遮挡物遮挡的图像)数量有限，不能保证很好的训练获取模型。本申请实施例提出一种可以更好获取样本图像，以便更好训练获取模型的方法。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“遮挡物识别”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕口罩识别进行描述，但是应该理解，这仅是一个示例性实施例。本申请可以应用于任何其他识别情况。例如，人脸识别、脸部装饰物识别等，但不仅限于此。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
图1示出了本申请实施例提供的遮挡物识别系统的框图。如图1所示，该遮挡物识别系统可以是用于诸如网约车出行、车辆停放点、公共场合进出点、居民小区出入口、交通中转站、机场、火车站等需要识别人脸上指定遮挡物的场景中。
该遮挡物识别系统可以包括服务器110、网络120、遮挡物识别设备130、和数据库140中的一种或多种。
在一些实施例中，服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以基于从遮挡物识别设备130获得的一张脸部图片来识别脸部是否存在遮挡物。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、专用指令集处理器(Application SpecificInstruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital SignalProcessor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等，或其任意组合。
在一些实施例中，网络120可以用于信息和/或数据的交换。在一些实施例中，基于蓝牙的设备批量处理系统中的一个或多个组件(例如，服务器110，遮挡物识别设备130和数据库140)可以向其他组件发送信息和/或数据。在一些实施例中，网络120可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(NearField Communication，NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或网络交换节点，服务数据处理系统的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
在一些实施例中，遮挡物识别设备130对应的设备类型可以是移动设备，比如可以包括智能设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，也可以是平板计算机、膝上型计算机、或机动车辆中的内置设备等，该遮挡物识别设备130上可以设置有图像获取装置(例如摄像头)或者该设备可以与其他图像获取装置相连接，用以获取人脸图像。
数据库140可以存储数据和/或指令。在一些实施例中，数据库140可以存储从遮挡物识别设备130获得的数据。在一些实施例中，数据库140可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库140可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(RandomAccess Memory，RAM)；RAM可以包括动态RAM(Dynamic Random Access Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM，DDR SDRAM)；静态RAM(Static Random-Access Memory，SRAM)，晶闸管RAM(Thyristor-Based Random AccessMemory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-Only Memory，MROM)、可编程ROM(Programmable Read-Only Memory，PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory，PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中，数据库140可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等，或其任意组合。
在一些实施例中，数据库140可以连接到网络120以与遮挡物识别系统中的一个或多个组件(例如，服务器110，遮挡物识别设备130等)通信。遮挡物识别系统中的一个或多个组件可以经由网络120访问存储在数据库140中的数据或指令。在一些实施例中，数据库140可以直接连接到遮挡物识别系统中的一个或多个组件，或者，数据库140也可以是服务器110的一部分。
图2示出了本申请实施例提供的电子设备的示例性硬件和软件组件的示意图。
例如，处理器可以用于电子设备200上，并且用于执行本申请中的功能。
电子设备200可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的遮挡物识别模型训练方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。
例如，电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。
为了便于说明，在电子设备200中仅描述了一个处理器。然而，应当注意，本申请中的电子设备200还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
如下将通过多个具体实施例对本申请所提供的遮挡物识别模型训练方法进行详细说明。
图3示出了本申请实施例提供的遮挡物识别模型训练方法的流程示意图，可选地，该方法执行主体可以是上述遮挡物识别设备，或者也可以是计算机或服务器。如图3所示，该方法可以包括：
S110：获取人脸样本集合、遮挡物负样本集合。
其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。
其中，未遮挡人脸图像可以通过从互联网上下载或者通过拍照设备采集等方式获取，具体可以获取大量不同类型的未遮挡人脸图像，还可以进一步地对采集的未遮挡人脸图像进行处理，例如降噪、去瑕疵等，得到处理后的人脸的正面照。未遮挡人脸图像可以是任意一张不存在有遮挡物遮挡的人脸，并且，该人脸不限性别、年龄、民族等因素。
类似地，非目标遮挡物的图像可以通过从互联网上收集下载等方式获取。例如在本实施例中，目标遮挡物可以为口罩，则除口罩外其他可以遮挡面部特征的遮挡物都可以作为非目标遮挡物，例如：手臂、手掌(可以包括手心和手背)、纱巾、围巾、手机、书本、手套、袋子等。非目标遮挡物的标签可以与非目标遮挡物的图像相对应，可以表征该非目标遮挡物的图像中遮挡物所属的类别，该非目标遮挡物的标签可以由开发人员进行标注、也可以通过识别程序自动完成标注，本申请实施例不作限制。
另外，多种目标非遮挡物的图像中，每一种非目标遮挡物可以包括多种外观形态，例如：不同品牌的手机、不同大小的纱巾、不同粗细的手臂、手掌等。
需要说明的是，上述人脸样本集合、遮挡物负样本集合可以分别获取，实现过程中可以同时采集或不同时采集，在此不作限制。示例地，可以通过从互联网上下载各种类型的人脸图片，筛选出其中较为清晰的正脸照片作为人脸样本集合；相应地，可以从互联网上下载各种类型的非目标遮挡物，筛选出其中较为清晰的非目标遮挡物对应的图像作为非目标遮挡物的图像，并且获取记录该非目标遮挡物的标签。
S120：根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本。
其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签。
其中，预设组合方式用于指示未遮挡人脸图像、非目标遮挡物的图像如何进行组合，例如指示选择的方式、遮挡的位置等。例如，可以是将遮挡物负样本集合中的一个非目标遮挡物的图像遮挡于人脸样本集合中的任意一个未遮挡人脸图像的特定区域。人脸遮挡样本中的非目标遮挡物的标签可以对应采用该非目标遮挡物对人脸遮挡后得到的图像，也即是上述非目标遮挡物遮挡后的人脸图像。
示例地，当采用的非目标遮挡物为手套时，非目标遮挡物的标签即为“手套”标签，相应地，手套遮挡后的人脸图像对应的标签也是“手套”。
S130：采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。
其中，预设深度学习网络可以是深度信念网络、卷积神经网络、循环神经网络或者卷积深度信念网络等任意一种类型的神经网络。可以通过上述人脸遮挡样本对该预设深度学习网络进行训练，在训练的过程中，可以按照传统的神经网络的训练方式将人脸遮挡样本分为训练集、验证集以及测试集，对预设深度学习网络进行训练获取遮挡物识别模型；也可以根据对模型训练的实际需求，调整对人脸遮挡样本的分划后，对预设神经网络进行训练获取遮挡物识别模型。
遮挡物识别模型可以是预设深度学习网络通过人脸遮挡样本的训练后得到的训练结果模型，可以使用该遮挡物识别模型判定一张人脸图像中是否采用非目标遮挡物来遮挡人脸。
综上，本实施例提供的遮挡物识别模型训练方法中，可以通过获取人脸样本集合、遮挡物负样本集合，并根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，进而再训练获取遮挡物识别模型。实现了可以分别采集人脸样本集合、遮挡物负样本集合，通过随机组合就可以获取大量的人脸遮挡样本，可以大大提升人脸遮挡样本的获取效率和数据，进而再进行模型训练，也就可以更加提升遮挡物识别模型的训练效果和后续的识别准确度。
下面通过多个实施例解释上述获取人脸样本集合的步骤，图4示出了本申请实施例提供的获取人脸样本集合的流程示意图，可选地，上述步骤S110中，获取人脸样本集合，包括：
S111：获取包含未遮挡人脸的原始图像。
其中，未遮挡人脸的原始图像即是未经处理的未遮挡人脸图像，未遮挡人脸的原始图像可以是任意一张图像或者照片，其内可以包括人脸在内的多种元素，例如：包括人物的场景图像、多个人物的群体图像等，也可以仅仅包括人脸。相应地，未遮挡人脸的原始图像可以从互联网上下载或者通过拍照设备采集等方式获取。
S112：采用人脸检测算法检测获取原始图像中的人脸。
其中，该人脸检测算法可以用于根据预设的人脸特征，在每个未遮挡人脸的原始图像中寻找符合人脸特征的部分。例如，若该原始图像中仅包括人脸，则可以直接提取该人脸；若该原始图像中包括人脸以及其他因素，可以先根据预设的人脸特征确定人脸在图像中的位置区域，继而在对应的位置区域提取对应的人脸；相应地，若一张原始图像中存在有多张人脸，则可以根据预设的人脸特征确定每张人脸在图像中的位置区域，继而分别在其对应的位置依次获得或者同时获得对应的人脸。
一种可选地实施方式中，采用人脸框将原始图像中的人脸部分(可以包括部分周边)框选出来，进一步将人脸框进行裁剪，获取人脸图像。
S113：采用预设关键点检测算法检测并标注人脸的多个关键点坐标，将标注后的人脸图像加入人脸样本集合。
需要说明的是，获取原始图像中的人脸后，可以对该人脸采用预设关键点检测算法检测并标注人脸的多个关键点坐标。其中，预设关键点检测算法可以是根据预设的人脸关键点对原始图像中的人脸进行人脸拟合，检测得到该人脸对应的多个关键点的位置，并根据多个关键点的位置对这些关键点进行标注，标注方式可以是按照平面坐标的方式进行标注，例如，将每个关键点放入平面直角坐标系中，根据每个关键点在平面直角坐标系中的横坐标、纵坐标进行标注。可选地，关键点1的坐标可以为(x1，y1)，相应地，关键点n的坐标可以为(xn，yn)，其中，x为横坐标、y为纵坐标。对每个关键点进行标注后，可以将标注后的人脸图像作为未遮挡的人脸图像，加入到上述人脸样本集合。
综上，本申请实施例中，可以通过获取包含未遮挡人脸的原始图像并通过人脸检测算法检测到其中的人脸，而采用预设关键点检测算法检测并标注所述人脸的多个关键点坐标，可以更加直观地显示出人脸的整体特征，进而提高人脸样本集合中每个人脸图像的准确性。也便于在后续组合过程中对遮挡部位进行定位。
下面通过具体的实施例来解释上述人脸关键点，图5示出了本申请实施例提供的人脸关键点的示意图，请参照图5，在本申请的实施例中，可以将人脸划分为68个关键点，主要涵盖了人脸的轮廓、眼部、眉部、鼻部以及嘴部等关键位置。
其中，可以对每个关键点的位置进行检测和标注，得到每个关键点的坐标，以68个关键点举例，可以表示为：[(x1，y1)，(x2，y2)……(x68，y68)]。
可选地，上述对人脸关键点的划分方式仅仅是本实施例中的一个例子，在对人脸的关键点进行标注的过程中，可以根据实际需求相应设置需要标注的关键点，关键点的序号也可以根据需求进行设定，在此不作限制。
通过上述方法获得人脸样本集合后，可以通过脸样本集合、遮挡物负样本集合以及预设组合方式得到人脸遮挡样本，具体获得流程步骤通过以下实施例进行解释。
图6示出了本申请实施例提供的获取人脸遮挡样本的流程示意图，可选地，上述步骤S120中，根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，包括：
S121：在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像。
其中，随机选取可以是在人脸样本集合中选择任意一个未遮挡人脸图像作为上述待组合人脸图像，相应地，可以是在遮挡物负样本集合中选择任意一个非目标遮挡物的图像作为上述待组合非目标遮挡物。在随机选取的过程中可以先将人脸样本集合和遮挡物负样本集合中每种类型的图像分类后分别随机选取，也可以是从人脸样本集合和遮挡物负样本集合中直接随机选取，在此不作限制。
S122：根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。
其中，待组合人脸图像上有如图5所示的关键点的坐标，预设组合方式可以是根据遮挡不同的关键点来进行设置，可选地，需要遮挡包括鼻头以下的脸部部分时，可以选取图5中关键点2和关键点16之间的连线作为分界线，预设组合方式可以是令待组合非目标遮挡物的图像遮挡于待组合人脸图像的分界线以下任意部分或者同时包括分界线以上和分界线以下的一部分。
例如，可以选择手掌的图像作为待组合非目标遮挡物的图像，根据预设的组合方式可以将手掌遮挡于待组合人脸图像的关键点2、关键点16组成的分界线之下的任意部分，可选地，可以遮挡于嘴部，也即是关键点49-关键点68的范围内；也可以遮挡于嘴部和鼻部的下半部，也即是关键点31-关键点36和关键点49-关键点68的范围内；另外，根据预设的组合方式还可以将手掌遮挡于同时包括待组合人脸图像的关键点2、关键点16组成的分界线之上和之下的部分，可选的，可以遮挡于整个鼻部，也即是关键点28-关键点36的范围内。需要说明的是，由于待组合非目标遮挡物的大小不同，因此，其遮挡的范围也会有所不同，在遮挡的过程中，可能还会遮挡到脸部轮廓中的某个或者某几个关键点，这些遮挡方式都可以在预设组合方式中，在此不作限制。
S123：将非目标遮挡物遮挡后的人脸图像加入人脸遮挡样本。
组合遮挡完成后，可以获取非目标遮挡物遮挡后的人脸图像，并可以将这些图像加入到人脸遮挡样本中，用以对预设深度学习网络进行训练。相应地，还可以将这些非目标遮挡物遮挡后的人脸图像中非目标遮挡物的标签也加入到人脸遮挡样本中，当使用人脸遮挡样本中的图像进行训练时，可以根据其对应的非目标遮挡物的标签来判定该人脸遮挡样本中图像的非目标遮挡物的类型。
综上，本申请实施例提供的获取人脸遮挡样本的方法中，可以通过在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像，提升了组合方式的多样性，进而根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，实现了获取大量非目标遮挡物遮挡后的人脸图像的目的，进而可以增加人脸遮挡样本的数量。
以下通过具体实施例来解释上述划分遮挡区域的示例，图7示出了本申请实施例提供的人脸遮挡区域划分的示意图，请结合参照图6和图7，在一些实施例中，预设组合方式包括多种组合方式，不同组合方式基于关键点坐标的遮挡位置、遮挡范围不同。
预设组合方式可以是令待组合非目标遮挡物的图像遮挡于待组合人脸图像的分界线以下任意部分或者同时包括分界线以上和分界线以下的一部分。其中，遮挡位置可以根据分界线的范围来划分；以关键点2和关键点16之间的连线作为分界线时，预设组合方式为令待组合非目标遮挡物的图像遮挡于待组合人脸图像的分界线以下任意部分为例，遮挡范围可以是分界线以下整个区域，也即是图7中a子图中所示；也可以是分界线以下脸部轮廓的区域内，也即是图7中b子图中所示。
综上，本申请实施例提供的预设组合方式，可以包括多种组合方式，可以基于关键点坐标的遮挡位置、遮挡范围不同，进而可以增加预设组合方式的种类和数量。
下面通过本申请中具体的实施例来解释获取非目标遮挡物遮挡后的人脸图像的过程。
图8示出了本申请实施例提供的获取非目标遮挡物遮挡后的人脸图像的流程示意图，可选地，上述步骤S122中，根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，包括：
S1221：在多种组合方式中随机选取一种目标组合方式。
其中，多种组合方式即是上述的预设组合方式，可以在所有的组合方式中随机选择其中的一种作为目标组合方式进行组合，也可以根据训练的需求选择其中的某一类组合方式，并随机选择该类组合方式中的一种作为目标组合方式进行组合。
可选地，为了提高样本的质量，还可以根据日常生活中人们在使用非目标遮挡物或者目标遮挡物遮挡脸部时经常遮挡的区域来选择对应的类型的组合方式，并在该类组合方式中随机选择其中的一种作为目标组合方式进行组合。
S1222：根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。
其中，确定了一种目标组合方式之后，可以根据待组合人脸图像上的关键点坐标进行组合，在组合的过程中，可以先根据目标组合方式确定遮挡位置和遮挡范围，然后可以根据遮挡位置和遮挡范围确定其在待组合人脸图像上实际对应的关键点坐标，接下来可以将待组合非目标遮挡物的图像置于待组合人脸图像中确定的关键点坐标上，从而完成整个组合过程。需要说明的是，上述组合步骤仅仅是一种可选的方式，在实际组合的过程中，可能还会出现选择的范围与待组合非目标遮挡物的图像的大小不符合的情况，若出现上述情况或者其他不符合的情况，还可以重新调整并选择目标组合方式，进而再次执行步骤S1222的过程，直到符合组合条件为止。组合完成后，可以获取得到非目标遮挡物遮挡后的人脸图像。
综上，本申请实施例提供的获取非目标遮挡物遮挡后的人脸图像的方法中，可以在多种组合方式中随机选取一种目标组合方式，然后根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，进而可以增加获取非目标遮挡物遮挡后的人脸图像的随机性，让组合方式更多、更灵活，相应地，也能增加非目标遮挡物遮挡后的人脸图像的类型和数量。
另外，除了上述步骤之外，本申请还可以通过以下实施例解释获取非目标遮挡物遮挡后的人脸图像的另一实施方式。
图9示出了本申请实施例提供的获取非目标遮挡物遮挡后的人脸图像的另一流程示意图，可选地，上述步骤S122中，根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，包括：
S1223：根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域。
其中，在遮挡的过程中，可以先根据待组合人脸图像上的关键点坐标、以及目标组合方式确定在待组合人脸图像中实际需要的遮挡区域，该遮挡区域可以与待组合非目标遮挡物的图像的大小相同，也可以是待组合非目标遮挡物的图像中的某一个部分。
S1224：采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像。
其中，确定了遮挡区域之后，可以将待组合非目标遮挡物的图像填充至遮挡区域上，也即是相当于待组合非目标遮挡物的图像置于待组合人脸图像中的遮挡区域之上，填充完毕后，将该图像作为非目标遮挡物遮挡后的人脸图像获取之。
综上，本申请实施例提供的获取非目标遮挡物遮挡后的人脸图像的另一方法中，可以根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域，并采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像，可以保障与原非目标遮挡物的吻合，进而也可以提高非目标遮挡物的图像遮挡待组合人脸图像的准确性。
在一些实施例中，上述步骤S1224中，采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像，可以包括：
采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像。
其中，图像处理方法可以是预设的像素提取的方式，也即是可以将一张图片中的所有或者部分像素复制并粘贴到另一张图片的某个区域之上。具体地，可以将待组合非目标遮挡物的图像中对应位置的像素值复制并粘贴到待组合人脸图像中的遮挡区域上。
另外，在填充的过程中，具体可以将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置。例如，当待组合非目标遮挡物的图像为手臂的图像时，可以将手臂的图像中与遮挡区域对应的位置的图像(可以是图像中手臂的一节，也可以是整个手臂)的像素值拷贝下来，并将其置于遮挡区域中的对应位置。遮挡完成后，可以获取非目标遮挡物遮挡后的人脸图像。
采取上述方法完成对预设深度学习网络的训练之后，可以采取训练得到的遮挡物识别模型来对遮挡物进行识别，具体识别过程通过以下实施例进行解释。使用场景可以包括：公共场所入口处，采集待进入人员的图像，输出识别结果；或者，乘坐公共出行工具(例如公交、网约车等)时，采集乘车人的图像，例如采用车载设备采集、也可以是通过用户自己的手持终端采集，再通过登录自己的账号传输至服务器等，在此不作具体限制。
综上，在本申请上述实施例中，可以采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像，可以提高非目标遮挡物的图像遮挡待组合人脸图像的遮挡区域的准确性。
图10示出了本申请实施例提供的遮挡物识别方法的流程示意图，可选地，本方法的执行主体可以是上述遮挡识别设备，本实施例中的遮挡物识别方法，可以包括：
S210：获取待识别图像。
待识别图像包括含有遮挡物的人脸图像。
其中待识别图像可以通过人脸采集设备(例如：手机、相机、电脑、内嵌于其它设备中的摄像头等)来识别进行获取。待识别的图像可以是含有遮挡物的人脸图像，也可以是不含有遮挡物的人脸图像。若是不含有遮挡物的人脸图像，则可以认为该待识别图像不含有遮挡物，不需要进行S220的判定，且可以提示不符合要求；若是含有遮挡物的人脸图像，则可以进入S220进行遮挡物识别。另外，若获取得到的待识别图像中不包括人脸或者人脸难以识别，则可以提示人脸图像获取失败，以使用户可以重新进行待识别图像的获取。
例如，当该方法的应用场景为通过手机判定待识别图像中的人脸图像中是否佩戴口罩时，获取的待识别图像可以是用户通过手机摄像头拍摄的人脸图像。
S220：采用遮挡物识别模型识别待识别图像中的遮挡物是否为目标遮挡物。
其中，遮挡物识别模型由人脸遮挡样本训练获取，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签，人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。
其中，遮挡物识别模型即为上述遮挡物识别模型训练方法得到的模型，当该方法的应用场景为通过手机判定待识别图像中的人脸图像中是否佩戴口罩时，可以通过遮挡物识别模型对待识别图像进行判定，若检测到该待识别图像中的人脸前没有遮挡物时，则可以认为不存在有相应的遮挡物，也即是用户未佩戴口罩；若检测到该待识别图像中的人脸前有遮挡物，则会判定该遮挡物的类型，若通过该遮挡物识别模型判定认为该遮挡物为目标遮挡物，则可以认为该用户佩戴了口罩；若通过该遮挡物识别模型判定认为该遮挡物为非目标遮挡物，则可以认为该用户未佩戴口罩，是通过其他遮挡物伪装口罩佩戴。
相应地，基于上述识别方法，如果识别到用户使用的遮挡物是目标遮挡物则通过识别，可以进行后续操作；如果是不存在遮挡物，或者使用的是非目标遮挡物，则可以生成违规提示消息，例如通过手机或者其他识别设备向用户展示违规提示消息，还可以向服务器上报违规提示消息等，本申请实施例不作限制。
综上，本实施例提供的遮挡物识别方法，可以通过采用大量人脸遮挡样本和预设深度学习网络，训练获取的遮挡物识别模型对待识别图像进行识别，可以提高对非目标遮挡物对应的待识别图像的识别能力，增加对非目标遮挡物检测的准确性。
如下将通过多个具体实施例对本申请所提供的遮挡物识别模型训练装置进行详细说明。
图11示出了本申请实施例提供的遮挡物识别模型训练装置的结构示意图，可选地，如图11所示，该遮挡物识别模型训练装置可以包括：样本获取模块301、样本训练模块302；
样本获取模块301，用于获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；
样本获取模块301，还用于根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；
样本训练模块302，用于采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。
在一些实施例中，样本获取模块301，具体用于获取包含未遮挡人脸的原始图像；采用人脸检测算法检测获取原始图像中的人脸；采用预设关键点检测算法检测并标注人脸的多个关键点坐标，将标注后的人脸图像加入人脸样本集合。
在一个实施例中，样本获取模块301，具体用于在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像；将非目标遮挡物遮挡后的人脸图像加入人脸遮挡样本。
在一些实施例中，该装置中的预设组合方式包括多种组合方式，不同组合方式基于关键点坐标的遮挡位置、遮挡范围不同。
在一些实施例中，样本获取模块301，具体用于在多种组合方式中随机选取一种目标组合方式；根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。
在一些实施例中，样本获取模块301，具体用于根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域；采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像。
在一些实施例中，样本获取模块301，具体用于采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像。
综上，本实施例提供的遮挡物识别模型训练装置，可以通过获取人脸样本集合、遮挡物负样本集合，并根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，进而再训练获取遮挡物识别模型。实现了可以分别采集人脸样本集合、遮挡物负样本集合，通过随机组合就可以获取大量的人脸遮挡样本，可以大大提升人脸遮挡样本的获取效率和数据，进而再进行模型训练，也就可以更加提升遮挡物识别模型的训练效果和后续的识别准确度。
图12示出了本申请实施例提供的遮挡物识别装置的结构示意图，可选地，如图12所示，该遮挡物识别装置，可以包括：图像获取模块401、图像识别模块402；
图像获取模块401，用于获取待识别图像，待识别图像包括含有遮挡物的人脸图像；
图像识别模块402，用于采用遮挡物识别模型识别待识别图像中的遮挡物是否为目标遮挡物，其中，遮挡物识别模型由人脸遮挡样本训练获取，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签，人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。
综上，本实施例提供的遮挡物识别装置，可以通过采用大量人脸遮挡样本和预设深度学习网络，训练获取的遮挡物识别模型对待识别图像进行识别，可以提高对非目标遮挡物对应的待识别图像的识别能力，增加对非目标遮挡物检测的准确性。
可选地，本申请提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述方法的步骤，也将具有与前述相同的技术效果，本申请在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (19)
1.一种遮挡物识别模型训练方法，其特征在于，包括：
获取人脸样本集合、遮挡物负样本集合，其中，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签；
根据所述人脸样本集合、所述遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，所述人脸遮挡样本包括：不同所述非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签；
采用所述人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。
2.根据权利要求1所述的方法，其特征在于，所述获取人脸样本集合，包括：
获取包含未遮挡人脸的原始图像；
采用人脸检测算法检测获取所述原始图像中的人脸；
采用预设关键点检测算法检测并标注所述人脸的多个关键点坐标，将标注后的人脸图像加入所述人脸样本集合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸样本集合、所述遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，包括：
在所述人脸样本集合中随机选取一个待组合人脸图像、在所述遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；
根据所述待组合人脸图像上的关键点坐标、以及所述预设组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像；
将所述非目标遮挡物遮挡后的人脸图像加入所述人脸遮挡样本。
4.根据权利要求3所述的方法，其特征在于，所述预设组合方式包括多种组合方式，不同组合方式基于所述关键点坐标的遮挡位置、遮挡范围不同。
5.根据权利要求4所述的方法，其特征在于，所述根据所述待组合人脸图像上的关键点坐标、以及所述预设组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像，包括：
在多种所述组合方式中随机选取一种目标组合方式；
根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像，包括：
根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，确定所述待组合人脸图像中的遮挡区域；
采用所述待组合非目标遮挡物的图像填充所述遮挡区域，获取所述非目标遮挡物遮挡后的人脸图像。
7.根据权利要求6所述的方法，其特征在于，所述采用所述待组合非目标遮挡物的图像填充所述遮挡区域，获取所述非目标遮挡物遮挡后的人脸图像，包括：
采用图像处理方法，将所述待组合非目标遮挡物的图像中对应位置的像素值拷贝到所述遮挡区域的对应位置，获取所述非目标遮挡物遮挡后的人脸图像。
8.一种遮挡物识别方法，其特征在于，包括：
获取待识别图像，所述待识别图像包括含有遮挡物的人脸图像；
采用遮挡物识别模型识别所述待识别图像中的遮挡物是否为目标遮挡物，其中，所述遮挡物识别模型由人脸遮挡样本训练获取，所述人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签，所述人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签。
9.一种遮挡物识别模型训练装置，其特征在于，包括：样本获取模块、样本训练模块；
所述样本获取模块，用于获取人脸样本集合、遮挡物负样本集合，其中，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签；
所述样本获取模块，还用于根据所述人脸样本集合、所述遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，所述人脸遮挡样本包括：不同所述非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签；
所述样本训练模块，用于采用所述人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。
10.根据权利要求9所述的装置，其特征在于，所述样本获取模块，具体用于获取包含未遮挡人脸的原始图像；采用人脸检测算法检测获取所述原始图像中的人脸；采用预设关键点检测算法检测并标注所述人脸的多个关键点坐标，将标注后的人脸图像加入所述人脸样本集合。
11.根据权利要求10所述的装置，其特征在于，所述样本获取模块，具体用于在所述人脸样本集合中随机选取一个待组合人脸图像、在所述遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；根据所述待组合人脸图像上的关键点坐标、以及所述预设组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像；将所述非目标遮挡物遮挡后的人脸图像加入所述人脸遮挡样本。
12.根据权利要求11所述的装置，其特征在于，所述预设组合方式包括多种组合方式，不同组合方式基于所述关键点坐标的遮挡位置、遮挡范围不同。
13.根据权利要求12所述的装置，其特征在于，所述样本获取模块，具体用于在多种所述组合方式中随机选取一种目标组合方式；根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像。
14.根据权利要求13所述的装置，其特征在于，所述样本获取模块，具体用于根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，确定所述待组合人脸图像中的遮挡区域；采用所述待组合非目标遮挡物的图像填充所述遮挡区域，获取所述非目标遮挡物遮挡后的人脸图像。
15.根据权利要求14所述的装置，其特征在于，所述样本获取模块，具体用于采用图像处理方法，将所述待组合非目标遮挡物的图像中对应位置的像素值拷贝到所述遮挡区域的对应位置，获取所述非目标遮挡物遮挡后的人脸图像。
16.一种遮挡物识别装置，其特征在于，包括：图像获取模块、图像识别模块；
所述图像获取模块，用于获取待识别图像，所述待识别图像包括含有遮挡物的人脸图像；
所述图像识别模块，用于采用遮挡物识别模型识别所述待识别图像中的遮挡物是否为目标遮挡物，其中，所述遮挡物识别模型由人脸遮挡样本训练获取，所述人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签，所述人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签。
17.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一所述方法的步骤。
18.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求8所述方法的步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010334114.5A CN111860566B (zh) | 2020-04-24 | 2020-04-24 | 遮挡物识别模型训练方法、识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010334114.5A CN111860566B (zh) | 2020-04-24 | 2020-04-24 | 遮挡物识别模型训练方法、识别方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860566A true CN111860566A (zh) | 2020-10-30 |
| CN111860566B CN111860566B (zh) | 2024-06-28 |
Family
ID=72985181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010334114.5A Active CN111860566B (zh) | 2020-04-24 | 2020-04-24 | 遮挡物识别模型训练方法、识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860566B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396125A (zh) * | 2020-12-01 | 2021-02-23 | 中国第一汽车股份有限公司 | 一种定位测试场景的分类方法、装置、设备及存储介质 |
| CN112434807A (zh) * | 2020-11-24 | 2021-03-02 | 上海鹰瞳医疗科技有限公司 | 深度学习模型性能验证方法及设备 |
| CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
| CN112766208A (zh) * | 2021-01-28 | 2021-05-07 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| CN113012176A (zh) * | 2021-03-17 | 2021-06-22 | 北京百度网讯科技有限公司 | 样本图像的处理方法、装置、电子设备及存储介质 |
| CN113269137A (zh) * | 2021-06-18 | 2021-08-17 | 常州信息职业技术学院 | 一种结合PCANet和遮挡定位的非配合人脸识别方法 |
| CN113486803A (zh) * | 2021-07-07 | 2021-10-08 | 北京沃东天骏信息技术有限公司 | 视频中嵌入图像的装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201711353D0 (en) * | 2017-07-14 | 2017-08-30 | Idscan Biometrics Ltd | Improvements relating to face recognition |
| WO2020015477A1 (zh) * | 2018-07-16 | 2020-01-23 | 阿里巴巴集团控股有限公司 | 一种人脸识别方法及终端设备 |
| CN110826519A (zh) * | 2019-11-14 | 2020-02-21 | 深圳市华付信息技术有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-04-24 CN CN202010334114.5A patent/CN111860566B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201711353D0 (en) * | 2017-07-14 | 2017-08-30 | Idscan Biometrics Ltd | Improvements relating to face recognition |
| WO2020015477A1 (zh) * | 2018-07-16 | 2020-01-23 | 阿里巴巴集团控股有限公司 | 一种人脸识别方法及终端设备 |
| CN110826519A (zh) * | 2019-11-14 | 2020-02-21 | 深圳市华付信息技术有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 周丽芳;文佳黎;李伟生;: "基于TI-SPCA的人脸自动对齐及识别框架", 计算机工程与应用, no. 24 * |
| 高健豪;宋春林;: "一种带遮挡的人脸特征快速提取算法", 信息技术与信息化, no. 12 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434807A (zh) * | 2020-11-24 | 2021-03-02 | 上海鹰瞳医疗科技有限公司 | 深度学习模型性能验证方法及设备 |
| CN112396125A (zh) * | 2020-12-01 | 2021-02-23 | 中国第一汽车股份有限公司 | 一种定位测试场景的分类方法、装置、设备及存储介质 |
| CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
| CN112766208A (zh) * | 2021-01-28 | 2021-05-07 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| CN113012176A (zh) * | 2021-03-17 | 2021-06-22 | 北京百度网讯科技有限公司 | 样本图像的处理方法、装置、电子设备及存储介质 |
| CN113012176B (zh) * | 2021-03-17 | 2023-12-15 | 阿波罗智联(北京)科技有限公司 | 样本图像的处理方法、装置、电子设备及存储介质 |
| CN113269137A (zh) * | 2021-06-18 | 2021-08-17 | 常州信息职业技术学院 | 一种结合PCANet和遮挡定位的非配合人脸识别方法 |
| CN113269137B (zh) * | 2021-06-18 | 2023-10-31 | 常州信息职业技术学院 | 一种结合PCANet和遮挡定位的非配合人脸识别方法 |
| CN113486803A (zh) * | 2021-07-07 | 2021-10-08 | 北京沃东天骏信息技术有限公司 | 视频中嵌入图像的装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860566B (zh) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860566B (zh) | 遮挡物识别模型训练方法、识别方法、装置及存储介质 | |
| CN110070056B (zh) | 图像处理方法、装置、存储介质及设备 | |
| CN111523480B (zh) | 一种面部遮挡物的检测方法、装置、电子设备及存储介质 | |
| US10817705B2 (en) | Method, apparatus, and system for resource transfer | |
| CN104850828B (zh) | 人物识别方法及装置 | |
| CN112633144A (zh) | 人脸遮挡检测方法、系统、设备及存储介质 | |
| CN107710228A (zh) | 半自动图像分割 | |
| CN107527046B (zh) | 解锁控制方法及相关产品 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| US20200250830A1 (en) | Method for extracting person region in image and apparatus using the same | |
| CN113255606A (zh) | 行为识别方法、装置、计算机设备及存储介质 | |
| CN110866236B (zh) | 隐私图片显示方法、装置、终端及存储介质 | |
| CN111598021B (zh) | 面部遮挡物的佩戴检测方法、装置、电子设备及存储介质 | |
| CN106971164A (zh) | 脸型匹配方法及装置 | |
| JP7332813B2 (ja) | 画像処理方法、装置、電子デバイス及び記憶媒体 | |
| CN111597910A (zh) | 一种人脸识别方法、装置、终端设备及介质 | |
| CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| CN106096043A (zh) | 一种拍照方法和移动终端 | |
| CN108764139A (zh) | 一种人脸检测方法、移动终端及计算机可读存储介质 | |
| CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
| CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
| CN110675413B (zh) | 三维人脸模型构建方法、装置、计算机设备及存储介质 | |
| CN108664908A (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN107862259A (zh) | 人像采集方法及装置、终端装置和计算机可读存储介质 | |
| US20210158579A1 (en) | Image processing method and apparatus, electronic device, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |