CN113011277B - 基于人脸识别的数据处理方法、装置、设备及介质 - Google Patents
基于人脸识别的数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113011277B CN113011277B CN202110214979.2A CN202110214979A CN113011277B CN 113011277 B CN113011277 B CN 113011277B CN 202110214979 A CN202110214979 A CN 202110214979A CN 113011277 B CN113011277 B CN 113011277B
- Authority
- CN
- China
- Prior art keywords
- face
- data
- mask
- random
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000007781 pre-processing Methods 0.000 claims abstract description 51
- 238000009877 rendering Methods 0.000 claims description 36
- 238000005286 illumination Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 15
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于人脸识别的数据处理方法、装置、设备及介质，涉及人脸识别技术领域，该数据处理方法包括：获取人脸图片数据；依据所述人脸图片数据确定人脸区域数据和人脸关键点数据；结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据；依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果。本发明实施例解决了现有技术中采用固定的口罩图片作为蒙版导致口罩人脸检测与识别模型在实际场景中应用时鲁棒性低、人脸识别效率低的问题。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于人脸识别的数据处理方法、装置、设备及介质。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，利用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而可以对检测到的人脸图像进行一系列的相关应用操作。在人脸遮挡情况下，采集到的脸部遮挡人脸图像会严重降低人脸识别率，如佩戴口罩是严重的人脸遮挡情况，如何对佩戴口罩的用户进行有效的人脸识别，给人脸识别技术带来新的挑战。
现有口罩人脸识别算法的训练数据大部分是基于未戴口罩人脸数据进行预处理后形成的遮挡人脸数据，以提取的口罩图片图片作为蒙版，即以口罩图片作为口罩(Mask)覆盖到脸部的口罩佩戴区域内。由于用以遮挡区域的口罩图片样式较为有限，且覆盖到人脸后，其光照特征及其形变特征与实际场景下捕捉的口罩人脸图像差异较大，因此，由此训练的口罩人脸检测与识别模型在实际场景中应用时的鲁棒性较低。
发明内容
有鉴于此，本发明实施例提供一种基于人脸识别的数据处理方法、装置、设备及介质，以鲁棒地实现人员对应不同口罩款式、不同佩戴方式的人脸识别，提高人脸识别率。
第一方面，本发明实施例提供了一种基于人脸识别的数据处理方法，包括：
获取人脸图片数据；
依据所述人脸图片数据确定人脸区域数据和人脸关键点数据；
结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据；
依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果。
可选的，所述依据所述人脸图片数据确定人脸区域数据和人脸关键点数据，包括：
通过预先训练的人脸检测模型对所述人脸图片数据进行人脸检测，得到人脸区域数据；
依据所述人脸区域数据进行人脸裁剪，得到裁剪图片数据；
通过预先训练的人脸关键点模型对所述裁剪图片数据进行人脸关键点提取，得到人脸关键点数据。
可选的，所述结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据，包括：
依据所述人脸关键点数据，按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染，得到随机渲染口罩数据；
基于所述随机渲染口罩数据生成预处理人脸图像数据。
可选的，所述随机渲染口罩数据包括：口罩纹理数据、口罩区域数据、口罩颜色数据、光照亮度数据、口罩形状数据、口罩佩戴位置数据和/或口罩佩戴数据；其中，所述口罩区域数据包含有效区域数据和边缘区域数据；
所述预处理方式包括以下至少一种：随机纹理添加方式、随机划分口罩区域方式、分区随机颜色添加方式、随机光照处理方式、随机轮廓扩展方式，随机佩戴位置匹配方式和随机佩戴口罩方式；
按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染的步骤包括以下至少一种：
按照随机纹理添加方式在所述口罩佩戴区域上添加随机纹理，以产生口罩纹理数据；
按照随机划分口罩区域方式，以随机比例将所述口罩佩戴区域划分为边缘区域和有效区域，以得到边缘区域数据和有效区域数据；
按照分区随机颜色添加方式，对所述口罩佩戴区域中的有效区域与边缘区域进行随机颜色渲染，以得到口罩颜色数据；
按照随机光照处理方式，对所述口罩佩戴区域进行随机分区曝光，以得到光照亮度数据；
按照随机轮廓扩展方式，对所述口罩佩戴区域上的口罩轮廓进行随机扩展，以得到口罩形状数据；
按照随机佩戴位置匹配方式，在所述口罩佩戴区域上进行口罩轮廓的随机匹配，以确定口罩佩戴位置数据；
按照随机佩戴口罩方式，以随机概率对所述口罩佩戴区域进行口罩覆盖，得到口罩佩戴数据。
可选的，依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果，包括：
通过预先训练的人脸识别模型对所述预处理人脸图像数据进行特征提取，得到目标人脸特征数据；
依据所述目标人脸特征数据与预设人脸特征数据库中的人脸特征数据进行距离计算，得到相似度数据；
依据所述相似度数据确定所述人脸图片数据对应的人脸识别结果。
可选的，上述基于人脸识别的数据处理方法还包括：
获取人脸识别数据集中的人脸识别数据，所述人脸识别数据包含待训练人脸数据和所述待训练人脸数据对应的人员信息；
依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据；
依据所述待训练人脸关键点数据，对所述待训练人脸区域数据进行随机动态组合预处理，得到所述人员信息对应的人脸训练数据；
依据所述人脸训练数据进行模型训练，得到人脸识别模型。
可选的，依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据，包括：
将所述待训练人脸图像数据输入到人脸检测模型，以通过所述人脸检测模型进行人脸检测，得到待训练人脸区域数据；
结合待训练人脸区域数据，通过所述人脸关键点模型对所述待训练人脸图像数据进行关键点提取，得到待训练人脸关键点数据。
第二方面，本发明实施例还提供了一种基于人脸识别的数据处理装置，包括：
数据获取模块，用于获取人脸图片数据；
数据确定模块，用于依据所述人脸图片数据确定人脸区域数据和人脸关键点数据；
预处理模块，用于结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据；
人脸识别模块，用于依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果。
第三方面，本发明实施例还提供了一种基于人脸识别的数据处理设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述数据处理设备执行如第一方面所述的基于人脸识别的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，当所述可读存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如第一方面所述的基于人脸识别的数据处理方法。
本发明实施例通过依据获取到的人脸图片数据确定出人脸区域数据和人脸关键点数据，以结合人脸关键点数据对人脸区域数据进行随机动态组合预处理，即依据人脸关键点对口罩佩戴范围的关键区域按照一定几率进行动态的随机组合预处理，并依据随机动态组合预处理后得到预处理人脸图像数据进行人脸识别，达到依据关键点对脸上的口罩佩戴区域进行随机组合渲染的目的，解决了现有技术中采用固定的口罩图片作为蒙版导致口罩人脸检测与识别模型在实际场景中应用时鲁棒性低差、人脸识别效率低等问题，提高人脸识别效率。
附图说明
图1为本发明实施例提供的一种基于人脸识别的数据处理方法的步骤流程图；
图2是本发明可选实施例中的一种基于人脸识别的数据处理方法的步骤流程图；
图3是本发明一个可选示例中的一种人脸检测模型、人脸关键点模型以及人脸识别模型的训练示意图；
图4是本发明一个可选实施例中的一种基于人脸识别的数据处理方法的步骤流程图；
图5本发明一个可选示例中的人脸识别模型在应用阶段进行人脸识别的示意图；
图6是本发明实施例中的一种基于人脸识别的数据处理装置的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种基于人脸识别的数据处理方法的步骤流程图，本实施例可适用于基于人脸识别的数据处理情况，如可以适用于口罩人脸检测与识别情况，该方法可以由基于人脸识别的数据处理装置来执行，该基于人脸识别的数据处理装置可采用软件和/或硬件的方式实现。具体的，如图1所示，该基于人脸识别的数据处理具体包括如下步骤：
步骤110、获取人脸图片数据。
其中，人脸图片数据可以包括需要进行人脸识别的图片数据，如可以包括通过摄像头采集到的人脸图片数据等，本发明实施例对此不作具体限制。
步骤120、依据所述人脸图片数据确定人脸区域数据和人脸关键点数据。
具体而言，本发明实施例在获取到需要进行人脸识别的人脸图片数据后，可以依据该人脸图片数据进行人脸检测与定位，得到人脸图片数据对应的人脸区域数据，并可依据该人脸区域数据进行关键点提取，得到人脸图片数据对应的人脸关键点数据。该人脸关键点数据可以用于表示需要进行人脸识别的人脸图片的人脸关键点。
在一个可选实施方式中，可以通过预先训练好的人脸检测模型对获取到的人脸图片数据进行人脸检测，得到人脸定位与区域信息，以作为人脸区域数据，随后可结合该人脸区域数据，通过预先训练好的人脸关键点模型进行人脸关键点提取，得到人脸关键点数据，以便后续依据人脸关键点数据对人脸图片数据的口罩佩戴区域进行随机组合预处理，即执行步骤130。
进一步的，本发明实施例依据所述人脸图片数据确定人脸区域数据和人脸关键点数据，具体可以包括：通过预先训练的人脸检测模型对所述人脸图片数据进行人脸检测，得到人脸区域数据；依据所述人脸区域数据进行人脸裁剪，得到裁剪图片数据；通过预先训练的人脸关键点模型对所述裁剪图片数据进行人脸关键点提取，得到人脸关键点数据。其中，人脸区域数据可以用于表示人脸所在的位置和区域范围；裁剪图片数据可以表示裁剪后得到的图片，如可以表示本发明实施例中根据人脸所在位置和区域范围对人脸图片进行裁剪后得到的图片，从而使得人脸关键点模块可以通过裁剪后的图片进行人脸关键点提取，提高人脸关键点提取效率。
步骤130、结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据。
具体的，本发明实施例在得到人脸关键点数据和人脸区域数据后，可以结合人脸关键点数据，对人脸区域数据对应的口罩佩戴区域进行随机动态组合预处理，即依据人脸关键点对人脸图片上的口罩佩戴区域进行随机组合的渲染，以渲染出不同口罩对应的预处理人脸图片数据，以便后续可以根据预处理人脸图片数据进行人脸识别。
进一步而言，本发明实施例结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据，具体可以包括：依据所述人脸关键点数据，按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染，得到随机渲染口罩数据；基于所述随机渲染口罩数据生成预处理人脸图像数据。其中，随机渲染口罩数据可以表示对口罩佩戴区域进行随机组合渲染产生的口罩；预处理人脸图片数据可以表示预处理后产生的添加了随机渲染口罩数据的人脸图片。
步骤140，依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果。
可见，本发明实施例在依据获取到的人脸图片数据确定出人脸区域数据和人脸关键点数据后，结合人脸关键点数据对人脸区域数据进行随机动态组合预处理，即依据人脸关键点对口罩佩戴范围的关键区域按照一定几率进行动态的随机组合预处理，达到依据关键点对脸上的口罩佩戴区域进行随机组合渲染的目的，随后依据随机动态组合预处理后得到的预处理人脸图像数据进行人脸识别，从而解决了现有技术中采用固定的口罩图片遮挡口罩佩戴区域导致口罩人脸检测与识别模型在实际场景应用时鲁棒性低的问题，提高人脸识别效率。
具体而言，本发明实施在得到预处理人脸图像数据后，可以将该预处理人脸图像数据输入到预先训练好的人脸识别模型中进行特征提取，并可将提取到的人脸特征数据与数据库中已经存储的人脸特征数据进行计算，从而可以基于计算结果匹配出提取到的人脸特征数据对应的人员信息，进而可以依据匹配出的人员信息确定出人脸图片数据的人脸识别结果，达到人脸识别的目的。其中，计算结果可以用于表征提取到的人脸特征数据与数据库中已经存储的人脸特征数据之间的相似度，如可以包含有相似度数据等，本实施例对此不作具体限制。需要说明的是，相似度数据可以用于表示提取到的人脸特征数据与数据库中已经存储的人脸特征数据之间的相似度。
进一步而言，本发明实施例依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果，具体可以包括：通过预先训练的人脸识别模型对所述预处理人脸图像数据进行特征提取，得到目标人脸特征数据；依据所述目标人脸特征数据与预设人脸特征数据库中的人脸特征数据进行距离计算，得到相似度数据；依据所述相似度数据确定所述人脸图片数据对应的人脸识别结果。其中，目标人脸特征数据可以是指通过人脸识别模型提取到的人脸特征数据，如可以是通过人脸识别模型提取到的人脸特征向量，本实施例对此不作具体限制。需要说明的是，人脸特征向量的特征值可以与人脸图片数据对应的人员信息关联存储在数据库中，且该人脸特征向量的特征值与关联存储的人员信息可以具有一一对应的关系。
在实际处理中，本发明实施例可以在训练阶段获取人脸识别数据集，并可利用人脸识别数据集中的人脸识别数据结合人脸区域数据进行人脸识别模型的训练，从而训练出人脸识别模型。其中，人脸识别数据集可以用于训练人脸识别模型，具体可以是人脸识别公开数据集，如可以是大规模人脸识别公开数据集，具体可以包括用于训练人脸识别模型的待训练人脸数据和人脸训练数据对应的人员信息。需要说明的是，待训练人脸数据可以表示用于模型训练的人脸图片；待训练人脸数据对应的人员信息可以是指用于模型训练的人脸图片的人员信息，如可以包含有用户名、性别、年龄、职位、工作部门等，本实施例对此不作具体限制。
在上述实施例的基础上，可选的，如图2所示，本发明实施例提供的基于人脸识别的数据处理方法还可以包括如下步骤：
步骤210，获取人脸识别数据集中的人脸识别数据，所述人脸识别数据包含待训练人脸数据和所述待训练人脸数据对应的人员信息；
步骤220，依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据；
步骤230，依据所述待训练人脸关键点数据，对所述待训练人脸区域数据进行随机动态组合预处理，得到所述人员信息对应的人脸训练数据；
步骤240，依据所述人脸训练数据进行模型训练，得到人脸识别模型。
具体而言，本发明实施例在训练过程中获取到的人脸识别数据集中的人脸识别数据后，可以将该人脸识别数据中的待训练人脸数据分别输入到预先训练好的人脸检测模型和人脸关键点模型，以通过预先训练好的人脸检测模型对待训练人脸数据进行人脸检测，得到待训练人脸区域数据，并通过预先训练好的人脸关键点模型进行关键点提取，得到待训练人脸关键点数据，以便后续可以依据待训练人脸关键点数据对待训练人脸区域数据进行随机动态组合预处理，得到人员信息对应的人脸训练数据，并可采用该人脸训练数据进行人脸识模型的训练，以加强人脸识别模型的训练效果，使得训练出的人脸识别模型能够鲁棒地实现人员对应不同口罩款式、不同佩戴方式的人脸识别，提高人脸识别模型的鲁棒性。其中，待训练人脸区域数据可以表示用于模型训练的人脸区域图片，具体可以包括用于模型训练的人脸区域数据。
作为本发明的一个可选示例，可以将整个训练过程分三部分，以每个模型的训练阶段作为独立的部分进行。如图3所示，可以利用公开的小规模人脸检测数据集，训练人脸检测模型，使得训练出的人脸检测模型具备从图片中检测出一个或多个人脸区域并定位，以便后续可以以该人脸检测模型进行大规模人脸识别数据集的检测与定位，得出大规模人脸识别数据集中每张人脸图片对应的人脸区域数据，即得出大规模人脸识别数据集的人脸定位与区域信息。
此外，可以利用公开的小规模人脸关键点数据集，训练人脸关键点模型，使得训练出的人脸关键点模型可以进行人脸关键点提取，以便后续可以利用该人脸关键点模型结合大规模人脸识别数据集与人脸区域数据进行关键点提取，得出大规模人脸识别数据集中每张人脸图片的人脸关键点数据，即得出大规模人脸识别数据集的人脸关键点。
在训练人脸识别模型时，可以利用公开的大规模人脸识别数据集结合人脸区域数据进行。具体而言，在训练过程中，可以将大规模人脸识别数据集中的每一张人脸图片送入到人脸检测模型和人脸关键点模型，使得每一张人脸图片经过人脸检测模型和人脸关键点模型计算，得到每一张人脸图片上人脸的多个关键点，以利用这些关键点对人脸图片上的口罩佩戴区域进行随机动态组合预处理，得到人脸训练数据，从而可以利用人脸训练数据训练人脸识别模型，得到人脸识别模型。
在本发明一个可选实施方式中，上述依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据，具体可以包括如下子步骤：
子步骤2201，将所述待训练人脸图像数据输入到人脸检测模型，以通过所述人脸检测模型进行人脸检测，得到待训练人脸区域数据；
子步骤2202,结合待训练人脸区域数据，通过所述人脸关键点模型对所述待训练人脸图像数据进行关键点提取，得到待训练人脸关键点数据。
具体而言，本发明实施例在从人脸识别数据集中获取到待训练人脸图像数据后，可以将获取到的待训练人脸图像数据输入到预先训练好的人脸检测模型，以通过人脸检测模块对该待训练人脸图像数据进行人脸检测，即通过人脸检测模型对用于模型训练的人脸图片进行人脸检测，得到待训练人脸区域数据，随后可将待训练人脸区域数据送入到预先训练好的人脸关键点模型，使得人脸关键点模块可以结合该待训练人脸区域数据对待训练人脸图像数据进行关键点提取，从而可以提取到用于模型训练的人脸关键数据，并作为待训练人脸关键点数据，以便后续可以依据该待训练人脸关键点数据对待训练人脸区域数据进行随机动态组合预处理，从而能够按照一定概率覆盖不同样式的口罩到大规模人脸识别数据中，加强人脸识别模型的训练效果。
作为本发明的一个示例，在人脸识别模型训练阶段，可以实时对输入人脸图片施加如下预处理组合：
第一，随机纹理，即在人脸图片的口罩区域上产生随机密度、大小、深度的线条、圆形、方形、三角形等纹理，以模拟真实场景下不同口罩的款式。
第二，随机划分口罩区域，即以随机比例将人脸图片上的口罩划分为边缘区域与有效区域，以模拟真实场景下不同口罩的款式。
第三，分区随机颜色，即对口罩的边缘区域与有效区域分别进行随机颜色渲染，以模拟真实场景下不同口罩的颜色差异。
第四，随机光照，即对人脸图片的口罩区域随机进行分区曝光，如将口罩区域在二维空间上平均划分为64个子块，以随机子块为中心点，施加服从二维正态分布的随机亮度光照，以模拟真实场景下的光照影响。
第五，随机轮廓，即对人脸图片的口罩轮廓相对于脸部轮廓进行随机扩展，如以脸部关键点及其扩展向量作为基础，模拟真实场景下各种大小、形状的口罩。
第六，随机佩戴位置，即将口罩轮廓在人脸图片的脸部预期佩戴区域范围内进行随机匹配，模拟真实场景下佩戴口罩的随意性。
第七，随机佩戴口罩，即以随机概率对人脸图片的面部区域覆盖口罩，进一步增强同一人员分别在佩戴与未佩戴口罩情况下的辨别能力。
本示例通过对人脸图片组合应用上述七种预处理方式中的任意一致或多种，对人脸图片的口罩佩戴范围的关键区域按照一定几率进行包含光照、色彩、纹理等方面动态地随机组合预处理，得到用于训练人脸识别模型的人脸训练数据，使得训练出的人脸识别模型在实际应用场景应用中无需人脸库录入人员的戴口罩人脸图像，即可对人员进行戴口罩人脸识别，鲁棒地实现人员对不同口罩款式、不同佩戴方式的人脸识别。需要说明的是，每种预处理方式可以由一个随机系数控制是否产生作用。
例如，在一张人脸图片经过人脸检测模型和人脸关键点模型计算，得出该人脸图片上人脸的多个关键点后，在预处理过程可以利用这些关键点，按一定概率选择是否对人脸进行预处理，即按照随机佩戴口罩方式，以随机概率对人脸图片的面部区域覆盖口罩。若选择对人脸图片的面部区域进行覆盖口罩预处理，则可以根据关键点的位置，随机以一定的偏移量进行口罩佩戴位置选择，即按照随机佩戴位置方式将口罩轮廓在人脸图片的脸部预期佩戴区域范围内进行随机匹配，随后可在匹配到的口罩佩戴区域内，以关键点位置为基础，随机地构建口罩区域，即按照随机轮廓方式对人脸图片的口罩轮廓相对于脸部轮廓进行随机扩展。然后，可再对佩戴区域进行划分，随机以一定范围内的高度分离出边缘区域(如口罩上下的缝合区域)与有效区域(如口罩有效过滤空气的区域)，即按照随机划分口罩区域方式，以随机比例将人脸图片上的口罩划分为边缘区域与有效区域，随后可对口罩区域的边缘区域与有效区域随机地渲染一样或不同的纹理、形状，即按照随机纹理方式，在人脸图片的口罩区域上产生随机密度、大小、深度的线条、圆形、方形、三角形等纹理，并可对口罩的边缘区域与有效区域分别进行随机上色，即按照分区随机颜色方式，对口罩的边缘区域与有效区域分别进行随机颜色渲染，随后可再对口罩区域划分多个区域，对每个区域以二维正态分布提高亮度，模仿随机灯光照射到口罩上的情况，即按照随机光照方式，对人脸图片的口罩区域随机进行分区曝光，从而完成人脸识别模型的训练图片预处理，得到人脸训练数据，随后可采用预处理后得到的人脸训练数据和该人脸训练数据对应的人员信息进行模型训练，以加强人脸识别模型的训练效果。
在实际处理中，本发明实施例可以以未戴口罩的人脸数据集为基础，通过提取人脸关键点，对口罩佩戴范围的关键区域按一定几率进行包括光照、色彩、纹理等方面动态地随机组合预处理，得到预处理后的人脸图像数据，随后可利用训练好的人脸识别模型，对预处理后的人脸图像数据进行特征提取，并可将提取到的人脸特征数据及其对应的人员信息存储在数据库中，以便后续在摄像头捕捉到戴口罩人脸图片时依据该数据库中的人脸特征数据进行距离计算，得到相似度数据，进而可以基于得到的相似度数据，根据实际场景设定的阈值来匹配口罩人脸图片对应的人员信息，实现人脸识别。
具体而言，在训练阶段训练出三个模型后，在应用阶段可以以人脸检测模型、人脸关键点模型、人脸识别模型的顺序来处理数据。具体的，可以将拍摄到的人脸图片送入人脸检测模型，得出该人脸图片中的人脸所在位置和区域范围，即通过人脸检测模型对获取到的人脸图片数据进行人脸检测，得到人脸区域数据。随后，可根据人脸所在位置和区域范围对人脸进行裁剪，并将裁剪后的图片送入人脸关键点模型，得出人脸关键点，即依据人脸区域数据进行人脸裁剪，得到裁剪图片数据，并通过人脸关键点模型对裁剪图片数据进行人脸关键点提取，得到人脸关键点数据，从而可以结合人脸关键点数据，对人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据，以依据预处理人脸图像数据进行人脸识别，即将裁剪后的图片结合关键点进行预处理，并将预处理后得到的预处理人脸图像数据送入人脸识别模型进行特征值提取，以及将提取到的人脸特征值与数据库中已经存储的人脸特征值进行距离计算，得出匹配结果，进而实现人脸识别。
参照图4，示出了本发明一个可选实施例中的一种基于人脸识别的数据处理方法的步骤流程图。具体的，本实施例提供的基于人脸识别的数据处理方法具体可以包括如下步骤：
步骤410，获取人脸图片数据。
步骤420，通过预先训练的人脸检测模型对所述人脸图片数据进行人脸检测，得到人脸区域数据。
例如，如图5所示，可以通过摄像头采集人脸，并可将采集到的人脸图像作为人脸图片数据，输入到人脸检测模型中进行人脸检测，得到人脸定位与区域信息，以作为人脸区域数据。其中，人脸定位与区域信息可以用于确定获取到的人脸图片中人脸所在的位置和区域范围。
步骤430，依据所述人脸区域数据进行人脸裁剪，得到裁剪图片数据。
具体的，本发明实施例在得到人脸区域数据后，可以基于该人脸区域数据对获取到的人脸图片数据中的人脸进行裁剪，以基于裁剪后的图片生成裁剪图片数据。例如，结合上述例子，在得到人脸定位与区域信息后，可以依据该人脸定位与区域信息，根据人脸所在位置和区域范围进行人脸对齐，以在人脸对齐后对获取到的人脸图片中的人脸进行裁剪，进而可以裁剪出对齐后的人脸图像，并可基于裁剪后得到的人脸图像生成裁剪图片数据。该裁剪图片数据可以表示对齐后的人脸图像。
步骤440，通过预先训练的人脸关键点模型对所述裁剪图片数据进行人脸关键点提取，得到人脸关键点数据。
具体的，本发明实施例可以将裁剪图片数据输入到人脸关键点模型，以通过人脸关键点模型进行关键点提取，如图5所示，将对齐后的人脸图像输入到人脸关键点模型，得到人脸关键点数据，以依据人脸关键点数据进行随机动态组合预处理，即执行步骤450和步骤460。
步骤450，依据所述人脸关键点数据，按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染，得到随机渲染口罩数据。
在具体实现中，随机渲染口罩数据可以包括以下至少一种：口罩纹理数据、口罩区域数据、口罩颜色数据、光照亮度数据、口罩形状数据、口罩佩戴位置数据和/或口罩佩戴数据等，本实施例对此不作具体限制。其中，口罩纹理数据可以表示口罩纹理；口罩区域数据可以表示口罩区域，具体可以包含有效区域数据和边缘区域数据，该有效区域数据可以用于表示口罩有效区域，边缘区域数据可以用于表示口罩边缘区域；口罩颜色数据可以表示口罩颜色；光照亮度数据可以表示光照亮度；口罩形状数据可以表示口罩形状；口罩佩戴位置数据可以表示口罩佩戴位置；口罩佩戴数据可以用于确定是否佩戴口罩。
预设的预处理方式可以包括以下至少一种：随机纹理添加方式、随机划分口罩区域方式、分区随机颜色添加方式、随机光照处理方式、随机轮廓扩展方式，随机佩戴位置匹配方式和随机佩戴口罩方式等，本发明实施例对此不作具体限制。
进一步而言，本发明实施例按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染的步骤，具体可以包括以下至少一种：按照随机纹理添加方式在所述口罩佩戴区域上添加随机纹理，以产生口罩纹理数据；按照随机划分口罩区域方式，以随机比例将所述口罩佩戴区域划分为边缘区域和有效区域，以得到边缘区域数据和有效区域数据；按照分区随机颜色添加方式，对所述口罩佩戴区域中的有效区域与边缘区域进行随机颜色渲染，以得到口罩颜色数据；按照随机光照处理方式，对所述口罩佩戴区域进行随机分区曝光，以得到光照亮度数据；按照随机轮廓扩展方式，对所述口罩佩戴区域上的口罩轮廓进行随机扩展，以得到口罩形状数据；按照随机佩戴位置匹配方式，在所述口罩佩戴区域上进行口罩轮廓的随机匹配，以确定口罩佩戴位置数据；按照随机佩戴口罩方式，以随机概率对所述口罩佩戴区域进行口罩覆盖，得到口罩佩戴数据。
步骤460，基于所述随机渲染口罩数据生成预处理人脸图像数据。
具体的，本发明实施例在得到随机渲染口罩数据后，可以采用该随机渲染口罩数据和人脸区域数据进行图像处理，得到预处理人脸图像数据，并可将得到的预处理人脸图像数据输入到人脸识别模型，如图5所示，以通过人脸识别模型进行人脸特征提取，即执行步骤470。
步骤470，通过预先训练的人脸识别模型对所述预处理人脸图像数据进行特征提取，得到目标人脸特征数据。
其中，目标人脸特征数据可以是指通过人脸识别模型提取到的人脸特征数据，如可以是通过人脸识别模型对预处理后人脸图像提取到的人脸特征向量等。
步骤480，依据所述目标人脸特征数据与预设人脸特征数据库中的人脸特征数据进行距离计算，得到相似度数据。
步骤490，依据所述相似度数据确定所述人脸图片数据对应的人脸识别结果。
具体的，本发明实施例在通过人脸识别模型提取出当前获取到的人脸图片数据对应的目标人脸特征数据后，可以将该目标人脸特征数据与人脸特征数据库中存储的人脸特征数据进行距离计算，从而可以计算得该目标人脸特征数据与人脸特征数据库中存储的各个人脸特征数据之间的相似度数据，进而可以在目标人脸特征数据与某一个人脸特征数据之间的相似度数据大于预设的相似度阈值时，将该人脸特征数据对应的人员信息作为匹配结果，从而可以基于该人员信息生成当前获取到的人脸图片数据对应的人脸识别结果。
例如，在通过人脸识别模型提取到人脸特征向量后，可以将提取到的人脸特征向量作为目标人脸特征数据，以采用该人脸特征向量与人脸特征向量数据库中已存储的人脸特征值进行对比，如图5所示，可以采用当前提取到的人脸特征向量与人脸特征向量数据库中已存储的人脸特征向量进行余弦距离计算，得到当前提取到的人脸特征向量与人脸特征向量数据库中已存储的人脸特征向量之间的相似度，进而可以基于相似度确定出人脸识别结果，从而实现人脸识别。
综上，本发明实施例在获取到人脸图片数据后，依据人脸图片数据确定出人脸区域数据和人脸关键点数据，以结合人脸关键点数据对人脸区域数据进行随机动态组合预处理，即在将人脸图片送入到人脸识别模型进行计算前，对人脸图片提取脸部关键点后，依据关键点对脸上的口罩佩戴区域进行随机组合渲染，以按照一定几率对口罩佩戴范围的关键区域进行包括光照、色彩、纹理等方面动态地随机组合预处理，从而可以依据随机动态组合预处理后得到预处理人脸图像数据进行人脸识别，鲁棒地实现人员对应不同口罩款式、不同佩戴方式的人脸识别，提高人脸识别率。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。
参照图6，示出了本发明实施例中的一种基于人脸识别的数据处理装置的结构框图。该基于人脸识别的数据处理装置具体可以包括如下模块：
数据获取模块610，用于获取人脸图片数据；
数据确定模块620，用于依据所述人脸图片数据确定人脸区域数据和人脸关键点数据；
预处理模块630，用于结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据；
人脸识别模块640，用于依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果。
在上述实施例的基础上，可选的，所述数据确定模块620包括如下子模块：
人脸检测子模块，用于通过预先训练的人脸检测模型对所述人脸图片数据进行人脸检测，得到人脸区域数据；
人脸裁剪子模块，用于依据所述人脸区域数据进行人脸裁剪，得到裁剪图片数据；
关键点提取子模块，用于通过预先训练的人脸关键点模型，对所述裁剪图片数据进行人脸关键点提取，得到人脸关键点数据。
可选的，所述预处理模块630可以包括如下子模块：
随机组合渲染子模块，用于依据所述人脸关键点数据，按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染，得到随机渲染口罩数据；
预处理人脸图像生成子模块，用于基于所述随机渲染口罩数据生成预处理人脸图像数据。
可选的，所述随机渲染口罩数据包括：口罩纹理数据、口罩区域数据、口罩颜色数据、光照亮度数据、口罩形状数据、口罩佩戴位置数据和/或口罩佩戴数据；其中，所述口罩区域数据包含有效区域数据和边缘区域数据。所述预处理方式包括以下至少一种：随机纹理添加方式、随机划分口罩区域方式、分区随机颜色添加方式、随机光照处理方式、随机轮廓扩展方式，随机佩戴位置匹配方式和随机佩戴口罩方式。
进一步的，本发明实施例中的随机组合渲染子模块可以包括如下单元：
随机纹理单元，用于按照随机纹理添加方式在所述口罩佩戴区域上添加随机纹理，以产生口罩纹理数据；
划分口罩区域单元，用按照随机划分口罩区域方式，以随机比例将所述口罩佩戴区域划分为边缘区域和有效区域，以得到边缘区域数据和有效区域数据；
分区随机颜色单元，用于按照分区随机颜色添加方式，对所述口罩佩戴区域中的有效区域与边缘区域进行随机颜色渲染，以得到口罩颜色数据；
随机光照单元，用于按照随机光照处理方式，对所述口罩佩戴区域进行随机分区曝光，以得到光照亮度数据；
随机轮廓单元，用于按照随机轮廓扩展方式，对所述口罩佩戴区域上的口罩轮廓进行随机扩展，以得到口罩形状数据；
随机佩戴位置单元，用于按照随机佩戴位置匹配方式，在所述口罩佩戴区域上进行口罩轮廓的随机匹配，以确定口罩佩戴位置数据；
随机佩戴口罩单元，用于按照随机佩戴口罩方式，以随机概率对所述口罩佩戴区域进行口罩覆盖，得到口罩佩戴数据。
可选的，人脸识别模块640可以包括如下子模块：
特征提取子模块，用于通过预先训练的人脸识别模型对所述预处理人脸图像数据进行特征提取，得到目标人脸特征数据；
相似度子模块，用于依据所述目标人脸特征数据与预设人脸特征数据库中的人脸特征数据进行距离计算，得到相似度数据；
识别结果确定子模块，用于依据所述相似度数据确定所述人脸图片数据对应的人脸识别结果。
进一步的，本发明实施例中的基于人脸识别的数据处理装置还可以包括如下模块：
人脸识别数据获取模块，用于获取人脸识别数据集中的人脸识别数据，所述人脸识别数据包含待训练人脸数据和所述待训练人脸数据对应的人员信息；
待训练人脸图像数据处理模块，用于依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据；
人脸训练数据模块，用于依据所述待训练人脸关键点数据，对所述待训练人脸区域数据进行随机动态组合预处理，得到所述人员信息对应的人脸训练数据；
模型训练模块，用于依据所述人脸训练数据进行模型训练，得到人脸识别模型。
可选的，待训练人脸图像数据处理模块可以包括如下子模块：
数据输入子模块，用于将所述待训练人脸图像数据输入到人脸检测模型，以通过所述人脸检测模型进行人脸检测，得到待训练人脸区域数据；
关键点提取子模块，用于结合待训练人脸区域数据，通过所述人脸关键点模型对所述待训练人脸图像数据进行关键点提取，得到待训练人脸关键点数据。
需要说明的是，本发明实施例中的基于人脸识别的数据处理装置可执行上述方法实施例中任一所述的基于人脸识别的数据处理方法，具备执行方法相应的功能和有益效果。
在具体实现中，上述基于人脸识别的数据处理装置可以集成在基于人脸识别的数据处理设备中。该基于人脸识别的数据处理设备可以是两个或多个物理实体构成，也可以是一个物理实体构成，如可以是手机、电脑、服务器设备等，本发明实施例对此不作具体限制。
进一步的，本发明实施例还提供了一种基于人脸识别的数据处理设备。该基于人脸识别的数据处理设备包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述数据处理设备执行上述实施例中所述的基于人脸识别的数据处理方法。
进一步的，本发明实施例还提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行上述实施例中所述的基于人脸识别的数据处理方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机或者服务器等)执行本发明任意实施例所述的基于人脸识别的数据处理方法。
值得注意的是，上述装置实施中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种基于人脸识别的数据处理方法，其特征在于，包括：
获取人脸图片数据；
依据所述人脸图片数据确定人脸区域数据和人脸关键点数据；
结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据；
依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果；
所述结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据，包括：
依据所述人脸关键点数据，按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染，得到随机渲染口罩数据；
基于所述随机渲染口罩数据生成预处理人脸图像数据；
所述预处理方式包括以下至少一种：随机纹理添加方式、随机划分口罩区域方式、分区随机颜色添加方式、随机光照处理方式、随机轮廓扩展方式，随机佩戴位置匹配方式和随机佩戴口罩方式。
2.根据权利要求1所述的基于人脸识别的数据处理方法，其特征在于，所述依据所述人脸图片数据确定人脸区域数据和人脸关键点数据，包括：
通过预先训练的人脸检测模型对所述人脸图片数据进行人脸检测，得到人脸区域数据；
依据所述人脸区域数据进行人脸裁剪，得到裁剪图片数据；
通过预先训练的人脸关键点模型对所述裁剪图片数据进行人脸关键点提取，得到人脸关键点数据。
3.根据权利要求1所述的基于人脸识别的数据处理方法，其特征在于，所述随机渲染口罩数据包括：口罩纹理数据、口罩区域数据、口罩颜色数据、光照亮度数据、口罩形状数据、口罩佩戴位置数据和/或口罩佩戴数据；其中，所述口罩区域数据包含有效区域数据和边缘区域数据；
按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染的步骤包括以下至少一种：
按照随机纹理添加方式在所述口罩佩戴区域上添加随机纹理，以产生口罩纹理数据；
按照随机划分口罩区域方式，以随机比例将所述口罩佩戴区域划分为边缘区域和有效区域，以得到边缘区域数据和有效区域数据；
按照分区随机颜色添加方式，对所述口罩佩戴区域中的有效区域与边缘区域进行随机颜色渲染，以得到口罩颜色数据；
按照随机光照处理方式，对所述口罩佩戴区域进行随机分区曝光，以得到光照亮度数据；
按照随机轮廓扩展方式，对所述口罩佩戴区域上的口罩轮廓进行随机扩展，以得到口罩形状数据；
按照随机佩戴位置匹配方式，在所述口罩佩戴区域上进行口罩轮廓的随机匹配，以确定口罩佩戴位置数据；
按照随机佩戴口罩方式，以随机概率对所述口罩佩戴区域进行口罩覆盖，得到口罩佩戴数据。
4.根据权利要求1至3任一所述的基于人脸识别的数据处理方法，其特征在于，依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果，包括：
通过预先训练的人脸识别模型对所述预处理人脸图像数据进行特征提取，得到目标人脸特征数据；
依据所述目标人脸特征数据与预设人脸特征数据库中的人脸特征数据进行距离计算，得到相似度数据；
依据所述相似度数据确定所述人脸图片数据对应的人脸识别结果。
5.根据权利要求4所述的基于人脸识别的数据处理方法，其特征在于，还包括：
获取人脸识别数据集中的人脸识别数据，所述人脸识别数据包含待训练人脸数据和所述待训练人脸数据对应的人员信息；
依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据；
依据所述待训练人脸关键点数据，对所述待训练人脸区域数据进行随机动态组合预处理，得到所述人员信息对应的人脸训练数据；
依据所述人脸训练数据进行模型训练，得到人脸识别模型。
6.根据权利要求5所述的基于人脸识别的数据处理方法，其特征在于，依据所述待训练人脸图像数据，分别通过预先训练的人脸检测模型和人脸关键点模型进行处理，得到待训练人脸区域数据和待训练人脸关键点数据，包括：
将所述待训练人脸图像数据输入到人脸检测模型，以通过所述人脸检测模型进行人脸检测，得到待训练人脸区域数据；
结合待训练人脸区域数据，通过所述人脸关键点模型对所述待训练人脸图像数据进行关键点提取，得到待训练人脸关键点数据。
7.一种基于人脸识别的数据处理装置，其特征在于，包括：
数据获取模块，用于获取人脸图片数据；
数据确定模块，用于依据所述人脸图片数据确定人脸区域数据和人脸关键点数据；
预处理模块，用于结合所述人脸关键点数据，对所述人脸区域数据进行随机动态组合预处理，得到预处理人脸图像数据；
人脸识别模块，用于依据所述预处理人脸图像数据进行人脸识别，得到人脸识别结果；
所述预处理模块包括如下子模块：
随机组合渲染子模块，用于依据所述人脸关键点数据，按照预设的预处理方式对所述人脸区域数据对应的口罩佩戴区域进行随机组合渲染，得到随机渲染口罩数据；
预处理人脸图像生成子模块，用于基于所述随机渲染口罩数据生成预处理人脸图像数据；
所述预处理方式包括以下至少一种：随机纹理添加方式、随机划分口罩区域方式、分区随机颜色添加方式、随机光照处理方式、随机轮廓扩展方式，随机佩戴位置匹配方式和随机佩戴口罩方式。
8.一种基于人脸识别的数据处理设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述数据处理设备执行如权利要求1-6中任一所述的基于人脸识别的数据处理方法。
9.一种计算机可读存储介质，其特征在于，当所述可读存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如权利要求1-6中任一所述的基于人脸识别的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214979.2A CN113011277B (zh) | 2021-02-25 | 2021-02-25 | 基于人脸识别的数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214979.2A CN113011277B (zh) | 2021-02-25 | 2021-02-25 | 基于人脸识别的数据处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011277A CN113011277A (zh) | 2021-06-22 |
| CN113011277B true CN113011277B (zh) | 2023-11-21 |
Family
ID=76386181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110214979.2A Active CN113011277B (zh) | 2021-02-25 | 2021-02-25 | 基于人脸识别的数据处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011277B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115840834B (zh) * | 2023-02-20 | 2023-05-23 | 深圳市视美泰技术股份有限公司 | 一种人脸数据库快速搜索方法及系统 |
Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169544A (zh) * | 2011-04-18 | 2011-08-31 | 苏州市慧视通讯科技有限公司 | 基于多特征融合的人脸遮挡检测方法 |
| CN102855496A (zh) * | 2012-08-24 | 2013-01-02 | 苏州大学 | 遮挡人脸认证方法及系统 |
| CN103440475A (zh) * | 2013-08-14 | 2013-12-11 | 北京博思廷科技有限公司 | 一种自动取款机使用者人脸可见性判断系统及方法 |
| CN104091156A (zh) * | 2014-07-10 | 2014-10-08 | 深圳市中控生物识别技术有限公司 | 一种身份识别方法及装置 |
| CN104573614A (zh) * | 2013-10-22 | 2015-04-29 | 北京三星通信技术研究有限公司 | 用于跟踪人脸的设备和方法 |
| CN104751108A (zh) * | 2013-12-31 | 2015-07-01 | 汉王科技股份有限公司 | 人脸图像识别装置和人脸图像识别方法 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
| CN106780658A (zh) * | 2016-11-16 | 2017-05-31 | 北京旷视科技有限公司 | 人脸特征添加方法、装置及设备 |
| CN107341434A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和终端设备 |
| CN107644455A (zh) * | 2017-10-12 | 2018-01-30 | 北京旷视科技有限公司 | 人脸图像合成方法和装置 |
| CN109002799A (zh) * | 2018-07-19 | 2018-12-14 | 苏州市职业大学 | 人脸识别方法 |
| CN109829448A (zh) * | 2019-03-07 | 2019-05-31 | 苏州市科远软件技术开发有限公司 | 人脸识别方法、装置及存储介质 |
| CN109960974A (zh) * | 2017-12-22 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸关键点检测方法、装置、电子设备及存储介质 |
| CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
| CN111062248A (zh) * | 2019-11-08 | 2020-04-24 | 宇龙计算机通信科技(深圳)有限公司 | 图像检测的方法、装置、电子设备及介质 |
| CN111191563A (zh) * | 2019-12-26 | 2020-05-22 | 三盟科技股份有限公司 | 基于数据样本与测试数据集训练的人脸识别方法及系统 |
| CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN111428559A (zh) * | 2020-02-19 | 2020-07-17 | 北京三快在线科技有限公司 | 一种口罩佩戴情况检测方法、装置、电子设备及存储介质 |
| CN111444862A (zh) * | 2020-03-30 | 2020-07-24 | 深圳信可通讯技术有限公司 | 一种人脸识别的方法及装置 |
| CN111695431A (zh) * | 2020-05-19 | 2020-09-22 | 深圳禾思众成科技有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
| CN111708998A (zh) * | 2020-04-30 | 2020-09-25 | 华为技术有限公司 | 一种人脸解锁方法及电子设备 |
| CN111914628A (zh) * | 2020-06-19 | 2020-11-10 | 北京百度网讯科技有限公司 | 人脸识别模型的训练方法和装置 |
| CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN112232117A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
| CN112258619A (zh) * | 2020-12-22 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170178287A1 (en) * | 2015-12-21 | 2017-06-22 | Glen J. Anderson | Identity obfuscation |
-
2021
- 2021-02-25 CN CN202110214979.2A patent/CN113011277B/zh active Active
Patent Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169544A (zh) * | 2011-04-18 | 2011-08-31 | 苏州市慧视通讯科技有限公司 | 基于多特征融合的人脸遮挡检测方法 |
| CN102855496A (zh) * | 2012-08-24 | 2013-01-02 | 苏州大学 | 遮挡人脸认证方法及系统 |
| CN103440475A (zh) * | 2013-08-14 | 2013-12-11 | 北京博思廷科技有限公司 | 一种自动取款机使用者人脸可见性判断系统及方法 |
| CN104573614A (zh) * | 2013-10-22 | 2015-04-29 | 北京三星通信技术研究有限公司 | 用于跟踪人脸的设备和方法 |
| CN104751108A (zh) * | 2013-12-31 | 2015-07-01 | 汉王科技股份有限公司 | 人脸图像识别装置和人脸图像识别方法 |
| CN104091156A (zh) * | 2014-07-10 | 2014-10-08 | 深圳市中控生物识别技术有限公司 | 一种身份识别方法及装置 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
| CN107341434A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和终端设备 |
| CN106780658A (zh) * | 2016-11-16 | 2017-05-31 | 北京旷视科技有限公司 | 人脸特征添加方法、装置及设备 |
| CN107644455A (zh) * | 2017-10-12 | 2018-01-30 | 北京旷视科技有限公司 | 人脸图像合成方法和装置 |
| CN109960974A (zh) * | 2017-12-22 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸关键点检测方法、装置、电子设备及存储介质 |
| CN109002799A (zh) * | 2018-07-19 | 2018-12-14 | 苏州市职业大学 | 人脸识别方法 |
| CN109829448A (zh) * | 2019-03-07 | 2019-05-31 | 苏州市科远软件技术开发有限公司 | 人脸识别方法、装置及存储介质 |
| CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
| CN111062248A (zh) * | 2019-11-08 | 2020-04-24 | 宇龙计算机通信科技(深圳)有限公司 | 图像检测的方法、装置、电子设备及介质 |
| CN111191563A (zh) * | 2019-12-26 | 2020-05-22 | 三盟科技股份有限公司 | 基于数据样本与测试数据集训练的人脸识别方法及系统 |
| CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN111428559A (zh) * | 2020-02-19 | 2020-07-17 | 北京三快在线科技有限公司 | 一种口罩佩戴情况检测方法、装置、电子设备及存储介质 |
| CN111444862A (zh) * | 2020-03-30 | 2020-07-24 | 深圳信可通讯技术有限公司 | 一种人脸识别的方法及装置 |
| CN111708998A (zh) * | 2020-04-30 | 2020-09-25 | 华为技术有限公司 | 一种人脸解锁方法及电子设备 |
| CN111695431A (zh) * | 2020-05-19 | 2020-09-22 | 深圳禾思众成科技有限公司 | 一种人脸识别方法、装置、终端设备及存储介质 |
| CN111914628A (zh) * | 2020-06-19 | 2020-11-10 | 北京百度网讯科技有限公司 | 人脸识别模型的训练方法和装置 |
| CN111951384A (zh) * | 2020-08-13 | 2020-11-17 | 科大乾延科技有限公司 | 一种基于单张人脸图片的三维人脸重建方法和系统 |
| CN112232117A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
| CN112258619A (zh) * | 2020-12-22 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于脸型特征数据的防霾口罩造型设计研究;王钰涵;尼加提・亚热买买提;张婧;;中国市场(07);第143+149页 * |
| 选择性多本征空间的多级人脸识别方法;赵立强;张晓华;刘志飞;李少莹;;计算机工程与应用(15);第177-179页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011277A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Agarwal et al. | Swapped! digital face presentation attack detection via weighted local magnitude pattern | |
| JP7417555B2 (ja) | 人体ポーズ分析システム及び方法 | |
| JP7122815B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN110569731B (zh) | 一种人脸识别方法、装置及电子设备 | |
| Zheng et al. | A robust method for eye features extraction on color image | |
| JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| US20100296697A1 (en) | Object tracker and object tracking method | |
| JP2017531883A (ja) | 画像の主要被写体を抽出する方法とシステム | |
| WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| JP2000003452A (ja) | デジタル画像における顔面の検出方法、顔面検出装置、画像判定方法、画像判定装置およびコンピュ―タ可読な記録媒体 | |
| JP6409433B2 (ja) | 画像生成装置、画像検出システム及び画像生成方法 | |
| Darrell et al. | A virtual mirror interface using real-time robust face tracking | |
| CN112668475A (zh) | 一种人员身份识别方法、装置、设备及可读存储介质 | |
| Do et al. | Real-time and robust multiple-view gender classification using gait features in video surveillance | |
| CN112418177A (zh) | 人脸识别方法与系统 | |
| Di Benedetto et al. | Learning safety equipment detection using virtual worlds | |
| CN113011277B (zh) | 基于人脸识别的数据处理方法、装置、设备及介质 | |
| CN113724273A (zh) | 一种基于神经网络区域目标分割的边缘光影融合方法 | |
| CN112991159B (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
| CN113536997B (zh) | 基于图像识别和行为分析的智能安防系统及方法 | |
| KR102667880B1 (ko) | 미용 교육 컨텐츠 생성 장치 및 그 방법 | |
| Havasi et al. | PEDESTRIAN DETECTION USING DERIVED THIRD-ORDER SYMMETRY OF LEGS A novel method of motion-based information extraction from video image-sequences | |
| Mousse et al. | Fast moving object detection from overlapping cameras | |
| Ryabchikov et al. | Integrating computer vision technologies for smart surveillance purpose | |
| CN113139504B (zh) | 身份识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |