CN110751043B - 基于人脸可见性的人脸识别方法、装置及存储介质 - Google Patents
基于人脸可见性的人脸识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110751043B CN110751043B CN201910885914.3A CN201910885914A CN110751043B CN 110751043 B CN110751043 B CN 110751043B CN 201910885914 A CN201910885914 A CN 201910885914A CN 110751043 B CN110751043 B CN 110751043B
- Authority
- CN
- China
- Prior art keywords
- face
- visibility
- model
- training
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸识别技术领域，提出一种基于人脸可见性的人脸识别方法，应用于电子装置，所述方法包括：检测待处理图片，获取所述待处理图片中的人脸区域的位置；基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理；对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。本发明通过人脸可见性解决图片质量评估中无法解决遮挡的问题，也可大大提高人脸识别的精度及时间。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于人脸可见性的人脸识别方法、装置及计算机可读存储介质。
背景技术
人脸识别技术在学术界早已论证完成，同时在工业上也已经得到了小范围的应用。但是随着数据库量级的增加，比如从同一栋楼的几千人，到一个小区的几万人，在到一个城市上千万人的规模，识别难度也逐渐增加。在这个过程中，为维护用户体验，大部分的识别工作都是基于用户的非配合操作，比如不需要要求用户在特定角度，特定光照，且静止时进行识别等等。而与此同时，这也给人脸识别工作带来了极大的难度。
为克服上述问题，现有的人脸识别解决方案中，都会有质量评估模块，即当所拍摄的照片质量不满足要求时，我们不进行识别，当质量满足要求时，我们才进行识别。这个过程相当于在图片进行识别前进行了初步的过滤。然而，现有的质量评估算法，大都过滤的是模糊(包括运动模糊，图片像素低等种种模糊)，光照不足(过于明亮和暗淡)的情况，对于有遮挡的情况，不能完美的解决(比如用户佩戴了墨镜，面罩等等)。然而这种存在局部遮挡的图片，也极大的影响了识别的精度，导致人脸识别失败或者效果不佳。
为此，亟需一种技术能够对人脸遮挡的情况进行分析，以提高人脸识别的准确度。
发明内容
本发明提供一种基于人脸可见性的人脸识别方法、电子装置及计算机可读存储介质，其主要目的在于通过人脸可见性解决图片质量评估中无法解决遮挡的问题，也可大大提高人脸识别的精度及时间。
为实现上述目的，本发明提供一种基于人脸可见性的人脸识别方法，所述方法包括：
检测待处理图片，获取所述待处理图片中的人脸区域的位置；
基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理；
对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；
对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。
优选地，所述确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
获取标注图像数据，基于所述标注图像数据训练对齐模型；
将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并按照所述摆正角度旋转所述待处理图片，获取摆正后的人脸区域。
优选地，获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
获取预先标注好关键点的图像集作为标注图像数据；
所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
基于损失函数进行参数迭代，直至获取训练好的对齐模型。
优选地，所述对摆正处理后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型。
优选地，所述对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数的步骤包括：
训练可见性评估模型；
基于所述可见性评估模型对满足质量评估的人脸区域进行可见性评估；
所述可见性评估模型的训练步骤包括：
基于所述多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域的人脸关键点的可见性，所述多任务神经网络的输出为所述人脸区域的人脸关键点可见性概率；
基于所述人脸关键点可见性概率及损失函数进行网络训练，获得所述可见性评估模型，所述损失函数为关键点的可见性判断错误的个数。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中包括基于人脸可见性的人脸识别程序，所述基于人脸可见性的人脸识别程序被所述处理器执行时实现如下步骤：
检测待处理图片，获取所述待处理图片中的人脸的位置；
基于关键点对齐技术，确定所述待处理图片中的人脸的关键点，并对所述人脸进行摆正处理；
对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；
对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。
优选地，所述确定所述待处理图片中的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
获取标注图像数据，基于所述标注图像数据训练对齐模型；
将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并按照所述摆正角度旋转所述待处理图片，获取摆正后的人脸区域。
优选地，获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
获取预先标注好关键点的图像集作为标注图像数据；
所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
基于损失函数进行参数迭代，直至获取训练好的对齐模型。
优选地，所述对摆正处理后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括基于人脸可见性的人脸识别程序，所述基于人脸可见性的人脸识别程序被处理器执行时，实现如上所述的基于人脸可见性的人脸识别方法中的任意步骤。
本发明提出的基于人脸可见性的人脸识别方法、电子装置及计算机可读存储介质，对检测待处理图片中的人脸进行关键点获取及摆正，进而结合质量评估及可见性评估对人脸区域进行逐步筛选，对符合筛选条件的图片进行人脸识别操作，不仅能够解决图片中人脸遮挡的问题，也能够提升人脸识别的精度和速度。
附图说明
图1为本发明基于人脸可见性的人脸识别具体实施例的应用环境示意图；
图2为图1中基于人脸可见性的人脸识别程序具体实施例的模块示意图；
图3为本发明基于人脸可见性的人脸识别方法具体实施例的流程图；
图4为本发明辅助系统的多任务模型结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于人脸可见性的人脸识别方法，应用于一种电子装置1。参照图1所示，为本发明基于人脸可见性的人脸识别方法具体实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、网络接口14及通信总线15。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的基于人脸可见性的人脸识别程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于人脸可见性的人脸识别程序10等。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线15用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子装置1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统、以及基于人脸可见性的人脸识别程序10；处理器12执行存储器11中存储的基于人脸可见性的人脸识别程序10时实现如下步骤：
检测待处理图片，获取所述待处理图片中的人脸的位置；
基于关键点对齐技术，确定所述待处理图片中的人脸区域的关键点，并对所述人脸进行摆正处理；
对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；
对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。
优选地，所述确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
获取标注图像数据，基于所述标注图像数据训练对齐模型；
将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并按照所述摆正角度旋转所述待处理图片，获取摆正后的人脸区域。
优选地，获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
获取预先标注好关键点的图像集作为标注图像数据；
所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
基于损失函数进行参数迭代，直至获取训练好的对齐模型。
优选地，所述对摆正后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型。
优选地，所述对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数的步骤包括：
训练可见性评估模型；
基于所述可见性评估模型对满足质量评估的人脸区域进行可见性评估；
所述可见性评估模型的训练步骤包括：
基于所述多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域的人脸关键点的可见性，所述多任务神经网络的输出为所述人脸区域的人脸关键点可见性概率；
基于所述人脸关键点可见性概率及损失函数进行网络训练，获得所述可见性评估模型，所述损失函数为关键点的可见性判断错误的个数。
上述实施例提出的电子装置1，将对齐模型、质量评估模型和可见性评估模型三个模块融合到一起，不仅能够解决质量评估模型无法解决人脸遮挡导致识别精度降低的问题，提升识别精度，还能够通过多任务神经网络的方式解决识别问题，大大减少整个流程的推理时间。
在其他实施例中，基于人脸可见性的人脸识别程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示，为图1中基于人脸可见性的人脸识别程序10较佳实施例的程序模块图。所述基于人脸可见性的人脸识别程序10可以被分割为：位置确定单元11、人脸摆正单元12、质量评估单元13、可见性评估单元14、人脸识别单元15。所述模块11-15所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
位置确定单元11，用于检测待处理图片，获取所述待处理图片中的人脸区域的位置。
人脸摆正单元12，用于基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理。
质量评估单元13，用于对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数。
可见性评估单元14，用于对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数。
人脸识别单元15，用于对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。
此外，本发明还提供一种基于人脸可见性的人脸识别方法。参照图3所示，为本发明基于人脸可见性的人脸识别方法具体实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，本发明提供的基于人脸可见性的人脸识别方法包括：步骤S110-步骤S150。
S110：检测待处理图片，获取所述待处理图片中的人脸区域的位置。
S120：基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理。
其中，人脸点，亦即Face Alignment(人脸对齐)得到的landmarks，是人脸识别中必须要做的一步。首先，我们从待处理图片中进行人脸检测得到人脸的位置。其次，我们用关键点对齐技术，得到人脸的关键点(比如眼睛点，鼻子点，嘴巴点等等)，并对人脸进行摆正操作。
进一步地，确定所述待处理图片中的人脸区域的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
1、获取标注图像数据，基于所述标注图像数据训练对齐模型；
2、将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
3、基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并旋转所述待处理图片，获取摆正后的人脸区域。
另外，如上获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
1、获取预先标注好关键点的图像集作为标注图像数据；
2、所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
3、获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
4、基于损失函数进行参数迭代，直至获取所述训练好的对齐模型。
其中，标注图像数据为预先标注好关键点的图片集或图像集，关键点的坐标可以用回归的方法来获取，直接回归出图像中68个关键点的x坐标和y坐标，即输出为68*2＝136个的一个一维向量。当分别确定人脸的左眼睛点和右眼睛点的x，y坐标后，可以求得一个旋转角度，基于旋转角度旋转图片实现人脸摆正。
为获取对齐模型，需要大量的标注关键点的人脸数据。对齐模型的训练模型的网络输入为进行人脸检测后得到的一个人脸的图像，训练模型的标签为人脸上的68个点的坐标位置。需要说明的是，对这68点，我们需要注意其顺序，比如左眉毛上点1到点5，又眉毛点6到点10，依次标注鼻子，嘴巴，下巴等人脸关键区域。我们的标签输入如下，x1，y1，x2，y2…x68，y68共136个数值。在网络训练过程中，计算网络输出和标签的68个点的欧式距离和，并进行归一化，得到我们的损失函数。通过多次参数的迭代后，得到最终的对齐模型或关键点对齐模型。
S130：对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数。
其中，所述对摆正处理后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
1、训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
2、将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
3、基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型。
进一步地，通过质量评估模型对人脸区域进行质量评估，该质量评估模型可以用一个基于简易的识别模型的多任务网络来做，其中一个分支，是人脸识别之后提取到的人脸特征，另一个分支，则经过sigmoid函数之后得到一个在0-1之间的分数值。将该分数值与之前提取到的人脸特征相乘，得到最终的人脸识别的特征；然后，经过triplet loss损失函数进行训练，可以得到最终的质量评估的模型。在进行模型的推理时，输入一张图片，则可以得到一个质量评估分数。该质量评估分数越接近于1，则认为该人脸区域的质量越高。
其中，Triplet Loss是深度学习中的一种损失函数，用于训练差异性较小的样本，如人脸等，Feed数据包括锚(Anchor)示例、正(Positive)示例、负(Negative)示例，通过优化锚示例与负示例的距离，减去锚示例与正示例的距离，使得这个差值越大越好。
S140：对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数。
其中，对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数的步骤包括：
训练可见性评估模型；
基于所述可见性评估模型对满足质量评估的人脸区域进行可见性评估；
所述可见性评估模型的训练步骤包括：
基于所述多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域的人脸关键点的可见性，所述多任务神经网络的输出为所述人脸区域的人脸关键点可见性概率；
基于所述人脸关键点可见性概率及损失函数进行网络训练，获得所述可见性评估模型，所述损失函数为关键点的可见性判断错误的个数。
S150：对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。
需要说明的是，无论是对齐模型、质量评估模型还是可见性评估模型，都是基于人脸的特征来实现的。尤其人脸对齐坐标和可见性均是人脸的不同属性而已，而人脸点的质量好坏，也是质量评估模型中的一部分。因此，本发明设计一个人脸识别辅助系统，将对齐、质量评估及可见性评估集成在一个多任务模型中。
具体地，该辅助系统的多任务模型包括权重共享的底层，以及与底层分别连接且相互独立的多个分支，如图4所示。
辅助系统的多任务模型分支进一步包括：获得人脸关键点的对齐模型分支、质量评估模型分支和判断遮挡的可见性评估模型分支。在多任务模型训练过程中，对上述三个分支分别进行训练，最后用三个标签(具有关键点、质量评估分数和可见性评估分数)均有的图片对模型进行微调。
其中，首先训练对齐模型，亦即sharedweights和landmarks两个模快，此时IQA(imagequalityassessment，质量评估)模型和Visibility(可见性)模型分支的参数固定不变，在训练过程中只回传landmarks分支的损失loss。当对齐模型分支训练完成之后，固定权重共享底层sharedweights的参数和landmarks的参数。然后，分别打开IQA和Visibility模块，训练这两个分支。最后，将所有模块的权重均打开，用三个标签均有的图片进行短暂的微调工作。至此，多任务模型训练完成。
以下对多任务模型训练的训练过程进行具体表述：
当训练landmarks时，和单独的关键点对齐网络一致，训练模型的输入为图片和图片的68个点的坐标，输出为68个点的坐标，损失函数为归一化的L2Loss(也就是归一化的欧氏距离差)。
当训练visibility分支时，训练模型的输入为68个点的可见性(可见为1，不可见为0)，最后输出一个2*68的向量(2代表可见和不可见的概率，可见和不可见的概率和为1，我们取其中大于0.5的结果为最终输出的结果)，损失函数为68个点的可见性的判断错误的个数，使其乘以一个设定系数，以防止过拟合。
当训练IQA分支时，我们的输入为三张图(anchor，positive，negative)，其中anchor和positive为同一人，negative是不同的人，最后的loss是乘以系数(也就是IQAscore)的tripletloss，让前两者anchor和positive的特征更近，第一者和第三者(anchor和negative)的距离最远。
最终所有模块一起训练时，我们需要输入三张图，以及这三张图各自的landmarks的坐标，以及landmark的可见性。最终的损失loss，为三个模块单独损失loss的代数和。
具体地，运行上述多任务模型得到了结果后，我们通过IQA分支得到一个质量评估结果，当判断质量评估分数score小于0.5时，表明图片质量不能满足识别要求，则不继续进行后续操作。当判断质量评估分数大于0.5时，继续采用visibility分支进行可见性判断，例如当判断出图片人脸有超过20％的点不可见(68*20％＝14)时，表明人脸遮挡较多，不继续进行人脸识别操作，反之，进行人脸识别操作。
利用上述基于人脸点可见性的人脸识别方法，将人脸点模型，可见性模型与质量评估三个模块融合到了一起，不仅解决了质量评估模块中无法解决遮挡的问题，还能够大大地提升识别的精度；而且还将多个模块运用多任务的方式解决，还能够大大地减少整个流程的推理时间。
另外，上述多任务模型除了用于人脸识别之外，还可以用于其他各个人脸属性的判别，比如我们进行眼皮分类时，当判断眼皮上的点被眼镜框遮挡住时，我们就可以不进行眼皮分类，当进行胡子分类时，若胡子被手、话筒等物体遮挡时，也可不进行胡子分类，诸如此类，能够显著提高人脸属性的推理速度，同时避免因遮挡带来的识别错误所导致的精度下降。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括基于人脸可见性的人脸识别程序，所述基于人脸可见性的人脸识别程序被处理器执行时实现如下操作：
检测待处理图片，获取所述待处理图片中的人脸区域的位置；
基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理；
对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；
对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取。
优选地，所述确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
获取标注图像数据，基于所述标注图像数据训练对齐模型；
将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并按照所述摆正角度旋转所述待处理图片，获取摆正后的人脸区域。
优选地，获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
获取预先标注好关键点的图像集作为标注图像数据；
所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
基于损失函数进行参数迭代，直至获取训练好的对齐模型。
优选地，所述对摆正后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型。
优选地，所述对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数的步骤包括：
训练可见性评估模型；
基于所述可见性评估模型对满足质量评估的人脸区域进行可见性评估；
所述可见性评估模型的训练步骤包括：
基于所述多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域的人脸关键点的可见性，所述多任务神经网络的输出为所述人脸区域的人脸关键点可见性概率；
基于所述人脸关键点可见性概率及损失函数进行网络训练，获得所述可见性评估模型，所述损失函数为关键点的可见性判断错误的个数。
本发明之计算机可读存储介质的具体实施方式与上述基于人脸可见性的人脸识别方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于人脸可见性的人脸识别方法，应用于电子装置，其特征在于，所述方法包括：
检测待处理图片，获取所述待处理图片中的人脸区域的位置；
基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理；
对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；
对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取；
其中，所述对摆正处理后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型；
其中，所述对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数的步骤包括：
训练可见性评估模型；
基于所述可见性评估模型对满足质量评估的人脸区域进行可见性评估；
所述可见性评估模型的训练步骤包括：
基于所述多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域的人脸关键点的可见性，所述多任务神经网络的输出为所述人脸区域的人脸关键点可见性概率；
基于所述人脸关键点可见性概率及损失函数进行网络训练，获得所述可见性评估模型，所述损失函数为关键点的可见性判断错误的个数。
2.根据权利要求1所述的基于人脸可见性的人脸识别方法，其特征在于，所述确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
获取标注图像数据，基于所述标注图像数据训练对齐模型；
将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并按照所述摆正角度旋转所述待处理图片，获取摆正后的人脸区域。
3.根据权利要求2所述的基于人脸可见性的人脸识别方法，其特征在于，获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
获取预先标注好关键点的图像集作为标注图像数据；
所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
基于损失函数进行参数迭代，直至获取训练好的对齐模型。
4.一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器中包括基于人脸可见性的人脸识别程序，所述基于人脸可见性的人脸识别程序被所述处理器执行时实现如下步骤：
检测待处理图片，获取所述待处理图片中的人脸区域的位置；
基于关键点对齐技术，确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理；
对所述摆正处理后的人脸区域进行质量评估，并获取质量评估分数；
对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数；
对可见性评估分数满足预设值范围的人脸区域进行人脸识别及特征提取；
其中，所述对摆正后的人脸区域进行质量评估，并获取质量评估分数的步骤包括：
训练质量评估模型；
基于所述质量评估模型对摆正后的人脸区域进行质量评估，并获取质量评估分数；
所述质量评估模型的训练步骤包括：
训练多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域，所述多任务神经网络的输出为所述人脸区域的人脸特征以及和所述人脸特征对应的分数值；
将所述人脸特征和对应的分数值相乘，得到最终的人脸识别特征；
基于所述最终的人脸识别特征和损失函数进行网络训练，获得所述质量评估模型；
其中，所述对所述质量评估分数满足预设值范围的人脸区域进行可见性评估，并获取对应的可见性评估分数的步骤包括：
训练可见性评估模型；
基于所述可见性评估模型对满足质量评估的人脸区域进行可见性评估；
所述可见性评估模型的训练步骤包括：
基于所述多任务神经网络，所述多任务神经网络的输入为摆正后的人脸区域的人脸关键点的可见性，所述多任务神经网络的输出为所述人脸区域的人脸关键点可见性概率；
基于所述人脸关键点可见性概率及损失函数进行网络训练，获得所述可见性评估模型，所述损失函数为关键点的可见性判断错误的个数。
5.根据权利要求4所述的电子装置，其特征在于，所述确定所述人脸区域中的人脸的关键点，并对所述人脸进行摆正处理的步骤包括：
获取标注图像数据，基于所述标注图像数据训练对齐模型；
将待处理图片输入所述对齐模型中，输出与所述待处理图片对应的人脸的关键点坐标信息；
基于所述关键点坐标信息，获取所述待处理图片的摆正角度，并按照所述摆正角度旋转所述待处理图片，获取摆正后的人脸区域。
6.根据权利要求4所述的电子装置，其特征在于，获取标注图像数据，基于所述标注图像数据训练对齐模型的步骤包括：
获取预先标注好关键点的图像集作为标注图像数据；
所述标注图像对应的人脸图像作为所述对齐模型的训练模型的网络输入，所述人脸图像的预先标注好的关键点坐标位置作为所述训练模型的标签进行训练；
获取所述训练模型的输出和所述标签之间的欧式距离和，并进行归一化处理，得到损失函数；
基于损失函数进行参数迭代，直至获取训练好的对齐模型。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于人脸可见性的人脸识别程序，所述基于人脸可见性的人脸识别程序被处理器执行时，实现如权利要求1至3中任一项所述的基于人脸可见性的人脸识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910885914.3A CN110751043B (zh) | 2019-09-19 | 2019-09-19 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
| PCT/CN2019/118428 WO2021051611A1 (zh) | 2019-09-19 | 2019-11-14 | 基于人脸可见性的人脸识别方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910885914.3A CN110751043B (zh) | 2019-09-19 | 2019-09-19 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110751043A CN110751043A (zh) | 2020-02-04 |
| CN110751043B true CN110751043B (zh) | 2023-08-22 |
Family
ID=69276755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910885914.3A Active CN110751043B (zh) | 2019-09-19 | 2019-09-19 | 基于人脸可见性的人脸识别方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110751043B (zh) |
| WO (1) | WO2021051611A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382693A (zh) * | 2020-03-05 | 2020-07-07 | 北京迈格威科技有限公司 | 图像质量的确定方法、装置、电子设备和计算机可读介质 |
| CN112785683B (zh) * | 2020-05-07 | 2024-03-19 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
| CN111598000A (zh) * | 2020-05-18 | 2020-08-28 | 中移（杭州）信息技术有限公司 | 基于多任务的人脸识别方法、装置、服务器和可读存储介质 |
| CN111814840A (zh) * | 2020-06-17 | 2020-10-23 | 恒睿(重庆)人工智能技术研究院有限公司 | 一种人脸图像质量评估方法、系统、设备和介质 |
| CN111738213B (zh) * | 2020-07-20 | 2021-02-09 | 平安国际智慧城市科技股份有限公司 | 人物属性识别方法、装置、计算机设备及存储介质 |
| CN112287781A (zh) * | 2020-10-19 | 2021-01-29 | 苏州纳智天地智能科技有限公司 | 一种人脸照片质量评估方法 |
| CN113255539B (zh) * | 2021-06-01 | 2024-05-10 | 平安科技（深圳）有限公司 | 多任务融合的人脸定位方法、装置、设备及存储介质 |
| CN113591763B (zh) * | 2021-08-09 | 2024-05-28 | 平安科技（深圳）有限公司 | 人脸脸型的分类识别方法、装置、存储介质及计算机设备 |
| CN113792682B (zh) * | 2021-09-17 | 2024-05-10 | 平安科技（深圳）有限公司 | 基于人脸图像的人脸质量评估方法、装置、设备及介质 |
| CN113792704B (zh) * | 2021-09-29 | 2024-02-02 | 山东新一代信息产业技术研究院有限公司 | 一种人脸识别模型的云端部署方法及装置 |
| CN114140647A (zh) * | 2021-11-26 | 2022-03-04 | 蜂巢能源科技有限公司 | 电芯极组极片模糊图像识别的算法 |
| CN114677743A (zh) * | 2022-04-08 | 2022-06-28 | 湖南四方天箭信息科技有限公司 | 人脸摆正方法、装置、计算机设备和存储介质 |
| CN114821737B (zh) * | 2022-05-13 | 2024-06-04 | 浙江工商大学 | 一种基于三维人脸对齐的移动端实时假发试戴方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003009216A1 (en) * | 2001-07-17 | 2003-01-30 | Yesvideo, Inc. | Automatic selection of a visual image based on quality |
| CN104036276A (zh) * | 2014-05-29 | 2014-09-10 | 无锡天脉聚源传媒科技有限公司 | 人脸识别方法及装置 |
| CN106980844A (zh) * | 2017-04-06 | 2017-07-25 | 武汉神目信息技术有限公司 | 一种基于人脸识别系统的人物关系挖掘系统及方法 |
| CN107679515A (zh) * | 2017-10-24 | 2018-02-09 | 西安交通大学 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
| CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
| CN109117797A (zh) * | 2018-08-17 | 2019-01-01 | 浙江捷尚视觉科技股份有限公司 | 一种基于人脸质量评价的人脸抓拍识别方法 |
| CN109614910A (zh) * | 2018-12-04 | 2019-04-12 | 青岛小鸟看看科技有限公司 | 一种人脸识别方法和装置 |
| CN110046652A (zh) * | 2019-03-18 | 2019-07-23 | 深圳神目信息技术有限公司 | 人脸质量评估方法、装置、终端及可读介质 |
-
2019
- 2019-09-19 CN CN201910885914.3A patent/CN110751043B/zh active Active
- 2019-11-14 WO PCT/CN2019/118428 patent/WO2021051611A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003009216A1 (en) * | 2001-07-17 | 2003-01-30 | Yesvideo, Inc. | Automatic selection of a visual image based on quality |
| CN104036276A (zh) * | 2014-05-29 | 2014-09-10 | 无锡天脉聚源传媒科技有限公司 | 人脸识别方法及装置 |
| CN106980844A (zh) * | 2017-04-06 | 2017-07-25 | 武汉神目信息技术有限公司 | 一种基于人脸识别系统的人物关系挖掘系统及方法 |
| CN107679515A (zh) * | 2017-10-24 | 2018-02-09 | 西安交通大学 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
| CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
| CN109117797A (zh) * | 2018-08-17 | 2019-01-01 | 浙江捷尚视觉科技股份有限公司 | 一种基于人脸质量评价的人脸抓拍识别方法 |
| CN109614910A (zh) * | 2018-12-04 | 2019-04-12 | 青岛小鸟看看科技有限公司 | 一种人脸识别方法和装置 |
| CN110046652A (zh) * | 2019-03-18 | 2019-07-23 | 深圳神目信息技术有限公司 | 人脸质量评估方法、装置、终端及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110751043A (zh) | 2020-02-04 |
| WO2021051611A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751043B (zh) | 基于人脸可见性的人脸识别方法、装置及存储介质 | |
| CN109961009B (zh) | 基于深度学习的行人检测方法、系统、装置及存储介质 | |
| CN112395978B (zh) | 行为检测方法、装置及计算机可读存储介质 | |
| CN111368788B (zh) | 图像识别模型的训练方法、装置及电子设备 | |
| CN108734162B (zh) | 商品图像中目标识别方法、系统、设备及存储介质 | |
| WO2018028546A1 (zh) | 一种关键点的定位方法及终端、计算机存储介质 | |
| US9098888B1 (en) | Collaborative text detection and recognition | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| US10592726B2 (en) | Manufacturing part identification using computer vision and machine learning | |
| US8750573B2 (en) | Hand gesture detection | |
| EP2336949B1 (en) | Apparatus and method for registering plurality of facial images for face recognition | |
| US11062124B2 (en) | Face pose detection method, device and storage medium | |
| WO2019033572A1 (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| CN109684980B (zh) | 自动阅卷方法及装置 | |
| EP4099217A1 (en) | Image processing model training method and apparatus, device, and storage medium | |
| EP2747029B1 (en) | Image processing device, image processing method, control program, and recording medium | |
| CN109598298B (zh) | 图像物体识别方法和系统 | |
| CN112036331A (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
| CN107844742A (zh) | 人脸图像眼镜去除方法、装置及存储介质 | |
| US11748989B2 (en) | Enhancing detection of occluded objects in a multiple object detection system | |
| CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
| CN111368632A (zh) | 一种签名识别方法及设备 | |
| CN114764869A (zh) | 利用每个对象的单个检测的多对象检测 | |
| CN113705534A (zh) | 基于深度视觉的行为预测方法、装置、设备及存储介质 | |
| CN109376618B (zh) | 图像处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |