CN112669244A

CN112669244A - 人脸图像增强方法、装置、计算机设备以及可读存储介质

Info

Publication number: CN112669244A
Application number: CN202011594378.0A
Authority: CN
Inventors: 刘钊
Original assignee: Ping An Life Insurance Company of China Ltd
Current assignee: Ping An Life Insurance Company of China Ltd
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2021-04-16
Anticipated expiration: 2040-12-29
Also published as: CN112669244B

Abstract

本申请实施例属于图像处理领域，可应用于智慧城市/医疗科技领域中，涉及一种人脸图像增强方法，包括确定至少两种数据增强方式；随机初始化各数据增强方式的处理概率、应用等级；根据所述数据增强方式对所述人脸图像进行增强处理，并提取增强后的人脸图像的图像特征；计算所述图像特征与对比图像的图像特征的特征差异，若所述特征差异小于增强处理前的特征差异，则输出经当前增强处理后的人脸图像，作为样本图像保存到样本数据库。本申请还提供一种人脸图像增强装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，所述人脸图像数据还存储于区块链中。采用本方法解决了在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

Description

人脸图像增强方法、装置、计算机设备以及可读存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种人脸图像增强方法、装置、计算机设备和存储介质。

背景技术

随着现代社会对安防，监视需求的不断提高，视频监控中的人脸识别技术受到了广泛关注。区别于传统人脸识别技术要求用户有交互的过程，在视频监控的人脸识别场景下，要识别的人通常是在无感的情况下被拍摄，摄像头捕获到的人脸图像用于识别比对。视频监控摄像头的安装环境通常是在不容易发现的隐蔽场景，拍摄的光照条件不理想，由此会带来所摄图片对比度偏低，曝光不足，局部细节不突出；其次，由于与被拍摄对象不存在交互过程，所捕获的人脸图片会存在运动，模糊，偏向角度过大的问题；另外，摄像头硬件选型的不一致进一步加大了识别的难度。因此，通过软件方法对可识别的数据进行增强，提高传统人脸识别模型的泛化能力，对低质量的人脸图像能够进行更好的识别，是目前监控视频人脸识别亟需解决的问题。

目前工业界通用的人脸识别框架通常分为服务端存储比对和客户端获取数据两部分，一般的识别流程为：需要识别的人群中的每个人都会有至少一张高清注册人脸图像存储在服务端；在识别过程中，客户端实时获取人脸图像，并上传至服务端，服务端对客户端上传的图像进行特征提取，并与注册人脸图像库中的人脸特征进行比对，选取特征距离最小的一张注册人脸作为比对正确被识别的人脸。近年来，人脸识别技术取得了突飞猛进的进步，然而大部分新提出的人脸识别方法主要侧重于针对注册图像与现实图像相同分辨率情况下的人脸模型能力的提升优化，对于现有的监控场景中存在的上述问题，这些优化能解决的比较有限。部分基于生成模型和超分辨率的方法针对现实的低质量人脸图像进行操作，使其在质量上更加接近于注册人脸图像，然而，这类方法生成的结果较不稳定，且更加注重生成的人脸图像的可视化效果而非提升识别模型的准确率，在实际工业部署中难以应用。因此，迫切需要一种能利用高质量注册人脸生成接近现实、多样化的低质量人脸的方法，用于提升现有人脸识别模型的泛化能力，使模型在真实的监控场景中对低质量人脸图像也能有更好的识别效果。

发明内容

基于此，针对上述技术问题，本申请提供一种人脸图像增强方法、装置、计算机设备及存储介质，以解决现有技术中基于对现实的低质量人脸图像进行操作，生成的人脸图像不利于模型识别，导致的人脸图像在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

一种人脸图像增强方法，所述方法包括：

确定至少两种数据增强方式；

随机初始化各数据增强方式的处理概率、应用等级，其中，所述处理概率为对应的数据增强方式对某一人脸图像进行增强处理的概率；

根据所述数据增强方式对所述人脸图像进行增强处理，并提取增强后的人脸图像的图像特征；

计算所述图像特征与对比图像的图像特征的特征差异，其中，所述对比图像中的人脸与所述人脸图像中的相同，且所述对比图像清晰度低于所述人脸图像的清晰度；

若所述特征差异大于增强处理前的特征差异，则调整所述数据增强方式对应的处理概率、应用等级；并

在本次增强处理的基础上重复对所述人脸图像进行增强处理、提取图像特征、计算特征差异的操作，直到经当前增强处理后人脸图像的特征差异不大于经当前增强处理前的特征差异或者对所述人脸图像的增强处理次数达到预设阈值，得到经当前增强处理后的人脸图像，作为样本图像保存到样本数据库。

一种人脸图像增强装置，所述装置包括：

获取模块，用于确定至少两种数据增强方式；

初始化模块，用于随机初始化各数据增强方式的处理概率、应用等级，其中，所述处理概率为对应的数据增强方式对某一人脸图像进行增强处理的概率；

增强模块，用于根据所述数据增强方式对所述人脸图像进行增强处理，并提取增强后的人脸图像的图像特征；

差异模块，用于计算所述图像特征与对比图像的图像特征的特征差异，其中，所述对比图像中的人脸与所述人脸图像中的相同，且所述对比图像清晰度低于所述人脸图像的清晰度；

调整模块，用于若所述特征差异大于增强处理前的特征差异，则调整所述数据增强方式对应的处理概率、应用等级；并

迭代模块，用于在本次增强处理的基础上重复对所述人脸图像进行增强处理、提取图像特征、计算特征差异的操作，直到经当前增强处理后人脸图像的特征差异不大于经当前增强处理前的特征差异或者对所述人脸图像的增强处理次数达到预设阈值，得到经当前增强处理后的人脸图像，作为样本图像保存到样本数据库。

一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述人脸图像增强方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述人脸图像增强方法的步骤。

上述人脸图像增强方法、装置、计算机设备和存储介质，通过随机选择多个数据增强方式不停地调整数据增强方式的应用等级参数以及对人脸图像进行处理的概率参数对人脸图像进行处理，得到增强处理后的人脸图像，然后再提取图像特征判断其与对比图像的图像差异，每一次对比后都再与本次增强处理之前的图像差异进行比对，以获取增强处理后特征差异小于处理前的人脸图像版本，因为对人脸图像处理的每一步所使用到的数据增强方式、数据增强方式的应用等级都有所不同，所以在对大量的人脸图像进行处理或者对单张图像重复进行增强处理后，可以得到大量的多样化的样本图像，而且都是通过调整人脸图像进行直接处理的，可以很好地解决现有技术中基于对现实的低质量人脸图像进行操作，生成的人脸图像不利于模型识别，导致的人脸图像在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为人脸图像增强方法的应用环境示意图；

图2为人脸图像增强方法的流程示意图；

图3为一个实施例中人脸图像增强方法的流程框图；

图4为人脸图像增强装置的示意图；

图5为一个实施例中计算机设备的示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的人脸图像增强方法，可以应用于如图1所示的应用环境中。其中，该应用环境可以包括终端102、网络以及服务端104，网络用于在终端102和服务端104之间提供通信链路介质，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端102通过网络与服务端104交互，以接收或发送消息等。终端102上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudioLayer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务端104可以是提供各种服务的服务器，例如对终端102上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的人脸图像增强方法一般由服务端/终端执行，相应地，人脸图像增强装置一般设置于服务端/终端设备中。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请可应用于智慧城市领域中，从而推动智慧城市的建设。比如，公共场合等地方的监控人脸识别，火车站、高铁站的人脸识别，超市人脸支付识别中的样本图像获取、模型训练等等。本申请还可以应用于医疗科技领域中，实现对医疗机构，例如医院、疾病研究院等场所的人脸识别图像进行增强，提高人脸识别的安防监控效率。

应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

其中，终端102通过网络与服务端104进行通信。服务端104接收终端102发送的人脸图像，然后通过随机选择多个数据增强方式不停地调整数据增强方式的应用等级参数以及对人脸图像进行处理的概率参数对人脸图像进行处理，得到增强处理后的人脸图像，然后再提取图像特征判断其与对比图像的图像差异，每一次对比后都再与本次增强处理之前的图像差异进行比对，以获取增强处理后特征差异小于处理前的人脸图像版本，得到多样化的样本图像。其中，终端102和服务端104之间通过网络进行连接，该网络可以是有线网络或者无线网络，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种人脸图像增强方法，以该方法应用于图1中的服务端为例进行说明，包括以下步骤：

步骤202，确定至少两种数据增强方式。

数据增强方式包括但不限于角度变换，翻转，镜像，对比度变化，模糊，噪声，波纹，随机遮挡，拉近/拉远等，用户可根据具体的数据需要手动或随机选择其中的一种或多种扩增模式。

进一步地，除了随机确定至少两种数据增强方式之外，还可以根据训练的模型适用的场景有选择的选取数据增强方式。

例如，当人脸识别任务类型为监控人脸识别，则数据增强方式包括角度变换、对比度变化以及模糊；若人脸识别任务类型为支付人脸识别，则数据增强方式包括角度变换、对比度变化、模糊以及随机遮挡。这种数据增强方式的确认可以直接通过数据配置的方式提前确定，将人脸识别类型与对人脸图像进行增强处理的数据增强方式以集合或者json格式的方式存储，在服务端确认人脸识别任务类型后，可以直接拉取配置数据，以集合或者json文件中的数据增强方式对人脸图像进行处理，以这种方式作为确定数据增强方式的备选方案。因为支付场景下的人脸识别要求一般比较高，用于训练模型的样本图像一般只需要正面人脸，而且真实中不同的人脸可能会有一定程度的遮挡，比如戴眼镜、戴帽子、刘海、配饰等，所以需要设计随机遮挡的增强处理方式，使得得到的样本图像更加符合场景需要，得到的样本图像在贴合场景的同时，也更加的多样化。

步骤204，随机初始化各数据增强方式的处理概率、应用等级，其中，处理概率为对应的数据增强方式对某一人脸图像进行增强处理的概率。

处理概率是根据经验设置的数据增强方式对某一人脸图像进行处理的可能值，对于每种数据增强方式，按照处理概率随机对人脸图像进行增强处理，这样不停地重复根据多种数据增强方式对人脸图像进行增强处理，就可以获得大量的多样的样本图像。

应用等级是数据增强方式的处理参数，比如，对于角度变换这个数据增强方式来说，可选择对原始的人脸图像翻转15度、45度、90度、135度、180度等多个等级，在进行数据增强处理时，可以随机选择其中一个或者多个等级对人脸图像进行翻转处理。

在一些实施例中，将各数据增强方式对应的处理概率、应用等级进行划分为多个等级；取最低等级的处理概率、最低等级的应用等级初始化各数据增强方式。例如，角度变换，可以将其对人脸图像处理的概率设为10％，而对人脸图像角度变换的应用等级设为15度。当然也可以先选一个最小值，比如都选0，再调整其处理概率和应用等级，以获得更多不同的人脸图像。

步骤206，根据数据增强方式对人脸图像进行增强处理，并提取增强后的人脸图像的图像特征。

人脸图像是相对高质量的正面注册人脸图像，例如手机或者高清摄像头拍摄的多姿多彩的清晰图像，这些人脸图像一般保存在人脸数据库中。

在一些实施例中，需要从人脸数据库中选取高质量的人脸图像，对其进行增强处理。比如，对于选定的M张高质注册人脸图像，在每一次处理中，对每一张人脸图像，都可能会根据不同的数据增强方式的处理概率、应用等级，依次采用不同的数据增强方式进行处理，即多种数据增强方式：角度变换、翻转、镜像、对比度变化、模糊以及噪声，都有可能按照其处理概率随机对一人脸图像进行增强，或者不进行增强处理；所以在同一次增强处理后，对于不同的人脸图像，可能所使用的数据增强方式是不同的，在第二次增强处理时，对于不同的人脸图像，在第一次增强处理的基础上，所使用的数据增强方式也有可能不相同。其中，对于其中某一种数据增强方式Per_i、处理概率p_i、应用等级A_i，其所生成的图像可以表示为公式(1)：

I_aug＝Per_i(I_high|p_i，A_i) (1)

其中，I_aug为通过某数据增强方式处理后得到的人脸图像、I_high为本次处理前的某张人脸图像。

对人脸图像进行增强处理后，可以通过一些技术手段提取人脸图像的图像特征，提取的图像特征包括但不限于传统的图像特征如：方向梯度直方图特征(HOG)、SIFT特征等和/或基于深度学习的图像特征中的一种或多种。

例如，通过人脸识别框架提取人脸图像的方向梯度直方图特征；并提取对比图像的方向梯度直方图特征。

进一步地，可以通过人脸识别框架中的特征提取层对人脸图像进行图像特征的提取，其中，人脸识别框架包括若干功能模块，比如特征提取层以及人脸识别模型。在一些实施例中，可以使用通用的人脸识别框架对人脸图像进行特征提取。

步骤208，计算图像特征与对比图像的图像特征的特征差异，其中，对比图像中的人脸与人脸图像中的相同，且对比图像清晰度低于人脸图像的清晰度。

进一步地，人脸数据库中除了保存有高质量的人脸图像外，还保存有与高质量的人脸图像中人脸相对应的低质量的人脸图像，在一些实施例中，可以称其为对比图像。低质量的人脸图像可以是真实的监控摄像头拍摄的人脸图像，受人脸到摄像头距离、人脸的姿态、摄像头本身分辨率等各种因素的影响，此类图像中的人脸部分大小不一，姿态多变，且存在模糊、抖动等影响正常识别的原因。对于高质量人脸图像与低质量人脸图像的清晰度要求并没有特别严格的要求。

对于通过每步采用的不同数据增强方式进行处理后的人脸图像I_aug，比较其与对应的对比图像(低质量人脸图像)的特征差异，比较公式(2)：

Dis＝E(C(I_aug|I_low)) (2)

其中，C代表的是训练好的人脸识别框架对人脸图像提取特征操作、E代表的是不同特征间的距离，该距离可以是曼哈顿距离或者欧氏距离、I_low为与人脸图像I_aug对应的对比图像。

例如，对比增强后人脸图像的方向梯度直方图特征与对比图像的方向梯度直方图特征的特征差异。

步骤210，若特征差异大于增强处理前的特征差异，则调整数据增强方式对应的处理概率、应用等级。

在一些实施例中，对于每一步增强处理后求得的特征差异Dis_after，可以将其与经过当前增强处理之前的人脸图像的图像差异Dis_before进行比较；若Dis_after＜Dis_before，则说明人脸图像发生了变化，且这种变化是朝向将高质量的人脸图像与低质量的对比图像之间的特征差异降低的方向的，则可以认为本次的数据增强处理时有效的，则可以直接输出经当前增强处理后的人脸图像。

否则，即，当特征差异大于增强处理前的特征差异时，则需要调整当前增强处理的数据增强方式的处理概率、应用等级；具体地，可以随机设置数据增强方式的处理概率和应用等级。在调整后，还需要根据调整参数后的数据增强方式在上一次增强处理的基础上，对人脸图像继续进行处理，然后输出增强处理后的人脸图像。

步骤212，在本次增强处理的基础上重复对人脸图像进行增强处理、提取图像特征、计算特征差异的操作，直到经当前增强处理后人脸图像的特征差异不大于经当前增强处理前的特征差异或者对人脸图像的增强处理次数达到预设阈值，得到经当前增强处理后的人脸图像，作为样本图像保存到样本数据库。

重复增强处理的操作，直到得到的人脸图像符合要求或者对人脸图像处理的次数达到了预设阈值，其中，预设阈值可以是100次，预设阈值是根据经验得到的，还可以根据本申请应用到的硬件设备的性能设定该预设阈值。

在一些实施例中，如图3所示的大致的处理流程，在第一次对人脸图像进行增强处理时，某一张图像，可能有5种数据增强方式依次对其进行处理，例如，角度变换、翻转、镜像、对比度变化、模糊，通过这五种数据增强方式都随机到对某张人脸图像进行处理，则需要依次对人脸图像进行角度变换15度、翻转处理、镜像处理、改变对比度处理以及模糊处理，最终得到第一次增强处理后的人脸图像。当得到的人脸图像不符合要求后，则随机调整角度变换、翻转、镜像、对比度变化、模糊的处理概率，比如分别是10％、20％、5％、50％、80％，其应用等级都上调一个等级，根据参数调整后的数据扩增方式在第一增强处理的基础上，继续的人脸图像进行处理。那么在第二次增强处理时，可能只有3种数据增强方式对人脸图像进行处理，而另外两种没有继续对人脸图像进行增强处理，例如：继续对人脸图像进行角度变换、对比度变化、模糊处理，得到第二次增强处理后的人脸图像，以此类推，执行第三次增强处理，第四次增强处理，……，第n次增强处理，直到对人脸图像进行增强处理的次数超过100次，或者得到的人脸图像满足要求，则输出当前增强处理得到的人脸图像，作为样本图像保存到数据库中。

这样的增强方式，不同的执行步骤，都有可能获得不同结果的人脸图像，获得多样的样本图像。在一些实施例中，如果需要大量的数据，就可以一次性对多张人脸图像进行增强处理。例如：对于输入的N张高清人脸图像，某种数据增强方法按照处理概率p_i决定是否对这批人脸图像进行增强处理，那么这批人脸图像中一共有n*p_i张会使用该数据增强方法，另外的n*(1-p_i)张人脸图像不使用该数据增强方法。

而每一次输出的符合要求的人脸图像的最后一步增强处理的数据增强方式的集合都可以用公式(3)表示：

U_aug＝{Per₁(p₁，A₁)，Per₂(p₂，A₂)，......，Per_n(p_n，A_n)} (3)

其中，U_aug为人脸识别框架的集合输出，每一个输出都对应一张人脸图像、Per_i为数据增强方式、p_i为对于该数据增强方式对人脸图像进行增强处理的处理概率、A_i为数据增强方式最终迭代的应用等级。

具体地，可以对同一批数据进行多次处理，得到大量的样本图像，最后进行去重处理，剔除重复的图像即可，直到样本图像的数量满足需要，可以停止。

在一些实施例中，若数据增强方式有多种，则有的人脸图像就有可能经过所有的数据增强方式的增强处理，有的只有其中几种或者一种数据增强方式进行处理，虽然可能会存在有人脸图像没经过任何增强处理，但这种随机分配的方式已经将所有的情况几乎囊括，对本申请的图像增强方式并不影响。

在一些实施例中，一种人脸图像增强方法，还可以包括：根据每次对人脸图像进行增强处理所使用到的各数据增强方式、各数据增强方式对应的处理概率、以及各数据增强方式的应用等级，对样本图像进行去重处理，得到去重后的样本图像。通过本实施例可以对样本图像去重处理。

在一些实施例中，一种人脸图像增强方法中得到的样本图像，可以将其应用到监控人脸识别模型的场景中，用户训练监控人脸识别模型。

需要强调的是，为进一步保证人脸图像信息的私密和安全性，上述的人脸图像、对比图像、样本图像以及人脸识别模型识别出的人脸信息都可以存储于一区块链节点中。

上述人脸图像增强方法中，通过随机选择多个数据增强方式不停地调整数据增强方式的应用等级参数以及对人脸图像进行处理的概率参数对人脸图像进行处理，得到增强处理后的人脸图像，然后再提取图像特征判断其与对比图像的图像差异，每一次对比后都再与本次增强处理之前的图像差异进行比对，以获取增强处理后特征差异小于处理前的人脸图像版本，因为对人脸图像处理的每一步所使用到的数据增强方式、数据增强方式的应用等级都有所不同，所以在对大量的人脸图像进行处理或者对单张图像重复进行增强处理后，可以得到大量的多样化的样本图像，而且都是通过调整人脸图像进行直接处理的，可以很好地解决现有技术中基于对现实的低质量人脸图像进行操作，生成的人脸图像不利于模型识别，导致的人脸图像在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种人脸图像增强装置，该人脸图像增强装置与上述实施例中人脸图像增强方法一一对应。该人脸图像增强装置包括：

获取模块402，用于确定至少两种数据增强方式。

初始化模块404，用于随机初始化各数据增强方式的处理概率、应用等级，其中，处理概率为对应的数据增强方式对某一人脸图像进行增强处理的概率。

增强模块406，用于根据数据增强方式对人脸图像进行增强处理，并提取增强后的人脸图像的图像特征。

差异模块408，用于计算图像特征与对比图像的图像特征的特征差异，其中，对比图像中的人脸与人脸图像中的相同，且对比图像清晰度低于人脸图像的清晰度。

调整模块410，用于若特征差异大于增强处理前的特征差异，则调整数据增强方式对应的处理概率、应用等级；以及

迭代模块412，用于在本次增强处理的基础上重复对人脸图像进行增强处理、提取图像特征、计算特征差异的操作，直到经当前增强处理后人脸图像的特征差异不大于经当前增强处理前的特征差异或者对人脸图像的增强处理次数达到预设阈值，得到经当前增强处理后的人脸图像，作为样本图像保存到样本数据库。

进一步地，初始化模块404，包括：

划分子模块，用于将各数据增强方式对应的处理概率、应用等级进行划分为多个等级；

取最低等级的处理概率、最低等级的应用等级初始化各数据增强方式。

进一步地，获取模块402，包括：

获取子模块，用于获取人脸识别任务类型；

选择子模块，用于根据人脸识别任务类型选择至少两种数据增强方式。

进一步地，选择子模块，包括：

第一选择单元，用于若人脸识别任务类型为监控人脸识别，则数据增强方式包括角度变换、对比度变化以及模糊；

第二选择单元，用于若人脸识别任务类型为支付人脸识别，则数据增强方式包括角度变换、对比度变化、模糊以及随机遮挡。

进一步地，增强模块406，包括：

第一提取子模块，用于通过人脸识别框架提取人脸图像的方向梯度直方图特征；并

第二提取子模块，用于提取对比图像的方向梯度直方图特征。

上述人脸图像增强装置，通过随机选择多个数据增强方式不停地调整数据增强方式的应用等级参数以及对人脸图像进行处理的概率参数对人脸图像进行处理，得到增强处理后的人脸图像，然后再提取图像特征判断其与对比图像的图像差异，每一次对比后都再与本次增强处理之前的图像差异进行比对，以获取增强处理后特征差异小于处理前的人脸图像版本，因为对人脸图像处理的每一步所使用到的数据增强方式、数据增强方式的应用等级都有所不同，所以在对大量的人脸图像进行处理或者对单张图像重复进行增强处理后，可以得到大量的多样化的样本图像，而且都是通过调整人脸图像进行直接处理的，可以很好地解决现有技术中基于对现实的低质量人脸图像进行操作，生成的人脸图像不利于模型识别，导致的人脸图像在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储人脸图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种人脸图像增强方法。本实施例通过随机选择多个数据增强方式不停地调整数据增强方式的应用等级参数以及对人脸图像进行处理的概率参数对人脸图像进行处理，得到增强处理后的人脸图像，然后再提取图像特征判断其与对比图像的图像差异，每一次对比后都再与本次增强处理之前的图像差异进行比对，以获取增强处理后特征差异小于处理前的人脸图像版本，因为对人脸图像处理的每一步所使用到的数据增强方式、数据增强方式的应用等级都有所不同，所以在对大量的人脸图像进行处理或者对单张图像重复进行增强处理后，可以得到大量的多样化的样本图像，而且都是通过调整人脸图像进行直接处理的，可以很好地解决现有技术中基于对现实的低质量人脸图像进行操作，生成的人脸图像不利于模型识别，导致的在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific lntegrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令被处理器执行时实现上述实施例中人脸图像增强方法的步骤，例如图2所示的步骤202至步骤212，或者，处理器执行计算机可读指令时实现上述实施例中人脸图像增强装置的各模块/单元的功能，例如图4所示模块402至模块412的功能。本实施例通过随机选择多个数据增强方式不停地调整数据增强方式的应用等级参数以及对人脸图像进行处理的概率参数对人脸图像进行处理，得到增强处理后的人脸图像，然后再提取图像特征判断其与对比图像的图像差异，每一次对比后都再与本次增强处理之前的图像差异进行比对，以获取增强处理后特征差异小于处理前的人脸图像版本，因为对人脸图像处理的每一步所使用到的数据增强方式、数据增强方式的应用等级都有所不同，所以在对大量的人脸图像进行处理或者对单张图像重复进行增强处理后，可以得到大量的多样化的样本图像，而且都是通过调整人脸图像进行直接处理的，可以很好地解决现有技术中基于对现实的低质量人脸图像进行操作，生成的人脸图像不利于模型识别，导致的人脸图像在真实的监控场景中对低质量人脸图像识别不准确的技术问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形、改进或者对部分技术特征进行等同替换，而这些修改或者替换，并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴，都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种人脸图像增强方法，其特征在于，所述方法包括：

确定至少两种数据增强方式；

2.根据权利要求1所述的方法，其特征在于，所述随机初始化各数据增强方式的处理概率、应用等级，包括：

将各所述数据增强方式对应的处理概率、应用等级进行划分为多个等级；

取最低等级的处理概率、最低等级的应用等级初始化各所述数据增强方式。

3.根据权利要求1所述的方法，其特征在于，所述得到经当前增强处理后的人脸图像，作为样本图像保存到样本数据库，包括：

获取每次对人脸图像进行增强处理的数据增强方式、对应的处理概率以及应用等级，并通过公式：

I_aug＝Per_i(I_high|p_i，A_i)

表示，得到所述样本图像保存到所述样本数据库，其中，I_aug为所述样本图像、Per_i为每次对人脸图像进行增强处理所使用到的各数据增强方式、p_i为每次增强处理各所述数据增强方式对应的处理概率、A_i为每次增强处理各所述数据增强方式的应用等级、I_high为对应的某人脸图像、i为增强处理的序号。

4.根据权利要求3所述的方法，其特征在于，在所述输出经当前增强处理后的人脸图像，作为样本图像保存到样本数据库之后，还包括：

根据每次对人脸图像进行增强处理所使用到的各数据增强方式、每次增强处理各所述数据增强方式对应的处理概率、以及每次增强处理各所述数据增强方式的应用等级，对所述样本图像进行去重处理，得到去重后的样本图像。

5.根据权利要求1所述的方法，其特征在于，所述确定至少两种数据增强方式，包括：

获取人脸识别任务类型；

根据人脸识别任务类型选择至少两种数据增强方式。

6.根据权利要求5所述的方法，其特征在于，所述根据人脸识别任务类型选择至少两种数据增强方式，包括：

若所述人脸识别任务类型为监控人脸识别，则所述数据增强方式包括角度变换、对比度变化以及模糊；

若所述人脸识别任务类型为支付人脸识别，则所述数据增强方式包括角度变换、对比度变化、模糊以及随机遮挡。

7.根据权利要求1所述的方法，其特征在于，所述提取增强后的人脸图像的图像特征，包括：

通过人脸识别框架提取所述人脸图像的方向梯度直方图特征；并

提取所述对比图像的方向梯度直方图特征。

8.根据权利要求1-7任一项所述的方法，其特征在于，在得到经当前增强处理后的人脸图像，作为样本图像保存到样本数据库之后，还包括：

将所述样本图像输入到人脸识别模型中，对所述人脸识别模型进行迭代训练。

9.一种人脸图像增强装置，其特征在于，包括：

获取模块，用于确定至少两种数据增强方式；

差异模块，用于计算所述图像特征与所述对比图像的图像特征的特征差异，其中，所述对比图像中的人脸与所述人脸图像中的相同，且所述对比图像清晰度低于所述人脸图像的清晰度；

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现权利要求1至8中任一项所述方法的步骤。