CN108460343A - 图像处理方法、系统及服务器 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、系统及服务器，包括下述步骤：获取待处理的人脸图像；将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；根据所述人脸关键点特征对所述人脸图像进行图像内容理解。卷积神经网络中设置专注度机制，使卷积神经网络模型在对人脸图像进行特征提取时，专注于人脸图像中用户关注的人脸关键点特征，进而使卷积神经网络模型提取的特征中仅包括或大部分为人脸关键点特征，从而提高关键点特征的占比，有效的提高了人脸图像关键点检测的准确率。

Description

图像处理方法、系统及服务器

技术领域

本发明实施例涉及图像处理领域，尤其是一种图像处理方法、系统及服务器。

背景技术

人脸关键点包括人脸外部轮廓，嘴唇，鼻子，眼睛和眉毛等上面的点，能描述人脸特征。关键点检测是人脸图像研究中重要的技术之一，其广泛应用于人脸三维建模，头部姿态估计等。精确且稳定的人脸关键点检测是上述技术在工业界应用的前提条件之一。

传统人脸关键点检测技术包括经典的主动形状模型和级联回归树。传统的方法主要问题在于难以应对复杂多变的环境，夸张的表情等条件。随着深度学习技术的发展，深度学习已经广泛应用于人脸关键点检测。现有经典的深度学习人脸关键点检测方法有级联回归方法，多任务监督方法，热图回归方法等。

本发明创造的发明人在研究中发现，深度神经网络随着层数的增加，感受野逐渐增大，从图像中抽取的特征中的位置信息和细节信息将逐渐减少，而人脸关键点的特征在层级提取的过程中往往被弱化甚至被忽略。因此，无论是传统方法还是深度学习方法都存在关键点检测不准确的问题。

发明内容

本发明实施例提供一种能够增强人脸图像关键点特征的图像处理方法、系统及服务器。

为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种图像处理方法，包括下述步骤：

获取待处理的人脸图像；

将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；

根据所述人脸关键点特征对所述人脸图像进行图像内容理解。

具体地，所述专注力机制包括：空间专注度层；所述空间专注度层连接在所述卷积神经网络模型的任意卷积层的输出端，所述空间专注度层通过定向增大人脸关键点位置处特征的权值，以增大所述卷积神经网络模型对人脸关键点位置处特征的关注度。

具体地，所述专注力机制包括：第一空间专注度层，所述第一空间专注度层连接在所述卷积神经网络模型的第三卷积层的输出端。

具体地，所述专注力机制还包括：第二空间专注度层，所述第二空间专注度层连接在所述卷积神经网络模型的第四卷积层的输出端。

具体地，所述专注度机制特征描述为：

F_{SpatialAttention}＝F*SpatialAttention

并定义函数：

SpatialAttention＝F_reshape*α+β

其中，F表示为卷积层输出的图像特征，F_{SpatialAttention}表示为包含空间专注度的特征，F_reshape表示为F的变形式，SpatialAttention表示为专注度机制的权重系数，α和β表示为定义变量。

具体地，所述卷积神经网络模型通过下述步骤训练形成：

获取标记有分类判断信息的训练样本数据；

将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述模型分类参照信息与所述分类判断信息一致时结束。

具体地，所述分类判断信息包括：期望关键点坐标；

所述获取标记有分类判断信息的训练样本数据的步骤之后，还包括下述步骤：

将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的激励关键点坐标；

通过止损函数比对所述期望关键点坐标与所述激励关键点坐标是否一致；

当所述期望关键点坐标与所述激励关键点坐标不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述期望关键点坐标与所述激励关键点坐标一致时结束。

具体地，所述人脸图像进行内容理解包括：对人脸图像进行图像对齐、图像校正、性别识别或人脸相似度比对。

为解决上述技术问题，本发明实施例还提供一种图像处理系统，包括：

获取模块，用于获取待处理的人脸图像；

处理模块，用于将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；

执行模块，用于根据所述人脸关键点特征对所述人脸图像进行图像内容理解。

具体地，所述专注力机制包括：空间专注度层；所述空间专注度层连接在所述卷积神经网络模型的任意卷积层的输出端，所述空间专注度层通过定向增大人脸关键点位置处特征的权值，以增大所述卷积神经网络模型对人脸关键点位置处特征的关注度。

具体地，所述专注力机制包括：第一空间专注度层，所述第一空间专注度层连接在所述卷积神经网络模型的第三卷积层的输出端。

具体地，所述专注力机制还包括：第二空间专注度层，所述第二空间专注度层连接在所述卷积神经网络模型的第四卷积层的输出端。

具体地，所述专注度机制特征描述为：

F_{SpatialAttention}＝F*SpatialAttention

并定义函数：

SpatialAttention＝F_reshape*α+β

其中，F表示为卷积层输出的图像特征，F_{SpatialAttention}表示为包含空间专注度的特征，F_reshape表示为F的变形式，SpatialAttention表示为专注度机制的权重系数，α和β表示为定义变量。

具体地，所述图像处理系统还包括：

第一获取子模块，用于获取标记有分类判断信息的训练样本数据；

第一处理子模块，用于将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

第一比对子模块，用于通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

第一执行子模块，用于当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述模型分类参照信息与所述分类判断信息一致时结束。

具体地，所述图像处理系统还包括：

第二处理子模块，用于将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的激励关键点坐标；

第二比对子模块，用于通过止损函数比对所述期望关键点坐标与所述激励关键点坐标是否一致；

第二执行子模块，用于当所述期望关键点坐标与所述激励关键点坐标不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述期望关键点坐标与所述激励关键点坐标一致时结束。

具体地，所述人脸图像进行内容理解包括：对人脸图像进行图像对齐、图像校正、性别识别或人脸相似度比对。

为解决上述技术问题，本发明实施例还提供一种服务器，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述所述的图像处理方法。

本发明实施例的有益效果是：卷积神经网络中设置专注度机制，使卷积神经网络模型在对人脸图像进行特征提取时，专注于人脸图像中用户关注的人脸关键点特征，进而使卷积神经网络模型提取的特征中仅包括或大部分为人脸关键点特征，从而提高关键点特征的占比，有效的提高了人脸图像关键点检测的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例学习型图像处理方法的基本流程示意图；

图2为本发明实施例卷积神经网络模型训练方法基本流程示意图；

图3为本发明实施例卷积神经网络模型基本训练流程示意图；

图4为本发明实施例卷积神经网络模型的具体训练流程示意图；

图5为本发明实施例图像处理系统的基本结构示意图；

图6为本发明实施例服务器基本结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于卷积神经网络的特征检测层通过训练数据进行学习，所以在使用卷积神经网络时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。

卷积神经网络模型由：卷积层、全连接和分类层组成。其中，卷积层被用于对人脸图像的局部进行感知，且卷积层通常以级联的方式进行连接，级联中位置越靠后的卷积层能够感知越全局化的信息。

构成卷积神经网络模型的结构不局限于此，在本实施方式中，卷积神经网络模型未设置分类层，并设置空间专注度层。

全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。全连接层连接在卷积层输出位置，能够感知被测人脸图像的全具化特征；空间专注度层是用于将卷积获取的特征集中在预设的关键点或关键区域内。

请参阅图1，图1为本实施例卷积神经网络模型组成示意图。

如图1所示，卷积神经网络模型包括：卷积模块、空间专注度模块和全连接模块。

其中，卷积模块包括：第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3和第四卷积层Conv4。卷积模块由第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3和第四卷积层Conv4级联而成。构成卷积模块的卷积层的个数不局限于此，根据具体应用场景的不同，在一些实施方式中，构成卷积模块的卷积层能够是(不限于)：一个、两个、三个、五个或更多个。同时，构成卷积模块的卷积层也并非必须采用级联的方式，在一些实施方式中，同一个卷积模块包括多个并联设置的卷积通道，不同卷积通道内的卷积层并联设置。

空间专注度模块包括：第一空间专注度层和第二空间专注度层。第一空间专注度层连接在卷积神经网络模型的第三卷积层的输出端Conv3。第二空间专注度层连接在卷积神经网络模型的第四卷积层Conv4的输出端。需要指出的是，构成空间专注度模块的空间专注度层的个数不局限于此，根据具体应用场景的不同，空间专注度模块包括的空间专注度层的个数，与卷计神经网络模型中的卷积层的个数相同，且每一个卷积层的输出端均连接有空间专注度层。

全连接模块包括：第一全连接层FC1与第二全连接层FC2。其中，第一全连接层FC1与第二全连接层FC2级联，且第一全连接层FC1连接在第二空间专注度层的输出端。

本实施例中的卷积神经网络模型中用于人脸图像处理，具体请参阅图2，图2为本实施例图像处理方法基本流程示意图。

如图2所示，一种图像处理方法包括下述步骤：

S1100、获取待处理的人脸图像；

获取人脸图像的方法包括实时采集和提取存储图像视频资料两种方法。实时采集主要用于智能终端(手机、平板电脑和监控设备)的实时应用(如：判断用户年龄、性别、颜值和相似度等)。提取存储图像视频资料主要用于对存储的图像和视频资料进行进一步的处理，也能够用于智能终端对历史照片进行应用。

本实施方式中的人脸图像能够是中继服务器或全量服务器内存储的云端用户上传的图像或视频资料。中继服务器或全量服务器通过对人脸图像进行识别，并对人脸图像进行分类，例如根据人脸图像的性别或颜值将人脸图像分类到对应的图像集中，或者对人脸图像表征的视频信息进行分类，例如通过识别视频资料中的人脸图像，对该视频资料进行分类，将其分类到对应的视频集中。

S1200、将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；

需要指出的时本实施例中人脸关键点特征包括：人脸图像关键点的特征和人脸关键点的坐标。

本实施方式中的卷积神经网络模型为预先训练至收敛，卷积神经网络模型为深度学习型的数据模型，通过大量的人脸图像数据对卷积神经网络模型进行训练，使卷积神经网络模型能够对人脸图像进行按人类期望的方向进行理解，从而完成卷积神经网络模型的训练。

本实施方式中，卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息。在进行人脸识别时，根据应用场景的不同，在一些实施方式中，需要卷积神经网络模型在训练时关注人脸图像的关键点的特征，例如，人脸图像中五官(双眼、鼻子、嘴巴、双颊和下颏)的位置特征尤为关键，由于不同人的五官位置的比例不同，通过过去五官位置的特征及特征的坐标位置，就能够通过比例进行相似度比对；或者在进行人脸图像美颜时，标定人脸关键点位置，就能够采用不同的策略对人脸图像进行自动美颜，例如将人脸图像中人物的嘴唇进行颜色渲染。

专注度机制的作用不局限于此，根据应用场景的不同，在一些实施方式中，专注度机制能够根据用户的实际关注点选择关注目标，且关注的目标能够是一个关键点位置及特征，也能够是多个关键点的位置及特征。

本实施方式中，专注度机制具体为本实施方式中的空间专注度模块。空间专注度模块包括：第一空间专注度层和第二空间专注度层。第一空间专注度层连接在卷积神经网络模型的第三卷积层的输出端。第二空间专注度层连接在卷积神经网络模型的第四卷积层的输出端。

第一空间专注度层和第二空间专注度层均为特征的选择模型，通过对卷积层输出的局部特征进行权值增大，增大卷积神经网络模型对人脸关键点位置处特征的关注度，局部特征即为用户选定的人脸图像的关键点特征及坐标。

因此，专注度机制即为：选择用户标定的关键点位置处的特征，并对表征该关键点特征的权值进行放大，从而弱化人脸图像中其他部位的权值，以此达到筛选人脸关键点特征及坐标的目的。

具体地，假设经过cnn卷级网络输出的特征图为F,其尺寸为[batchsize,H,W,C],其中batchsize是神经网络训练过程中每一次迭代载入的图片数量，H和W为特征图的长宽，C为通道数。把特征F的第1-3维的特征拉直，变形为尺寸为[batchsize×H×W,C]的特征F_reshape＝[f₁,f₂,f₃,…f_C]，f_i的长度为batchsize×H×W，定义变量α和β，尺寸分别为[C,1]和[1]。

SpatialAttention＝α*F_reshape+β

上述运算式中的*运算符为矩阵相乘，F表示为卷积层输出的图像特征，F_{SpatialAttention}表示为包含空间专注度的特征，F_reshape表示为F的变形式，SpatialAttention表示为专注度机制的权重系数，α和β表示为定义变量。

举例说明输出SpatialAttention的尺寸为[batchsize×H×W,1]，把SpatialAttention变形成尺寸为[batchsize,H,W,1]的权重系数，也即把第一维变形成三维，各维度的尺寸分别为batchsize，H和W。然后与原始的特征做逐位(element-wise)相乘，具体请见下式，下式中的点乘.*表示逐位相乘.

F_{SpatialAttention}＝F.*SpatialAttention

F_{SpatialAttention}即为包含空间专注度的特征。F_{SpatialAttention}中，特征中的每个位置的贡献将受到专注度参数SpatialAttention的控制，对于结果影响大的位置的特征将赋予高的专注度，而对结果影响小的位置的特征将赋予较低的专注度。因此包含专注度的特征包含有较多的空间位置信息，人脸关键点是一种位置信息，因此加入空间专注度能提升检测的准确率。

S1300、根据所述人脸关键点特征对所述人脸图像进行图像内容理解。

获取到人脸关键点的特征及关键点坐标后，对人脸图像进行图像内容理解。具体地，对人脸图像进行内容理解包括(不限于)：对人脸图像进行图像对齐、图像校正、性别识别或人脸相似度比对。

其中，对人脸图像进行图像对齐，在对人脸图像进行重叠等叠加应用时，需要对人脸图像进行旋转，使人脸图像完全对齐，此时，获取人脸图像关键点的坐标，如人体的五官位置坐标，进行图像对齐时只需要将两张人脸图像的五官的关键点坐标进行重合就能够实现。

图像校正即对人脸图像进行旋转，以使人脸图像转动至预设的目标位置，例如将人脸图像中偏移倾斜的图像转动至水平，只需要将人脸图像中的双眼坐标旋转至与水平线位于统一直线就能够达成。

性别识别中由于不同性别的人脸图像中人脸的五官比例不同，通过提取不同人脸图像的关键点坐标，计算其五官的比例关系，也能够作为识别人脸图像性别的一个实现方式。

相似度比对的原理在于，不同人的人脸图像中人脸的五官比例不同，通过提取不同人脸图像的关键点坐标，计算其五官的比例关系，然后对人脸图像中的五官之间的比例关系进行比对，以辨别人脸图像是否相同。

上述实施方式中，卷积神经网络中设置专注度机制，使卷积神经网络模型在对人脸图像进行特征提取时，专注于人脸图像中用户关注的人脸关键点特征，进而使卷积神经网络模型提取的特征中仅包括或大部分为人脸关键点特征，从而提高关键点特征的占比，有效的提高了人管图像关键点检测的准确率。

本实施方式中，卷积神经网络模型的深度学习训练如下：

请参阅图3，图3为本实施例卷积神经网络模型基本训练流程示意图。

如图3所示，卷积神经网络模型的训练方法如下：

S2100、获取标记有分类判断信息的训练样本数据；

训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。

训练样本数据是由人脸数据以及对人脸数据对进行标记的分类判断信息组成的。

分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该人脸图像数据与预存储的目标人脸图像为同一个人，则标定该人脸图像分类判断信息为与预存储的目标人脸图像相同。

S2200、将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息是卷积神经网络模型根据输入的人脸图像而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。

S2300、通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

止损函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

S2400、当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束。

当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

本实施方式中的卷积神经网络模型包括空间专注度模块，因此，在进行训练时，需要对空间专注度模块进行训练，以使空间专注度模块能够准确的对关键点特征的权值进行增强。

请参阅图4，图4为本实施例卷积神经网络模型的具体训练流程示意图。

如图4所示，卷积神经网络模型的训练方法如下：

S2110、将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的激励关键点坐标；

本实施方式中，分类判断信息包括：期望关键点坐标。在获取用于训练的训练样本数据后，对人脸图像中的关键点的像素坐标进行标记形成期望关键点坐标。例如，将训练样本中人脸图像中五官的像点坐标进行标记。

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息为激励关键点坐标。激励关键点坐标为卷积神经网络模型输出的关键点特征坐标信息，激励关键点坐标与期望关键点坐标之间的差值与卷积神经网络模型的收敛度成正比，即模型的收敛度越高，则激励关键点坐标与期望关键点坐标之间的差值越小。

S2120、通过止损函数比对所述期望关键点坐标与所述激励关键点坐标是否一致；

止损函数是用于检测卷积神经网络模型中期望关键点坐标与激励关键点坐标是否具有一致性的检测函数。当卷积神经网络模型的输出的期望关键点坐标与激励关键点坐标不一致时，需要对卷积神经网络模型中的权值进行校正，以使卷积神经网络模型的输出的期望关键点坐标与激励关键点坐标相同。

本实施方式中，对卷积神经网络模型中的权值进行校正包括：对卷积层的权值进行校正以及空间专注度层的权值进行校正。

S2130、当所述期望关键点坐标与所述激励关键点坐标不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述期望关键点坐标与所述激励关键点坐标一致时结束。

当卷积神经网络模型的期望关键点坐标与激励关键点坐标不一致时不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

本实施方式中的不一致具有误差范围，当误差在预设的误差范围内时，即可认定为一致。误差范围的设定需要根据不同的应用环境进行设定，具体地，误差范围与要求模型达到的准确度成正比，即准确率越高误差范围越小。

通过本实施方式中的训练，能够使卷积神经网络模型收敛，且收敛后的卷积神经网络模型能够对人脸图像的关键点特征和坐标进行提取。

未解决上述技术问题，本发明实施例还提供一种图像处理系统。具体请参阅图5，图5为本实施例图像处理系统的基本结构示意图。

如图5所示，一种图像处理系统，包括：获取模块、处理模块和执行模块。其中，获取模块用于获取待处理的人脸图像；处理模块用于将人脸图像输入到预设的卷积神经网络模型中，并获取卷积神经网络模型响应人脸图像输入而输出的人脸图像坐标，其中，卷积神经网络模型包括专注度机制，以使人脸图像坐标中包括人脸关键点特征；执行模块用于根据人脸关键点特征对人脸图像进行图像内容理解。

图像处理系统中卷积神经网络中设置专注度机制，使卷积神经网络模型在对人脸图像进行特征提取时，专注于人脸图像中用户关注的人脸关键点特征，进而使卷积神经网络模型提取的特征中仅包括或大部分为人脸关键点特征，从而提高关键点特征的占比，有效的提高了人管图像关键点检测的准确率。

在一些实施方式中，专注力机制包括：空间专注度层；空间专注度层连接在卷积神经网络模型的任意卷积层的输出端，空间专注度层通过定向增大人脸关键点位置处特征的权值，以增大卷积神经网络模型对人脸关键点位置处特征的关注度。

在一些实施方式中，专注力机制还包括：第二空间专注度层，第二空间专注度层连接在卷积神经网络模型的第四卷积层的输出端。

在一些实施方式中，专注度机制特征描述为：

F_{SpatialAttention}＝F*SpatialAttention

并定义函数：

SpatialAttention＝F_reshape*α+β

其中，F表示为卷积层输出的图像特征，F_{SpatialAttention}表示为包含空间专注度的特征，F_reshape表示为F的变形式，SpatialAttention表示为专注度机制的权重系数，α和β表示为定义变量。

在一些实施方式中，图像处理系统还包括：第一获取子模块、第一处理子模块、第一比对子模块和第一执行子模块。其中，第一获取子模块用于获取标记有分类判断信息的训练样本数据；第一处理子模块用于将训练样本数据输入卷积神经网络模型获取训练样本数据的模型分类参照信息；第一比对子模块用于通过止损函数比对训练样本数据内不同样本的模型分类参照信息与分类判断信息是否一致；第一执行子模块用于当模型分类参照信息与分类判断信息不一致时，反复循环迭代的更新卷积神经网络模型中的权重，至模型分类参照信息与分类判断信息一致时结束。

在一些实施方式中，图像处理系统还包括：第二处理子模块、第二比对子模块和第二执行子模块。其中，第二处理子模块用于将训练样本数据输入卷积神经网络模型获取训练样本数据的激励关键点坐标；第二比对子模块用于通过止损函数比对期望关键点坐标与激励关键点坐标是否一致；第二执行子模块用于当期望关键点坐标与激励关键点坐标不一致时，反复循环迭代的更新卷积神经网络模型中的权重，至期望关键点坐标与激励关键点坐标一致时结束。

本实施例还提供一种服务器。具体请参阅图6，图6为本实施例服务器基本结构示意图。

如图6所示，服务器包括：一个或多个处理器3110和存储器3120；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：

获取待处理的人脸图像；

将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；

根据所述人脸关键点特征对所述人脸图像进行图像内容理解。

服务器利用卷积神经网络中设置专注度机制，使卷积神经网络模型在对人脸图像进行特征提取时，专注于人脸图像中用户关注的人脸关键点特征，进而使卷积神经网络模型提取的特征中仅包括或大部分为人脸关键点特征，从而提高关键点特征的占比，有效的提高了人管图像关键点检测的准确率。

需要指出的是本实施列中，服务器的存储器内存储用于实现本实施例中图像处理方法中的所有程序，处理器能够调用该存储器内的程序，执行上述图像处理方法所列举的所有功能。由于服务器实现的功能在本实施例中的图像处理方法进行了详述，在此不再进行赘述。

需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括下述步骤：

获取待处理的人脸图像；

将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；

根据所述人脸关键点特征对所述人脸图像进行图像内容理解。

2.根据权利要求1所述的图像处理方法，其特征在于，所述专注力机制包括：空间专注度层；所述空间专注度层连接在所述卷积神经网络模型的任意卷积层的输出端，所述空间专注度层通过定向增大人脸关键点位置处特征的权值，以增大所述卷积神经网络模型对人脸关键点位置处特征的关注度。

3.根据权利要求2所述的图像处理方法，其特征在于，所述专注力机制包括：第一空间专注度层，所述第一空间专注度层连接在所述卷积神经网络模型的第三卷积层的输出端。

4.根据权利要求3所述的图像处理方法，其特征在于，所述专注力机制还包括：第二空间专注度层，所述第二空间专注度层连接在所述卷积神经网络模型的第四卷积层的输出端。

5.根据权利要求1所述的图像处理方法，其特征在于，所述专注度机制特征描述为：

F_{SpatialAttention}＝F.*SpatialAttention

并定义函数：

SpatialAttention＝F_reshape*α+β

其中，F表示为卷积层输出的图像特征，F_{SpatialAttention}表示为包含空间专注度的特征，F_reshape表示为F的变形式，SpatialAttention表示为专注度机制的权重系数，α和β表示为定义变量。

6.根据权利要求1-5任意一项所述的图像处理方法，其特征在于，所述卷积神经网络模型通过下述步骤训练形成：

获取标记有分类判断信息的训练样本数据；

将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述模型分类参照信息与所述分类判断信息一致时结束。

7.根据权利要求6所述的图像处理方法，其特征在于，所述分类判断信息包括：期望关键点坐标；

所述获取标记有分类判断信息的训练样本数据的步骤之后，还包括下述步骤：

将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的激励关键点坐标；

通过止损函数比对所述期望关键点坐标与所述激励关键点坐标是否一致；

当所述期望关键点坐标与所述激励关键点坐标不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述期望关键点坐标与所述激励关键点坐标一致时结束。

8.根据权利要求1-5任意一项所述的图像处理方法，其特征在于，所述人脸图像进行内容理解包括：对人脸图像进行图像对齐、图像校正、性别识别或人脸相似度比对。

9.一种图像处理系统，其特征在于，包括：

获取模块，用于获取待处理的人脸图像；

处理模块，用于将所述人脸图像输入到预设的卷积神经网络模型中，并获取所述卷积神经网络模型响应所述人脸图像输入而输出的人脸关键点坐标，其中，所述卷积神经网络模型包括专注度机制，以使所述卷积神经网络抽取特征中包含关键点的局部信息；

执行模块，用于根据所述人脸关键点特征对所述人脸图像进行图像内容理解。

10.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-8任意一项所述的图像处理方法。