CN115880786A

CN115880786A - 基于通道注意力的人脸活体检测方法、装置及设备

Info

Publication number: CN115880786A
Application number: CN202211371277.6A
Authority: CN
Inventors: 郑海燕
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2022-11-03
Filing date: 2022-11-03
Publication date: 2023-03-31

Abstract

本说明书涉及身份识别技术领域，提供了一种基于通道注意力的人脸活体检测方法、装置及设备，该方法包括：获取待识别人脸的图像特征；将所述图像特征按照多个指定方向分别进行空间维度特征压缩，以对应获得所述图像特征在各指定方向的通道级全局特征；确定每个所述指定方向的通道级全局特征的注意力权重；根据所述注意力权重对所述图像特征进行通道维度的重标定，以形成重标定图像特征；对所述重标定图像特征进行由特征至标签的分类映射，获得人脸活体检测结果。本说明书实施例可以提高人脸活体检测的准确率，进而可以提高基于人脸识别的身份识别系统的识别准确率。

Description

基于通道注意力的人脸活体检测方法、装置及设备

技术领域

本说明书涉及身份识别技术领域，尤其是涉及一种基于通道注意力的人脸活体检测方法、装置及设备。

背景技术

客户在终端渠道办理业务时，有些业务场景需要手机接收验证码作为校验交易合法性、安全性的一种手段。但当客户未随身携带手机、手机停机、因网络原因接收不到验证码时，就无法进行当前业务的办理，从而影响了用户体验。而基于生物特征识别的身份识别则可以避免基于验证码的身份识别所面临的问题。但是，基于生物特征识别的身份识别也存在一定的安全隐患。例如，以人脸活体检测为例，通过使用人脸图像或虚拟人脸等技术手段冒充真实人脸，可能会人脸活体检测的准确率，从而影响了身份识别系统的识别准确率。

发明内容

本说明书实施例的目的在于提供一种基于多模态的人脸活体检测方法，以提高人脸活体检测的准确率。

为达到上述目的，一方面，本说明书实施例提供了一种基于通道注意力的人脸活体检测方法，包括：

获取待识别人脸的图像特征；

将所述图像特征按照多个指定方向分别进行空间维度特征压缩，以对应获得所述图像特征在各指定方向的通道级全局特征；

确定每个所述指定方向的通道级全局特征的注意力权重；

根据所述注意力权重对所述图像特征进行通道维度的重标定，以形成重标定图像特征；

对所述重标定图像特征进行由特征至标签的分类映射，获得人脸活体检测结果。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述获取待识别人脸的图像特征，包括：

将待识别人脸的人脸图像进行中心差分卷积，以提取所述人脸图像的图像特征。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述多个指定方向包括宽度方向和高度方向。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述将所述图像特征按照多个指定方向分别进行空间维度特征压缩，包括：

根据公式

对所述图像特征进行高度方向全局平均池化，以获得所述图像特征在高度方向的通道级全局特征；以及，

根据公式

对所述图像特征进行宽度方向全局平均池化，以获得所述图像特征在宽度方向的通道级全局特征；

其中，

为图像特征中c通道的高度为h的全局特征，W为图像特征的宽度，x_c(h,i)为图像特征中c通道的高度为h宽度为i的二维特征矩阵，/>

为图像特征中c通道的宽度为w的全局特征，H为图像特征的高度，x_c(w,j)为图像特征中c通道的宽度为w高度为j的二维特征矩阵。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述确定每个所述指定方向的通道级全局特征的注意力权重，包括：

将所述图像特征分别在宽度、高度方向的通道级全局特征进行拼接，获得通道级全局拼接特征；

将所述通道级全局拼接特征进行卷积核为1×1的卷积，获得通道级降维特征；

将所述通道级降维特征进行批量归一化处理后送入非线性激活函数中，获得通道级降维新特征；

将所述通道级降维新特征按照所述图像特征的高度、宽度，分别进行卷积核为1×1的卷积，对应获得与原通道数相同的第一全局特征和第二全局特征；

将所述第一全局特征输入公式

中，获得高度方向的通道级全局特征的注意力权重；

将所述第二全局特征输入公式

中，获得宽度方向的通道级全局特征的注意力权重；

其中，

为c通道的高度为h的第一全局特征的注意力权重，δ为非线性激活函数，

为c通道的高度为h的第一全局特征，/>

为c通道的宽度为w的第二全局特征的注意力权重，/>

为c通道的宽度为w的第二全局特征。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述根据所述注意力权重对所述图像特征进行通道维度的重标定，包括：

根据公式

对所述图像特征进行通道维度的重标定；

其中，x_c(i,j)为图像特征中c通道的高度为i且宽度为j的二维特征矩阵，y_c(i,j)为x_c(i,j)的重标定图像特征，

为c通道的高度为i的全局特征的注意力权重，/>

为c通道的宽度为j的全局特征的注意力权重。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述图像特征包括多个模态的图像特征；所述对所述重标定图像特征进行由特征至标签的分类映射，包括：

将每个模态的重标定图像特征进行卷积，以获得每个模态的重标定图像特征的标签分类概率向量；

将各个模态的重标定图像特征的标签分类概率向量串接为一个标签分类概率向量组合；

将所述标签分类概率向量组合输入至支持向量机分类器中，获得所述活体检测结果。

本说明书实施例的基于通道注意力的人脸活体检测方法中，所述多个模态的图像特征包括：RGB特征、近红外特征和深度特征。

另一方面，本说明书实施例还提供了一种基于通道注意力的人脸活体检测装置，包括：

获取模块，用于获取待识别人脸的图像特征；

压缩模块，用于将所述图像特征按照多个指定方向分别进行空间维度特征压缩，以对应获得所述图像特征在各指定方向的通道级全局特征；

确定模块，用于确定每个所述指定方向的通道级全局特征的注意力权重；

重标定模块，用于根据所述注意力权重对所述图像特征进行通道维度的重标定，以形成重标定图像特征；

分类模块，用于对所述重标定图像特征进行由特征至标签的分类映射，获得人脸活体检测结果。

另一方面，本说明书实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行上述方法的指令。

另一方面，本说明书实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。

另一方面，本说明书实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。

由以上本说明书实施例提供的技术方案可见，本说明书实施例通过对图像特征进行基于通道注意力的重标定，实现了将图像特征中不同层级的空间特征与通道特征进行有效结合，从而提高了人脸活体检测的准确率，进而提高了基于人脸识别的身份识别系统的识别准确率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了本说明书一些实施例中基于通道注意力的人脸活体检测系统的示意图；

图2示出了本说明书一些实施例中基于通道注意力的人脸活体检测方法的流程图；

图3示出了图2所示实施例中确定每个指定方向的通道级全局特征的注意力权重的流程图；

图4示出了图2所示实施例中对重标定图像特征进行由特征至标签的分类映射的流程图；

图5示出了本说明书一些实施例中基于通道注意力的人脸活体检测过程示意图；

图6示出了本说明书一些实施例中基于通道注意力的人脸活体检测装置的结构框图；

图7示出了本说明书一些实施例中计算机设备的结构框图。

【附图标记说明】

10、客户端；

20、服务端；

61、获取模块；

62、压缩模块；

63、确定模块；

64、重标定模块；

65、分类模块；

702、计算机设备；

704、处理器；

706、存储器；

708、驱动机构；

710、输入/输出接口；

712、输入设备；

714、输出设备；

716、呈现设备；

718、图形用户接口；

720、网络接口；

722、通信链路；

724、通信总线。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

本说明书实施例涉及基于通道注意力的人脸活体检测技术，可以应用于业务系统(如金融业务系统)、安防领域、考勤等任何可基于人脸活体检测进行身份认证和识别的场景。

图1中示出了本说明书一些实施例的基于通道注意力的人脸活体检测系统，其可以包括客户端10和服务端20。客户端10可以采集待识别人脸的人脸图像，并提供给服务端20；服务端20可以从人脸图像中提取图像特征；将图像特征按照多个指定方向分别进行空间维度特征压缩，以对应获得图像特征在各指定方向的通道级全局特征；确定每个指定方向的通道级全局特征的注意力权重；根据注意力权重对图像特征进行通道维度的重标定，以形成重标定图像特征；对重标定图像特征进行由特征至标签的分类映射，获得人脸活体检测结果。如此，通过对图像特征进行基于通道注意力的重标定，实现了将图像特征中不同层级的空间特征与通道特征进行有效结合，从而提高了人脸活体检测的准确率，进而提高了基于人脸识别的身份识别系统的识别准确率。

客户端10配置有一个或多个图像采集装置(如摄像头)，以用于采集人脸不同。其中，所述多个图像采集装置可以分别用于采集不同模态的人脸图像特征。例如，在一示例性实施例中，客户端10可以配置有近红外摄像头和3D摄像头，其中，近红外摄像头可以用于采集人脸的近红外特征，3D摄像头可以用于采集人脸的RGB特征和深度特征。在一些实施例中，所述客户端10可以为自助终端设备、移动终端(即智能手机)、显示器、台式电脑、平板电脑、笔记本电脑、数字助理或智能可穿戴设备等。其中，智能可穿戴设备可以包括智能手环、智能手表、智能眼镜或智能头盔等。所述服务端20可以为具有运算和网络交互功能的电子设备；也可以为运行于该电子设备中，为数据处理和网络交互提供业务逻辑的软件。

本说明书实施例提供了一种基于通道注意力的人脸活体检测方法，可以应用于上述的服务端侧，参考图2所示，在一些实施例中，基于通道注意力的人脸活体检测方法可以包括以下步骤：

步骤201、获取待识别人脸的图像特征。

步骤202、将所述图像特征按照多个指定方向分别进行空间维度特征压缩，以对应获得所述图像特征在各指定方向的通道级全局特征。

步骤203、确定每个所述指定方向的通道级全局特征的注意力权重。

步骤204、根据所述注意力权重对所述图像特征进行通道维度的重标定，以形成重标定图像特征。

步骤205、对所述重标定图像特征进行由特征至标签的分类映射，获得人脸活体检测结果。

本说明书实施例的基于通道注意力的人脸活体检测方法中，通过对图像特征进行基于通道注意力的重标定，实现了将图像特征中不同层级的空间特征与通道特征进行有效结合，从而提高了人脸活体检测的准确率，进而提高了基于人脸识别的身份识别系统的识别准确率。在一些实施例中，以用户通过客户端办理银行业务的应用场景为例，为了识别用户身份，办理一些银行业务时可能会进行验证码识别。然而，由于网络问题(或其他原因)，客户端有时不能及时收到验证码，从而使得用户无法在需要输入验证码的操作页面进行后续操作，即无法办理银行业务。

为此，在本说明书的实施例中，可以预先采集用户的人脸特征并进行加密存储，并在服务端配置基于通道注意力的人脸活体检测及人脸识别功能模块，以作为验证码识别的可替换手段(或之一)。此外，还可以在客户端增加人脸识别的操作选项(例如“无法正常收到验证码，是否启用人脸识别验证？”)，以便于用户选择。验证码识别可以为默认的身份识别方式(当然，也可以允许用户根据需要配置身份识别的默认方式)。在此情况下，当用户办理业务时，若遇到客户端不能正常接收到验证码时，可以由用户自行决定是否启用基于人脸识别的身份识别方式。当用户选择了启用人脸识别验证时，客户端可以调用摄像头采集待识别人脸的人脸图像，以用于人脸识别。

在获得待识别人脸的人脸图像的基础上，可以基于任何合适的图像特征提取技术，提取其中的图像特征。例如，在一实施例中，将待识别人脸的人脸图像进行中心差分卷积(Central Difference Convolution，CDC)，以提取人脸图像的图像特征。其中，中心差分卷积可以通过预训练的人脸活体检测模型中的中心差分卷积层实现。与常规的特征提取技术相比，利用中心差分卷积可以提高模型的鲁棒性和泛化能力。

通过将图像特征按照多个指定方向分别进行空间维度特征压缩，可以使得低层次的特征层获得全局感受野(Receptive Field)。其中，多个指定方向例如可以为宽度方向和高度方向。一些实施例中，可由预训练的人脸活体检测模型中的全局平均池化(globalaverage pooling)层，将图像特征按照多个指定方向分别进行空间维度特征压缩。

例如，以多个指定方向为宽度方向和高度方向为例，可以由全局平均池化层根据公式

对所述图像特征进行高度方向全局平均池化，以获得所述图像特征在高度方向的通道级全局特征；并由全局平均池化层根据公式/>

对所述图像特征进行宽度方向全局平均池化，以获得所述图像特征在宽度方向的通道级全局特征；其中，/>

通道级全局特征即为不同通道对应有不同的全局特征。对于二维图像的CNN特征而言，一般具有3个维度，即高度、宽度和通道。其中，通道(channel)也有称为特征图(feature map)，通道数即为输入的特征图的数量。例如，对于一张56×56×3的图像来说，3代表的就是输入图像的通道数，也可以理解为3张56×56的特征图，例如对一幅色彩空间为RGB的彩色图像来说，其即为R、G、B三颜色通道的特征图。因此对其进行卷积运算时，卷积核的深度应与输入图像的通道数相同，以1×1卷积为例，卷积核的大小应当是1×1×3。

对于高度、宽度和通道3个维度分别为H×W×C的图像特征，在对其进行高度方向全局平均池化后，高度方向的通道级全局特征的维度将变为1×W×C，从而实现高度方向压缩；在对其进行宽度方向全局平均池化后，宽度方向的通道级全局特征的维度将变为H×1×C，从而实现宽度方向压缩。无论是对于1×W×C还是对于H×1×C，在每个通道维度下，原本的H×W，被压缩成H×1或1×W，这相当于一维数据获得了此前H×W的全局的视野，感受区域更广，即使得低层次的特征层获得全局感受野。

本质上而言，对于高度、宽度和通道3个维度分别为H×W×C的图像特征，分别对其进行高度、宽度方向全局平均池化，相当于沿着高度、宽度方向分别对每个通道进行编码。

注意力权重可用于表征分配的注意力的大小，通过确定每个指定方向的通道级全局特征的注意力权重，可以有利于将注意力集中于重要的特征上，而避免在不重要的特征上浪费注意力。参考图3所示，在一些实施例中，确定每个指定方向的通道级全局特征的注意力权重可以包括如下步骤：

步骤301、将所述图像特征分别在宽度、高度方向的通道级全局特征进行拼接，获得通道级全局拼接特征。

这里的拼接可以是指在通道上进行叠加。

步骤302、将所述通道级全局拼接特征进行卷积核为1×1的卷积，获得通道级降维特征。

通过将通道级全局拼接特征进行卷积核为1×1的卷积，可以将通道级全局拼接特征降维为C/r，以利于精简网络结构。其中，C为降维前通道维度的维度，r为缩放参数。

步骤303、将所述通道级降维特征进行批量归一化处理(Batch Normalization)后送入非线性激活函数中，获得通道级降维新特征。

通过批量归一化处理相当于只使用了激活函数(如Sigmoid函数和Tanh函数等)的线性部分，可以缓解激活函数反向传播中的梯度消失的问题。将批量归一化处理后的通道级降维特征送入非线性激活函数(例如Sigmoid)中，可以在通道级降维特征中引入非线性特征，从而得到通道级降维新特征。换而言之，这种通道级降维新特征不再是线性特征的组合，而是既然包含线性特征又包含非线性特征的组合，从而具有更好的特征表达能力。

步骤304、将所述通道级降维新特征按照所述图像特征的高度、宽度，分别进行卷积核为1×1的卷积，对应获得与原通道数相同的第一全局特征和第二全局特征。

这里与原原通道数相同是指：将通道级降维新特征的通道维度由C/r恢复至C，如此可以使得后续获得的重标定图像特征与原先的图像特征保持通道维度的一致性。

步骤305、将所述第一全局特征输入公式

中，获得高度方向的通道级全局特征的注意力权重；并将所述第二全局特征输入公式/>

中，获得宽度方向的通道级全局特征的注意力权重。

其中，

为c通道的高度为h的第一全局特征，/>

为c通道的宽度为w的第二全局特征的注意力权重，/>

为c通道的宽度为w的第二全局特征。

在一些实施例中，根据所述注意力权重对所述图像特征进行通道维度的重标定，可以包括：根据公式

对所述图像特征进行通道维度的重标定；其中，x_c(i,j)为图像特征中c通道的高度为i且宽度为j的二维特征矩阵，y_c(i,j)为x_c(i,j)的重标定图像特征，/>

为c通道的高度为i的全局特征的注意力权重，/>

为c通道的宽度为j的全局特征的注意力权重。

如此，通道注意力机制即对卷积特征的通道进行加权，可以得到在宽度和高度方向上带有注意力权重的重标定图像特征，从而提升特征的表示能力。

应当指出的是，附图3中各步骤中涉及的卷积和性激活函数等，均是由预训练的人脸活体检测模型中的对应网络层实现。

在一些实施例中，对所述重标定图像特征进行由特征至标签的分类映射，可以包括：将所述重标定图像特征征输入至预训练的人脸活体检测模型中对应的CNN卷积层进行卷积，可以获得所述重标定图像特征的标签分类概率向量，然后将所述标签分类概率向量输入至预训练的人脸活体检测模型中的分类器(例如支持向量机SVM分类器等)，可以获得人脸活体检测结果，人脸活体检测结果要么为真实人脸，要么为虚假人脸(即攻击人脸)。当人脸活体检测结果为真实人脸时，可以进行后续的人脸特征对比，即将采集到人脸特征与预存的对应人脸特征进行相似度比较，并根据比较结果确定待识别人脸对应的用户是否为合法用户；当人脸活体检测结果为虚假人脸时，可以直接判定为身份验证识别，以节约后续的人脸特征对比处理的资源消耗。

在另一些实施例中，可以采集待识别人脸的多个模态的图像特征，以进一步提高人脸活体检测的准确率。例如，在一实施例中，多个模态的图像特征包括RGB特征、近红外特征和深度特征。其中，RGB特征和深度特征可以从待识别人脸的3D图像中获得，近红外特征可以从待识别人脸的近红外图像中获得。因此，在多模态场景下，对于每个模态的图像特征，可以分别通过步骤202～步骤204获得对应的重标定图像特征。

结合图4所示，在另一些实施例中，在多模态人脸活体检测场景下，对所述重标定图像特征进行由特征至标签的分类映射，可以包括如下步骤：

步骤401、将每个模态的重标定图像特征进行卷积，以获得每个模态的重标定图像特征的标签分类概率向量。

步骤402、将各个模态的重标定图像特征的标签分类概率向量串接为一个标签分类概率向量组合。

步骤403、将所述标签分类概率向量组合输入至支持向量机分类器中，获得所述活体检测结果。

附图4中各步骤中涉及的卷积和支持向量等，均是由预训练的人脸活体检测模型中的对应网络层实现。

与单模态人脸活体检测相比，多模态人脸活体检测可以有利于获得更加准确的活体检测结果。例如，以RGB特征、近红外特征和深度特征这三种模态为例，RGB特征具有丰富的外结构特征，但易受外界光干扰；近红外特征具有低光敏特征，即不易受外界光干扰；而深度特征则有利于抵御使用人脸图像假冒真实人脸的攻击。将RGB特征、近红外特征和深度特征相结合进行人脸活体检测，则可以实现优势互补，从而提高了人脸活体检测的准确率。基于RGB特征、近红外特征和深度特征的多模态人脸活体检测的处理过程可以如图5所示。在图5中，虚线为预训练的人脸活体检测模型，且图5中的“学习权重”是指步骤305中获得高度方向、宽度方向的通道级全局特征的注意力权重。

虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。

与上述的基于通道注意力的人脸活体检测方法对应，本说明书实施例还提供了一种基于通道注意力的人脸活体检测装置，其可以配置于上述的服务端上，参考图6所示，在一些实施例中，装置可以包括：

获取模块61，用于获取待识别人脸的图像特征；

压缩模块62，用于将所述图像特征按照多个指定方向分别进行空间维度特征压缩，以对应获得所述图像特征在各指定方向的通道级全局特征；

确定模块63，用于确定每个所述指定方向的通道级全局特征的注意力权重；

重标定模块64，用于根据所述注意力权重对所述图像特征进行通道维度的重标定，以形成重标定图像特征；

分类模块65，用于对所述重标定图像特征进行由特征至标签的分类映射，获得人脸活体检测结果。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

需要说明的是，本说明书的实施例中，所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权同意且经过各方充分授权的信息和数据。

本说明书的实施例还提供一种计算机设备。如图7所示，在本说明书一些实施例中，所述计算机设备702可以包括一个或多个处理器704，诸如一个或多个中央处理单元(CPU)或图形处理器(GPU)，每个处理单元实现了一个或多个硬件线程。计算机设备702还可以包括任何存储器706，其用于存储诸如代码、设置、数据等之类的任何种类的信息，一具体实施例中，存储器706上并可在处理器704上运行的计算机程序，所述计算机程序被所述处理器704运行时，可以执行上述任一实施例所述的基于通道注意力的人脸活体检测方法的指令。非限制性的，比如，存储器706可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备702的固定或可移除部件。在一种情况下，当处理器704执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备702可以执行相关联指令的任一操作。计算机设备702还包括用于与任何存储器交互的一个或多个驱动机构708，诸如硬盘驱动机构、光盘驱动机构等。

计算机设备702还可以包括输入/输出接口710(I/O)，其用于接收各种输入(经由输入设备712)和用于提供各种输出(经由输出设备714)。一个具体输出机构可以包括呈现设备716和相关联的图形用户接口718(GUI)。在其他实施例中，还可以不包括输入/输出接口710(I/O)、输入设备712以及输出设备714，仅作为网络中的一台计算机设备。计算机设备702还可以包括一个或多个网络接口720，其用于经由一个或多个通信链路722与其他设备交换数据。一个或多个通信总线724将上文所描述的部件耦合在一起。

通信链路722可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路722可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务端等的任何组合。

本申请是参照本说明书一些实施例的方法、设备(系统)、计算机可读存储介质和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理器的处理器以产生一个机器，使得通过计算机或其他可编程数据处理器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理器以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理器上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算机设备访问的信息。按照本说明书中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理器来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

还应理解，在本说明书实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。