CN111160284A

CN111160284A - 人脸照片质量评估方法、系统、设备及存储介质

Info

Publication number: CN111160284A
Application number: CN201911410527.0A
Authority: CN
Inventors: 迟振
Original assignee: Suzhou Nise Intelligent Technology Co ltd
Current assignee: Suzhou Nise Intelligent Technology Co ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2020-05-15

Abstract

本发明公开了一种人脸照片质量评估方法、系统、设备及存储介质，其中，所述方法包括：评估人脸图像的图像质量，获得多个初步评估系数；根据各个所述初步评估系数所占权重，加权各个相应的所述初步评估系数，获得所述人脸图像的加权评估值；对所述人脸图像进行特征提取，获得特征评估值，并根据所述特征评估值对所述人脸图像的图像质量进行最终质量评估。解决了在各种实际复杂环境下引起的人脸图像质量变差而使人脸识别系统对该人脸图像无法识别或识别错误的问题，使人脸识别的识别率得到极大的提高。

Description

人脸照片质量评估方法、系统、设备及存储介质

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸照片质量评估方法、系统、设备及存储介质。

背景技术

人脸识别(Facial Recognition)是利用分析比较人脸的面部特征信息进行身份识别的计算机技术。人脸识别由于其非接触式、基本无须配合、操作隐蔽性强等优势，其具有很高的实用价值，被认为是一种可广泛使用的生物特征识别技术。

人脸识别是生物特征识别技术中的重要研究领域，它涵盖了图像处理、神经网络、心理学、生理学、人工智能、模式识别、计算机视觉以及人工智能等各方面的知识内容，对推动各个学科领域的发展无论在理论上还是在实践中都有具有重要的意义。人脸识别技术可广泛应用于公安，金融，交通，新零售，身份识别，电子商务，安防监控等专业领域。人脸识别的方法步骤主要包括：图像采集及检测、图像预处理、图像特征提取、匹配与识别。图像特征提取可分为全局特征与局部特征两类：全局特征方法反映的是人脸的整体属性，主流的全局特征方法包括主成分分析法(PCA)，线性判别分析法(LDA)及独立分量分析法(ICA)等；局部特征方法侧重于提取人脸的细节特征，基于局部特征的识别方法包括局部特征表示(LFA)、局部二值模式(LBP)及局部方向模式(LDP)等。

在一般的人脸识别系统中，训练和识别两个阶段都需要采集人脸图像，而人脸图像质量的好坏将直接影响到人脸识别系统的性能，模糊的人脸图像将导致识别错误率的上升。而在现实环境中采集到的人脸图像的质量往往变化很大，可能会出现运动模糊、离焦模糊等情况，因此，为了保证人脸识别的准确性，在进入训练阶段和识别阶段之前，都有必要对得到的人脸图像进行质量评估，选择达到一定质量要求的图像，再进行后续的处理过程。由此可见，人脸图像的质量评估对人脸识别系统来说是不可或缺的。加入对人脸照片质量评估后的人脸识别系统可以有效改善由于输入图像质量过低引起的错误，节省系统匹配时间。

现有技术中，现有的人脸图片质量评估方法可分为主观评估方法和客观评估方法。主观评估方法通常被认为是最合理的图像评估方法，因为绝大多数图像输出的终端是人眼，所以人自己直接对图像质量的评估也即主观评估显然是最具合理性的。然而，主观评估方法需要组织观察者对图像质量进行观测，评估结果往往会因人而异，无法得到客观的定量描述；由于需要人的参与，必然费时费力；而且很难与原有系统进行无缝衔接。并且，自动人脸识别过程中没有人工干预，所以无法采用图像质量主管评估方法。人脸图像的质量评估与传统的图像质量评估有很大的不同：传统的图像质量评估往往是根据一定的数学模型计算压缩、传输、增强或其他处理变换后的图像与其原始图像质量上的差别，而不是直接对获取的原始图像进行评估，所以在评估时通常有“标准图像”可供参照；人脸图像的采集和识别过程中，并没有所谓的“标准图像”可供参考。

因此，在图像质量客观评估方法中，无论是具有计算简单优点而被广泛使用的均方差(MSE)和峰值信噪比(PSNR)方法，还是更符合人眼视觉系统(HVS)特性的结构相似度(SSIM)方法和基于自然场景统计(NSS)的视觉信息逼真度(VIF)方法，由于必须得通过对变换后的图像与标准图像进行比较来做出质量评估，故都不适合被应用于人脸图像质量评估中。

发明内容

针对现有技术的不足，本发明提供了一种人脸照片质量评估方法、系统、设备及存储介质，解决了现有技术中存在的运动模糊、离焦模糊等情况、大角度或不同角度的人脸、低光或背光环境、一定程度遮挡、人脸模糊等各种实际复杂环境下引起的人脸图像质量变差而使人脸识别系统对该人脸图像无法识别或识别错误的问题。

第一方面，本发明提供了一种人脸照片质量评估方法，上述方法包括：

评估人脸图像的图像质量，获得多个初步评估系数；

根据各个上述初步评估系数所占权重，加权各个相应的上述初步评估系数，获得上述人脸图像的加权评估值；

对上述人脸图像进行特征提取，获得特征评估值，并根据上述特征评估值对上述人脸图像的图像质量进行最终质量评估。

优选地，上述评估系数包括对比度评估系数、明亮度评估系数、清晰度评估系数；

相应地，上述评估人脸图像的图像质量，获得多个初步评估系数，上述方法包括：

对上述人脸图像分别从对比度、明亮度及清晰度进行质量评估，获得相应的上述对比度评估系数、上述明亮度评估系数及上述清晰度评估系数。

优选地，上述对比度评估系数的获取方法包括：

计算上述人脸图像的归一化直方图离散系数：

其中，M是像素矩阵的水平点数，N是像素矩阵的垂直点数，r_k是第k级的灰度值，n_k是灰度值为r_k的像素个数；

求出上述归一化直方图离散系数平均值：

求出上述归一化直方图离散系数方差：

最后，算出上述对比度评估系数λ1：λ1＝1-δ。

优选地，所明亮度评估系数的获取方法包括：

对所输入的n个图像序列分别进行数学求平均，获得各自灰度平均值用

表示，其中，n个图像序列用I_i(i＝1,2…n)表示；

求取整幅上述人脸图像的灰度平均值：

最后，算出上述明亮度评估系数λ2：

优选地，上述清晰度评估系数的获取方法包括：

采用sobel算子对所输入的n个图像序列I_i(i＝1,2…n)的任意一个分别求出0度，45度，90度，135度方向的边缘图像I_ij；

对上述n个图像序列I_i(i＝1,2…n)的任意一个求取成边缘强度：

求取整幅上述人脸图像的平均边缘图像

分别求

和E_i的平均值

和m_i，并算出上述清晰度评估系数λ3：

优选地，上述人脸图像的加权评估值的表达式为w1*λ1+w2*λ2+w3*λ3，其中，对比度评估系数权重w1、明亮度评估系数权重w2、清晰度评估系数权重w3均为满足w1+w2+w3＝100的正数。

优选地，上述对上述人脸图像进行特征提取，获得特征评估值，上述方法包括：

采用深度学习神经网络方法对上述人脸图像进行特征提取获得特征向量，并对上述特征向量进行平方求和运算，获得的运算结果作为上述特征评估值。

优选地，上述根据上述特征评估值对上述人脸图像的图像质量进行最终质量评估，上述方法包括：

若上述特征评估值大于预设阈值，则判定该人脸图像的质量较好；若上述特征评估值小于预设阈值，则判断该人脸图像的质量不佳。

第二方面，本发明提供了一种人脸照片质量评估系统，上述系统包括：

局部评估模块，用于评估人脸图像的图像质量，获得多个初步评估系数；

加权评估模块，用于根据各个上述初步评估系数所占权重，加权各个相应的上述初步评估系数，获得上述人脸图像的加权评估值；

特征评估模块，用于对上述人脸图像进行特征提取，获得特征评估值，并根据上述特征评估值对上述人脸图像的图像质量进行最终质量评估。

第三方面，本发明提供了一种人脸照片质量评估设备，上述设备包括：

通信总线，用于实现处理器与存储器间的连接通信；

存储器，用于存储计算机程序；

处理器，用于执行上述计算机程序以实现如下步骤：

评估人脸图像的图像质量，获得多个初步评估系数；

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面的方法。

本发明的有益效果：本发明的人脸照片质量评估方法、系统、设备及存储介质，通过对人脸图像的对比度、明亮度、清晰度和图像中人脸位置信息等多种评估指标来评估人脸图像质量，得出各自的评估系数，然后再分别乘以对比度、明亮度、清晰度评估指标所占的权重，相加后得出每幅图的评估得分，从而选出质量最佳的图像。解决了人脸图像由于运动模糊、离焦模糊等情况、大角度或不同角度的人脸、低光或背光环境、一定程度遮挡、人脸模糊等各种实际复杂环境下引起的人脸图像质量变差而使人脸识别系统对该人脸图像无法识别或识别错误的问题，使人脸识别的识别率得到极大的提高。目前已经达到了99.5％的准确率，误检率低于十万分之一，远远比肉眼识别更加精确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，附图中的实施例不构成对本发明的任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明人脸照片质量评估方法一实施例流程示意图。

图2是本发明人脸照片质量评估系统一实施例结构示意图。

图3是本发明人脸照片质量评估设备一实施例结构示意图。

图4是本发明人脸照片质量评估方法或系统输出结果示意图。

具体实施方式

下面结合附图与实施例对本发明技术方案作进一步详细的说明，这是本发明的较佳实施例。应当理解，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例技术方案的主要思想：评估人脸图像的图像质量，获得多个初步评估系数；根据各个上述初步评估系数所占权重，加权各个相应的上述初步评估系数，获得上述人脸图像的加权评估值；对上述人脸图像进行特征提取，获得特征评估值，并根据上述特征评估值对上述人脸图像的图像质量进行最终质量评估。

为了更好的理解上述的技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一

本发明一实施例提供了一种人脸照片质量评估方法，如图1所示，以下方法实施例中各步骤的执行主体具体可以为具有人脸照片质量评估功能的各种设备，例如：手机、个人电脑，PAD，门禁设备等，该方法具体可以包括如下步骤：

步骤S101，评估人脸图像的图像质量，获得多个初步评估系数，其中，上述评估系数包括对比度评估系数、明亮度评估系数、清晰度评估系数，且均在0-1之间。

上述待识别的人脸图像可通过有线连接方式或无线连接方式从用户利用其进行身份验证的终端设备获得待检测人脸的人脸图像。

具体地，对上述人脸图像分别从对比度、明亮度及清晰度进行质量评估，获得相应的上述对比度评估系数、上述明亮度评估系数及上述清晰度评估系数。

在本发明实施例中，上述对比度评估系数的获取方法包括：

首先，计算上述人脸图像的归一化直方图离散系数：

接着，求出上述归一化直方图离散系数平均值：

然后，求出上述归一化直方图离散系数方差：

最后，算出上述对比度评估系数λ1：λ1＝1-δ。

适当的亮度是人们观察图像的基本条件，也是影响图像质量的重要因素，亮度过强或过弱都会影响图像质量。本发明采用图像灰度平均值的方法来评估人脸图像明亮度。在本发明实施例中，所明亮度评估系数的获取方法包括：

首先，对所输入的n个图像序列分别进行数学求平均，获得各自灰度平均值用

表示，其中，n个图像序列用I_i(i＝1,2…n)表示；

然后，求取整幅上述人脸图像的灰度平均值：

最后，算出上述明亮度评估系数λ2：

清晰度是人们从主观上描述图像质量的感受。从频域的角度看，当一幅图像的高频分量不足时，通常表现为模糊；而高频分量过多时又会表现为粗糙。大量的理论与试验都表明，相对平滑区域和纹理区域、边缘在图像中识别物体时起着非常重要的作用，图像的可视性也受到边缘区域发生频率的影响。因此在计算图像清晰度时，特别要重视图像中边缘区域的清晰程度对全图清晰度的影响。本发明采用合成边缘图像的平均值来评估人脸图片的清晰度。在本发明实施例中，上述清晰度评估系数的获取方法包括：

首先，采用sobel算子对所输入的n个图像序列I_i(i＝1,2…n)的任意一个分别求出0度，45度，90度，135度方向的边缘图像I_ij；

接着，对上述n个图像序列I_i(i＝1,2…n)的任意一个求取成边缘强度：

然后，求取整幅上述人脸图像的平均边缘图像

最后，分别求

和E_i的平均值

和m_i，并算出上述清晰度评估系数λ3：

需要说明的是，上述人脸图像的加权评估值的表达式为w1*λ1+w2*λ2+w3*λ3，其中，对比度评估系数权重w1、明亮度评估系数权重w2、清晰度评估系数权重w3均为满足w1+w2+w3＝100的正数。

在实际应用中，比度评估系数权重、明亮度评估系数权重及清晰度评估系数权重的取值分别可以取为w1＝40，w2＝35，w3＝25。若应用场景图像明亮度或清晰度变化幅度较大，可以适当调低对应权重。若需要适用特定场景且光照等重要外部条件不断变化时，也可以采集大量现场图像，采用机器学习算法推导w1、w2和w3的值。

步骤S102，根据各个上述初步评估系数所占权重，加权各个相应的上述初步评估系数，获得上述人脸图像的加权评估值。

具体地，根据各个上述初步评估系数所占权重，比如对比度评估系数权重w1、明亮度评估系数权重w2、清晰度评估系数权重w3，分别与对比度评估系数λ1、明亮度评估系数λ2、清晰度评估系数λ3相乘，即人脸图像的加权评估值的表达式为T1＝w1*λ1+w2*λ2+w3*λ3，其中，w1+w2+w3＝100，且w1、w2、w3均为正数。

步骤S103，对上述人脸图像进行特征提取，获得特征评估值，并根据上述特征评估值对上述人脸图像的图像质量进行最终质量评估。

在本发明实施例中，首先采用深度学习神经网络方法对上述人脸图像进行特征提取获得特征向量，比如是128或512等维数的特征向量，并对上述特征向量进行平方求和运算，获得相同维度的运算结果作为上述特征评估值。然后，当上述特征评估值大于预设阈值，则判定该人脸图像的质量较好；当上述特征评估值小于预设阈值，则判断该人脸图像的质量不佳。

具体地，在实际应用中，可根据应用场景需要，对加权评估值较高的人脸图像或全部人脸图像进行对齐，然后可以采用SeetaFace或ArcFace等深度学习神经网络方法对人脸图像进行提特征，提取到的每一个人脸的特征值均为一个P维(128，512等)的向量，得到的特征评估值T2为P维向量的平方和，即T2＝M₁ ²+M₂ ²+M₃ ²+……+M_p ²。当其特征评估值T2大于阈值，则判定该人脸照片的质量较好；若其特征评估值T2小于预设阈值，判断该人脸照片的质量不佳。

根据T1、T2，得出最终的人脸图像评估指标综合值T：T＝T₁×A。其中，当T2大于阈值，则A＝1；当T2小于阈值，则A＝0.5。

举例：下面为测试用图的评估系数和评分参数表：

	T<sub>1</sub>	A	T
				a	81.535	1	81.535
b	78.155	0.5	39.078
				c	86.012	1	86.012

值得指出的是，上述提及的人脸图像或全部人脸图像进行对齐方法可采用ASM(Active Shape Models)算法、AAM(Active Appreance Model)算法；还可以是预先制作的三维正面的“标准模型”，旋转三维标准模型一定角度，直到模型上“三维特征点”的“二维投影”与上述人脸图像的特征点重合对齐方法。

需要说明的是，本实施例提供的人脸照片质量评估方法，同样适用于其他基于生物特征(指纹、虹膜、掌纹等)的图像的识别质量评估。

实施例二

本发明一实施例提供了一种人脸照片质量评估系统，如图2所示，本实施例中的人脸照片质量评估的系统为执行上述人脸照片质量评估方法的特定主体，该系统具体可以包括如下模块：

局部评估模块，用于评估人脸图像的图像质量，获得多个初步评估系数，其中，上述评估系数包括对比度评估系数、明亮度评估系数、清晰度评估系数，且均在0-1之间。

在本发明实施例中，上述对比度评估系数的获取方法包括：

首先，计算上述人脸图像的归一化直方图离散系数：

接着，求出上述归一化直方图离散系数平均值：

然后，求出上述归一化直方图离散系数方差：

最后，算出上述对比度评估系数λ1：λ1＝1-δ。

在本发明实施例中，所明亮度评估系数的获取方法包括：

表示，其中，n个图像序列用I_i(i＝1,2…n)表示；

然后，求取整幅上述人脸图像的灰度平均值：

最后，算出上述明亮度评估系数λ2：

在本发明实施例中，上述清晰度评估系数的获取方法包括：

然后，求取整幅上述人脸图像的平均边缘图像

最后，分别求

和E_i的平均值

和m_i，并算出上述清晰度评估系数λ3：

加权评估模块，用于根据各个上述初步评估系数所占权重，加权各个相应的上述初步评估系数，获得上述人脸图像的加权评估值。

需要说明的是，本实施例提供的人脸照片质量评估系统，同样适用于其他基于生物特征(指纹、虹膜、掌纹等)的图像的识别质量评估。

实施例三

本发明一实施例提供了一种人脸照片质量评估设备，如图3所示，该人脸照片质量评估设备可选的还可以包括摄像头等模块以获取原始人脸图像，该设备具体可以包括如下模块：

通信总线，用于实现处理器与存储器间的连接通信；

存储器，用于存储计算机程序；存储器可能包含高速RAM存储器，也可能还包含非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器可选的可以包含至少一个存储装置。

处理器，用于执行上述计算机程序以实现如下步骤：

步骤S201，评估人脸图像的图像质量，获得多个初步评估系数，其中，上述评估系数包括对比度评估系数、明亮度评估系数、清晰度评估系数，且均在0-1之间。

在本发明实施例中，上述对比度评估系数的获取方法包括：

首先，计算上述人脸图像的归一化直方图离散系数：

接着，求出上述归一化直方图离散系数平均值：

然后，求出上述归一化直方图离散系数方差：

最后，算出上述对比度评估系数λ1：λ1＝1-δ。

表示，其中，n个图像序列用I_i(i＝1,2…n)表示；

然后，求取整幅上述人脸图像的灰度平均值：

最后，算出上述明亮度评估系数λ2：

然后，求取整幅上述人脸图像的平均边缘图像

最后，分别求

和E_i的平均值

和m_i，并算出上述清晰度评估系数λ3：

步骤S202，根据各个上述初步评估系数所占权重，加权各个相应的上述初步评估系数，获得上述人脸图像的加权评估值。

步骤S203，对上述人脸图像进行特征提取，获得特征评估值，并根据上述特征评估值对上述人脸图像的图像质量进行最终质量评估。

本实施例中的处理器可能是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。上述处理器可以是微处理器或者上述处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

需要说明的是，本实施例提供的人脸照片质量评估设备，同样适用于其他基于生物特征(指纹、虹膜、掌纹等)的图像的识别质量评估。

实施例四

本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述人脸照片质量评估方法。

综上所述，本发明实施例提供的一种人脸照片质量评估的方法、系统、设备及存储介质，通过对人脸图像的对比度、明亮度、清晰度和图像中人脸位置信息等多种评估指标来评估人脸图像质量，得出各自的评估系数，然后再分别乘以对比度、明亮度、清晰度评估指标所占的权重，相加后得出每幅图的评估得分，从而选出质量最佳的图像。所以，本发明实施例达到了以下技术效果：解决了人脸图像由于运动模糊、离焦模糊等情况、大角度或不同角度的人脸、低光或背光环境、一定程度遮挡、人脸模糊等各种实际复杂环境下引起的人脸图像质量变差而使人脸识别系统对该人脸图像无法识别或识别错误的问题，使人脸识别的识别率得到极大的提高。目前已经达到了99.5％的准确率，误检率低于十万分之一。。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。