CN113723375B

CN113723375B - 一种基于特征抽取的双帧人脸跟踪方法和系统

Info

Publication number: CN113723375B
Application number: CN202111286213.1A
Authority: CN
Inventors: 叶小培; 王月平
Original assignee: Hangzhou Moredian Technology Co ltd
Current assignee: Hangzhou Moredian Technology Co ltd
Priority date: 2021-11-02
Filing date: 2021-11-02
Publication date: 2022-03-04
Anticipated expiration: 2041-11-02
Also published as: CN113723375A

Abstract

本申请涉及一种基于特征抽取的双帧人脸跟踪方法和系统，其中，该方法包括：通过人脸检测模块获取首帧图像中的人脸位置坐标；根据人脸位置坐标在首帧图像中截取第一目标图像，并通过人脸特征抽取模型对第一目标图像进行特征抽取得到第一面部特征；获取首帧图像的高度信息和宽度信息，根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标；根据后帧人脸区域坐标，在后帧图像上截取第二目标图像；将第一面部特征和第二目标图像输入双帧人脸跟踪模型，通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标。通过本申请解决了相关技术中因人脸跟踪算法运算量大导致门禁设备的响应速度慢，减少了人脸跟踪过程中的运算量，提升了响应速度。

Description

一种基于特征抽取的双帧人脸跟踪方法和系统

技术领域

本申请涉及人脸识别跟踪领域，特别是涉及一种基于特征抽取的双帧人脸跟踪方法和系统。

背景技术

随着AI产品相关算法的日渐成熟，基于人脸检测技术的门禁设备也得到了广泛的应用。其中，由于人脸检测算法模型的运算量较大且调用频率很高，而常规的嵌入式门禁设备普遍不具有很强的运算能力，若长时间高频次调用人脸检测算法模型，门禁设备会出现响应速度慢、功耗大的问题。

在相关技术中，传统的人脸跟踪检测方法包括meanshift算法、卡尔曼滤波、粒子滤波、光流法、csk（Exploiting the Circulant Structure of Tracking-by-detectionwith Kernel，核监测循环跟踪）、kcf（Kernelized Correlation Filter，核相关滤波）、dcf（Dual Correlation Filter，对偶相关滤波），基于深度学习的跟踪算法包括siamrpn、deepsort、dff等。上述方法都存在运算量大，实时性能差，跟踪效果差等问题，因此，难以达成在嵌入式设备端上快速高效寻到人脸位置的任务。

目前针对相关技术中人脸识别方法运算量大，在设备端响应速度慢的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于特征抽取的双帧人脸跟踪方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中人脸识别方法运算量大，在设备端响应速度慢的问题。

第一方面，本申请实施例提供了一种基于特征抽取的双帧人脸跟踪方法，应用在嵌入式门禁设备上，所述方法包括：

获取首帧图像，通过人脸检测模块获取所述首帧图像中的人脸位置坐标；

根据所述人脸位置坐标在所述首帧图像中截取第一目标图像，并通过人脸特征抽取模型对所述第一目标图像进行特征抽取得到第一面部特征；

获取所述首帧图像的高度信息和宽度信息，根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标；

获取后帧图像，根据所述后帧人脸区域坐标，在所述后帧图像上截取第二目标图像；

将所述第一面部特征和第二目标图像输入双帧人脸跟踪模型，通过所述双帧人脸跟踪模型获取所述第二目标图像的人脸位置坐标。

在其中一些实施例中，所述通过所述双帧人脸跟踪模型获取所述第二目标图像的人脸位置坐标包括：

所述第一面部特征经过全连接层和重塑层处理得到第二面部特征；

对所述第二目标图像进行卷积处理，分别得到第一图像特征和第二图像特征；

通过Element-WiseAdd模块将所述第二面部特征与所述第一图像特征在通道层融合，并经过卷积运算得到人脸位置特征图；

通过concat模块将所述第二面部特征和所述第二图像特征进行多层融合，并经过卷积运算得到人脸得分特征图。

在其中一些实施例中，所述经过卷积运算得到人脸得分特征图之后，所述方法还包括：

对所述人脸位置特征图进行解码，得到初始人脸位置坐标；

对所述人脸得分特征图进行解码，得到人脸特征得分；

基于所述人脸特征得分和所述初始人脸位置坐标，确定所述第二目标图像的人脸位置坐标。

在其中一些实施例中，所述根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标包括：

基于所述高度信息、所述宽度信息和所述人脸位置坐标，通过如下公式预测所述后帧人脸区域坐标：

其中，

是所述后帧人脸区域坐标，

，

是所述首帧图像的人脸位置坐标，

和

分别是所述宽度信息和所述高度信息，

和

分别是所述人脸位置坐标在

轴和

轴上的差值。

在其中一些实施例中，所述方法还包括：

所述根据所述人脸位置坐标在所述首帧图像中截取第一目标图像之后，对所述第一目标图像进行归一化处理，得到所述人脸特征抽取模型的输入数据；

所述根据所述后帧人脸区域坐标在所述后帧图像上截取第二目标图像之后，对所述第二目标图像进行归一化处理，得到所述双帧人脸跟踪模型的输入数据。

在其中一些实施例中，所述对所述第一目标图像进行归一化处理，或所述对所述第二目标图像进行归一化处理包括：

将所述第一目标图像或所述第二目标图像转换为预设尺寸；

对于所述第一目标图像或第二目标图像在R、G、B三个通道上的像素值，进行如下公式所示运算处理：

其中，

是所述归一化处理之后的像素值，

是所述归一化处理之前的像素值，

是与各个人脸模型匹配的归一化常数。

第二方面，本申请实施例提供了一种基于特征抽取的双帧人脸跟踪系统，应用在嵌入式门禁设备上，所述系统包括：人脸检测模块、特征抽取模块和双帧人脸跟踪模块；

所述人脸检测模块用于获取首帧图像，以及获取所述首帧图像中的人脸位置坐标；

所述特征抽取模块用于根据所述人脸位置坐标在所述首帧图像中截取第一目标图像，以及对所述第一目标图像进行特征抽取得到第一面部特征；

所述双帧人脸跟踪模块用于获取所述首帧图像的高度信息和宽度信息，根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标，

以及获取后帧图像，根据所述后帧人脸区域坐标，在所述后帧图像上截取第二目标图像，以及，

基于所述第一面部特征和第二目标图像，获取所述第二目标图像的人脸位置坐标。

在其中一些实施例中，所述双帧人脸跟踪模块基于所述第一面部特征和第二目标图像，获取所述第二目标图像的人脸位置坐标包括：

对所述第二目标图像进行卷积处理，分别得到第一图像特征和第二图像特征，其中，所述第一图像特征与所述第二面部特征的通道数和维度相同；

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的所述的基于特征抽取的双帧人脸跟踪方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的所述的基于特征抽取的双帧人脸跟踪方法。

相比于相关技术，本申请实施例提供的基于特征抽取的双帧人脸跟踪方法，根据人脸位置坐标在首帧图像中截取第一目标图像，并通过人脸特征抽取模型对第一目标图像进行特征抽取得到第一面部特征。进一步的，根据手帧图像的高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标。再根据后帧人脸区域坐标在后帧图像上截取第二目标图像。最后将第一面部特征和第二目标图像输入双帧人脸跟踪模型，通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标。解决了相关技术中因人脸跟踪算法运算量大导致门禁设备的响应速度慢，减少了人脸跟踪过程中的运算量，提升了响应速度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的应用环境示意图；

图2是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的流程图；

图3是根据本申请实施例的通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标的示意图；

图4是根据本申请实施例的基于特征抽取的双帧人脸跟踪系统的结构框图；

图5是根据本申请实施例的基于特征抽取的双帧人脸跟踪系统的工作流程示意图；

图6是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的一种基于特征抽取的双帧人脸跟踪方法，可以应用在如图1所示的应用环境中，图1是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的应用环境示意图，如图1所示，终端10上部署有双帧人脸跟踪算法，其基于对传统跟踪算法改进得到。由于其数据运算量较小，当终端10应用该改进算法之后，能够明显提升硬件响应速度，且降低功耗。进一步的，终端10通过摄像头等装置采集人员的面部图像，通过网络从服务器11下载对应的数据并进行人脸识别及跟踪。最后，在跟踪识别结束之后，可对外部设备发出动作指令。例如，在门禁业务场景下，终端10可以是嵌入式门禁设备，当跟踪识别成功之后，其可以指示门禁装置打开闸门等。需要说明的是，本申请实施例中的终端10可以是嵌入式门禁设备，服务器11可以是单独的服务器或者多个服务器组成的集群。

图2是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的流程图，如图2所示，该流程包括如下步骤：

S201，获取首帧图像，通过人脸检测模块获取首帧图像中的人脸位置坐标；

其中，该首帧图像指在人脸跟踪流程中，在时序层面获取的在前图像，对应的，后帧图像指在时序层面位于首帧图像之后，且与首帧图像相邻的下一帧图像。

进一步的，其中的人脸检测模块可以是常见的人脸检测模型，如PCN模型，YoloV3模型和RetinaNet等。当然，该人脸检测模型并不限于上述类型。

S202，根据人脸位置坐标在首帧图像中截取第一目标图像，并通过人脸特征抽取模型对第一目标图像进行特征抽取得到第一面部特征；

其中，人脸位置坐标包括：左上角顶点坐标（x1，y1）和右下角顶点坐标（x2，y2），可以理解，在得到该坐标参数后，即可在首帧图像中截取与坐标位置对应的第一目标图像。

另外，上述人脸特征抽取模型可以是常见的任一轻量化模型，本申请中对选择何种人脸特征抽取模型不作具体限定。同时，通过人脸特征抽取模型进行特征抽取的过程对本申请的核心发明点并无影响，故此处也不再过多赘述。

S203，获取首帧图像的高度信息和宽度信息，根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标；

需要说明的是，由于在人脸跟踪过程中，人脸随时运动，且连续的前后两帧图像的时间跨度不会很大，所以后帧图像中人脸的的区域范围应该位于前帧图像中人脸区域的较大外扩范围内。故在本步骤中，依据图片尺寸信息和前帧图像中的人脸位置坐标，可以合理的预测后帧人脸区域范围（坐标）。

S204，获取后帧图像，根据后帧人脸区域坐标，在后帧图像上截取第二目标图像；

上述步骤S203中已得到后帧图像中的人脸位置坐标，即可以根据该人脸位置坐标，在后帧图像向截取以获得该第二目标图像。需要说明的是，第二目标图像的尺寸大小由图像的尺寸，人脸区域大小综合决定。

通过本步骤，可以以较快速度的在后帧图像中确定人脸区域的大致范围，避免了在图像中采取逐个遍历的方式确定人脸区域导致的数据冗余，能够有效的减少模型搜索范围，

S205，将第一面部特征和第二目标图像输入双帧人脸跟踪模型，通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标。

其中，第一面部特征是前帧图像中的面部特征，第二目标图像是后帧图像中的大致人脸区域。进一步的，基于上述数据，采用自研的双帧人脸跟踪模型，在模型内部将前帧特征与后帧局部图像融合，再经过池化，卷积等步骤得到第二目标图像（也即后帧图像）的人脸位置坐标，

在嵌入式门禁设备中，对于人脸目标，循环执行上述步骤S201至S205即可实现人脸的跟踪识别。

通过上述步骤S201至S205，相比较于相关技术中需要遍历图像中的所有区域进行人脸跟踪的方法，本申请实施例中结合前帧图像的人脸特征和后帧图像中的人脸区域进行人脸跟踪，相比较与相关技术中的人脸跟踪方法，本申请实施例准确的缩小了后帧图像中的搜索范围，减少了算法运算量，从而提升了嵌入式门禁设备的响应速度，减少了功耗。另外，由于本申请采用深度模型，在应用到某些采用深度模型芯片的门禁设备，其响应速度将会进一步的提升。

在其中一些实施例中，根据人脸位置坐标在首帧图像中截取第一目标图像之后，还需对第一目标图像进行归一化处理，得到人脸特征抽取模型的输入数据；

其中，该归一化处理具体包括如下步骤：首先将第一目标图像转换为112*112*3的预设尺寸，其次将第一目标图像在R、G、B三个通道上的像素值，经过如下公式1所示的运算处理：

其中，

是归一化处理之后的像素值，

是归一化处理之前的像素值，

是与各个人脸模型匹配的归一化常数。

需要说明的是，上述预设尺寸和归一化常数的取值由人脸跟踪模型决定，本申请中的上述预设尺寸当然并不限定与112*112*3。不同人脸跟踪模型的输入尺寸可能不同，也可能相同。

需要说明的是，上述归一化的作用即将原图像中的像素分布区间变为更小的范围，如[-1，1]，从而更适用于神经网络进行学习。

在其中一些实施例中，根据后帧人脸区域坐标在后帧图像上截取第二目标图像之后，同样需要对第二目标图像进行归一化处理，以得到双帧人脸跟踪模型的输入数据。该过程与上述对第一目标图像进行归一化处理的过程相同，只是其最终得到的图像尺寸大小有所差异，可选的，第二图像的尺寸为224*224*3。

在其中一些实施例中，图3是根据本申请实施例的通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标的示意图，如图3所示，该过程包括：

在图3顶部位置，第一面部特征（即图3面部特征1）经过全连接层（FC模块）、重塑层（Reshape模块）和卷积模块处理分别得到维度（64,56,56）和维度（16,28,28）的第二面部特征；

在图3底部位置，第二目标图像（即图3图像区域2）经过卷积模块处理分别得到维度为（64、56、56）的第一图像特征和维度为（32,28,28）的第二图像特征；

通过Element-WiseAdd模块将维度（64,56,56）的第二面部特征和维度（64,56,56）的第一图像特征在通道层进行融合，再基于通道层融合的结果，通过卷积运算得到维度（4k,14,14）人脸位置特征图；

通过concat模块将维度（16,28,28）第二面部特征和维度（32,28,28）第二图像特征进行多层融合，再基于层融合的结果，通过卷积运算得到维度(2k,14,14)人脸得分特征图。

对人脸位置特征图进行解码，得到初始人脸位置坐标，具体包括：对于位置特征图中的每个位置，通过如下公式2进行解码，以获取初始人脸位置坐标：

公式2：

其中，variance[0],variance[1],variance[2],variance[3]是常数，

分别是预设先验框的宽、高、中心坐标x和中心坐标y。

分别是人脸得分特征图预测的输出值，

分别为最终预测的人脸中心点坐标x、中心点坐标y、人脸框宽度w和人脸框高度h。

对人脸得分特征图进行解码，得到人脸特征得分，具体包括：对于每一对人脸得分特征图的输出值，通过如下公式2进行运算Softmax计算，以获取人脸特征得分：

公式2：

基于人脸特征得分和初始人脸位置坐标，确定第二目标图像的人脸位置坐标。

需要说明的是，上述通道层融合（add）应用于维度相同的特征，其采用特征图的相加，融合的结果通道数保持不变；多层融合（concat）针对于维度不同的特征，其融合的结果是通道数的增加。

通过该双帧人脸跟踪模型，可以精准的结合前帧人脸特征和次帧人脸位置区域进行人脸位置的跟踪，能够在较小范围内进行运算，从而降低了人脸跟踪算法的数据运算量，提升了门禁设备的响应速度。

在其中一些实施例中，根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标包括：

基于高度信息、宽度信息和人脸位置坐标，通过如下公式预测后帧人脸区域坐标：

其中，

是后帧人脸区域坐标，

，

是首帧图像的人脸位置坐标，

和

分别是宽度信息和高度信息，

和

分别是人脸位置坐标在

轴和

轴上的差值。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种基于特征抽取的双帧人脸跟踪系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的基于特征抽取的双帧人脸跟踪系统的结构框图，如图4所示，该系统包括：人脸检测模块40、特征抽取模块41和双帧人脸跟踪模块42；

人脸检测模块40用于获取首帧图像，以及获取首帧图像中的人脸位置坐标；

特征抽取模块41用于根据人脸位置坐标在首帧图像中截取第一目标图像，以及对第一目标图像进行特征抽取得到第一面部特征；

双帧人脸跟踪模块42用于获取首帧图像的高度信息和宽度信息，根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标，以及获取后帧图像，根据后帧人脸区域坐标，在后帧图像上截取第二目标图像，以及，基于第一面部特征和第二目标图像，获取第二目标图像的人脸位置坐标。

在其中一些实施例中，双帧人脸跟踪模块42获取第二目标图像的人脸位置坐标包括：第一面部特征经过全连接层和重塑层处理得到第二面部特征；对第二目标图像进行卷积处理，分别得到第一图像特征和第二图像特征，其中，第一图像特征与第二面部特征的通道数和维度相同；通过Element-WiseAdd模块将第二面部特征与第一图像特征在通道层融合，并经过卷积运算得到人脸位置特征图；通过concat模块将第二面部特征和第二图像特征进行多层融合，并经过卷积运算得到人脸得分特征图。

在其中一些实施例中，图5是根据本申请实施例的基于特征抽取的双帧人脸跟踪系统的时序示意图，如图5所示，

前帧图像经人脸检测模块40获取人脸位置坐标，根据该人脸位置坐标可以确定第一目标图像（face_frame1），该第一目标图像进一步经归一化处理以及特征抽取模块41之后得到数据维度为[1,256]的第一面部特征

对于后帧图像，基于人脸位置坐标确定的后帧人脸区域坐标，并在其中截取第二目标图像（face_frame2），经过归一化处理之后得到维度224*224*3的第二目标图像（face_frame2）；

将第一人脸特征和第二目标图像输入双帧人脸跟踪模型进行处理，最终得到后帧图像的人脸位置坐标。

另外，结合上述实施例中的基于特征抽取的双帧人脸跟踪方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于特征抽取的双帧人脸跟踪方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于特征抽取的双帧人脸跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图6是根据本申请实施例的电子设备的内部结构示意图，如图6所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于基于特征抽取的双帧人脸跟踪方法，数据库用于存储数据。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。