CN113989519A

CN113989519A - 一种长尾目标检测方法及系统

Info

Publication number: CN113989519A
Application number: CN202111617270.3A
Authority: CN
Inventors: 王金桥; 朱优松; 王童; 赵朝阳
Original assignee: Objecteye Beijing Technology Co Ltd
Current assignee: Objecteye Beijing Technology Co Ltd
Priority date: 2021-12-28
Filing date: 2021-12-28
Publication date: 2022-01-28
Anticipated expiration: 2041-12-28
Also published as: CN113989519B

Abstract

本发明提供一种长尾目标检测方法及系统，该方法包括：获取待检测图像；将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；其中，所述长尾图像检测模型是基于长尾分布图像训练样本集，以均衡所述长尾分布图像训练样本集中各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值为目的训练得到的。本发明提供的一种长尾目标检测方法及系统，通过余弦分类器，在对图像目标进行检测时，调整了模型的分类边界，从而得到更为准确的图像目标分类结果。

Description

一种长尾目标检测方法及系统

技术领域

本发明涉及计算机视觉和模式识别技术领域，尤其涉及一种长尾目标检测方法及系统。

背景技术

目标检测是计算机视觉中的一项基础任务，是很多计算机视觉任务的前提。现有的目标检测算法在均衡的检测数据集上有不错的性能。但是随着数据集规模的增加，维持各个类别之间样本数量的相对均衡变得越来越困难。先前的目标检测算法在长尾检测数据集上表现不佳，尤其是在尾部类别上。

在现有针对长尾目标的检测任务中，重采样方法以一个比较高的频率来对尾部类别的样本图像进行采样，对头部类别样本图像则采用一个比较低的频率。通过数据重采样的方法，使得原本不均衡的数据分布变得相对均衡，进而提高了尾部类别的性能。但是重采样方法也会带来一些弊端，比如，重采样方法可能会造成对尾部类别数据的过拟合，以及对头部类别数据的欠拟合，从而造成头部类别性能的下降。导致图像分类结果准确率较低。

因此，现在亟需一种长尾目标检测方法及系统来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种长尾目标检测方法及系统。

本发明提供一种长尾目标检测方法，包括：

获取待检测图像；

将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；

其中，所述长尾图像检测模型是基于长尾分布图像训练样本集，以均衡所述长尾分布图像训练样本集中各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值为目的训练得到的。

根据本发明提供的一种长尾目标检测方法，所述长尾图像检测模型是由深度神经网络构建的，所述深度神经网络的损失函数是基于各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值确定，或基于各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值，以及分类器的参数模值确定。

根据本发明提供的一种长尾目标检测方法，所述损失函数的公式为：

；

其中，s表示余弦分类器的放缩因子超参数，

表示第i种分类目标类别对应的余弦分类器参数与图像特征之间的角度，

表示第j种分类目标类别对应的余弦分类器参数与图像特征之间的角度，C表示所有的分类目标类别的数量。

根据本发明提供的一种长尾目标检测方法，所述损失函数还基于如下步骤确定：

根据不同分类目标类别对应的余弦分类器的参数模值比值，构建每种分类目标类别之间的角度间隔；

根据所述角度间隔和所述余弦值，构建损失函数。

；

；

其中，L_C2AM表示单个分类目标类别对应的损失函数，s表示余弦分类器的放缩因子超参数，

表示第j种分类目标类别对应的余弦分类器参数与图像特征之间的角度，C表示所有的分类目标类别的数量，m_ij表示第i种分类目标类别与第j种分类目标类别之间的角度间隔，a表示控制角度间隔大小的超参数，W_i表示第i种分类目标类别对应的分类器权重参数，W_j表示第j种分类目标类别对应的分类器权重参数。

根据本发明提供的一种长尾目标检测方法，所述长尾图像检测模型通过以下步骤得到：

获取多种不同的样本图像，其中，每种样本图像中标记有对应的分类目标标签；

基于每种样本图像的数量，构建具有头部类别样本图像和尾部类别样本图像分布的训练集，以得到长尾分布图像训练样本集；

将所述长尾分布图像训练样本集输入到深度神经网络进行训练，得到长尾图像检测模型。

本发明还提供一种长尾目标检测系统，包括：

目标图像采集模块，用于获取待检测图像；

目标检测模块，用于将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；

根据本发明提供的一种长尾目标检测系统，所述系统还包括：

样本图像获取模块，用于获取多种不同的样本图像，其中，每种样本图像中标记有对应的分类目标标签；

长尾分布图像训练集构建模块，用于基于每种样本图像的数量，构建具有头部类别样本图像和尾部类别样本图像分布的训练集，以得到长尾分布图像训练样本集；

训练模块，用于将所述长尾分布图像训练样本集输入到深度神经网络进行训练，得到长尾图像检测模型。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述长尾目标检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述长尾目标检测方法的步骤。

本发明提供的一种长尾目标检测方法及系统，通过余弦分类器，在对图像目标进行检测时，调整了模型的分类边界，从而得到更为准确的图像目标分类结果。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的长尾目标检测方法的流程示意图；

图2为本发明提供的分类器参数模值的分布示意图；

图3为本发明提供的不同长尾目标检测方法的分类边界示意图；

图4为本发明提供的长尾目标检测系统的结构示意图；

图5为本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在计算机视觉技术领域中，用于训练模型的数据经常会出现不平衡现象，即少数类别的图像含有大量的样本（定义为头部类别），而大多数类别的图像只包含少量的样本（定义为尾部类别）。基于上述这种情况，图像目标识别问题中，实际上也是一种针对长尾分布图像的识别问题，由于样本这种不平衡的现象，导致模型在头部类别的图像识别上表现较好的效果，而在尾部类别的图像识别上整体识别精度较低。

在现有针对长尾目标的检测任务中，除了重采样方法，还包括特殊网络结构设计或损失函数设计的方式，构建相应的长尾图像目标识别模型。其中，特殊网络结构设计，是通过引入特殊的网络结构来避免头部类别和尾部类别的直接竞争，比如，将全部的目标类别按照样本数量分成若干组，每个组内分别进行softmax；然后，引入若干个专家模型，分别对头部类别图像和尾部类别图像进行处理，得到最后的目标检测结果。损失函数设计，指的是设计特殊的损失函数来应对类别不均衡，比较经典的做法有：样本损失函数的加权，均衡各个类别的正负梯度。

然而，上述两种方法根据长尾目标检测任务需求进行设计时，灵活性较低，不能较好的应用于其他目标检测任务中，且尾部类别的检测识别性能还有待得到进一步提高。基于上述问题，本发明中的方法以图像目标识别领域的长尾目标检测任务进行说明，构建了一种有效的长尾目标检测算法，提升尾部类别的精度，同时保持头部类别的精度不下降。

图1为本发明提供的长尾目标检测方法的流程示意图，如图1所示，本发明提供了一种长尾目标检测方法，包括：

步骤101，获取待检测图像。

步骤102，将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；

在本发明中，获取到的待检测图像可能属于头部类别图像，也可能属于尾部类别图像，由于本发明提供的长尾图像检测模型，是通过长尾分布图像训练样本集，对具有余弦分类器的深度神经网络进行训练得到的。因此，模型对图像中的目标进行检测识别时，可以较为准确的识别得到目标检测结果。优选地，在本发明中，对余弦分类器作进一步的改进，将一种类别感知的自适应角度间隔引入到深度神经网络的损失函数中，通过该自适应角度间隔，可以根据不同分类器参数的模值，来自适应地调整分类边界，从而使得头部类别在分类空间中具有更大的分类区域，而尾部类别有适当小的分类区域，最终达到一个更优的分类效果。

本发明提供的长尾目标检测方法，通过余弦分类器，在对图像目标进行检测时，调整了模型的分类边界，从而得到更为准确的图像目标分类结果。

在上述实施例的基础上，所述长尾图像检测模型通过以下步骤得到：

在本发明中，针对不同分类目标，获取多种具有对应标签的样本图像；然后，根据实际的目标检测需求，获取不同分类目标标签的样本图像所需的样本数，例如，分类目标有5种，将第一种分类目标的样本数量设置为最多，例如，设置为3000张样本图像，将第二种分类目标的样本数量设置为1500张，依次将后续的分类目标的样本数量减少，从而构建得到具有长尾分布图像的训练样本集。进一步地，将构建好的训练样本集输入到深度神经网络进行训练，当训练次数达到预设次数或满足预设收敛条件，得到长尾图像检测模型。

在上述实施例的基础上，所述长尾图像检测模型是由深度神经网络构建的，所述深度神经网络的损失函数是基于各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值确定，或基于各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值，以及分类器的参数模值确定。

图2为本发明提供的分类器参数模值的分布示意图，可参考图2所示，展示了针对不同类别样本的分类器参数模值分布（Weight norm distribution）；其中，横轴表示根据类别样本数量排序后的类别标号（sorted category index），即第0类的样本图像数量最多；纵轴表示对应分类器的参数模值（Weight norm of classifier）。现有目标检测器通常使用一个线性分类器进行分类，但是在长尾场景下，线性分类器会对尾部类别产生病态的分类边界，严重影响尾部类别的性能。如图2所示，首先，样本图像数据的长尾分布，往往会导致分类器参数模值的分布不均衡，对于样本丰富度不高的类别（如图2中的尾部类别图像），其分类器的模值通常非常小，而那些样本丰富度高的类别一般具有较大的分类器模值。

图3为本发明提供的不同长尾目标检测方法的分类边界示意图，可参考图3的（a）所示，在现有线性分类器中，分类器模值的分布不均匀会对尾部类别产生病态的分类边界，即分类边界不准确，导致分类器偏向于分类器模值比较大的类别。以二分类问题为例，其分类边界公式为：

；公式（1）

需要说明的是，为了便于分析，上述公式（1）中，线性分类器的偏置项被省略了，实际上，偏置项不影响最后的精度。进一步地，对公式（1）进行变换，得到变换后的公式：

；公式（2）

进而公式（2）进行化简，得到的公式为：

；公式（3）

其中，

为第i种分类目标类别对应的分类器权重参数，x为网络识别得到的目标图像特征，

为

和x之间的夹角。假设

，在公式（3）中，当

时，两个类别之间的分类边界将会被无限地推向W₂，只有当

无限趋近于0时，分类器才会将该样本预测为类别2。如图3的（a）所示，这样的分类边界对于类别2来说是病态的，对于长尾图像分布的目标检测中，该分类边界的精度严重偏低，因为分类器倾向于将所有的样本都预测成参数模值非常大的类别。

进一步地，为了解决上述提及的分类边界问题，本发明中的深度神经网络采用了余弦分类器，其损失函数的定义为：

；公式（4）

其中，s表示余弦分类器的放缩因子超参数，

在公式（4）中，其分类边界只与图像特征与余弦分类器参数之间的夹角有关。以二分类问题为例说明，可参考图3的（b）所示，为采样余弦分类器后的分类边界示意图，类别1和类别2的分类边界变成了两个类别参数向量的角分线，从而解决了图3的（a）中所示的精度严重偏低的分类边界，提高了模型对于长尾分布图像的目标检测准确率。

在上述实施例的基础上，所述损失函数还基于如下步骤确定：

根据所述角度间隔和所述余弦值，构建损失函数。

在本发明中，完全均衡的分类边界，对于长尾分布图像的检测，其分类精度还可进一步提升。对于头部类别的图像类别来说，由于其样本丰富度高，其应该在分类空间中占有更大的区域；反之，对于尾部类别来说，其应该在分类空间中占有稍小的区域。因此，本发明引入了一个类别感知的自适应角度间隔，来对不同类别之间的分类边界进行稍微的调整，使头部类别拥有更大的分类区域，尾部类别拥有较小的分类区域，具体可参考图3的（c）的新分类边界。

具体地，为了自适应地调整不同类别之间的分类边界，本发明将一个类别感知的自适应角度间隔引入到了余弦分类器中，得到改进后的损失函数，将分类边界稍微向参数模值较小的类别移动，从而使得头部类别有更大的分类空间。

在上述实施例的基础上，改进后的损失函数的公式为：

；公式（5）

；公式（6）

其中，L_C2AM表示单个分类目标类别对应的损失函数，s表示余弦分类器的放缩因子超参数；

表示第j种分类目标类别对应的余弦分类器参数与图像特征之间的角度，角度

的计算公式为：

；C表示所有的分类目标类别的数量，m_ij表示第i种分类目标类别与第 j种分类目标类别之间的角度间隔，a表示控制角度间隔大小的超参数，W_i表示第i种分类目标类别对应的分类器权重参数，W_j表示第j种分类目标类别对应的分类器权重参数。其中，第i种分类目标类别为真值类别。

在公式（5）中，在每两个类别之间都加入了一个角度间隔m_ij，该角度间隔m_ij根据公式（6）计算得到。当

时，

，分类边界被推向了类别j（靠近类别2）；并且， m_ij是正比于

，当两个类别的参数模值相差越大的时候，通过角度间隔m_ij，使得分类边界的调整力度也就越大。

在本发明中，通过引入了一个超参数a，在计算角度间隔m_ij时进行缩放，以保证不会产生一个过大的角度间隔，其中，这个超参数a通常是一个比较小的值；函数log（）是一个凸函数，这个函数保证了当

增长的越来越大时，角度间隔m_ij能够以一个相对比较缓的速度增长，而现有基于角度间隔损失函数的方法，通常在不同类别之间引入相同的角度间隔，这个角度间隔以一个超参数的形式存在。不同于现有方法，本发明将一个类别自适应的角度间隔引入到余弦分类器中，使得不同类别之间的角度间隔是自适应的，且与分类器的参数模值相关。

在一实施例中，基于本发明提供的类别感知自适应角度间隔损失的长尾目标检测方法，以LVIS数据集为例进行说明，该数据集中的数据符合长尾分布，包括以下步骤：

步骤S1，将Faster R-CNN检测器第二级的线性分类器，替换为本发明提供的带自适应角度间隔的余弦分类器，并且对超参数进行设置，a=0.5。

步骤S2，网络训练：在LVIS长尾数据集上，对Faster R-CNN进行训练，其中，学习率，anchor的尺寸和个数等超参数遵循Faster R-CNN的默认设置。

步骤S3，网络测试：加载训练好的网络参数进行测试，分类器使用的是余弦分类器。需要说明的是，在测试的过程中，角度间隔是不存在的，因为测试的过程是不知道真值类别的。通过网络测试可知，训练好的模型对于长尾图像分布的测试集具有较高的识别准确率。

本发明提供的长尾目标检测方法，提出了一种基于类别感知自适应角度间隔的损失函数，该损失函数能够对不同类别之间的分类边界进行动态地调整，从而提高尾部类别的性能；并且，该方法具有比较高的灵活性，可以和其他长尾算法相结合，可以应用到其他任务上，例如，图像分类和图像分割。

下面对本发明提供的长尾目标检测系统进行描述，下文描述的长尾目标检测系统与上文描述的长尾目标检测方法可相互对应参照。

图4为本发明提供的长尾目标检测系统的结构示意图，如图4所示，本发明提供了一种长尾目标检测系统，包括目标图像采集模块401和目标检测模块402，其中，目标图像采集模块401用于将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；

在本发明中，目标图像采集模块401将采集到的待检测图像输入到目标检测模块402中，由于输入的待检测图像可能属于头部类别图像，也可能属于尾部类别图像，长尾目标检测系统可准确的针对此种情况，对图像中的目标进行识别检测。

在目标检测模块402中，设置有长尾图像检测模型，该模型适用于输入为图像的目标检测任务，特别应用于不同类别的数据呈现严重长尾分布的情况。在训练过程中，通过少部分头部类别较多的训练样本，以及大部分尾部类别极少的训练样本进行训练。为了使得模型对于长尾图像分布进行更好的检测，训练所使用的深度神经网络的分类器为余弦分类器。优选地，本发明的深度神经网络采用的是改进后的损失函数，该损失函数具体是通过以下过程构建的：根据不同分类目标类别对应的余弦分类器的参数模值比值，构建每种分类目标类别之间的角度间隔；根据所述角度间隔和所述余弦值，构建损失函数。所述损失函数的公式为：

；

；

进一步地，在目标检测模块402的分类模型中，其训练过程中采用的损失函数，是通过在不同的类别之间引入自适应的角度间隔，使得不同类别之间的决策边界得到了适当的调整。具体地，对于调整后的分类边界，该分类边界会被稍微地推向尾部类别，使得头部类别有适当大的分类区域，而尾部类别具有适当小的分类区域，从而使得分类器具有更好的分类性能。由于分类器参数的模值，在一定程度上体现了该类别样本的丰富度，参数模值越大，则表明该类别的数据丰富度越高；反之，则说明该类别的数据丰富度越低。对于数据丰富度高的类别，其应该在分类空间中占有更大的区域，即分类边界应该更靠近数据丰富度低的类别。

进一步地，在训练过程中，对于任意两个类别来说，首先根据两个类别对应分类器参数模值的比值，确定所需的角度间隔，即该比值越大说明两个类别的数据丰富度相差越大，分类边界应该更倾向于参数模值比较小的分类器。因此，本发明利用一个单调递增的凸函数，根据分类器参数模值的比值，得到一个自适应的角度间隔，使得模型在训练过程，将自适应角度间隔和余弦分类器相结合，完成对模型的训练。

本发明提供的长尾目标检测系统，通过余弦分类器，在对图像目标进行检测时，调整了模型的分类边界，从而得到更为准确的图像目标分类结果。

在上述实施例的基础上，所述系统还包括样本图像获取模块、长尾分布图像训练集构建模块和训练模块，其中，样本图像获取模块用于获取多种不同的样本图像，其中，每种样本图像中标记有对应的分类目标标签；长尾分布图像训练集构建模块用于基于每种样本图像的数量，构建具有头部类别样本图像和尾部类别样本图像分布的训练集，以得到长尾分布图像训练样本集；训练模块用于将所述长尾分布图像训练样本集输入到深度神经网络进行训练，得到长尾图像检测模型。

本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（Processor）501、通信接口（Communications Interface）502、存储器（Memory）503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行长尾目标检测方法，该方法包括：获取待检测图像；将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；其中，所述长尾图像检测模型是基于长尾分布图像训练样本集，以均衡所述长尾分布图像训练样本集中各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值为目的训练得到的。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的长尾目标检测方法，该方法包括：获取待检测图像；将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；其中，所述长尾图像检测模型是基于长尾分布图像训练样本集，以均衡所述长尾分布图像训练样本集中各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值为目的训练得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的长尾目标检测方法，该方法包括：获取待检测图像；将所述待检测图像输入到长尾图像检测模型中，由所述长尾图像检测模型对所述待检测图像进行目标图像特征提取，并基于提取所得的目标图像特征与分类器参数之间夹角的余弦值，进行图像分类，得到所述长尾图像检测模型输出的目标检测结果；其中，所述长尾图像检测模型是基于长尾分布图像训练样本集，以均衡所述长尾分布图像训练样本集中各图像类别下样本图像的目标图像特征与分类器参数之间夹角的余弦值为目的训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。