CN114596314A

CN114596314A - 一种布匹瑕疵的检测模型的训练方法、装置、设备及介质

Info

Publication number: CN114596314A
Application number: CN202210495762.8A
Authority: CN
Inventors: 汪建中
Original assignee: Hefei Lianya Garment Co ltd
Current assignee: Hefei Lianya Garment Co ltd
Priority date: 2022-05-09
Filing date: 2022-05-09
Publication date: 2022-06-07

Abstract

本发明提供一种布匹瑕疵的检测模型的训练方法，包括：获取含有块状瑕疵的布匹图像集数据，对所述布匹图像集数据进行处理，得到瑕疵图像集数据，根据所述瑕疵图像集数据，得到重要性程度数据集，根据所述瑕疵图像集数据，得到位置回归损失集，根据所述位置回归损失集与所述重要性程度数据集对检测模型的训练参数进行训练，得到训练好的检测模型。通过本发明公开的一种布匹瑕疵的检测模型的训练方法，能够使训练后的检测模型对布匹表面的小尺度块状瑕疵进行检测，且精确度较高。

Description

一种布匹瑕疵的检测模型的训练方法、装置、设备及介质

技术领域

本发明涉及深度学习技术领域，特别是涉及一种布匹瑕疵的检测模型的训练方法、装置、设备及介质。

背景技术

在布匹的实际生产过程中，由于生产工艺存在一定的缺陷，可能会导致布匹的表面出现污渍、破洞、毛粒等各种瑕疵。为保证产品质量，需要对布匹进行瑕疵检测。布匹瑕疵检测是纺织行业生产和质量管理的重要环节，当采用人工进行检测时，容易受到人的主观因素影响，缺乏一致性，同时工作人员在强光下长时间工作对视力影响极大。

由于瑕疵存在瑕疵尺度大小不一、瑕疵与背景高度融合无法分辨、瑕疵本身形状各异等问题，导致利用神经网络模型对瑕疵进行检测时，精确度较低，其中小尺度瑕疵的漏检和误检是阻碍准确率的主要因素。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种布匹瑕疵的检测模型的训练方法、装置、设备及介质，本发明能够使训练后的检测模型对布匹表面的小尺度块状瑕疵进行检测，且精确度较高。

为实现上述目的及其他相关目的，本发明提供一种布匹瑕疵的检测模型的训练方法，包括：

获取含有块状瑕疵的布匹图像集数据；

对所述布匹图像集数据进行处理，得到瑕疵图像集数据；

根据所述瑕疵图像集数据，得到重要性程度数据集；

根据所述瑕疵图像集数据，得到位置回归损失集；

根据所述位置回归损失集与所述重要性程度数据集对检测模型的训练参数进行训练，得到训练好的检测模型。

在本发明一实施例中，所述获取含有块状瑕疵的布匹图像集数据的步骤包括：

获取初始图像集数据；

根据所述初始图像集数据，得到瑕疵信息集数据，其中，瑕疵信息集数据包括瑕疵位置坐标集数据和瑕疵类别；

根据所述瑕疵信息集数据，得到相应的瑕疵的面积，判断所述瑕疵的面积是否小于一个预设的面积阈值，若小于预设的面积阈值，则将该瑕疵进行保留，若不小于预设的面积阈值，则将该瑕疵剔除；

对保留的所述瑕疵进行集合，得到含有块状瑕疵的布匹图像集数据。

在本发明一实施例中，所述对所述布匹图像集数据进行处理，得到瑕疵图像集数据的步骤包括：

对所述布匹图像集数据进行分块处理，得到多个分块图数据；

判断所述分块图数据内是否包含瑕疵，若包含瑕疵，则将该所述分块图数据保留，若不包含瑕疵，则将该所述分块图数据剔除；

根据保留的所述分块图数据，得到瑕疵图像集数据。

在本发明一实施例中，所述根据所述瑕疵图像集数据，得到重要性程度数据集的步骤包括：

根据所述瑕疵图像集数据，得到相应的特征向量集数据；

根据所述特征向量集数据，得到相应的全局注意力集数据；

根据所述全局注意力集数据，得到相应的重要性程度数据集。

在本发明一实施例中，所述全局注意力集数据z_c，表示为：

，

其中，H表示瑕疵图像集数据的高度，

W表示瑕疵图像集数据的宽度，

u_c为卷积后的结果，

c为卷积层的通道数，

所述重要性程度数据集s表示为：

，

其中，

表示relu激活函数，

表示sigmoid激活函数，

W₁、W₂表示不同的全连接操作。

在本发明一实施例中，所述根据所述瑕疵图像集数据，得到位置回归损失集的步骤包括：

对瑕疵图像集数据进行处理，得到网格集数据；

根据网格集数据，得到相应的预测值数据集；

根据瑕疵位置坐标集数据与预测值数据集，得到位置回归损失集。

在本发明一实施例中，所述预测值数据集表示为：

、

、

、

，

其中，t_x表示预测框中心坐标距网格左上点坐标的横向距离，

t_y表示预测框中心坐标距网格左上点坐标的纵向距离，

t_w表示预测框与锚框的宽度的缩放系数，

t_h表示预测框与锚框的高度的缩放系数，

a^h表示锚框的高度，

a^w表示锚框的宽度，

c_x与c_y代表锚框所处网格的左上点坐标以及评判是否存在目标的置信度，

（x，y）表示网络预测出的瑕疵中心点坐标，

w₁表示预测框的宽度，

h₁表示预测框的高度；

所述位置回归损失集L_box,表示为：

其中，

表示位置损失系数，

S²表示SxS个网格，

B表示锚框的数量，

（x_i，y_i）表示网络预测出的第i个瑕疵中心点坐标，

表示第i个瑕疵的真实中心坐标，

表示瑕疵的宽度，

表示瑕疵的高度，

（i,j）表示锚框的位置，

w_i表示第i个预测框的宽度，

h_i表示第i个预测框的高度,

表示若在（i,j）处的锚框内包含瑕疵，则

的值为1，否则为0。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上布匹瑕疵的检测模型的训练方法的步骤。

本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现布匹瑕疵的检测模型的训练方法的步骤。

如上所述，本发明提供一种布匹瑕疵的检测模型的训练方法，通过对检测模型进行训练，不仅提高了检测小尺度块状布匹瑕疵的精确度，还极大的简化了在线检测布匹缺陷的工作，实现了自动化监测，降低了人工操作的工作量，有助于产业的发展。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的一种布匹瑕疵的检测模型的训练方法的一流程示意图。

图2显示为图1中步骤S10的一具体实施方式流程示意图。

图3显示为图1中步骤S20的一具体实施方式流程示意图。

图4显示为图1中步骤S30的一具体实施方式流程示意图。

图5显示为图1中步骤S40的一具体实施方式流程示意图。

图6显示为本发明的一种布匹瑕疵的检测模型的训练装置的一结构示意图。

图7显示为图6中数据获取模块的一结构示意图。

图8显示为图6中图片处理模块的一结构示意图。

图9显示为图6中重要性处理模块的一结构示意图。

图10显示为图6中回归损失处理模块的一结构示意图。

图11是本发明一实施例中计算机设备的一结构示意图。

元件标号说明：

10、数据获取模块；11、图像获取模块；12、瑕疵信息获取模块；13、瑕疵信息判断模块；14、瑕疵保留模块；

20、图片处理模块；21、分块处理模块；22、分块判断模块；23、分块保留模块；

30、重要性处理模块；31、特征向量提取模块；32、注意力数据提取模块；33、重要性数据提取模块；

40、回归损失处理模块；41、网格处理模块；42、预测值处理模块；43、回归损失处理模块；

50、参数训练模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明实施例提供的一种布匹瑕疵的检测模型的训练方法，可应用于神经网络模型中，通过训练好的检测模型，可以在布匹生产过程中，对布匹表面的污渍、破洞、毛粒等各种块状瑕疵进行检测。具体的，布匹瑕疵的检测模型的训练方法可包括步骤：

步骤S10、获取含有块状瑕疵的布匹图像集数据。

步骤S20、对布匹图像集数据进行处理，得到瑕疵图像集数据。

步骤S30、根据瑕疵图像集数据，得到重要性程度数据集。

步骤S40、根据瑕疵图像集数据，得到位置回归损失集。

步骤S50、根据位置回归损失集与重要性程度数据集对检测模型的训练参数进行训练，得到训练好的检测模型。

请参阅图2所示，在本发明的一个实施例中，当进行步骤S10时，即获取含有块状瑕疵的布匹图像集数据。具体的，步骤S10的子步骤可以包括：

步骤S11、获取初始图像集数据。

步骤S12、根据初始图像集数据，得到瑕疵信息集数据，其中，瑕疵信息集数据包括瑕疵位置坐标集数据和瑕疵类别。

步骤S13、根据瑕疵信息集数据，得到相应的瑕疵的面积，判断瑕疵的面积是否小于一个预设的面积阈值，若小于预设的面积阈值，则将该瑕疵进行保留，若不小于预设的面积阈值，则将该瑕疵剔除。

步骤S14、根据保留的瑕疵，得到含有块状瑕疵的布匹图像集数据。

在本发明的一个实施例中，当进行步骤S11及步骤S12时，首先需要获取初始图像集数据，初始图像集数据可包含相应的瑕疵。从而可以先对初始图像集数据进行处理，对初始图像集数据内的瑕疵进行标注，以得到相应的瑕疵信息。瑕疵信息可包括瑕疵位置坐标集数据和瑕疵类别。在本实施例中，为了能够方便对瑕疵标注，因此可以在瑕疵的外围设定一个标注框，从而可通过标注框对瑕疵进行包围。标注框的形状可以为矩形，从而瑕疵位置坐标集数据可表示为P，P=（x₁，x₂，y₁，y₂），其中（x₁，y₁）、（x₂，y₂）可以分别代表标注框的左上端和右下端，或者（x₁，y₁）、（x₂，y₂）也可以分别代表标注框的右上端和左下端。（x₁，y₁）、（x₂，y₂）分别代表标注框的对角端即可，坐标的原点可根据实际需求进行设定。瑕疵类别可以包括污渍、破洞、毛粒等。

在本发明的一个实施例中，当进行步骤S13及步骤S14时，由于通过标注框对瑕疵进行包围，且瑕疵为块状瑕疵，因而可以通过计算标注框的面积近似替代瑕疵的面积。由于坐标（x₁，y₁）、（x₂，y₂）可以代表标注框的对角端，因而可以通过两个坐标计算出标注框的面积，表示为：

。由于瑕疵的面积大小不同，对于面积较大的瑕疵，需要对其进行剔除，防止在训练神经网络的过程中对训练结果造成影响。可以通过判断瑕疵的面积是否小于一个预设的面积阈值，以将瑕疵分为小尺度瑕疵与一般瑕疵。若瑕疵的面积小于预设的面积阈值，则将该瑕疵进行保留，该瑕疵为小尺度瑕疵。若瑕疵的面积不小于预设的面积阈值，则将该瑕疵进行剔除，该瑕疵为一般瑕疵。在本实施例中，预设的面积阈值的大小可不加限制，可以为30*30的像素面积，也可以为30*40的像素面积，还可以为20*40的像素面积，预设的面积阈值的具体大小可根据实际需求进行设定。从而可以根据保留的瑕疵，对其进行集合，将保留的瑕疵复制到一个新的不包含瑕疵的布匹图片中，以获得含有块状瑕疵的布匹图像集数据。

请参阅图3所示，在本发明的一个实施例中，当进行步骤S20时，即对布匹图像集数据进行处理，得到瑕疵图像集数据。具体的，步骤S20的子步骤可以包括：

步骤S21、对布匹图像集数据进行分块处理，得到多个分块图数据。

步骤S22、判断分块图数据内是否包含瑕疵，若包含瑕疵，则将该分块图数据保留，若不包含瑕疵，则将该分块图数据剔除。

步骤S23、对保留的分块图数据进行集合，得到瑕疵图像集数据。

在本发明的一个实施例中，当进行步骤S21时，由于是将保留的瑕疵复制到不包含瑕疵的布匹图片中的，因而得到的布匹图像集数据内存在不包含瑕疵的部分区域。因此需要对布匹图像集数据进行分块处理，以得到相应的分块图数据。在本实施例中，可以采用滑动窗口对布匹图像集数据进行分块处理，可以预设滑动窗口的大小和单次移动长度，例如布匹图像集数据的大小可以为W₁×H₁，滑动窗口的大小可以为W₂×H₂，单次移动长度可以为d，瑕疵位置坐标集数据P，P=（x₁，x₂，y₁，y₂），从而执行分块处理后的瑕疵位置坐标P₁可以表示为，

，其中，

，其中，i表示滑动窗口沿横向滑动的次数，j表示滑动窗口沿纵向滑动的次数。

在本发明的一个实施例中，当进行步骤S22及步骤S23时，由于将布匹图像集数据分成多个分块图数据，因此有的分块图数据内不包含瑕疵。为了能够提高检测模型的训练效率，因此需要将不包含瑕疵的分块图数据剔除，以保留包含瑕疵的分块图数据。在本实施例中，可通过判断分块图数据内是否包含瑕疵，如果包含瑕疵，则将该分块图数据保留，如果不包含瑕疵，则将该分块图剔除。从而可对保留的分块图数据进行集合，以得到瑕疵图像集数据。

请参阅图4所示，在本发明的一个实施例中，当进行步骤S30时，即根据瑕疵图像集数据，得到重要性程度数据集。具体的，步骤S30的子步骤可以包括：

步骤S31、将瑕疵图像集数据作为参数，输入到检测模型的卷积神经网络内，以提取相应的特征向量集数据。

步骤S32、将特征向量集数据作为参数，输入到检测模型的全局平均池化层内，以得到相应的全局注意力集数据。

步骤S33，将全局注意力集数据作为参数，输入到检测模型的全连接网络内，以提取相应的重要性程度数据集。

在本发明的一个实施例中，当进行步骤S31及步骤S32时，可以预先在检测模型的卷积神经网络内添加通道注意力模块，从而通过通道注意力模块提取瑕疵图像集数据中的小尺度块状瑕疵特征。首先将瑕疵图像集数据作为参数，输入到检测模型的卷积神经网络内，以提取相应的特征向量集数据，表示为u_c。之后可以将特征向量集数据作为参数，输入到检测模型的全局平均池化层，得到相应的全局注意力集数据。通道注意力模块可以通过全局平均池化操作将每一个通过卷积操作获得的特征向量挤压成一个实数，从而表示对应小尺度块状瑕疵的特征向量的全局注意力信息，得到相应的全局注意力集数据z_c，表示为：

，其中，H表示瑕疵图像集数据的高度，W表示瑕疵图像集数据的宽度，u_c为卷积后的结果，c为卷积层的通道数。

在本发明的一个实施例中，当进行步骤S33时，可以将获得的全局注意力集数据作为参数，输入到检测模型的全连接网络内，以提取相应的重要性程度数据集。从而可以放大识别任务中更加重要的分块图的权重，缩小不重要的分块图的权重。重要性程度数据集s，表示为：

，其中，

表示relu激活函数，

表示sigmoid激活函数，W₁、W₂表示不同的全连接操作。

请参阅图5所示，在本发明的一个实施例中，当进行步骤S40时，即根据瑕疵图像集数据，得到位置回归损失集。具体的，步骤S40的子步骤可以包括：

步骤S41、对瑕疵图像集数据进行处理，得到网格集数据。

步骤S42、根据网格集数据，得到相应的预测值数据集。

步骤S43、根据瑕疵位置坐标集数据与预测值数据集，得到位置回归损失集。

在本发明的一个实施例中，当进行步骤S41及步骤S42时，可以先对瑕疵图像集数据进行网格处理，将其划分为S*S个网格，从而每个网格负责预测B个锚框，锚框可以是以锚点为中心的定义框，同时预定义多个不同长宽比的预测框，从而可以得到相应的网格集数据，且可以根据网格集数据，得到相应的预测值数据集。预测值数据集可以表示为：

、

、

、

，其中，t_x表示预测框中心坐标距网格左上点坐标的横向距离，t_y表示预测框中心坐标距网格左上点坐标的纵向距离，t_w表示预测框与锚框的宽度的缩放系数，t_h表示预测框与锚框的高度的缩放系数，a^h表示锚框的高度，a^w表示锚框的宽度，c_x与c_y代表锚框所处网格的左上点坐标以及评判是否存在目标的置信度，（x，y）表示网络预测出的瑕疵中心点坐标，w₁表示预测框的宽度，h₁表示预测框的高度。

在本发明的一个实施例中，当进行步骤S43时，可以将瑕疵位置坐标集数据与预测值数据集作为参数，输入到分类模型中，以得到相应的位置回归损失集L_box,表示为：

其中，

表示位置损失系数，S²表示SxS个网格，B表示锚框的数量，（x_i，y_i）表示网络预测出的第i个瑕疵中心点坐标，

表示第i个瑕疵的真实中心坐标，

表示瑕疵的宽度，

表示瑕疵的高度，（i,j）表示锚框的位置，w_i表示第i个预测框的宽度，h_i表示第i个预测框的高度，

表示若在（i,j）处的锚框内包含瑕疵，则

的值为1，否则为0。

在本发明的一个实施例中，当进行步骤S50时，即根据位置回归损失集与重要性程度数据集对检测模型的训练参数进行训练，得到训练好的检测模型，其中，训练参数可以包括卷积神经网络的训练参数、全连接网络的训练参数等。当训练好检测模型后，可以对布匹图像进行检测。首先将采集到的布匹图像分割为指定大小的图片，分割方法可以与步骤S20采用的手段相同，从而分割图片的总数M，可以表示为

，其中，布匹图像的大小为

,分割图片的大小为

。将分割后的分割图片标记为

，检测时，将S_ij批量输入至检测模型内进行检测。检测到分割图片S_ij中瑕P的坐标为（x，y）时，需将分割后的图片拼接，并记录最终瑕疵位置坐标

，

。

可见，在上述方案中，在卷积神经网络中加通道注意力模块，并对已标注的布匹样本进行小尺度块状瑕疵的数据扩增，以得到瑕疵图像集数据。将瑕疵图像集数据通过神经网络训练得到训练好的检测模型，从而通过检测模型检测布匹是否有瑕疵及其具体位置。训练好的检测模型对于布匹上小目标、细粒度的块状瑕疵检测有较好效果，不仅解决了瑕疵目标过小造成的漏检问题，同时加强了检测模型的泛化能力。由于充分利用了神经网络、注意力机制和数据扩增等技术手段，不仅提高了在线检测小尺度块状布匹瑕疵的精确度，还极大的简化了在线检测布匹缺陷的工作，实现了自动化监测，降低了人工操作的工作量，有助于产业的发展。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

请参阅图6所示，本发明还提供一种布匹瑕疵的检测模型的训练方法装置，该布匹瑕疵的检测模型的训练方法装置与上述实施例中布匹瑕疵的检测模型的训练方法方法一一对应。该布匹瑕疵的检测模型的训练方法装置可以包括数据获取模块10、图片处理模块20、重要性处理模块30、回归损失处理模块40以及参数训练模块50。各功能模块详细说明如下：

数据获取模块10可用于获取含有块状瑕疵的布匹图像集数据。图片处理模块20可用于对布匹图像集数据进行处理，得到瑕疵图像集数据。重要性处理模块30可用于根据瑕疵图像集数据，得到重要性程度数据集。回归损失处理模块40可用于根据瑕疵图像集数据，得到位置回归损失集。参数训练模块50可用于根据位置回归损失集与重要性程度数据集对检测模型的训练参数进行训练，得到训练好的检测模型。

请参阅图7所示，在本发明的一个实施例中，数据获取模块10可包括图像获取模块11、瑕疵信息获取模块12、瑕疵信息判断模块13以及瑕疵保留模块14。其中，图像获取模块11可用于获取初始图像集数据，瑕疵信息获取模块12可用于根据初始图像集数据，得到瑕疵信息集数据，其中，瑕疵信息包括瑕疵位置坐标集数据和瑕疵类别。瑕疵信息判断模块13可用于根据瑕疵信息集数据，得到相应的瑕疵的面积，判断瑕疵的面积是否小于一个预设的面积阈值，若小于预设的面积阈值，则将该瑕疵进行保留，若不小于预设的面积阈值，则将该瑕疵剔除。瑕疵保留模块14可用于根据保留的瑕疵，得到含有块状瑕疵的布匹图像集数据。

请参阅图8所示，在本发明的一个实施例中，图片处理模块20可包括分块处理模块21、分块判断模块22以及分块保留模块23。其中，分块处理模块21可用于对布匹图像集数据进行分块处理，得到多个分块图数据。分块判断模块22可用于判断分块图数据内是否包含瑕疵，若包含瑕疵，则将该分块图数据保留，若不包含瑕疵，则将该分块图剔除。分块保留模块23可用于根据保留的分块图数据，得到瑕疵图像集数据。

请参阅图9所示，在本发明的一个实施例中，重要性处理模块30可包括特征向量提取模块31、注意力数据提取模块32以及重要性数据提取模块33。其中，特征向量提取模块31可用于将瑕疵图像集数据作为参数，输入到检测模型的卷积神经网络内，以提取相应的特征向量集数据。注意力数据提取模块32可用于将特征向量集数据作为参数，输入到检测模型的全局平均池化层，得到相应的全局注意力集数据。重要性数据提取模块33可用于将全局注意力集数据作为参数，输入到检测模型的全连接网络内，以提取相应的重要性程度数据集。

请参阅图10所示，在本发明的一个实施例中，回归损失处理模块40可包括网格处理模块41、预测值处理模块42以及回归损失处理模块43。其中，网格处理模块41可用于对瑕疵图像集数据进行处理，得到网格集数据。预测值处理模块42可用于根据网格集数据，得到相应的预测值数据集。回归损失处理模块43可用于根据网格集数据，得到相应的预测值数据集。

关于布匹瑕疵的检测模型的训练装置的具体限定可以参见上文中对于布匹瑕疵的检测模型的训练方法的限定，在此不再赘述。上述布匹瑕疵的检测模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参阅图11所示，本发明还提供了一种计算机设备，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种布匹瑕疵的检测模型的训练方法的功能或步骤。

在本发明的一个实施例中，计算机设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取含有块状瑕疵的布匹图像集数据。

对布匹图像集数据进行处理，得到瑕疵图像集数据。

根据瑕疵图像集数据，得到重要性程度数据集。

根据瑕疵图像集数据，得到位置回归损失集。

根据位置回归损失集与重要性程度数据集对检测模型的训练参数进行训练，得到训练好的检测模型。

需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

在本说明书的描述中，参考术语“本实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明实施例只是用于帮助阐述本发明。实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。