CN109919236A - 一种基于标签相关性的bp神经网络多标签分类方法 - Google Patents

Abstract

本发明涉及一种基于标签相关性的BP神经网络多标签分类方法，包括步骤如下：(1)将改进的BP神经网络用于多标签数据分类，得到每个样本数据属于各个标签的概率，并利用皮尔逊相关系数得到两个标签之间的相关性，同时利用关联规则得到多个标签之间的相关性；(2)将步骤(1)得到的标签分类概率与标签的相关性进行融合，最终完成多标签数据的分类。

Description

一种基于标签相关性的BP神经网络多标签分类方法

技术领域

本发明属于多标签分类技术领域，涉及多标签分类方法，具体涉及一种基于标签相关性的BP神经网络多标签分类方法。

背景技术

在传统的分类问题中，每个示例仅仅对应于唯一类别标签，即是通常所说的单标签分类问题。但随着信息技术的不断发展，在现实生活中有很多具有“多标签”特性的数据，即一个示例可能并不仅仅由单个标签描述，而是同时拥有一组标签，这种一个示例拥有多个标签的分类问题是典型的多标签分类问题。

目前，依据不同的解决途径，多标签分类算法主要分为(1)问题转换：该类算法将多标签问题转换成一个或多个单标签问题，其在训练时，将多标签训练数据变换为单标签数据进行分类学习，在测试时，使用训练得到的分类器进行单标签预测，然后将预测转换为多标签预测，如：Binary Relevance(BR)使用一对一策略将多标签学习问题转换为多个二元分类问题，其中每个二进制分类问题处理实例是否属于特定标签，但其忽略了标签间的相关性，泛化性能较差；Label Power-set(LP)算法将标签集的幂集中的每个元素视为一个类，从而将多标签分类问题转化成多类分类问题，但该方法可能导致训练样本不足以及不能预测没有在训练集中出现的新标签组合等问题；(2)算法适应：这类算法通过对常用的监督学习算法进行改进，将其直接用于多标签分类。如：多标签k-最近邻算法(ML-KNN)修改k-最近邻(kNN)算法以处理多标签数据，并通过最大化后验概率的方式来预测样本的标签集合，但是该算法没有考虑标签间的相关性，从而使得其在分类时不能取得很好的性能；Rank-SVM是基于支持向量机(SVM)算法，在分类时引入标签错误成本函数，建立的多标签的标签排序方法，但由于需要计算大量的变量，该算法训练时间比较久。

综上，现有的多标签技术很多都忽略了标签之间的相关性，泛化性能较差，而考虑了标签相关性的技术往往计算量较大且算法复杂度较高。

发明内容

本发明技术解决问题：为了克服上述现有技术的不足，提供一种高效科学的基于标签相关性的BP神经网络多标签分类方法，通过对传统的BP神经网络分类模型进行改进使其能够对具有多标签特性的数据进行分类，并在分类过程中分别考虑了标签之间的二阶和高阶相关性，从而能够高效、快速、准确的解决多标签分类问题。

本发明提供的技术方案是：

本发明的一种基于标签相关性的BP神经网络多标签分类方法，包括：模型构建、模型验证两个步骤；具体过程包括：

1)模型构建：对传统的BP神经网络分类模型进行改进使其能够对具有多标签特性的数据进行分类；将改进的BP神经网络用于多标签数据分类，得到每个样本数据属于各个标签的概率；利用皮尔逊相关系数得到两个标签之间的相关性，同时利用关联规则得到多个标签之间的相关性；最后将标签分类概率与标签的相关性进行融合，完成多标签数据的分类。

11)利用改进的神经网络计算每个样本数据属于各个标签的概率；

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，由于该算法具有较强的非线性映射能力、自学习和自适应能力以及较好的泛化能力和容错能力而得到了广泛的应用，但是传统的神经网络在作为分类器时只能解决多类分类问题，而对于本发明中的多标签分类还尚待研究。因此，本发明将对传统的BP神经网络进行改进，使其能够解决多标签分类问题。

12)利用皮尔逊相关系数和关联规则得到标签之间的相关性；

由于利用改进的BP神经网络对多标签数据进行分类时是将分类转换为了多个二分类问题，未考虑标签之间的相关性，因此本发明将利用皮尔逊相关系数计算两个标签之间的相关性，同时利用关联规则计算多个标签之间的相关性，从而使分类结果更加准确。

13)将标签分类概率与标签的相关性进行融合，完成多标签数据的分类；

将改进的BP神经网络分类算法得到的每个样本数据属于各个标签的概率分别与利用皮尔逊相关系数和关联规则得到的标签相关性大小按照一定的规则进行融合，从而得到每个样本数据属于各个标签的可能性大小。

2)模型有效性验证；

本发明具体实施时，利用Hamming loss、one-error、coverage、ranking loss和average precision多标签分类算法评价指标对基于标签相关性的BP神经网络多标签分类模型进行有效性验证。

本发明具体包括步骤如下：

(1)将改进的BP神经网络用于多标签数据分类，得到每个样本数据属于各个标签的概率，并利用皮尔逊相关系数得到两个标签之间的相关性，同时利用关联规则得到多个标签之间的相关性；

(2)将步骤(1)得到的标签分类概率与标签的相关性进行融合，最终完成多标签数据的分类。

所述改进的BP神经网络的结构如下：

改进的BP神经网络由输入层、隐藏层、原始输出层、sigmoid层以及最终输出层组成，将f₁和f₂作为隐层和原始输出层的激活函数，则其中隐藏层的输出为：

其中，x_i(i＝1,2…d)表示输入单元，d表示输入单元个数，h_k(k＝1,2…q)表示隐层单元，q表示隐层单元个数，w_ik表示从输入单元i到隐层单元k的连接权；

原始输出层的输出为：

其中，y_j(j＝1,2...J)表示原始输出单元，J表示原始输出单元个数，v_kj表示从隐层单元k到原始输出单元j的连接权；

最终输出层的输出为：

其中，o_j表示最终输出单元；

得到最终的输出值后，计算实际输出与期望输出的误差，并利用误差向后传播来修正权重，从而实现实际输出与期望输出误差最小化。

所述步骤(1)中，利用皮尔逊相关系数得到两个标签之间的相关性的过程如下：

利用Pearson相关系数计算多标签数据中两个标签之间的相关性，公式如下：

其中，X和Y表示两个标签集合，ρ_XY表示X和Y的相关性，X_q和Y_q分别表示X和Y中的第q个标签的值，和分别表示X和Y的平均值，Q表示X和Y的集合长度，ρ_XY绝对值越大表示这两个标签的相关性越大，ρ_XY绝对值越小表示这两个标签的相关性越小。

所述步骤(1)中，利用关联规则得到多个标签之间的相关性的具体过程如下：

利用关联规则计算多个标签之间的相关性，假设y1和y2表示两个标签合集，则关联规则表示y1出现，则导致y2以某一概率也会出现，y1称为规则前项，y2称为规则后项，而关联规则的强度用它的支持度(support)和置信度(confidence)来度量，关联规则的支持度是同时包含多个标签的样本数与总样本数之比即：

其中，表示y1和y2的支持度，count(y1∩y2)表示同时包含y1和y2的样本数，|N|表示总样本数；

关联规则的可信度是指包含多个标签的样本数与包含y1的样本数之比，即：

表示y1和y2的可信度，count(y1)表示包含y1的样本数；

为了找出数据集中的关联规则，需要给定数据集的最小支持度(sup_min)和最小可信度(conf_min)，而关联规则挖掘就是在数据集中找出支持度和置信度分别大于给定的最小支持度(sup_min)和最小置信度(conf_min)的关联规则；

确定多标签数据集的最小支持(sup_min)为0.1，最小可信度(conf_min)为0.6，然后在多标签数据集中找出支持度大于0.1且置信度大于0.6的关联规则，该关联规则即表示标签之间的相关性。

所述步骤(2)中，标签分类概率与标签的相关性进行融合的过程如下：

(1)BP神经网络分类结果和Pearson相关系数进行融合

设样本合集S＝{s1,s2,..s_r...s_R}，s_r表示第r个样本，R表示样本的个数，标签合集：D＝{d1,d2...d_f...d_F}，d_f表示第f个标签，F表示标签的个数，则融合的步骤如下：

1)通过改进的BP神经网络得到的样本数据s₁属于各个标签的概率合集为：P_s1r表示样本数据s₁属于d_f标签的概率；

2)计算得到标签d₁和其它F-1个标签之间的Pearson相关系数的合集： 表示标签d₁和标签d_f之间的Pearson相关系数；

3)计算样本数据s₁属于标签d₁的最终概率

其中，表示神经网络得到的样本数据s₁属于标签d₁的概率 表示标签d₁和其它F-1个标签之间的Pearson相关系数的最大值，α表示和在融合规则所占的权重比，取值为{0.6,0.7,0.8,0.9}，α越大表示占的比重越大；

(2)BP神经网络分类结果和关联规则结果进行融合

设样本合集S＝{s1,s2,..s_r...s_R}，s_r表示第r个样本，R表示样本的个数，标签合集：D＝{d1,d2...d_f...d_F}，d_f表示第f个标签，F表示标签的个数，则融合的步骤如下：

1)通过改进的BP神经网络得到的样本数据s₁属于各个标签的概率合集为：P_s1r表示样本数据s₁属于d_f标签的概率；

2)利用关联规则算法计算得到样本数据的关联规则合集其中B为关联规则中的前项，A为关联规则中的后项；

3)为概率合集中各个概率设置一个阈值T(T＝0.5)，并将概率合集中大于该阈值的概率作为一个新的合集D；

4)如果则计算得到标签d₁的关联规则结果为

5)计算样本数据s₁属于标签d₁的最终概率

其中，表示BP神经网络得到的样本数据s₁属于标签d₁的概率，表示标签d₁的关联规则结果的最大值，β表示和在融合规则所占的权重比，取值为{0.6,0.7,0.8,0.9}，β越大表示占的比重越大。

本发明与现有技术相比的有益效果是：本发明通过模型构建、模型验证，自动地完成多标签数据的分类，通过对传统的BP神经网络分类模型进行改进使其能够对具有多标签特性的数据进行分类，并在分类过程中分别考虑了标签之间的二阶和高阶相关性，从而能够高效、快速、准确的解决多标签分类问题，可推广到具有多标签数据分类需求的多种应用领域。

附图说明

图1是本发明提供的基于标签相关性的BP神经网络多标签分类方法的流程框图；

图2是现有的BP神经网络结构图；

图3是本发明改进的BP神经网络结构图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明方法流程见附图1。本发明方法具体实施包括如下具体步骤：

A.基于标签相关性的BP神经网络多标签分类模型构建。

本发明利用改进的神经网络来计算每个样本数据属于各个标签的概率，同时在分类时考虑到标签之间具有一定的相关性，因此，发明将利用皮尔逊相关系数计算两个标签之间的相关性，利用关联规则计算多个标签之间的相关性，最后将BP神经网络的分类结果和标签之间的相关性按照一定的规则进行融合，从而得到每个样本属于各个标签的可能性大小。

A1.利用改进的BP神经网络计算每个样本数据属于各个标签的概率。

神经网络是一种模仿生物神经网络的结构和功能的计算模型，当将其作为分类器时通常由输入层、隐藏层、输出层和分类器组成。附图2是一个用作多类分类的五层神经网络，x_i(i＝1,2…d)表示输入单元，d表示输入单元个数，h_k(k＝1,2…q)表示隐层单元，q表示隐层单元个数，y_j(j＝1,2,…J)表示原始输出单元，J表示原始输出单元个数，o_j表示最终输出单元，从输入单元i到隐层单元k的连接权为w_ik,从隐层单元k到原始输出单元j的连接权为v_kj，softmax是一个优化分类结果的学习算法，它将神经网络的输出变成了一个概率分布，每个类别的概率都在0和1之间，且各个类别的概率和为1。将f₁和f₂作为隐层和原始输出层的激活函数，则其中隐藏层的输出为：

原始输出层的输出为：

最终输出层的输出为：

得到最终的输出值后，计算实际输出与期望输出的误差，并利用误差向后传播来修正权重，从而实现算法的实际输出与期望输出误差最小化。

以上的BP神经网络用作分类时，分类得到的所有标签的概率之和为1，所以只适用于多类分类情况(即从多个标签中选择概率最大的一个标签作为输入样本的最终标签)，为了使其能够解决多标签的分类问题，本发明将对上述BP神经网络分类模型进行改进。附图3是本发明改进的神经网络结构图，发明利用sigmoid层替换了原始的softmax层，在每个原始输出单元后加了一个sigmoid函数，sigmoid函数可以将任何输入映射到[0,1]空间，其函数值恰好可以解释该标签属于/不属于输入示例的概率(概率的取值范围是0～1)。其中，隐藏层和原始输出层的输出计算方式不变，而最终输出层的计算如下：

利用改进的BP神经网络模型对多标签数据分类，可以得到每个样本数据属于各个标签的概率。

A2.利用皮尔逊系数计算两个标签之间的相关性。

皮尔逊(Pearson)相关也称为积差相关，是英国统计学家皮尔逊于20世纪提出的一种计算直线相关的方法。现在被广泛用于度量两个变量之间的相关性，其值介于-1与1之间。Pearson相关系数公式如下：

其中，X和Y表示两个集合，ρ_XY表示X和Y的相关性，X_q和Y_q分别表示X和Y中的第q个值，和分别表示X和Y的平均值，Q表示X和Y的集合长度。

最终计算出的相关系数的含义可以有如下理解：

(1)当相关系数为0时，X和Y两变量无关系。

(2)当X的值增大(减小)，Y值增大(减小)，两个变量为正相关，相关系数在0与1之间。

(3)当X的值增大(减小)，Y值减小(增大)，两个变量为负相关，相关系数在-1与0之间。

本发明利用Pearson相关系数计算多标签数据中两个标签之间的相关性，X和Y表示本发明中的两个标签集合，ρ_XY绝对值越大表示这两个标签的相关性越大，ρ_XY绝对值越小表示这两个标签的相关性越小，由于Pearson相关系数只计算两两标签之间的相关性，即只考虑了标签的二阶相关性。

A3.利用关联规则计算多个标签之间的相关性。

关联规则是反映一个事物与其他事物之间的相互依存性和关联性，如果两个或多个事物之间存在一定的关联关系，则其中一个事物就能通过其他事物预测到。关联规则是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。设y1和y2表示两个集合，关联规则表示y1出现，则导致y2以某一概率也会出现，y1称为规则前项，y2称为规则后项。关联规则的强度可以用它的支持度(support)和置信度(confidence)来度量。

关联规则的支持度是同时包含多个样本的样本数与总样本数之比即：

其中，表示y1和y2的支持度，count(y1∩y2)表示同时包含y1和y2的样本数，|N|表示总样本数；

关联规则的可信度是指包含多个样本的样本数与包含y1的样本数之比，即：

其中，表示y1和y2的可信度，count(y1)表示包含y1的样本数。

为了找出数据集中的关联规则，需要给定数据集的最小支持度(sup_min)和最小可信度(conf_min)，而关联规则挖掘就是在数据集中找出支持度和置信度分别大于给定的最小支持度(sup_min)和最小置信度(conf_min)的关联规则。

本发明通过反复试验确定多标签数据集的最小支持(supmin)和最小可信度(confmin)，然后在多标签数据集中找出支持度大于最小支持(supmin)且置信度大于最小可信度(confmin)的关联规则，该关联规则可以挖掘两个或两个以上的标签之间的关联关系，因该利用关联规可以得到多个标签之间的相关性，即考虑了标签的高阶相关性。

A4.将BP神经网络的分类结果和标签之间的相关性按照一定的规则进行融合

(1)BP神经网络分类结果和Pearson相关系数进行融合

设样本合集S＝{s1,s2,..s_r...s_R}，s_r表示第r个样本，R表示样本的个数，标签合集：D＝{d1,d2...d_f...d_F}，d_f表示第f个标签，F表示标签的个数，则融合的步骤如下：

1)通过改进的BP神经网络得到的样本数据s₁属于各个标签的概率合集为：P_s1r表示样本数据s₁属于d_f标签的概率。

2)计算得到标签d₁和其它F-1个标签之间的Pearson相关系数的合集： 表示标签d₁和标签d_f之间的Pearson相关系数；

3)计算样本数据s1属于标签d₁的最终概率

其中，表示神经网络得到的样本数据s₁属于标签d₁的概率 表示标签d₁和其它F-1个标签之间的Pearson相关系数的最大值，α表示和在融合规则所占的权重比，α越大表示占的比重越大。

(2)BP神经网络分类结果和关联规则结果进行融合

设样本合集S＝{s1,s2,..s_r...s_R}，s_r表示第r个样本，R表示样本的个数，标签合集：D＝{d1,d2...d_f...d_F}，d_f表示第f个标签，F表示标签的个数，则融合的步骤如下：

1)通过改进的BP神经网络得到的样本数据s₁属于各个标签的概率合集为：P_s1r表示样本数据s₁属于d_f标签的概率；

2)利用关联规则算法计算得到样本数据的关联规则合集其中B为关联规则中的前项，A为关联规则中的后项；

3)为概率合集中各个概率设置一个阈值T，并将概率合集中大于该阈值的概率作为一个新的合集D；

4)如果则计算得到标签d₁的关联规则结果为

5)计算样本数据s₁属于标签d₁的最终概率

其中，表示BP神经网络得到的样本数据s₁属于标签d₁的概率，表示标签d₁的关联规则结果的最大值，β表示和在融合规则所占的权重比，β越大表示占的比重越大。

B.基于标签相关性的BP神经网络多标签分类模型结果验证

B1.实验验证数据集

本发明在4个多标签真实数据集上(Emotions、Scene、Yeast、Enron)对多标签分类模型进行验证，这些数据来生活中的不同领域。其中Emotions数据集来自音乐领域，数据集一共包含了593个音乐样本实例和6个类别标签；Scene数据集来自图像领域，数据集包含了2407个图象样本实例和45个类别标签；Yeast是生物领域的基因样本数据集，Yeast数据一共包含2417个基因样本实例和14个类别标签；Enron数据集来自文本领域，数据集一共包含了1702个文本样本实例和53个类别标签。各个数据集的基本统计信息如表1所示。其中，标签基数(Cardinality)表示样本的平均标签个数，标签密度(Density)表示标签的基数与标签总数的比值。

表1实验数据集的统计信息

B2.实验评价指标

为了验证基于标签相关性的BP神经网络多标签分类模型的性能，并使模型的分类结果更为准确可靠，本发明采用十折交叉验证法进行分类实验，即将数据集平均分成十份，每次将其中9份作为训练数据，另1份作为测试数据，进行10次试验后将其结果加权求平均作为最终的训练结果，采用如下指标来评估模型性能。

a.Hamming-loss

该评价指标用于考察样本在单个标签上的误分类情况,例如，一个标签不属于一个示例而被预测为输入该示例或者一个标签属于一个示例而没被预测为属于该示例。Hamming-loss数值在0和1之间，其数值越小，算法效果越好。

其中，n表示样本个数，m表示标签个数，h(X_i)表示第i个样本对应的预测标签，Y_i表示第i个样本对应真实标签，算子Δ用于表示两个集合之间的对称差,|·|为返回集合大小。

b.One-Error

该评价指标用于考察在样本的类别标签排序序列中序列最前端的标签不属于相关标签集合的情况，该指标取值越小，性能越好。

其中，n表示样本个数，Y_i表示第i个样本对应的真实标签，y表示样本x_i对应的类别标签，表示样本x_i对应的类别标签排序序列中序列最前端的标签。

c.Coverage

该评价指标用于考察在样本的类别标签排序序列中覆盖所有相关标签所需的捜索深度情况。该指标取值越小，系统的性能越好。

其中，n表示样本个数，Y_i表示第i个样本对应的真实标签，rank(X_i,y)表示y标签在预测序列中的排序，越大表示排序越低。

d.Ranking-loss

该指标用于考察在样本的类别标签排序序列中出现排序错误的情况，即无关标签在排序序列中位于相关标签之前。该指标取值越小，系统的性能越好。

其中,n表示样本个数，Y_i表示第i个样本x_i对应的真实标签集合，y₁和y₂表示样本x_i对应的两个标签，代表Y_i在集合Y中的补集，f为预测函数。

e.Average precision

该指标用于考察在样本的类别标签排序序列中排在相关标签之前的标签仍为相关标签的情况。Average precision数值越大，说明该多标签学习算法学习效果越好。

其中，n表示样本个数，Y_i表示第i个样本对应的真实标签，y'和y表示样本x_i的两个相关标签，|y'|表示y'的个数，rank(x_i,y')和rank(x_i,y)分别表示样本x_i的类别标签y'和y的排序序列。

B3.在真实数据集上的多标签分类实验结果

在本发明的实验过程中有三个参数需要调节，分别是A3中的最小支持度(sup_min)和最小可信度(conf_min)以及式16中的权重系数α和式17中的权重系数β，经过反复实验发现当关联规则的最小支持度(sup_min)值大于0.1时,得到的关联规则数量太少，因此我们将关联规则的最小支持度(sup_min)值设为0.1，最小可信度(conf_min)设为0.6，同时，将式16中的权重系数α和式17中的权重系数β设为{0.6,0.7,0.8,0.9}，。

为了体现本发明提出的算法的有效性，将本发明提出的改进的BP神经网络(MLBP)、MLBP与Pearson相关系数结合的模型(PCC-MLBP)以及MLBP与关联规则结合的模型(R-MLBP)与已有的多标签算法：ML-KNN、BP-MLL进行对比。表2～表5是在四个公共数据集上五个多标签分类算法的实验结果比较。

表2多标签分类算法在Scene数据集上的实验结果比较

表3多标签分类算法在Emotions数据集上的实验结果比较

表4多标签分类算法在Yeast数据集上的实验结果比较

表5多标签分类算法在Enron数据集上的实验结果比较

由表2～表5给出的四个公共数据集上5种多标签分类算法在5个评价指标上的实验结果可以看出：(1)相对于现有的MI-KNN和BP-MLL多标签算法，本发明提出的PCC-MLBP和R-MLBP在四个公共数据集上的五种多标签分类指标的效果都有所提升，而本文提出的MLBP在四个公共数据集上的大多数多标签分类指标的效果都优于现有的多标签算法，这说明本发明提出的算法对多标签数据具有较好的分类结果，可以提高分类准确率；(2)PCC-MLBP在α为0.8时的分类效果最好，R-MLBP在β为0.8时的分类效果最好，说明神经网络在与式16中的相关系数及式17中的关联规则结合时，神经网络所占权重为0.8时能得到最佳的分类效果。(3)在本文提出的三个算法MLBP、PCC-MLBP和R-MLBP中，R-MLBP算法在四个公共数据集上的大多数多标签分类指标的效果都优于MLBP、PCC-MLBP，PCC-MLBP算法在四个公共数据集上的大多数多标签分类指标的效果都优于MLBP。由于MLBP算法得到的是每个样本数据属于各个标签的概率，在该算法种未考虑标签之间的相关性，因此该类算法的分类效果相对于考虑了标签之间相关性的PCC-MLBP和R-MLBP较差；而PCC-MLBP在MLBP算法的基础上考虑了两个标签之间的相关性，其系统泛化性能较优，因此该方法的分类效果优于MLBP，然而当超过两个标签之间具有相关性时，该方法的效果会受到影响；R-MLBP则在MLBP算法的基础上考虑了多个标签之间的相关性，可以全面地反映各个标签之间的相关性，因此其分类效果最好。

本发明的方法实现了多标签数据的分类，在分类的过程中综合考虑了标签的二阶和多阶相关性，在四个真实数据集上的五个多标签分类指标的结果验证表明：利用本发明提出的方法对具有多标签特征的数据进行分类时具有较好的分类结果，且分类效果优于现有经典的多标签分类方法，进一步说明本发明提出的方法能够有效地进行多标签分类，提高分类准确率。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于标签相关性的BP神经网络多标签分类方法，其特征在于，包括步骤如下：

(1)将改进的BP神经网络用于多标签数据分类，得到每个样本数据属于各个标签的概率，并利用皮尔逊相关系数得到两个标签之间的相关性，同时利用关联规则得到多个标签之间的相关性；

(2)将步骤(1)得到的标签分类概率与标签的相关性进行融合，最终完成多标签数据的分类。

2.根据权利要求1所述的基于标签相关性的BP神经网络多标签分类方法，其特征在于：所述步骤(1)中改进的BP神经网络的结构如下：

改进的BP神经网络由输入层、隐藏层、原始输出层、sigmoid层以及最终输出层组成，将f₁和f₂作为隐层和原始输出层的激活函数，则其中隐藏层的输出为：

其中，x_i表示输入单元，i＝1,2…d，d表示输入单元个数，h_k表示隐层单元，q表示隐层单元个数,w_ik表示从输入单元i到隐层单元k的连接权，k＝1,2…q；

原始输出层的输出为：

其中，y_j(j＝1,2...J)表示原始输出单元，J表示原始输出单元个数,v_kj表示从隐层单元k到原始输出单元j的连接权；

最终输出层的输出为：

其中，o_j表示最终输出单元；

得到最终的输出值后，计算实际输出与期望输出的误差，并利用误差向后传播来修正权重，从而实现实际输出与期望输出误差最小化。

3.根据权利要求1所述的基于标签相关性的BP神经网络多标签分类方法，其特征在于：所述步骤(1)中，利用皮尔逊相关系数得到两个标签之间的相关性的过程如下：

利用Pearson相关系数计算多标签数据中两个标签之间的相关性，公式如下：

其中，X和Y表示两个标签集合，ρ_XY表示X和Y的相关性，X_q和Y_q分别表示X和Y中的第q个标签的值，和分别表示X和Y的平均值，Q表示X和Y的集合长度，ρ_XY绝对值越大表示这两个标签的相关性越大，ρ_XY绝对值越小表示这两个标签的相关性越小。

4.根据权利要求1所述的基于标签相关性的BP神经网络多标签分类方法，其特征在于：所述步骤(1)中，利用关联规则得到多个标签之间的相关性的具体过程如下：

利用关联规则计算多个标签之间的相关性，设y1和y2表示两个标签合集，则关联规则R：表示y1出现，则导致y2以某一概率也会出现，y1称为规则前项，y2称为规则后项。关联规则的强度用它的支持度support和置信度confidence来度量，关联规则的支持度是同时包含多个标签的样本数与总样本数之比即：

其中，表示y1和y2的支持度，count(y1∩y2)表示同时包含y1和y2的样本数，|N|表示总样本数；

关联规则的可信度是指包含多个标签的样本数与包含y1的样本数之比，即：

表示y1和y2的可信度，count(y1)表示包含y1的样本数；

为了找出数据集中的关联规则，需要给定数据集的最小支持度sup_min和最小可信度conf_min，而关联规则挖掘是在数据集中找出支持度和置信度分别大于给定的最小支持度sup_min和最小置信度conf_min的关联规则；

确定多标签数据集的最小支持sup_min为0.1，最小可信度conf_min为0.6，然后在多标签数据集中找出支持度大于0.1且置信度大于0.6的关联规则，该关联规则即表示标签之间的相关性。

5.根据权利要求1所述的基于标签相关性的BP神经网络多标签分类方法，其特征在于：所述步骤(2)中，标签分类概率与标签的相关性进行融合的过程如下：

(1)BP神经网络分类结果和Pearson相关系数进行融合

设样本合集S＝{s1,s2,..s_r...s_R}，s_r表示第r个样本，R表示样本的个数，标签合集：D＝{d1,d2...d_f...d_F}，d_f表示第f个标签，F表示标签的个数，则融合的步骤如下：

1)通过改进的BP神经网络得到的样本数据s₁属于各个标签的概率合集为：P_s1r表示样本数据s₁属于标签d_f的概率；

2)计算得到标签d₁和其它F-1个标签之间的Pearson相关系数的合集： 表示标签d₁和标签d_f之间的Pearson相关系数；

3)计算样本数据s₁属于标签d₁的最终概率

其中，表示神经网络得到的样本数据s₁属于标签d₁的概率 表示标签d₁和其它F-1个标签之间的Pearson相关系数的最大值，α表示和在融合规则所占的权重比，取值为{0.6,0.7,0.8,0.9}，α越大表示占的比重越大；

(2)BP神经网络分类结果和关联规则结果进行融合

设样本合集S＝{s1,s2,..s_r...s_R}，s_r表示第r个样本，R表示样本的个数，标签合集：D＝{d1,d2...d_f...d_F}，d_f表示第f个标签，F表示标签的个数，则融合的步骤如下：

1)通过改进的BP神经网络得到的样本数据s₁属于各个标签的概率合集为：P_s1r表示样本数据s₁属于标签d_f的概率；

2)利用关联规则算法计算得到样本数据的关联规则合集其中B为关联规则中的前项，A为关联规则中的后项；

3)为概率合集中各个概率设置一个阈值T(T＝0.5)，并将概率合集中大于该阈值的概率作为一个新的合集D；

4)如果则计算得到标签d₁的关联规则结果为

5)计算样本数据s₁属于标签d₁的最终概率

其中，表示BP神经网络得到的样本数据s₁属于标签d₁的概率，表示标签d₁的关联规则结果的最大值，β表示和在融合规则所占的权重比，取值为{0.6,0.7,0.8,0.9}，β越大表示占的比重越大。