CN102708376A - 一种实现基于单源信息融合的组合分类器的系统及方法 - Google Patents

Abstract

一种实现基于单源信息融合的组合分类器的系统及方法，包括定义了基于特征选择的组合分类器设计模型，方法通过引入性能优化策略，实现了分类器间串并联方式的灵活搭配组合，通过定义分类器间相似性的度量标准，充分挖掘不同分类器的潜在能力，形成优势互补，将组合分类器的整体性能发挥到最大效能，此外，为了提高组合分类器的在线分类处理能力，引入效率优先策略，通过对组合分类器的每一级分别实施特征选择，使之建立的二元分类器分类正确率最高且输入特征子集规模最小，实现效率与效果的最佳折衷，上述策略的应用使整个方法更加系统、全面，加之整个方法基于领域无关的设计理念，适用范围更加广泛，体现了方法极大的健壮性和良好的可扩展性。

Description

一种实现基于单源信息融合的组合分类器的系统及方法

一、技术领域

本发明涉及模式识别中的分类器设计领域，特别涉及故障诊断中基于单源信息融合的组合分类器设计。

二、技术背景

随着科学技术的发展，人们获取信息的能力得到了前所未有的提升，但因受所获取的信息表现出的形式的多样性、数量的巨大性和信息之间关系的复杂性的影响，使得实际进行信息处理的效果并不理想，无法为辅助决策提供有力支持。

为了提高对信息的综合处理能力，一种有效的解决方案就是同时对来自多个传感器采集的信息进行整合优化，实现多传感器信息融合，并通过去除多传感器信息之间可能存在的冗余和矛盾信息，实现优势互补，以降低不确定性对系统环境一致性的影响，提高系统决策的快速性和正确性，将决策风险降到最低。

目前，多传感器信息融合技术应经被成功应用于很多领域，包括：

■智能制造

■无损检测

■故障和医疗诊断

■环境检测

但现有基于多传感器信息融合的方法受感知对象可测试性差和传感器自身硬件成本高的影响，存在以下局限性：

(1)在某些实际应用中，如医疗诊断和环境检测等，传感器安装数量受到限制，特别是对在线故障诊断而言，可测试性差和多传感器要求的矛盾尤为突出；

(2)传感器数量的增加，势必带来硬件数量和成本的相应增加，降低整个系统的性价比，增加硬件故障率；

(3)传感器数量的增加，使所获取数据处理量成倍增加、在线处理任务加重，给系统的实时性带来不利因素。

三、发明内容

本发明的目的是：克服现有基于多传感器信息融合方法的不足，提出一种实现基于单源信息融合的组合分类器的系统及方法。

我们发明了新的基于单源信息融合的方法，可充分挖掘单源信息的潜在能力，通过设计基于特征选择的组合分类器，提高分类决策的有效性和实时性。

基于特征选择的组合分类器设计模型如下：

对含L个分类器的组合分类器，记P_l，q_l为第l个分类器的分类正确率，第l个分类器输入特征子集及分类器的构造由如下目标函数确定：

max P_l

$\max 1-\underset{j=1}{\overset{l-1}{\max }}\left\{S_c(p_j,p_l)\right\}$

min q_l

即希望所设计的第l个分类器，同时具有最大的分类正确率，与其它分类器之间最差的相似性，以及最小的特征子集规模，三个目标函数的优先级由高到低。

组合分类器的分类决策函数采用“Max-Wins”voting投票表决。

组合分类器设计模型是典型的多目标优化问题，为了给出其蚁群算法实现进行如下分析：

(1)对目标函数min q_l，给定q最大值为a，对q＝1，2，…，a分别运行蚁群算法，取分类效果最好且q值最小的那组特征；

(2)将其余两个目标函数进行加权求和转化为单目标函数：

$\max {\mathrm{\α}}_1{P}_l+{\mathrm{\α}}_2(1-\underset{j=1}{\overset{l-1}{\max }}\{S_c(p_j,p_l)\left\}\right)$

其中，α₁＞0，α₂＞0，α₁+α₂＝1。当P_l→1，l＝1，2，…，L时，目标函数

的值趋向于0，因此，目标函数max P_l和

二者相互矛盾，所以，为避免出现以减小正确率为代价而获取较高的成员分类器间不相似性，取较大的α₁，在上式中取α₁＝0.7，α₂＝0.3。

根据本发明的一个方面，提供一种实现基于单源信息融合的组合分类器的系统，该组合分类器系统适用于解决故障诊断中的分类器的设计，其特征是包括建立基于特征选择的组合分类器模型的装置，该装置用于对含L个分类器的组合分类器，记P_l，q_l为第l个分类器的分类正确率，第l个分类器输入特征子集及分类器的构造由如下目标函数确定：

max P_l

$\max 1-\underset{j=1}{\overset{l-1}{\max }}\left\{S_c(p_j,p_l)\right\}$

min q_l

以至于所设计的第l个分类器同时具有最大的分类正确率，与其它分类器之间最差的相似性，以及最小的特征子集规模，三个目标函数的优先级由高到低。

根据本发明的另一方面，提供一种实现基于单源信息融合的组合分类器的方法，该组合分类器适用于解决故障诊断中的分类器的设计，其特征是所述方法包括建立基于特征选择的组合分类器模型的步骤：

用于对含L个分类器的组合分类器，记P_l，q_l为第l个分类器的分类正确率，第l个分类器输入特征子集及分类器的构造由如下目标函数确定：

max P_l

$\max 1-\underset{j=1}{\overset{l-1}{\max }}\left\{S_c(p_j,p_l)\right\}$

min q_l

以至于所设计的第l个分类器同时具有最大的分类正确率，与其它分类器之间最差的相似性，以及最小的特征子集规模，三个目标函数的优先级由高到低。

根据本发明的再一方面，需要定义一种度量分类器的性能的方法，该方法包括：如果分类器是第1类分类器(一对一映射分类器)，即将含M类状态的样本空间映射到M类空间，那么定义分类器分类结果的分布矩阵为：

p＝[p_ii′]，i，i′＝1，2，…，M

其中，p_ii′为：

其中，p_ii，i＝1，2，…，M为第i类样本的分类正确率；

定义错诊率(Fault recognized as another fault)：

则，以下等式成立：

$p_{\mathrm{ii}}=1-\underset{i^{\′}=1,i\≠i^{\′}}{\overset{M}{\mathrm{\Σ}}}{p}_{{\mathrm{ii}}^{\′}}$

$P=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{P}_i{p}_{\mathrm{ii}}$

其中，P_i为第i类样本的先验概率，对给定的测试样本集由以下公式求取：

$P_i=\frac{N_i}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{N}_j}$

$R_{\mathrm{fa}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{p}_{1i}$

$R_{\mathrm{fn}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{P}_{\mathrm{fni}}{p}_{i1}$

其中，P_fni由下式求取：

$P_{\mathrm{fni}}=\frac{N_i}{\underset{j=2}{\overset{M}{\mathrm{\Σ}}}{N}_j},i=\mathrm{2,3},...,M$

$R_{\mathrm{fr}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{P}_{\mathrm{nfi}}\underset{i^{\′}=2,i\≠i^{\′}}{\overset{M}{\mathrm{\Σ}}}{p}_{{\mathrm{ii}}^{\′}}$

P，R_fa，R_fn和R_fr之间的关系由下式给出：

1-P＝P₁R_fa+(1-P₁)(R_fn+R_fr)

类似地，对第2类分类器(一对多分类器)，即将含M个状态的样本空间映射到M′(M′＜M)类空间，可以定义分类结果的分布矩阵：

p＝[p_ii′]，i＝1，2，…，M，i′＝1，2，…，M′

同样地，按照第1类分类器一样推导以上等式，其中，若类空间中无正常类，则只考查错诊指标，此时，式R_fr变为：

R_fr＝1-P。

根据本发明的再一方面，定义一种度量分类器输入/输出相似性的标准，该标准如下：

对给定样本集，训练样本和测试样本相同，若对同一类型的分类器Λ，功能相同也就是将相同的状态样本映射至相同的类空间，且参数设置相同，所述参数是SVM的σ和C，则对一给定特征子集subset确定相应的样本特征向量，通过训练样本特征向量对分类器训练，针对SVM而言确定和然后用测试样本对分类器测试，可以将subset映射为一个确定的分类器Λ_subset和一个输出结果分布矩阵p，即

Λ(subset)＝(Λ_subset，p)

分类器Λ_subset的相似性可以由subset的相似程度和p的相似程度来度量，分别称为输入相似性和输出相似性；

分类器输入相似性判定准则：将分类器的输入相似性定义为分类器输入特征子集的相似程度，对两个分类器输入特征子集subset₁和subset₂，且均为非空子集，用谷元距离(Tanimotodistance)度量它们的相似程度：

$S_t({\mathrm{subset}}_1,{\mathrm{subset}}_2)=1-\frac{\left|{\mathrm{subset}}_1\right|+\left|{\mathrm{subset}}_2\right|-2|{\mathrm{subset}}_1\∩{\mathrm{subset}}_2|}{\left|{\mathrm{subset}}_1\right|+\left|{\mathrm{subset}}_2\right|-|{\mathrm{subset}}_1\∩{\mathrm{subset}}_2|}$

其中，S_t∈[0，1]，S_t＝0时，意味着两子集之间没有相同元素，S_t＝1时，意味着两子集完全相同，用其对应的训练样本训练所确定的分类器也相同，即S_t越大两子集的相似性越强，分类器的输入相似性越强；

分类器输出相似性判定准则：将分类器的输出相似性定义为分类器分类结果分布矩阵的相似程度，对两分类器的分类结果分布矩阵p₁＝[p_1，ii′]，p₂＝[p_2，ii′]，i＝1，2，…，M，i′＝1，2，…，M′，用如下归一化的皮尔森相关系数(Pearson’s correlation coefficient)度量它们的相似程度：

$S_c(p_1,p_2)=\frac{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}(p_{1,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_1)(p_{2,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_2)}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(p_{1,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_1)}^2\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(p_{2,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_2)}^2}}+1}{2}$

上式中，

分别为矩阵p₁，p₂的元素均值：

${\stackrel{\‾}{p}}_1=\frac{1}{{\mathrm{MM}}^{\′}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{p}_{1,{\mathrm{ii}}^{\′}}$

S_c∈[0，1]，S_c＝1时，意味着两分布矩阵完全正相关，对应分类器的分类结果分布矩阵相同，S_c＝0时，意味着两分布矩阵完全负相关，认为对应分类器输出结果分布矩阵相似性最差；

定理1：若 $\mathrm{\Λ}\left({\mathrm{subset}}_1\right)=({\mathrm{\Λ}}_{{\mathrm{subset}}_1},p_1),$ $\mathrm{\Λ}\left({\mathrm{subset}}_2\right)=({\mathrm{\Λ}}_{{\mathrm{subset}}_2},p_2),$ 如果S_c(p₁，p₂)＜1，则S_t(subset₁，subset₂)＜1。

证明：如果subset₁＝subset₂，由式Λ(subset)＝(Λ_subset，p)及题设可得p₁＝p₂，即如果S_t(subset₁，subset₂)＝1，则S_r(p₁，p₂)＝1，此命题的逆否命题即为定理结论；

由定理1，分类器的输出不相似性条件要比输入不相似性条件强，因此，用分类器输出相似性来衡量分类器的相似性；

组合分类器中的各成员分类器分类正确率越高，同时它们之间的输出相似性越差，则此组合分类器的分类性能越好，即具有此特性的组合分类器，可以确保只有少数分类器对同一样本同时分类错误。

本发明的优点：

本发明提出的基于单源信息融合的组合分类器设计思想，连同据此提出的基于特征选择的组合分类器设计数学模型及其实现方法，具有如下优点：

■性能优化策略。采用“one-versus-others”分类器优化设计方法进行分类器设计，并依次串联，用测试样本对各级分类器进行测试，若分类正确率达不到要求，则对该级分类器采用组合分类器设计模型设计若干个分类器，与该分类器并联，重复该过程，直到测试结果满足要求或随分类器增加分类正确率得不到改善为止。

■优势互补策略。用分类器输出结果的分布矩阵度量分类器的分类性能，定义了不同输入特征子集分类器的输入相似性和输出相似性，确定了分类器相似性的度量标准。组合分类器中的各成员分类器分类正确率越高，同时它们之间的输出相似性越差，则此组合分类器的分类性能越好，即具有此特性的组合分类器，可以确保只有少数分类器对同一样本同时分类错误。

■效率优先策略。通过特征选择，使每一级的分类器分类正确率最高且输入特征子集规模最小，并依此决定状态类识别优先级，给出了优化设计模型的蚁群算法实现，所设计的分类器能充分挖掘特征参数体系的分类能力，具有平均识别时间短，分类正确率高的优点。

■健壮性。目前提出的大多数基于多传感器信息融合的方法都是针对特定应用问题的，而我们设计的基于单源信息融合的组合分类器设计思想没有与特定的应用领域相关，适用范围较广。

■可扩展性。基于单源信息融合的组合分类器设计思想，连同基于特征选择的组合分类器设计数学模型及其实现方法，对解决同类问题具有借鉴意义。

四、附图说明

图1示出了求解5类分类问题的组合分类器分类流程。

五、具体实施方式

根据本发明的一个实施例，提供一种实现基于单源信息融合的组合分类器的系统，该组合分类器适用于解决故障诊断中的分类器的设计，其特征是包括建立基于特征选择的组合分类器模型的装置，该装置用于对含L个分类器的组合分类器，记P_l，q_l为第l个分类器的分类正确率，第l个分类器输入特征子集及分类器的构造由如下目标函数确定：

max P_l

$\max 1-\underset{j=1}{\overset{l-1}{\max }}\left\{S_c(p_j,p_l)\right\}$

min q_l

以至于所设计的第l个分类器同时具有最大的分类正确率，与其它分类器之间最差的相似性，以及最小的特征子集规模，三个目标函数的优先级由高到低。

根据本发明实施例，针对所述一种基于单源信息融合的组合分类器，需要定义一种新的更全面的度量分类器的性能的方法，以第1类分类器，即一对一映射(即将含M类状态的样本空间映射到M类空间)分类器为例，定义分类器分类结果的分布矩阵为：

p＝[p_ii′]，i，i′＝1，2，…，M

其中，p_ii′为：

其中，p_ii，i＝1，2，…，M为第i类样本的分类正确率；

为讨论方便，定义错诊率(Fault recognized as another fault)：

则，以下等式成立：

$p_{\mathrm{ii}}=1-\underset{i^{\′}=1,i\≠i^{\′}}{\overset{M}{\mathrm{\Σ}}}{p}_{{\mathrm{ii}}^{\′}}$

$P=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{P}_i{p}_{\mathrm{ii}}$

其中，P_i为第i类样本的先验概率，对给定的测试样本集由以下公式求取：

$P_i=\frac{N_i}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{N}_j}$

$R_{\mathrm{fa}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{p}_{1i}$

$R_{\mathrm{fn}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{P}_{\mathrm{fni}}{p}_{i1}$

其中，P_fni由下式求取：

$P_{\mathrm{fni}}=\frac{N_i}{\underset{j=2}{\overset{M}{\mathrm{\Σ}}}{N}_j},i=\mathrm{2,3},...,M$

$R_{\mathrm{fr}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{P}_{\mathrm{nfi}}\underset{i^{\′}=2,i\≠i^{\′}}{\overset{M}{\mathrm{\Σ}}}{p}_{{\mathrm{ii}}^{\′}}$

P，R_fa，R_fn和R_fr之间的关系由下式给出：

1-P＝P₁R_fa+(1-P₁)(R_fn+R_fr)

类似地，对第2类分类器(一对多分类器)，即将含M个状态的样本空间映射到M′(M′＜M)类空间，可以定义分类结果的分布矩阵：

p＝[p_ii′]，i＝1，2，…，M，i′＝1，2，…，M′

同样地，可以如第一类分类器一样推导以上等式。注意，若类空间中无正常类，则只考查错诊指标，此时，式R_fr变为：

R_fr＝1-P。

为了提高基于单源信息融合的组合分类器的整体性能，我们设计了性能优化策略，具体实现步骤如下：

(1)采用“one-versus-others”分类器优化设计方法进行分类器设计，并依次串联；

(2)用测试样本对各级分类器进行测试，若分类正确率达不到要求，则对该级分类器采用组合分类器设计模型设计若干个分类器，与该分类器并联，重复该过程，直到测试结果满足要求或随分类器增加分类正确率得不到改善为止。对二类分类器，采用得票过半进行分类决策，记第1类的得票数为n₁，则组合分类器(含奇数个成员分类器)的决策函数为：

以五类分类问题为例，假设第四级的性能达不到要求，则可设计如下组合分类器，记第4级的组合分类器成员为SVM41，SVM42，SVM43，如图1所示。

为了保证组合分类器的分类性能最好，我们设计了优势互补策略，具体实现步骤如下：

(1)定义了分类器相似性度量准则。对给定样本集，训练样本和测试样本相同，若对同一类型的分类器Λ(考虑更一般的第二类分类器)、功能相同(将相同的状态样本映射至相同的类空间)、且参数设置相同(SVM的σ和C)，则对一给定特征子集subset(确定相应的样本特征向量)，通过训练样本特征向量对分类器训练(对SVM而言确定

和

)，然后用测试样本对分类器测试，可以将subset映射为一个确定的分类器Λ_subset和一个输出结果分布矩阵p，即

Λ(subset)＝(Λ_subset，p)

分类器Λ_subset的相似性可以由subset的相似程度和p的相似程度来度量，分别称为输入相似性和输出相似性。

(2)定义了分类器输入相似性判定准则。将分类器的输入相似性定义为分类器输入特征子集的相似程度，对两个分类器输入特征子集subset₁和subset₂(均为非空子集)，用谷元距离(Tanimoto Distance)度量它们的相似程度：

$S_t({\mathrm{subset}}_1,{\mathrm{subset}}_2)=1-\frac{\left|{\mathrm{subset}}_1\right|+\left|{\mathrm{subset}}_2\right|-2|{\mathrm{subset}}_1\∩{\mathrm{subset}}_2|}{\left|{\mathrm{subset}}_1\right|+\left|{\mathrm{subset}}_2\right|-|{\mathrm{subset}}_1\∩{\mathrm{subset}}_2|}$

其中，S_t∈[0，1]，S_t＝0时，意味着两子集之间没有相同元素，S_t＝1时，意味着两子集完全相同，用其对应的训练样本训练所确定的分类器也相同，即S_t越大两子集的相似性越强，分类器的输入相似性越强。

(3)定义了分类器输出相似性判定准则。将分类器的输出相似性定义为分类器分类结果分布矩阵的相似程度，对两分类器的分类结果分布矩阵

p₁＝[p_1，ii′]，P₂＝[p_2，ii′]，i＝1，2，…，M，i′＝1，2，…，M′，用如下归一化的皮尔森相关系数(Pearson’sCorrelation Coefficient)度量它们的相似程度：

$S_c(p_1,p_2)=\frac{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}(p_{1,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_1)(p_{2,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_2)}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(p_{1,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_1)}^2\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(p_{2,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_2)}^2}}+1}{2}$

上式中，

分别为矩阵p₁，p₂的元素均值：

${\stackrel{\‾}{p}}_1=\frac{1}{{\mathrm{MM}}^{\′}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{p}_{1,{\mathrm{ii}}^{\′}}$

S_c∈[0，1]，S_c＝1时，意味着两分布矩阵完全正相关，对应分类器的分类结果分布矩阵相同，S_c＝0时，意味着两分布矩阵完全负相关，认为对应分类器输出结果分布矩阵相似性最差。

定理1：若 $\mathrm{\Λ}\left({\mathrm{subset}}_1\right)=({\mathrm{\Λ}}_{{\mathrm{subset}}_1},p_1),$ $\mathrm{\Λ}\left({\mathrm{subset}}_2\right)=({\mathrm{\Λ}}_{{\mathrm{subset}}_2},p_2),$ 如果S_c(p₁，p₂)＜1，则S_t(subset₁，subset₂)＜1。

证明：如果subset₁＝subset₂，由式Λ(subset)＝(Λ_subset，p)及题设可得p₁＝p₂，即如果S_t(subset₁，subset₂)＝1，则S_r(p₁，p₂)＝1，此命题的逆否命题即为定理结论。

由定理1，分类器的输出不相似性条件要比输入不相似性条件强，因此，用分类器输出相似性来衡量分类器的相似性。

组合分类器中的各成员分类器分类正确率越高，同时它们之间的输出相似性越差，则此组合分类器的分类性能越好，即具有此特性的组合分类器，可以确保只有少数分类器对同一样本同时分类错误。

为了提高基于单源信息融合的组合分类器的整体性能，我们设计了效率优先策略，具体实现步骤如下：

(1)分级处理。对于每一级，通过特征选择，使之建立的二元分类器分类正确率最高且输入特征子集规模最小，这样可以确保在具有最小分类代价的前提下实现最优分类效果；

(2)最小并联。若某一级的分类正确率达不到预先要求，则对该级分类器采用分类器组合的方式进行并联，以并联后的分类器规模最小为准则，并通过反复多次的实验，寻求效率与效果的最佳折衷，直至得到满足实际应用需求的最佳方案为止。

如下所示，表1反映的是我们提出的基于单源信息融合的组合分类器方法的有效性，分类器1表示传统“one-versus-one”分类器，分类器2表示串联分类器，分类器3表示混联分类器。由于本方法的提出是与特定应用领域无关的，因而对解决同类问题具有借鉴意义，体现了方法良好的健壮性和可扩展性。

表1

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (4)

1.一种实现基于单源信息融合的组合分类器系统，该组合分类器适用于解决故障诊断中的分类器设计，其特征是包括建立基于特征选择的组合分类器模型的装置，该装置用于对含L个分类器的组合分类器，记P_l，q_l为第l个分类器的分类正确率，第l个分类器输入特征子集及分类器的构造由如下目标函数确定：

max P_l

$\max 1-\underset{j=1}{\overset{l-1}{\max }}\left\{S_c(p_j,p_l)\right\}$

min q_l

以至于所设计的第l个分类器同时具有最大的分类正确率，与其它分类器之间最差的相似性，以及最小的特征子集规模，三个目标函数的优先级由高到低。

2.一种实现基于单源信息融合的组合分类器的方法，该组合分类器适用于解决故障诊断中的分类器设计，其特征是所述方法包括建立基于特征选择的组合分类器模型的步骤：

用于对含L个分类器的组合分类器，记P_l，q_l为第l个分类器的分类正确率，第l个分类器输入特征子集及分类器的构造由如下目标函数确定：

max P_l

$\max 1-\underset{j=1}{\overset{l-1}{\max }}\left\{S_c(p_j,p_l)\right\}$

min q_l

以至于所设计的第l个分类器同时具有最大的分类正确率，与其它分类器之间最差的相似性，以及最小的特征子集规模，三个目标函数的优先级由高到低。

3.如权利要求1或2所述基于单源信息融合的组合分类器，定义一种度量分类器性能的方法，该方法包括：如果分类器是第1类分类器(一对一映射分类器)，即将含M类状态的样本空间映射到M类空间，那么定义分类器分类结果的分布矩阵为：

p＝[p_ii′]，i，i′＝1，2，…，M

其中，p_ii′为：

其中，p_ii，i＝1，2，…，M为第i类样本的分类正确率；

定义错诊率(Fault recognized as another fault)：

则，以下等式成立：

$p_{\mathrm{ii}}=1-\underset{i^{\′}=1,i\≠i^{\′}}{\overset{M}{\mathrm{\Σ}}}{p}_{{\mathrm{ii}}^{\′}}$

$P=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{P}_i{p}_{\mathrm{ii}}$

其中，P_i为第i类样本的先验概率，对给定的测试样本集由以下公式求取：

$P_i=\frac{N_i}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{N}_j}$

$R_{\mathrm{fa}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{p}_{1i}$

$R_{\mathrm{fn}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{P}_{\mathrm{fni}}{p}_{i1}$

其中，P_fni由下式求取：

$P_{\mathrm{fni}}=\frac{N_i}{\underset{j=2}{\overset{M}{\mathrm{\Σ}}}{N}_j},i=\mathrm{2,3},\·\·\·,M$

$R_{\mathrm{fr}}=\underset{i=2}{\overset{M}{\mathrm{\Σ}}}{P}_{\mathrm{nfi}}\underset{i^{\′}=2,i\≠i^{\′}}{\overset{M}{\mathrm{\Σ}}}{p}_{{\mathrm{ii}}^{\′}}$

P，R_fa，R_fn和R_fr之间的关系由下式给出：

1-P＝P₁R_fa+(1-P₁)(R_fn+R_fr)

类似地，对第2类分类器(一对多分类器)，即将含M个状态的样本空间映射到M′(M′＜M)类空间，可以定义分类结果的分布矩阵：

p＝[p_ii′]，i＝1，2，…，M，i′＝1，2，…，M′

同样地，按照第1类分类器一样推导以上等式，其中，若类空间中无正常类，则只考查错诊指标，此时，式R_fr序变为：

R_fr＝1-P。

4.如权利要求1或2所述基于单源信息融合的组合分类器，定义一种度量分类器输入/输出相似性的标准，该标准如下：

对给定样本集，训练样本和测试样本相同，若对同一类型的分类器Λ，功能相同也就是将相同的状态样本映射至相同的类空间，且参数设置相同，所述参数是SVM的σ和C，则对一给定特征子集subset确定相应的样本特征向量，通过训练样本特征向量对分类器训练，针对SVM而言确定

和

然后用测试样本对分类器测试，可以将subset映射为一个确定的分类器Λ_subset和一个输出结果分布矩阵p，即

Λ(subset)＝(Λ_subset，p)

分类器Λ_subset的相似性可以由subset的相似程度和p的相似程度来度量，分别称为输入相似性和输出相似性；

分类器输入相似性判定准则：将分类器的输入相似性定义为分类器输入特征子集的相似程度，对两个分类器输入特征子集subset₁和subset₂，且均为非空子集，用谷元距离(Tanimotodistance)度量它们的相似程度：

$S_t({\mathrm{subset}}_1,{\mathrm{subset}}_2)=1-\frac{\left|{\mathrm{subset}}_1\right|+\left|{\mathrm{subset}}_2\right|-2\left|{\mathrm{subset}}_1{\∩\mathrm{subset}}_2\right|}{\left|{\mathrm{subset}}_1\right|+\left|{\mathrm{subset}}_2\right|-|{\mathrm{subset}}_1\∩{\mathrm{subset}}_2|}$

其中，S_t∈[0，1]，S_t＝0时，意味着两子集之间没有相同元素，S_t＝1时，意味着两子集完全相同，用其对应的训练样本训练所确定的分类器也相同，即S_t越大两子集的相似性越强，分类器的输入相似性越强；

分类器输出相似性判定准则：将分类器的输出相似性定义为分类器分类结果分布矩阵的相似程度，对两分类器的分类结果分布矩阵p₁＝[p_1，ii′]，p₂＝[p_2，ii′]，i＝1，2，…，M，i′＝1，2，…，M′，用如下归一化的皮尔森相关系数(Pearson’s correlation coefficient)度量它们的相似程度：

$S_c(p_1,p_2)=\frac{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}(p_{1,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_1)(p_{2,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_2)}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(p_{1,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_1)}^2\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{(p_{2,{\mathrm{ii}}^{\′}}-{\stackrel{\‾}{p}}_2)}^2}}}{2}+1$

上式中，分别为矩阵p₁，p₂的元素均值：

${\stackrel{\‾}{p}}_1=\frac{1}{{\mathrm{MM}}^{\′}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{i^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}{p}_{1,{\mathrm{ii}}^{\′}}$

S_c∈[0，1]，S_c＝1时，意味着两分布矩阵完全正相关，对应分类器的分类结果分布矩阵相同，S_c＝0时，意味着两分布矩阵完全负相关，认为对应分类器输出结果分布矩阵相似性最差；

定理1：若 $\mathrm{\Λ}\left({\mathrm{subset}}_1\right)=({\mathrm{\Λ}}_{{\mathrm{subset}}_1},p_1),$ $\mathrm{\Λ}\left({\mathrm{subset}}_2\right)=({\mathrm{\Λ}}_{{\mathrm{subset}}_2},p_2),$ 如果S_c(p₁，p₂)＜1，则S_t(subset₁，subset₂)＜1。

证明：如果subset₁＝subset₂，由式Λ(subset)＝(Λ_subset，p)及题设可得p₁＝p₂，即如果S_t(subset₁，subset₂)＝1，则S_r(p₁，p₂)＝1，此命题的逆否命题即为定理结论；

由定理1，分类器的输出不相似性条件要比输入不相似性条件强，因此，用分类器输出相似性来衡量分类器的相似性；

组合分类器中的各成员分类器分类正确率越高，同时它们之间的输出相似性越差，则此组合分类器的分类性能越好，即具有此特性的组合分类器，可以确保只有少数分类器对同一样本同时分类错误。

Images