CN113240034A - 一种基于熵值法和d-s证据理论的深度决策融合方法 - Google Patents
一种基于熵值法和d-s证据理论的深度决策融合方法 Download PDFInfo
- Publication number
- CN113240034A CN113240034A CN202110582333.XA CN202110582333A CN113240034A CN 113240034 A CN113240034 A CN 113240034A CN 202110582333 A CN202110582333 A CN 202110582333A CN 113240034 A CN113240034 A CN 113240034A
- Authority
- CN
- China
- Prior art keywords
- decision
- decision fusion
- fusion method
- function
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/257—Belief theory, e.g. Dempster-Shafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种基于熵值法和D‑S证据理论的深度决策融合方法,属于信息融合领域。首先设计多个分类器分别对样本进行训练识别,然后分别利用熵值法和D‑S证据理论法对多分类器识别结果进行单层决策融合,最后,采用深度决策融合方法,在每次识别过程中保留两种决策融合方法中识别率较高的方法所识别的结果,充分发挥两种方法各自的优势进行识别。相较于单分类器识别和单方法决策融合,本发明所述的深度决策融合方法具有更高的识别准确率、鲁棒性及容错性。该方法可以应用于人体行为识别等各种模式识别领域。
Description
技术领域
本发明涉及一种基于熵值法和D-S证据理论的深度决策融合方法,属于信息融合领域。
背景技术
随着人工智能技术的发展,模式识别成为重要的研究方向。信息融合作为模式识别中提高识别准确率和鲁棒性的重要手段,在模式识别领域发挥着重要的作用,它可以将不同来源的信息整合在一起,去除冗余,提高识别系统的鲁棒性和准确率。信息融合可以分为三个层次:数据层融合、特征层融合、决策层融合。决策层融合联合各传感器或各分类器的判决形成最终的推理和决策,它具有较强的灵活性,在一定程度上决定决策系统的准确度。决策层融合的主要方法有:投票表决法、贝叶斯方法、D-S证据理论法等D-S理论的基本策略是把证据集合划分为若干独立的证据,并分别利用它们对识别框架独立进行判断。熵值法是经济学中常用的综合评价方法,主要根据各指标测量值所提供的信息量的大小来确定相应指标的权重值。
目前大多针对决策层融合的研究采用的是多分类器单层融合,即采用投票表决法、D-S证据理论等其中一种方法进行决策融合。如专利CN201811445810.2提供的一种改进的D-S证据理论方法,用于滚动轴承故障融合诊断,提高故障诊断率及诊断可靠性。但对于识别准确率要求较高的系统,单层决策融合方法也不能满足系统的要求。当前研究较少使用深度决策融合,即使用两种及以上决策融合方法进行决策融合。
发明内容
本发明提供一种基于熵值法和D-S证据理论的深度决策融合方法,用于多分类器决策融合,进一步提高分类识别系统的鲁棒性和识别准确率,本发明的目的是通过下述技术方案实现的。
本发明公开的一种基于熵值法和D-S证据理论相结合的深度决策融合方法,包括如下步骤:
步骤一:针对某个具有较多训练样本的多分类问题,首先将数据进行归一化处理。
步骤二:设计多个分类器分别对样本进行训练识别,其中对设计的分类器有如下要求:对于任意识别样本,每个分类器都可以得到该样本识别为每个类别的概率。
步骤三:根据D-S证据理论对步骤二所述的所有分类器的决策结果进行单层决策融合。
步骤3.1:D-S理论的基本策略是把证据集合划分为若干独立的证据,并分别利用它们对识别框架独立进行判断。
有n个互斥且穷尽的原始子命题存在,我们称之为识别框架Θ,识别框架Θ中所有子集构成集合2Θ,函数m:2Θ→[0,1],函数Bel:2Θ→[0,1],函数Pl:2Θ→[0,1],满足:
m(Φ)=0
称函数m为A的基本概率分配函数(Basic Probability Assignment),Bel为Θ上的信任函数(Belief function),Pl为Θ上的似然函数(Plausibility function)。
其中,
步骤四:根据熵值法对步骤二所述的所有分类器的决策结果进行单层决策融合。
步骤4.1:对于随机变量X,其可能的输出值集合为{x1,x2,…,xn},其相应的输出概率函数为pi=p(xi),其中i∈{1,2,…,n},则随机变量X的熵值可以表示为:
步骤4.2:决策目标集合为A={A1,A2,…,An},其相应的指标属性集合为X={X1,X2,…,Xn}。各个指标对应于决策目标的决策矩阵表示为:
步骤4.3:第i个决策目标对第j个指标属性的贡献率可以表示为:
第n个决策目标相对应与第m个指标属性的贡献率可以表示为下列矩阵:
第n个决策目标相对于第j个指标属性Xj的贡献率表示为:
步骤4.4:n个决策目标相对于第j个指标的贡献率的一致性,即第j个指标的冗余量dj,可以表示为:
dj=1-S(Xj)
步骤4.5:各指标属性的权重值wj可以表示为:
步骤五:采用深度决策融合的方法对步骤三及步骤四得到的决策融合结果进一步融合,得到最终的分类识别结果。
步骤5.1:决策目标集合为A={A1,A2,…,An},X表示使用的单级别决策融合方法得到的指标属性,其相应的集合为X={X1,X2},其中,X1表示基于D-S证据理论的决策融合方法,X2表示基于熵值法的决策融合方法。经过Xm决策融合方法后得到的混淆矩阵为:
步骤5.3:通过Xm决策融合方法得到的概率矩阵表示为:
步骤5.4:测试样本x,经过Xm方法融合后分类到类别i的决策概率为σmi(x),σm(x)={σm1(x),σm2(x),…σmn(x)},im(x)表示经过Xm方法融合后x被分到目标类别,其中i∈{1,2,…,n},j∈{1,2,…,n},im(x)表示为:
其中,i1(x)表示通过X1决策融合方法后样本x被分类的类别,i2(x)表示通过X2决策融合方法后样本x被分类的类别,i(x)表示通本发明公开的深度决策融合方法进行决策融合后样本x被分类的类别。
步骤5.5:如果i1(x)=i2(x),则样本x最终被分类的类别为:
i(x)=i1(x)=i2(x)
步骤5.6:如果i1(x)≠i2(x),将和称为错分概率,表示真实类别为i2的样本x通过X1决策融合方法后被错分到类别i1的概率,表示真实类别为i1的样本x通过X1决策融合方法后被错分到类别i2的概率。
步骤5.8:ρi(x)表示通过深度决策融合方法后样本x被分类到类别i的概率,则最终的输出概率函数ρ(x)={ρ1(x),ρ2(x),…ρn(x)},且x样本的最终输出概率函数ρ(x)为:
ρ(x)=σbest(x)
步骤5.9:样本x最终被分类的类别为:
有益效果
1.本发明公开的一种基于熵值法和D-S证据理论的深度决策融合方法,应用在多分类器决策融合场景,利用熵值和D-S证据确定各分类器权重,充分挖掘单分类器的优势,相较于单分类器识别系统,具有更高的识别准确率。
2.本发明公开的一种基于熵值法和D-S证据理论的深度决策融合方法,通过决策融合方法赋予每个分类器不同的权重,共同决定识别结果。相较于单分类器识别系统,具有更好的容错率和鲁棒性。
3.本发明公开的一种基于熵值法和D-S证据理论的深度决策融合方法,结合了D-S证据理论与熵值法两种决策融合方法各自的优点,针对每一个识别类别,保留两种决策融合方法中识别率较高的方法所识别的结果,充分发挥两种方法各自的优势,相较于单方法的决策融合方法,该方法具有更好的决策融合效果(更高的识别准确率)。
附图说明
1、图1本发明的一种基于熵值法和D-S证据理论的深度决策融合方法流程示意图
2、图2本发明的一种基于熵值法和D-S证据理论的深度决策融合方法识别框架图
3、图3本发明设计的BP神经网络分类器结构图
4、图4本发明设计的卷积神经网络结构图
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果,需要指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
如附图1和附图2所示,本实施例公开的一种基于D-S证据理论与熵值法相结合的深度决策融合方法,具体实现步骤如下:
步骤一:选择UCI数据库中的基于智能手机的人体行为识别数据集作为实施例,通过人体6中行为识别来验证本发明公开方法的可行性。该数据集收集了30名跨度为19岁到48的志愿者的6种运动信息,分别是走路、上楼、下楼、坐姿、站立和平躺。每名志愿者的腰上佩戴智能手机,利用智能手机内置的加速度传感器和陀螺仪,捕获了50Hz恒定频率下的三轴线性加速度和三轴角速度。
步骤二:将步骤一采集到的传感器信号由噪声滤波器进行预处理,然后在2.56秒固定宽度的滑动窗口中进行采样,重叠率为50%,即每个窗口的数据量为128,假设重力只有低频分量,因此使用截止频率为0.3Hz的Butterworth低通滤波器将传感器的加速度信号分为重力加速度信号分量和线性加速度信号分量。数据集共有7352个训练数据和2947个测试数据。每个窗口的数据经过特征工程,共提取561个时域和频域上的特征。
步骤三:设计第一个分类器:BP神经网络分类器(如附图3)。
将步骤二提取的561个时域和频域上的特征,输入含有两个隐含层的神经网络中进行训练,两个隐含层均有32个神经元,采用SGD优化器、Rule激活函数,学习率为0.001,采用交叉熵损失函数和十折交叉验证法,最终在测试集上得到准确率为95.96%。
步骤四:设计第二个分类器:多输入一维卷积神经网络分类器(如附图4),网络结构的设置值如表1所示,输入信号为步骤一所述每个窗口的时域信号,最终在测试集上得到准确率为95.66%。
表1卷积网络结构设置值
参数 | 参数值 |
卷积核输出 | 64 |
过滤器尺寸 | 13 |
卷积层数 | 2 |
池化尺寸 | 4 |
激活函数 | Relu |
优化器 | Adam |
随机失活率 | 0.5 |
The size of minibatches | 64 |
步骤五:设计第三个分类器:多输入一维卷积神经网络分类器,其网络结构与步骤四所述分类器网络结构相同,输入信号为步骤一所述每个窗口经过快速傅里叶变换(FFT)得到的频域信号,最终在测试集上得到准确率为95.96%。
步骤六:根据D-S证据理论对步骤三至五所设计的分类器进行单层决策融合,最终在测试集上得到准确率为97.34%。
步骤七:根据熵值法对步骤三至五所设计的分类器进行单层决策融合,最终在测试集上得到准确率为97.39%。
步骤八:根据深度决策融合方法对步骤六、步骤七所得到的决策融合结果进一步融合,最终在测试集上得到准确率为97.59%。
步骤九:分别统计步骤三至步骤八所用方法的分类识别结果,如表2所示。
表2不同方法的人体行为识别结果
由表2可看出,深度决策融合方法可以提高系统的识别准确率、精确率、召回率及F1分数。
步骤十:为了验证本文提出的深度决策融合方法不仅适用于步骤三至五所述分类器,在各种分类器上均具有通用性,我们选择了不同于上文所用的分类器,分别是K近邻分类器(KNN),随机森林(RF),三层BP神经网络,用步骤二提到的561个特征作为分类器的输入数据,表现性能如表3所示。
表3不同分类器的表现性能
由表3可以看出,深度决策融合方法适用于各种分类器,具有较好的通用性。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于熵值法和D-S证据理论的深度决策融合方法,其特征在于,包括如下步骤:
步骤一:针对某个具有较多训练样本的多分类问题,首先将数据进行归一化处理;
步骤二:设计多个分类器分别对样本进行训练识别,其中对设计的分类器有如下要求:对于任意识别样本,每个分类器都可以得到该样本识别为每个类别的概率;
步骤三:根据D-S证据理论对步骤二所述的所有分类器的决策结果进行单层决策融合;
步骤四:根据熵值法对步骤二所述的所有分类器的决策结果进行单层决策融合;
步骤五:采用深度决策融合的方法对步骤三及步骤四得到的决策融合结果进一步融合,得到最终的分类识别结果。
2.如权利要求1所述,一种基于熵值法和D-S证据理论的深度决策融合方法,其特征在于,步骤三的实现方法步骤为:
步骤3.1:D-S理论的基本策略是把证据集合划分为若干独立的证据,并分别利用它们对识别框架独立进行判断;
有n个互斥且穷尽的原始子命题存在,我们称之为识别框架Θ,识别框架Θ中所有子集构成集合2Θ,函数m:2Θ→[0,1],函数Bel:2Θ→[0,1],函数Pl:2Θ→[0,1],满足:
m(Φ)=0
称函数m为A的基本概率分配函数(Basic Probability Assignment),Bel为Θ上的信任函数(Belief function),Pl为Θ上的似然函数(Plausibility function);
其中,
3.如权利要求1所述,一种基于熵值法和D-S证据理论的深度决策融合方法,其特征在于,步骤四的实现方法为:
步骤4.1:对于随机变量X,其输出值集合为{x1,x2,...,xn},其相应的输出概率函数为pi=p(xi),其中i∈{1,2,...,n},则随机变量X的熵值可以表示为:
步骤4.2:决策目标集合为A={A1,A2,...,An},其相应的指标属性集合为X={X1,X2,...,Xn};各个指标对应于决策目标的决策矩阵表示为:
步骤4.3:第i个决策目标对第j个指标属性的贡献率可以表示为:
第n个决策目标相对应与第m个指标属性的贡献率可以表示为下列矩阵:
第n个决策目标相对于第j个指标属性Xj的贡献率表示为:
步骤4.4:n个决策目标相对于第j个指标的贡献率的一致性,即第j个指标的冗余量dj,可以表示为:
dj=1-S(Xj)
步骤4.5:各指标属性的权重值wj可以表示为:
4.如权利要求1所述,一种基于熵值法和D-S证据理论的深度决策融合方法,其特征在于,步骤五的实现方法为:
步骤5.1:决策目标集合为A={A1,A2,...,An},X表示使用的单级别决策融合方法得到的指标属性,其相应的集合为X={X1,X2};其中,X1表示基于D-S证据理论的决策融合方法,X2表示基于熵值法的决策融合方法;经过Xm决策融合方法后得到的混淆矩阵为:
步骤5.3:通过Xm决策融合方法得到的概率矩阵表示为:
步骤5.4:测试样本x,经过Xm方法融合后分类到类别i的决策概率为σmi(x),σm(x)={σm1(x),σm2(x),...σmn(x)},im(x)表示经过Xm方法融合后x被分到目标类别,其中i∈{1,2,...,n},j∈{1,2,...,n},im(x)表示为:
其中,i1(x)表示通过X1决策融合方法后样本x被分类的类别,i2(x)表示通过X2决策融合方法后样本x被分类的类别,i表示通本发明公开的深度决策融合方法进行决策融合后样本x被分类的类别;
步骤5.5:如果i1(x)=i2(x),则样本x最终被分类的类别为:
i(x)=i1(x)=i2(x)
步骤5.8:假设ρi(x)表示通过深度决策融合方法后样本x被分类到类别i的概率,则最终的输出概率函数ρ(x)={ρ1(x),ρ2(x),...ρn(x)},且x样本的最终输出概率函数ρ(x)为:
ρ(x)=σbest(x)
步骤5.9:样本x最终被分类的类别为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110582333.XA CN113240034A (zh) | 2021-05-25 | 2021-05-25 | 一种基于熵值法和d-s证据理论的深度决策融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110582333.XA CN113240034A (zh) | 2021-05-25 | 2021-05-25 | 一种基于熵值法和d-s证据理论的深度决策融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113240034A true CN113240034A (zh) | 2021-08-10 |
Family
ID=77139078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110582333.XA Pending CN113240034A (zh) | 2021-05-25 | 2021-05-25 | 一种基于熵值法和d-s证据理论的深度决策融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240034A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688802A (zh) * | 2021-10-22 | 2021-11-23 | 季华实验室 | 基于肌电信号的手势识别方法、装置、设备及存储介质 |
CN115457966A (zh) * | 2022-09-16 | 2022-12-09 | 东北农业大学 | 基于改进ds证据理论多分类器融合的猪咳嗽声识别方法 |
-
2021
- 2021-05-25 CN CN202110582333.XA patent/CN113240034A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688802A (zh) * | 2021-10-22 | 2021-11-23 | 季华实验室 | 基于肌电信号的手势识别方法、装置、设备及存储介质 |
CN115457966A (zh) * | 2022-09-16 | 2022-12-09 | 东北农业大学 | 基于改进ds证据理论多分类器融合的猪咳嗽声识别方法 |
CN115457966B (zh) * | 2022-09-16 | 2023-05-12 | 东北农业大学 | 基于改进ds证据理论多分类器融合的猪咳嗽声识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chang et al. | Learning representations of emotional speech with deep convolutional generative adversarial networks | |
Caliskan et al. | Diagnosis of the parkinson disease by using deep neural network classifier | |
CN111368885B (zh) | 一种航空发动机气路故障诊断方法 | |
Ullo et al. | Hybrid computerized method for environmental sound classification | |
CN109934269B (zh) | 一种电磁信号的开集识别方法和装置 | |
CN113240034A (zh) | 一种基于熵值法和d-s证据理论的深度决策融合方法 | |
CN108416364A (zh) | 分包融合集成学习数据分类方法 | |
CN109635010B (zh) | 一种用户特征及特征因子抽取、查询方法和系统 | |
CN111639678B (zh) | 一种基于集成神经网络的ins/gps组合导航故障检测与诊断方法 | |
CN109739844B (zh) | 基于衰减权重的数据分类方法 | |
CN111582320A (zh) | 一种基于半监督学习的动态个体识别方法 | |
CN109572706B (zh) | 一种驾驶安全评价方法及装置 | |
CN114170533A (zh) | 基于注意力机制和多模态表征学习的滑坡识别方法及系统 | |
CN103886335B (zh) | 基于模糊粒子群和散射熵的极化sar图像分类方法 | |
CN112284735A (zh) | 基于一维卷积与动态路由的多传感器滚动轴承故障诊断 | |
CN112348090A (zh) | 一种基于近邻自编码器的近邻异常检测系统 | |
CN115392333A (zh) | 一种基于改进端到端ResNet-BiLSTM双通道模型的设备故障诊断方法 | |
US7233692B2 (en) | Method and computer program product for identifying output classes with multi-modal dispersion in feature space and incorporating multi-modal structure into a pattern recognition system | |
CN109191418A (zh) | 一种基于收缩自编码器特征学习的遥感图像变化检测方法 | |
CN103077399A (zh) | 基于集成级联架构的生物显微图像分类方法 | |
CN108960328A (zh) | 一种基于汉克尔矩阵的诊断汽车轮毂轴承故障的方法 | |
CN113887342A (zh) | 基于多源信号和深度学习的设备故障诊断方法 | |
CN114926299A (zh) | 一种基于大数据分析的预测车辆事故风险预测方法 | |
CN113569920B (zh) | 基于自动编码的第二近邻异常检测方法 | |
US7164791B2 (en) | Method and computer program product for identifying and incorporating new output classes in a pattern recognition system during system operation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |
|
RJ01 | Rejection of invention patent application after publication |