CN111709440B - 基于FSA-Choquet模糊积分的特征选择方法 - Google Patents

Abstract

本发明公开的基于FSA‑Choquet模糊积分的特征选择方法，包括以下步骤：步骤1，初始化带有特征的原始数据集X，使用Choquet模糊积分优选出最优特征子集；步骤2，然后通过最大冗余计算，结合后向浮动搜索策略及分类器进行特征优选。本发明基于FSA‑Choquet模糊积分的特征选择方法，通过两次特征优选实现最优特征子集的选择，首先使用Choquet模糊积分优选出当前最优特征子集，然后通过最大冗余计算，结合后向浮动搜索策略及分类器进行特征优选；实验证明，基于FSA‑Choquet选择的特征在行为识别中具有较高的分类识别率。

Description

基于FSA-Choquet模糊积分的特征选择方法

技术领域

本发明属于特征选择方法技术领域，具体涉及一种基于FSA-Choquet模糊积分的特征选择方法。

背景技术

在人体运动中，加速度现象普遍存在，可以直接反映人体运动状态，例如人体的日常行为动作：步行、上楼梯、下楼梯以及跑步等；这些日常动作都会产生相应的加速度，通过这些信息反映人体的行为动作和精神状态。随着传感器技术的快速发展和广泛应用，利用传感器进行人体行为识别的研究已应用于多个领域。在体育运动领域，研究运动员体育竞技的运动动作；在游戏娱乐领域，提升游戏娱乐的质量以及人机的互动性；在医疗健康领域，监测人的身心健康，例如跌到检测和血压监测等；在安防监控领域，降低人工监控成本等。

从研究方法上来说，人体行为识别属于模式识别领域，关于模式识别的方法大多数都可以应用在人体行为识别中。Mannini等人通过分割低频部分加速度信号的数据，提取17种特征，然后使用HMM分类器进行行为识别，识别率为98.4％。Casale P利用随机森林分类器，有效识别上楼梯、下楼梯以及电脑办公等人体基本行为动作，识别率达到94％以上。MANNINI A通过在受试者脚踝和手腕上佩戴多个加速度计进行人体日常行为的识别。PinkyPaul通过改进k-近邻算法实时识别分析人体跑步、走路、站立的基本动作。Bruno Aguiar等人使用智能手机加速度传感器，研究人体的跌倒检测，并通过实验验证了他们提出的跌倒检测算法的可行性，识别准确率达到97.5％。

综上所述，国内外已有很多基于加速度传感器的人体行为动作的识别研究，由于人体动作的复杂性和现实环境中许多潜在影响人体行为动作的因素，为了提高分类识别率，通常会提取大量时域特征和频域特征，随着特征维数的增加会导致存在一些冗余特征，增加计算复杂度和降低分类识别率。

对人体加速度数据来说，提取的特征向量通常需包含能够识别各类人体行为的重要信息，同时这些特征向量又作为行为识别分类算法的输入。人体行为识别用到的特征主要有加速度信号的时域特征和频域特征等；时域特征主要有均值、方差、标准差、能量及相关系数等；频域特征主要包含频域熵和傅里叶系数等。

在人体行为识别系统中，由于采集到的原始数据来源于多个传感器，即使用同一个传感器采集数据，由于每种特征的运算过程不同，不同种特征的取值范围存在差异。因此，对原始特征空间数据集进行标准化处理是人体行为识别系统处理中不可或缺的一步。常用两种标准化方法：“min-max”标准化处理方法和“z-score”标准化处理方法。特征选择的目标一是对原始特征空间进行降维，减少运算的复杂度；二是针对特征本身，通过评价、筛选特征集合中的每个特征，得到能使分类模型具有更好识别效果的特征子集。

典型的特征选择过程包含四个基本模块：特征子集生成、特征子集评价、评价终止条件和结果验证。

特征子集的生成和特征子集评价准则是研究特征选择的核心问题。在指定子集评价标准和评价终止条件后，首先在原始特征空间中生成特征子集作为候选特征子集，然后使用子集评价准则来衡量候选特征子集生成的局部最优特征子集，判断是否满足终止条件，如果不满足，则继续搜索当前最优特征子集，直到满足为止，最终产生最优特征子集，结束特征选择。

研究采用的Fisher score、Relief-F和Chisquare特征选择方法适用于支持向量机层次分类法；上述特征选择研究大多集中于考虑单个特征对于分类的贡献，以此来评价特征的重要性，从而依次选择重要的特征构成特征子集，忽略了特征之间的相关性对于分类的影响，或者对特征之间的相关性考虑不足；提取的特征在特征计算时复杂度高、算法执行速度低，严重影响了其行为识别的效率，限制了上述分类特征和分类方法的应用范围。

发明内容

本发明的目的是提供一种基于FSA-Choquet模糊积分的特征选择方法，解决了现有特征选择方法分类识别准确率低、冗余特征量大的问题。

本发明所采用的技术方案是，基于FSA-Choquet模糊积分的特征选择方法，包括以下步骤：

步骤1，初始化带有特征的原始数据集X，使用Choquet模糊积分优选出最优特征子集；

步骤2，然后通过最大冗余计算，结合后向浮动搜索策略及分类器进行特征优选。

本发明的特征还在于，

步骤1具体为：

步骤1.1，设原始数据集X，具体为公式(1)；

公式(1)中参数k代表特征种类数，n代表总体样本数，矩阵第i行第j列元素代表第i个样本第j种特征的值大小；

步骤1.2，基于步骤1.1中的原始数据集X，通过模糊密度如公式(2)，生成模糊密度矩阵D，如公式(3)，转置，生成矩阵D′，如公式(4)，随后对矩阵D′中每行元素由小到大排序，生成矩阵M，得到公式(5)；

公式(2)中，参数n_a为类别的数量，参数P(a_i)为类别a_i出现的概率，参数σ(f_j,a_i)为特征f_j在类别a_i中的标准差，参数σ(f_j)为整个样本中的标准差；

公式(3)中，ι代表分类种类数，矩阵D第i行第j列元素代表第j种特征在第i种分类类别下的模糊密度；

步骤1.3，结合步骤1.2中矩阵D′和λ-模糊测度，计算不同特征的λ值，如公式(5)，同时计算矩阵M的模糊测度矩阵U，如公式(7)；

[λ₁，λ₂，......,λ_k] (6)

公式(7)中，矩阵U中第i行代表第i种特征在不同类别幂集下的模糊测度；假设类别集和A＝{a₁,a₂,...,a_n}，则μ_1l代表类别全集的模糊测度，μ_2l代表类别子集{a₂,a₃,...a_n}的模糊测度，μ_ll代表类别子集{a_n}的模糊测度，也就是第i种特征在第ι种类别下的模糊密度；

步骤1.4，结合步骤1.2中矩阵M、步骤1.3中的矩阵U和Choquet积分，计算得到不同特征的积分值，如公式(8)：

其中，参数C_u(f_i)为第i种特征的模糊积分值；

步骤1.5，将步骤1.4中每种特征的模糊积分值与设定的阈值比较，选择模糊积分值不小于阈值的特征加入到优选特征子集中，生成最优特征子集A＝{f′₁,f′₃,f′₅...,f′_q-2,f′_q}。

步骤2具体为：

步骤2.1，将步骤1中的最优特征子集A初始化，通过最大冗余计算公式，如公式(9)，得到优选特征集合S，

max(R(S))

其中，label表示要识别的类别种类数，n_i表示第i类的样本总数，x_k表示在第i个类别下特征x在第k个样本下的真实值，y_k表示在第i个类别下特征x在第k个样本下的真实值。

步骤2.2，用步骤2.1中的优选特征集合S训练分类器，获得分类模型，并测试测试集；

步骤2.3，比较连续两次分类的准确率，若准确率提高，则修改S特征集合，通过使用每次优选的特征子集训练分类模型并做测试，获得自适应不同分类器和分类动作的最优特征子集。

本发明的有益效果是：本发明基于FSA-Choquet模糊积分的特征选择方法，通过两次特征优选实现最优特征子集的选择，首先使用Choquet模糊积分优选出当前最优特征子集，然后通过最大冗余计算，结合后向浮动搜索策略及分类器进行特征优选；实验证明，基于FSA-Choquet选择的特征在行为识别中具有较高的分类识别率。

附图说明

图1是本发明基于FSA-Choquet模糊积分的特征选择方法中，获取最优特征子集的流程图；

图2是本发明基于FSA-Choquet模糊积分的特征选择方法中，结合后向浮动搜索策略及分类器进行特征优选的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于FSA-Choquet模糊积分的特征选择方法，包括以下步骤：

步骤1，如图1所示，初始化带有特征的原始数据集X，使用Choquet模糊积分优选出最优特征子集，具体为：

步骤1.1，设原始数据集X，具体为公式(1)；

公式(1)中参数k代表特征种类数，n代表总体样本数，矩阵第i行第j列元素代表第i个样本第j种特征的值大小；

步骤1.2，基于步骤1.1中的原始数据集X，通过模糊密度如公式(2)，生成模糊密度矩阵D，如公式(3)，转置，生成矩阵D′，如公式(4)，随后对矩阵D′中每行元素由小到大排序，生成矩阵M，得到公式(5)；

公式(2)中，参数n_a为类别的数量，参数P(a_i)为类别a_i出现的概率，参数σ(f_j,a_i)为特征f_j在类别a_i中的标准差，参数σ(f_j)为整个样本中的标准差；

公式(3)中，ι代表分类种类数，矩阵第i行第j列元素代表第j种特征在第i种分类类别下的模糊密度；

步骤1.3，结合步骤1.2中矩阵D′和λ-模糊测度，计算不同特征的λ值，如公式(5)，同时计算矩阵M的模糊测度矩阵U，如公式(7)；

[λ₁，λ₂，......,λ_k] (6)

公式(7)中，矩阵U中第i行代表第i种特征在不同类别幂集下的模糊测度；假设类别集和A＝{a₁,a₂,...,a_n}，则μ_1l代表类别全集的模糊测度，μ_2l代表类别子集{a₂,a₃,...a_n}的模糊测度，μ_ll代表类别子集{a_n}的模糊测度，也就是第i种特征在第ι种类别下的模糊密度；

步骤1.4，结合步骤1.2中矩阵M、步骤1.3中的矩阵U和Choquet积分，计算得到不同特征的积分值，如公式(8)：

其中，参数C_u(f_i)为第i种特征的模糊积分值；

步骤1.5，将步骤1.4中每种特征的模糊积分值与设定的阈值比较，选择模糊积分值不小于阈值的特征加入到优选特征子集中，生成最优特征子集A＝{f′₁,f′₃,f′₅...,f′_q-2,f′_q}。

步骤2，如图2所示，然后通过最大冗余计算，结合后向浮动搜索策略及分类器进行特征优选，具体为：

步骤2.1，将步骤1中的最优特征子集A初始化，通过最大冗余计算公式，如公式(9)，得到优选特征集合S，

max(R(S))

其中，label表示要识别的类别种类数，n_i表示第i类的样本总数，x_k表示在第i个类别下特征x在第k个样本下的真实值，y_k表示在第i个类别下特征x在第k个样本下的真实值。

步骤2.2，用步骤2.1中的优选特征集合S训练分类器，获得分类模型，并测试测试集；

步骤2.3，比较连续两次分类的准确率，若准确率提高，则修改S特征集合，通过使用每次优选的特征子集训练分类模型并做测试，获得自适应不同分类器和分类动作的最优特征子集。

实施例

一、实验数据

实验数据来源于意大利非线性复杂实验室，通过在30名不同年龄、身高和体重的实验者身上采集而来。通过在试验者腰部携带智能手机，以恒定速率50HZ采集到六种人体行为动作加速度传感器数据。这六种行为动作分别为：步行、上楼梯、下楼梯、坐下、站立以及躺下。

使用滑动窗口技术(窗口大小为110，覆盖率为50％)对去噪后的数据集进行特征提取，所提取到的特征有：均值、方差、均方根、平均绝对偏差、四分位间距、轴间相关系数、峰度、偏度、能量、最大值、最小值、绝对中位差、信号幅度域、峰峰值以及中位数，一共15种特征，特征编号分别为1到15。

为了得到可靠稳定的分类模型，依次采用K近邻、支持向量机、决策树、朴素贝叶斯和RF等五种分类器，分别对其进行10折交叉验证。同时，为了得到均匀的实验数据，采用将样本顺序随机打乱，每一类样本依次逐个加入到10个初始为空的样本集合，直到这一类的每一个样本都被加入，实现将样本随机均匀划分为10份的目的。使用其中1份样本作为测试样本集，其余9份作为训练样本集，轮流将其中9份做训练，1份做验证来结束这10折交叉验证实验。

二、实验分析

通过准确率、混淆矩阵、精确率、召回率、F1分数等指标对DFS、Choquet积分和FSA-Choquet积分特征选进行评价。

1.准确率

公式中，k代表待识别的分类种类数，real_i代表测试集第i类样本的真实总数，prediction_i代表测试集正确预测测试样本是第i类的总数。

(1)步行的特征选择和分类正确率，如表1所示。

表1 步行特征优选组合分类正确率

如表1所示，对步行这一分类动作，在DFS特征优选准则下，五种分类器的分类正确率优于要比基于Choquet积分特征优选准则下分类效果。FSA-Choquet积分特征子集优选准则在五种分类算法下，分类算法的正确率普遍优于Choquet积分特征优选准则。

(2)上楼梯的特征选择和分类正确率，如表2所示。

表2 上楼梯特征优选组合分类正确率

如表2所示，针对上楼梯这一分类动作，在DFS特征优选准则下，五种分类器的分类正确率，要比基于Choquet积分特征优选准则下，分类效果好。FSA-Choquet积分特征子集优选准则在五种分类算法下，分类算法的正确率普遍优于Choquet积分特征优选准则。

(3)下楼梯的特征选择和分类正确率，如表3所示。

表3 下楼梯特征优选组合分类正确率

如表3所示，针对下楼梯这一分类动作，基于Choquet积分特征优选准则，只在K近邻算法分类器下，正确率要比DFS特征优选准则要高些，在决策树分类算法以及随机森林分类算法这两种分类器下，两者分类效果相当。FSA-Choquet积分特征子集优选准则在五种分类算法下，分类算法的正确率普遍优于Choquet积分特征优选准则。

(4)坐下的特征选择和分类正确率，如表4所示。

表4 坐下特征优选组合分类正确率

根据表4所示，针对坐下这一分类动作，两个特征优选准则只在支持向量机这一个分类算法下，分类正确率相差比较大外，其它四种分类算法下，分类正确率差别不明显。FSA-Choquet积分特征子集优选准则在五种分类算法下，分类算法的正确率普遍优于Choquet积分特征优选准则。

(5)站立的特征选择和分类正确率，如表5所示。

表5 站立特征优选组合分类正确率

如表5所示，对站立这一分类动作，这两个特征优选准则只在决策树这一个分类算法下，分类正确率相差比较大外，其它四种分类算法下，分类正确率上下浮动。FSA-Choquet积分特征子集优选准则在五种分类算法下，分类算法的正确率都有所提升。

(6)躺下的特征选择和分类正确率，如表6所示。

表6 躺下特征优选组合分类正确率

如表6所示，躺下这一分类动作，这两个特征优选准则只在支持向量机这一个分类算法下，分类正确率相差比较明显外，其它四种分类算法下，分类正确率差别不明显。FSA-Choquet积分特征子集优选准则在五种分类算法下，分类算法的正确率普遍优于Choquet积分特征优选准则。

(7)各动作的分类正确率，如表7所示

表7 两种特征优选准则在五种分类算法下分类正确率

(8)全部动作的特征选择和分类正确率

表8为DFS、Choquet积分和FSA-Choquet积分特征子集优选准则，在不同分类器下识别全部动作的实验对比结果。

表9 分类正确率

通过表8的对比结果，发现基于DFS的特征优选准则，使用五种分类算法进行试验，其分类正确率普遍要比Choquet积分特征优选准则要好。现FSA-Choquet积分特征子集优选准则与Choquet积分特征子集优选准则相比，FSA-Choquet特征子集优选准则在五种分类算法下，其分类识别率都有所提升。不论哪种特征选择方法，在这五种分类器下，随机森林的分类效果都最好。

2、混淆矩阵

混淆矩阵可以很直观的表示分类结果，矩阵的每一行代表该类样本子集的分类情况，矩阵每一列代表实际分类中每一类的真实类别。下面在随机森林分类器下，分析Choquet积分和Choquet积分特征优选准则的混淆矩阵。表9显示Choquet积分特征子集优选准则下，随机森林(RF)在最优特征子集(1,2,3,4,9,10,11,15)下的混淆矩阵。

表9 RF混淆矩阵(Choquet积分特征子集优选准则)

表10为FSA-Choquet积分特征子集优选准则下，随机森林(RF)在最优特征子集(1,9,11,15)下的混淆矩阵。

表10 RF混淆矩阵(FSA-Choquet积分特征子集优选准则)

精确率如下所示：

其中error_j代表把第j类错误预测到第i类的数量；

召回率如下所示：

其中error′_j代表把第i类错误预测到第j类的数量；

F1分数如下所示：

通过对比可知，DFS特征选择方法和Choquet积分特征选择方法在精确率、召回率和F1分数这三个评价指标下，大小上下浮动。FSA-Choquet积分特征选择方法在精确率、召回率和F1分数这三个评价指标下，大部分情况下优于Choquet积分特征选择方法。

Claims (1)

1.基于FSA-Choquet模糊积分的特征选择方法，其特征在于，包括以下步骤：

步骤1，初始化带有特征的原始数据集X，使用Choquet模糊积分优选出最优特征子集，原始数据集X为通过在30名不同年龄、身高和体重的实验者身上采集而来，通过在试验者腰部携带智能手机，以恒定速率50HZ采集到六种人体行为动作加速度传感器数据，这六种行为动作分别为：步行、上楼梯、下楼梯、坐下、站立以及躺下；

所述步骤1具体为：

步骤1.1，设原始数据集X，具体为公式(1)；

公式(1)中参数k代表特征种类数，n代表总体样本数，矩阵第i行第j列元素代表第i个样本第j种特征的值大小；

步骤1.2，基于步骤1.1中的原始数据集X，通过模糊密度如公式(2)，生成模糊密度矩阵D，如公式(3)，转置，生成矩阵D′，如公式(4)，随后对矩阵D′中每行元素由小到大排序，生成矩阵M，得到公式(5)；

公式(2)中，参数n_a为类别的数量，参数P(a_i)为类别a_i出现的概率，参数σ(f_j,a_i)为特征f_j在类别a_i中的标准差，参数σ(f_j)为整个样本中的标准差；

公式(3)中，ι代表分类种类数，矩阵第i行第j列元素代表第j种特征在第i种分类类别下的模糊密度；

步骤1.3，结合步骤1.2中矩阵D′和λ-模糊测度，计算不同特征的λ值，如公式(5)，同时计算矩阵M的模糊测度矩阵U，如公式(7)；

[λ₁，λ₂，......,λ_k] (6)

公式(7)中，矩阵U中第i行代表第i种特征在不同类别幂集下的模糊测度；假设类别集和A＝{a₁,a₂,...,a_n}，则μ_1l代表类别全集的模糊测度，μ_2l代表类别子集{a₂,a₃,...a_n}的模糊测度，μ_ll代表类别子集{a_n}的模糊测度，也就是第i种特征在第ι种类别下的模糊密度；

步骤1.4，结合步骤1.2中矩阵M、步骤1.3中的矩阵U和Choquet积分，计算得到不同特征的积分值，如公式(8)：

其中，参数C_u(f_i)为第i种特征的模糊积分值；

步骤1.5，将步骤1.4中每种特征的模糊积分值与设定的阈值比较，选择模糊积分值不小于阈值的特征加入到优选特征子集中，生成最优特征子集A＝{f′₁,f′₃,f′₅...,f′_q-2,f′_q}；

步骤2，然后通过最大冗余计算，结合后向浮动搜索策略及分类器进行特征优选，所述步骤2具体为：

步骤2.1，将步骤1中的最优特征子集A初始化，通过最大冗余计算公式，如公式(9)，得到优选特征集合S，

max(R(S))

其中，label表示要识别的类别种类数，n_i表示第i类的样本总数，x_k表示在第i个类别下特征x在第k个样本下的真实值，y_k表示在第i个类别下特征x在第k个样本下的真实值；

步骤2.2，用步骤2.1中的优选特征集合S训练分类器，获得分类模型，并测试测试集；

步骤2.3，比较连续两次分类的准确率，若准确率提高，则修改S特征集合，通过使用每次优选的特征子集训练分类模型并做测试，获得自适应不同分类器和分类动作的最优特征子集。