CN107194176B

CN107194176B - 一种残疾人智能操作的数据填补与行为预测的方法

Info

Publication number: CN107194176B
Application number: CN201710366810.2A
Authority: CN
Inventors: 顾宁; 吴娥英; 张鹏; 卢暾; 顾寒苏
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2017-05-23
Filing date: 2017-05-23
Publication date: 2020-07-28
Anticipated expiration: 2037-05-23
Also published as: CN107194176A

Abstract

本发明属于智能家居环境下的用户行为分析技术领域，具体为一种残疾人智能操作的数据填补与行为预测方法。本发明方法分为两个部分：一、操作的数据填补部分，用于填补残疾人用户产生的缺失操作；二、操作的行为预测部分，用于预测给定操作序列的下一步最有可能的操作。其中，操作的数据填补采用基于K最近邻（KNN）的缺失操作填补算法，操作的行为预测采用基于隐马尔可夫模型（HMM）的操作预测算法，最终实现减小用户的操作成本的目标。

Description

一种残疾人智能操作的数据填补与行为预测的方法

技术领域

本发明属于智能家居环境下的用户行为分析技术领域，具体涉及一种残疾人智能操作的数据填补与行为预测的方法。

背景技术

当前的智能家居环境下残疾人用户在发起对智能家居设备的操作控制过程中存在几个问题：(1)智能家居环境下残疾人的操作行为存在显著的缺失现象，具体表现为当残疾人独自在家时，其使用智能家居系统控制设备的次数较多，而当其家属在家时，其对智能家居系统的依赖程度显著降低，因为很多操作是由家属手动完成的，系统无法记录这样的手动操作，因此造成数据缺失。(2)残疾人由于存在先天或后天的肢体障碍，行动不便，因此其对智能家居设备的控制代价势必会比普通人高得多，而随着智能家居设备种类和数目的增加，操作指令的数量和复杂程度也随之增加，这无疑又增加了残疾人对家居设备的操作难度。

因此，本发明提出了一种残疾人智能操作的数据填补与行为预测方法，该方法一方面能填补残疾人用户在智能家居环境中产生的缺失数据，另一方面能自主学习用户的行为习惯，根据学习结果预测用户将来的行为操作。

发明内容

为了解决智能家居环境下残疾人的肢体障碍性与家居设备复杂性之间的矛盾，本发明分析了残疾人用户的操作行为特征，提出了一个残疾人智能操作的数据填补与行为预测的方法。

本发明提出的残疾人智能操作的数据填补与行为预测的方法，主要包括两个部分，一个操作的数据填补部分，用于填补残疾人用户产生的缺失操作；一个操作的行为预测部分，用于预测给定操作序列的下一步最有可能的操作。

一、操作的数据填补部分，采用基于K最近邻(KNN)的缺失操作填补算法

本发明使用K最近邻算法填补残疾人用户产生的缺失操作，K最近邻算法(KNN)是机器学习中最常见的分类算法，该算法的原理是在一个特征空间中，如果一个样本的K个最相似的样本属于同一类，那么该样本也属于该类。也就是说，决策某一样本属于什么分类时，只关注与其最近的有限个样本(假设都已正确分类)所属的类别。K最近邻算法的实现过程大致可以表示为：输入训练样本集(包含各个样本及其所属的类别)，待确定的样本，通过一定的算法规则，输出目标样本所属的类别。

本发明中，该操作填补技术主要是通过改进Jaccard相似度计算方法，获取用户不完整操作序列的相似序列集，根据相似序列集中缺失操作所处的位置来确定该缺失操作在目标序列中应处的位置，最终完成数据的填补。

具体地，基于KNN的数据填补的具体步骤为：

(一)准备阶段：

1：定义缺失操作

定义1(不完整序列)：如果某个操作序列中接连(可不连续)出现两个或以上的相同操作X，则相应子序列段必定缺失对应操作x，那么，整个序列为不完整序列。

定义1.1(嵌套缺失)：一个序列中存在缺失操作，而在其对应的不完整子序列中还存在一个或多个其他的不完整子序列。形如sequence＝{...，X，...，Y，...，Y...，X，...}。

定义1.2(并列缺失)：同一个序列中不同位置存在多个并列的缺失操作。形如sequence＝{...，X，...，X，...，Y...，Y，...}。

2：定义序列相似度

Jaccard系数是一种测量样本集合之间的相似性(差异性)的统计方法，表示为两个集合的交集与并集的比，公式如下：

其中，|A∩B|表示集合A和集合B的交集，|A∪B|表示两者的并集。jACCARD(A，B)的取值范围为0≤Jaccard(A，B)≤1。

假设存在序列Seq1＝{A，D，d，a，C，E，c，C}，序列Seq2＝{D，d，A，a，D，d，B，C}，考虑到两个序列中存在重复的属性，本发明对Jaccard相似性计算方法进行了改进，得到如下公式：

其中，count(Seq1(O_k))表示序列Seq1中操作符O_k出现的次数，k取值为1到N，N为操作种类。而min()和max()函数分别取最小值和最大值。至此，得到了一个改进的基于Jaccard系数的操作序列相似性计算方法。

(二)实现阶段：

步骤1：针对形如seq＝{X，...，X}的单一不完整序列，计算该不完整序列与完整序列集中对应的各个完整序列(形如{X，...，x，...，X})的序列相似度(Jaccard系数)。

步骤2：将上述的完整序列按照相似度进行降序排序，选取相似度最高的前N个序列作为seq的前N个最近邻。

步骤3：对最近邻集合中各个序列中的x的前一个操作进行计数。

步骤4：对第三步的结果进行整理，得到一个填补候选列表，该列表列出了各个操作出现在x前的次数，对这些操作进行降序排序，选取出现次数最高的操作(称为目标操作)，将待填补操作x插入到序列seq中第一个目标操作出现位置的后一个位置即可。

步骤5：如果seq中不存在目标操作，则选取出现次数次之的操作为目标操作，以此类推。最后将该不完整序列填补为完整序列。

二、操作的行为预测部分，采用基于隐马尔可夫模型(HMM)的操作预测算法

本发明使用隐马尔可夫模型(HMM)来建模智能家居环境下的残疾人用户行为，将残疾人所处环境中的温度建模为HMM中的隐含状态，将残疾人对设备的操作建模为HMM中的观察状态，训练出符合每个残疾人用户行为特征的隐马尔可夫模型，后续即可利用该模型去预测给定残疾人操作序列的下一步最有可能的操作。

具体地，基于隐马尔可夫的操作行为预测方法的具体步骤为：

步骤1：训练HMM

隐马尔可夫的训练过程可以这样表示：给定可观察状态序列O＝o₁o₂...o_T，找到一个最优的参数模型λ(A，B，π)，使得P(O|λ)最大。一般地，Baum-Welch算法是目前使用最广泛的HMM训练算法。它的基本思想就是首先初始化一个HMM，该初始值可以是一个错误的猜测，然后利用梯度下降的思想，通过已知的训练集不断地去减小该初始值的误差，使之更精确地描述训练样本，最后得到一个稳定且收敛的HMM。每次迭代过程中，更新HMM中的三个参数：

其中，ξ_t(i，j)表示在t时刻隐含状态为S_i，且下一时刻转移到S_j的概率。γ_t(i)表示在t时刻隐含状态为S_i，则下一时刻从S_i转移到所有状态的概率之和。

HMM训练算法的过程如下：

步骤1.1：初始化模型λ(π，A，B)，随机给定参数π_i，α_ij，b_jk，使这些参数满足条件

步骤1.2：当迭代次数小于指定阈值，每次根据公式3，公式4，公式5更新参数，得到

从而得到一个新的HMM，表示为λ^*＝(π^*，A^*，B^*)。

步骤1.3：当迭代次数达到指定次数时，停止迭代过程，返回模型λ^*。

步骤2：预测

利用HMM预测残疾人操作行为的过程主要分为两步，一是计算所有可能的新序列在该HMM中出现的概率，该概率通过前向算法计算得到，其基本思路是依次计算各个局部序列的前向概率，累积，最后计算整个候选序列的前向概率；二是选取概率最大的序列所对应的操作，就是预测的下一步操作。

假设给定一个序列seq＝{ABDdEbeC}，序列长度为t＝8，预测该序列的下一步操作的基本步骤如下：

步骤2.1：根据下一步可能的操作(假设有N种)，产生N个新序列。每一个新序列都由原序列seq加上一种可能的操作拼接而成。

步骤2.2：对于每一个新序列，计算其在步骤一训练好的HMM中的出现的概率(前向概率)，具体地：

步骤2.2.1：计算t＝1时局部序列seq＝{A}的前向概率，即计算在该时刻各个隐含状态下该操作出现的概率。

步骤2.2.2：递归，在步骤2.2.1基础上，计算t＝2时刻的局部序列seq＝{AB}的概率，该时刻的概率可表示为上一步获得的概率与这一时刻所有状态下的概率的联合概率。

步骤2.2.3：依次类推，根据t时刻的概率得到t+1时刻的概率，直到获得t＝9时刻的前向概率，即为该新序列在上述HMM中出现的概率。

步骤2.3：对于所有的新序列，选取前向概率最大的新序列所对应的新操作，这个新操作就是下一步最有可能的操作。

本发明的有益效果是：

本发明结合实际应用领域，相比现有的技术只考虑普通用户的需求，本发明分析了智能家居环境下残疾人用户的行为特殊性，提出了一种残疾人智能操作的数据填补与行为预测方法，用于解决智能家居环境下残疾人肢体障碍性与家居复杂性之间的矛盾，降低了残疾人在智能家居环境下对设备的操作控制成本。

附图说明

图1是操作缺失示意图。

图2是数据填补过程示意图。

图3是HMM预测用户操作的步骤图。

图4是残疾人操作预测模型示意图。

具体实施方式

为了使本发明解决的问题更加清楚明白，以下结合附图和实施实例进行详细说明。本实施实例涉及上海市六家残疾人家庭，本发明为这六家残疾人家庭搭建了智能家居平台，主要利用中控器将空调、电风扇、窗户、窗帘、电灯等五种家居设备联结为一个智能家居网络，且每种设备都有开关(ON-OFF)操作，表示为：{电灯：<开：A，关：a>，窗户：<开：B，关：b>，空调：<开：C，关：c>，电扇：<开：D，关：d>，窗帘：<开：E，关：e>}，残疾人用户可以使用智能手机去控制这些设备的开关。实验环节，收集这些用户每天产生的操作数据形成操作序列，分析这些操作序列的特点，定义缺失类型，设计实验验证本发明的数据填补算法与行为预测算法是否有效。

具体地，图1为操作缺失示意图，图中左侧序列中出现了连续两个相同操作A而没有对应的相反操作a，则说明这个序列缺失了对应的操作a。因此该序列是不完整的，本发明的基于KNN的数据填补技术可将缺失的操作a填补到该序列的正确位置中。

图2是上述基于KNN的数据填补技术的示意图，对于图中的任一不完整序列，都可将其拆分成若干个形如seq＝{X，...，X}的单一不完整子序列，针对每个单一不完整子序列的填补过程已在发明内容部分详细介绍，大致思路就是通过KNN算法获取每个不完整子序列的相似序列，根据这些相似序列中待填补操作的位置关系来确定每个缺失操作在对应的不完整子序列中的位置，最终完成填补过程。

附图3是隐马尔可夫模型预测用户操作行为的步骤示意图，详细过程已在发明内容部分详细介绍，基本思路即先根据每个用户的行为历史训练出符合该用户特征的模型，对于某一待预测序列，计算由该序列产生的新序列在此HMM中出现的概率，其中概率最大的序列对应的操作即为下一步最有可能的操作。

图4是本发明的核心，即一个智能家居环境下的残疾人行为预测模型示意图。它主要由两部分组成：基于KNN的数据填补模块和基于HMM操作预测模块。具体过程为：将用户产生的操作数据进行初步的整理与清洗，然后进入基于KNN的数据填补模块，填补不完整序列中的缺失操作，得到完整的数据集，并将之分为训练集与测试集，训练集进入基于HMM的操作预测模块进行HMM训练，并用测试集的数据进行实验验证，最后将预测结果返回给残疾人用户。在基于本实施实例的实验表明，本发明中的基于KNN的数据填补算法的准确率在66％到76％之间，能有效地对残疾人用户产生的缺失操作进行填补，而本发明的基于HMM的操作行为预测技术的准确率在73％到77％之间，同等条件下相比传统的HMM表现出了更好地预测效果。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等，均就包含在本发明的保护范围之内。

Claims

1.一种残疾人智能操作的数据填补与行为预测的方法，分为两个部分：一、操作的数据填补部分，用于填补残疾人用户产生的缺失操作；二、操作的行为预测部分，用于预测给定操作序列的下一步最有可能的操作；其特征在于：

一、操作的数据填补，采用基于K最近邻KNN的缺失操作填补算法

通过改进Jaccard相似度计算方法，获取用户不完整操作序列的相似序列集，根据相似序列集中缺失操作所处的位置来确定该缺失操作在目标序列中应处的位置，最终完成数据的填补；

二、操作的行为预测，采用基于隐马尔可夫模型HMM的操作预测算法

使用隐马尔可夫模型HMM来建模智能家居环境下的残疾人用户行为，将残疾人所处环境中的温度建模为HMM中的隐含状态，将残疾人对设备的操作建模为HMM中的观察状态，训练出符合每个残疾人用户行为特征的隐马尔可夫模型，然后利用该模型去预测给定残疾人操作序列的下一步最有可能的操作。

2.根据权利要求1所述的残疾人智能操作的数据填补与行为预测的方法，其特征在于，所述缺失操作填补算法的具体步骤为：

（一）、准备阶段：

（1）：定义缺失操作

定义1，不完整序列：如果某个操作序列中接连出现两个或以上的相同操作

，则相应子序列段必定缺失对应操作

，那么，整个序列为不完整序列；

定义1.1，嵌套缺失：一个序列中存在缺失操作，而在其对应的不完整子序列中还存在一个或多个其他的不完整子序列，为

；

定义1.2，并列缺失：同一个序列中不同位置存在多个并列的缺失操作，为

；

（2）：定义序列相似度

Jaccard系数是一种测量样本集合之间的相似性即差异性的统计方法，表示为两个集合的交集与并集的比，公式如下：

(公式1)

其中，

表示集合A和集合B的交集，

表示两者的并集，

的取值范围为

；

设存在序列

，序列

，考虑到两个序列中存在重复的属性，对Jaccard相似性计算方法进行了改进，得到如下公式：

(公式2)

其中，

表示序列

中操作符

出现的次数，

取值为1到N，N为操作种类；而

和

函数分别取最小值和最大值；至此，得到了一个改进的基于Jaccard系数的操作序列相似性计算方法；

（二）、实现阶段：

步骤1：针对

的单一不完整序列，计算该不完整序列与完整序列集中对应的各个完整序列的序列相似度，即Jaccard系数；

步骤2：将上述的完整序列按照相似度进行降序排序，选取相似度最高的前N个序列作为

的前N个最近邻；

步骤3：对最近邻集合中各个序列中的

的前一个操作进行计数；

步骤4：对第3步的结果进行整理，得到一个填补候选列表，该列表列出了各个操作出现在

前的次数，对这些操作进行降序排序，选取出现次数最高的操作，称为目标操作，将待填补操作

插入到序列seq中第一个目标操作出现位置的后一个位置即可；

步骤5：如果seq中不存在目标操作，则选取出现次数次之的操作为目标操作，以此类推，最后将该不完整序列填补为完整序列。

3.根据权利要求1所述的残疾人智能操作的数据填补与行为预测的方法，其特征在于，所述基于隐马尔可夫模型HMM的操作预测算法的具体步骤为：

步骤1：训练HMM

隐马尔可夫的训练过程表示为：给定可观察状态序列

，找到一个最优的参数模型

，使得

最大；采用Baum-Welch算法进行HMM训练：首先初始化一个HMM，该HMM的参数的初始值可以是一个错误的猜测，然后利用梯度下降的思想，通过已知的训练集不断地去减小该初始值的误差，使之更精确地描述训练样本，最后得到一个稳定且收敛的HMM，每次迭代过程中，更新HMM中的三个参数：

(公式3)

(公式4)

(公式5)

其中，

表示在

时刻隐含状态为

，且下一时刻转移到

的概率，

表示在

时刻隐含状态为

，则下一时刻从

转移到所有状态的概率之和；

步骤2：预测

4.根据权利要求3所述的残疾人智能操作的数据填补与行为预测的方法，其特征在于，所述训练HMM算法的具体过程如下：

步骤1：初始化模型

，随机给定参数

，

，

，使这些参数满足条件

；

步骤2：当迭代次数小于指定阈值，每次根据公式3，公式4，公式5更新参数，得到

，从而得到一个新的HMM，表示为

；

步骤3：当迭代次数达到指定次数时，停止迭代过程，返回模型

。

5.根据权利要求3所述的残疾人智能操作的数据填补与行为预测的方法，其特征在于，设给定一个序列

，序列长度为

，预测该序列的下一步操作的基本步骤如下：

步骤1：根据下一步可能的操作，设有N种，产生N个新序列，每一个新序列都由原序列

加上一种可能的操作拼接而成；

步骤2：对于每一个新序列，计算其在训练好的HMM中的出现的概率，即前向概率，具体地：

步骤2.1：计算

时局部序列

的前向概率，即计算在该时刻各个隐含状态下该操作出现的概率；

步骤2.2：递归，在步骤2.1基础上，计算

时刻的局部序列

的概率，该时刻的概率表示为上一步获得的概率与这一时刻所有状态下的概率的联合概率；

步骤2.3：依次类推，根据t 时刻的概率得到

时刻的概率，直到获得

时刻的前向概率，即为该新序列在上述HMM中出现的概率；

步骤3：对于所有的新序列，选取前向概率最大的新序列所对应的新操作，这个新操作就是下一步最有可能的操作。