CN103399638B - 一种在智能空间中对人体行为的理解系统及其应用 - Google Patents

Abstract

本发明涉及一种在智能空间中对人体行为的理解系统，包括信息感知模块、信息处理模块、信息调度模块、推理模块、信息存储模块和执行模块；所述的信息感知模块、信息处理模块、信息调度模块、推理模块和信息存储模块依次相连；该理解系统首先对智能空间各种传感器所提供的上下文信息进行采集与处理；由于智能空间所提供信息存在冗余和不确定性，导致知识表示的不确定性，本发明所述的理解系统对不确定知识的表示以及规则结论的可信度进行了研究；在此基础上，利用CLIPS专家系统内核CLIPS推理机对经过处理的多源信息进行推理，从而实现对人的行为理解，进而指导机器人为服务对象提供相应的服务。

Description

一种在智能空间中对人体行为的理解系统及其应用

技术领域

本发明涉及本发明涉及一种在智能空间中对人体行为的理解系统及其应用，属于智能控制的技术领域。

背景技术

针对人的行为理解是机器人提供智能化服务的基础。其中对人类行为识别与理解的研究一般包括两方面：底层的动作识别、高层的行为认知和意图识别，具体的动作识别主要涉及到动作特征的提取和表示，高层的行为认知和意图识别主要涉及到对与行为有关的低层上下文的合理表示和低层上下文到高层上下文的推理。

现有的行为理解分为基于视觉传感器和基于非视觉传感器的行为理解。世界范围内已经展开了大量的视觉分析研究项目，其中，美国国防高级项目署设立了以卡梅隆大学为首的视觉监控重大项目VSAM（visualsurveillanceandmonitoring），主要实现特定场所内的视觉监控；英国雷丁大学开展了基于机器视觉的对车辆和人的跟踪研究；2000年美国国防高级项目研究署又开展了基于视觉的人的检测、分类和识别，国内在该领域的研究起步相对较晚，但也有许多大学和研究机构如中国科学研究院自动化所模式识别国家重点实验室、亚洲微软研究院、北京大学视觉与听觉信息处理国家重点实验室^[11]以及清华等对视觉分析关键技术进行了深入的研究。

近年来很多研究机构开始利用机器人学习工具来构建人行为的统计模型，并且使人体行为理解有了一定的进展，但是动态场景中运动的快速分割、宽松的着装、遮挡、阴影和光照变化、运动的非刚性和人运动的模糊性等因素，加大了基于视觉进行行为理解的难度，而且使用视觉容易暴露用户的隐私，这违反了家庭环境对于私密性的要求，上述因素在很大程度上影响和制约了视觉方法对人的行为进行理解的效果，因此基于视觉的行为理解研究缓慢，仍处于初级阶段。

高层行为的识别和理解对于低层的动作识别来说，在服务用户方面更有意义。鉴于视觉在行为理解方面存在的各种缺陷，人们开始寻求非视觉的方法来实现高层行为的识别和理解，主要是在人活动的空间中或者物品上安装各类传感器^[17]，通过获取的与人的行为有关的各种信息来推断用户的行为，这种方式不会对人的行动造成不便，因此，基于非视觉的行为理解方式比较简单，便于应用。

随着智能空间技术的不断发展，人们越来越关注基于非视觉传感器的行为理解，基于非视觉的方式主要有三类：穿戴式行为识别、基于环境变量的行为识别、人机交互式的行为识别。穿戴式行为识别通过在身体不同部位穿戴各种传感器，根据传感器返回的数据对人的行为进行识别，这种方式一般涉及到对原始动作的识别，比如走、坐、跑等，但这远不能满足对日常生活行为理解的目的，同时这种在人体上放置传感器的方法给应用带来很大的不便性，因此应用范围有限；基于环境变量的行为识别通过检测用户行为对环境变量造成的影响来识别用户行为；人机交互式的行为识别通过检测与用户动作相关联的一些物体的状态来推测用户的行为，物体的状态通过分布于智能空间下的各种传感器获得。

CLIPS专家系统的研究现状：CLIPS专家系统是将人类专家的知识和经验以知识库的形式存入计算机，并模仿人类专家解决问题的推理方式和思维过程，运用知识库对问题做出判断和决策。CLIPS专家系统属于基于规则的专家系统，基于规则的CLIPS专家系统使用一套包含在知识库内的规则，对工作存储器内的具体问题和数据进行处理，通过推理机推理出新的问题。近年来，国内外基于规则的CLIPS专家系统具有很多成功的范例：

（1）国外基于规则的CLIPS专家系统

国外对专家系统的开发和研究时间相对较长，目前有上万个专家系统投入使用。另外，还有很多系统正在试验阶段。2000年以来研究的专家系统中，比较成功的有T.Biagetti等人研发的预测及智能监测专家系统PROMISE(prognosisandintelligentmonitoringexpertsystem)；英国的JohnMartin等人开发出水下自治机动车轨道生成系统；埃及S.A.Ahmed等人开发的水资源回收利用最佳方案选择DDS(决策支持系统)；英国H.S.Neap等人开发的COMBO系统。在这些专家系统中，规则的形式基本采用产生式规则，并提供了较完善的知识库建立和管理功能。

（2）国内基于规则的CLIPS专家系统

国内基于CLIPS专家系统的研究近年来也很多，如辛勇等人开发了注塑模架设计系统，通过引入领域专家经验及模架设计资料，大大提高了注塑模架设计质量与效率，具有良好的工程应用价值；王当利等人开发了轮船自动防止碰撞系统，具有人工智能和专家系统的功能，在确保安全的前提下，降低了船舶驾驶员的劳动强度，具有广阔的应用前景；马品仲提出的城市突发事件应急系统也是基于知识的专家系统的应用实例，为减少社会经济损失做出了巨大贡献。

目前针对人的行为理解已经展开了广泛研究并取得了很多有意义的研究成果。例如：基于时空特征的模式分析法、基于模型的方法、基于图像统计处理的方法等。但纵观这些研究，可以发现现有的大部分行为理解方法大都是基于视觉进行研究的，但是使用视觉存在一定的缺陷，比如视觉处理易受光线以及环境干扰的影响；另外，使用视觉容易暴露用户的隐私等。而家庭环境具有很强的动态性及不确定性，同时私密性要求也比较高。这就很大程度上影响和制约了视觉方法对人的行为进行理解的效果。目前，智能空间技术已经被广泛应用于服务机器人领域，智能空间所提供的对环境无所不在的感知为机器人的研究提供了新的途径。

本发明是基于山东大学机器人研究中心所建立的人、机器人共存的家庭服务机器人形成的智能空间，构造了一个CLIPS专家系统，旨在利用智能空间所提供的多源环境信息以及用户信息等来实现对人的日常行为、异常行为进行理解；进而指导机器人为人提供相应的智能化服务。

专家系统是一个基于知识的智能推理系统，它涉及到知识获取、知识库、推理控制机制以及智能人机接口的研究，是集人工智能和领域知识于一体的系统。现有的CLIPS专家系统开发语言和工具包括LIPS、PROLOG、CLIPS、OPS5等。LIPS和PROLOG语言主要用于逻辑程序设计，可移植性差，需要昂贵的特质硬件；CLIPS和OPS5是基于规则的专家系统工具，均使用了强大的模式匹配算法Rete，具有较快的处理速度。其中CLIPS的设计目标是成本低、可移植性好和易于与外部系统集成，其功能比OPS5更强，并且有面向对象的编程能力；同时由于CLIPS是用C语言开发的，故把CLIPS编写的专家系统嵌入到C++等高级语言程序中较为方便。因此，采用CLIPS建立用户行为理解专家系统是最好的选择。

发明内容

针对现有技术的不足，本发明提供一种在智能空间中对人体行为的理解系统。该理解系统首先对智能空间各种传感器所提供的上下文信息进行采集与处理；由于智能空间所提供信息存在冗余和不确定性，导致知识表示的不确定性，本发明所述的理解系统对不确定知识的表示以及规则结论的可信度进行了研究；在此基础上，利用CLIPS专家系统内核CLIPS推理机对经过处理的多源信息进行推理，从而实现对人的行为理解，进而指导机器人为服务对象提供相应的服务。

本发明还提供一种上述理解系统的应用。

本发明的技术方案如下：

一种在智能空间中对人体行为的理解系统，包括信息感知模块、信息处理模块、信息调度模块、推理模块、信息存储模块和执行模块；所述的信息感知模块、信息处理模块、信息调度模块、推理模块和信息存储模块依次相连；

所述的信息感知模块为安装在智能空间内的传感器，实现对智能空间环境下各种信息的获取；

所述的信息处理模块为单片机或处理器，将所述传感器采集到的原始传感数据赋予物理意义，即形成上下文信息；

所述的信息调度模块对所述上下文信息进行调度管理，并将调度管理后的上下文信息传给推理模块；

所述的推理模块为CLIPS推理机，对调度管理后的上下文信息抽取出潜在的信息，根据所述的潜在的信息推理结果，所述的推理结果存储在信息存储模块中；

所述的信息存储模块为SQLServer2000数据库；该数据库用来存储推理结果；

所述执行模块根据推理结果对智能空间内的家电进行智能控制。

根据本发明优选的，所述传感器包括智能家电传感器、环境传感器、医疗信息传感器和位置姿态检测传感器。

一种上述理解系统的应用，包括步骤如下：

（1）所述信息感知模块对智能空间环境下各种信息的获取；

（2）所述的信息处理模块将所述传感器采集到的原始传感数据赋予物理意义，即形成上下文信息：

所述信息处理模块将信息感知模块中各传感器信息进行抽象，根据各类传感器的作用以及获取数据的特点，将智能家电传感器抽象为一类，其结构体表示形式如下：

将所述环境传感器、医疗信息传感器以及位置姿态检测传感器分别进行抽象，其结构体表示形式如下：

（3）所述的信息调度模块对所述上下文信息进行调度管理，并将调度管理后的上下文信息传给推理模块；

对上下文信息的调度管理遵循三个基本原则：

a.采用先来先服务的策略，对于采集到的上下文信息实行先采集先处理先匹配的方式；

b.采用可信度策略，当同时拥有多条上下文信息时，优先处理匹配可信度高的上下文信息；

（4）所述的推理模块对调度管理后的上下文信息抽取出潜在的信息，根据所述的潜在的信息推理结果，所述的推理结果存储在信息存储模块中；

采用CLIPS专家系统中的CLIPS推理机对获取的与人体行为有关的上下文信息进行推理，具体的推理包括如下步骤：

i.将某一时刻的上下文信息表示成事实模式，如下结构体的形式：

ii.遍历CLIPS专家系统中的规则库,根据上述的当前事实搜寻规则，将与当前事实符合的所有规则放入议程中；若当前仅存在一个事实，则选择议程中可信度高的规则进行激发；若此时存在多个事实，则选择议程中结论可信度高的规则进行激发。

iii．将事实和匹配规则输入推理机中，经过推理获取潜在的高层信息，即人的潜在行为及意图，此处所述的推理获取潜在的高层信息为现有技术；

iv．所述的CLIPS推理机将所述的高层信息传给所述的执行模块；

（5）所述的执行模块依据高层信息驱动控制智能空间中的智能家电；同时将高层信息存储在信息存储模块：SQLServer2000数据库的行为信息表中。

基于可信度的知识表示

本文所构建的专家系统采用CLIPS推理机进行知识的推理，因此用于行为理解的知识必须表示成符合CLIPS规范的事实与产生式规则形式。其中事实用来表示智能空间下的上下文信息；产生式规则用来表示人日常行为活动的经验规则。在实际场景中，完全严格准确的定义知识是不可能的，场景中的很多知识具备不精确、不完整、不确定的特点，因此需要对这些不确定的知识进行处理，通过不确定性测度的计算，得到知识的信息可靠度。

本系统中知识的不确定性主要体现在两方面：一方面是在信息采集过程中，各种信息的准确率的不确定性；另一方面是规则表示的可信度。

通过大量的信息采集实验，我们发现在信息采集的过程中，由于受到网络延迟、干扰等因素的影响，信息的准确率并不是100%，通过测试，各种信息的可靠性如表1表示。

表1各种信息的可靠性

Tab.1Thereliabilityoftheinformation

上表中各数据的含义，以第一个数据0.93为例进行介绍，它表示当窗帘的状态实际是开着，但同时通过传感器检测到其状态也是开着的概率为0.93。

需要指出的是：因为时间是直接从计算机上获取的，所以获取时间信息的可靠性为1。根据上面的信息，规则表示如表2所示。

表2基于可信度的规则表示

Tab.2Ruleexpressionbasedonconfidence

上述定义的规则只是表示在各个事实存在的情况下，最有可能推出的结果，所以也存在一定的不确定性，规则的可信度如表3所示：

表3规则的可信度

Tab.3Theconfidenceoftherules

在产生式规则表示方法中，规则的形式为：ifethenh(CF(h,e),t)，其中：

（1）e可以是一个单独的事实，也可以是多个事实的合取与析取；

（2）CF(h,e)是规则的可信度，它指出规则为真的可信程度，取值范围为0<CF(h,e)<=1；

（3）t为规则的阈值，它对规则的使用规定了一个限制，只有当规则的相应前件e的可信度CF(e)>=t时，该规则才有可能被使用，t的取值范围为0<t<=1^[16]。

事实组合的不确定性计算：多个事实的合取组合的可信度为多个事实可信度的极小，多个事实析取组合的可信度为多个事实可信度的极大，具体表示如下：

规则前件为多个事实的合取，则前件的可信度：

CF(e₁ande₂…ande_n)=min(CF(e₁),CF(e₂),…CF(e_n))

规则前件为多个事实的析取，则前件的可信度：

CF(e₁ore₂…ore_n)=max(CF(e₁),CF(e₂),…CF(e_n))

由上可知规则前件的可信度以及整条规则的可信度，则规则所对应的结论的可信度(CF(h))计算如下：

CF_i(h)=CF(h,e_i)*CF(e_i)，其中：e_i是指整个规则前件，i=1,2,3…n。

专家系统在执行的过程中，若是遇到相同的前件产生不同的结论时，推理机会自动执行结论可信度高的规则。

同时，若A规则的结论作为B规则的条件，此时，B规则条件的可信度取值就等于A规则结论的可信度。

本发明的优势在于：

本发明利用智能空间技术及专家系统实现对人体行为的理解，其优势在于：利用智能空间中的各种传感器获取与人的行为有关的信息，这在一定程度上弥补了利用穿戴式传感器的不便性、以及利用视觉的隐私侵犯和技术上的难度；同时利用传感器获取的是一些低层次的信息，相对于低层信息来说，高层信息更有使用价值，所以采用专家系统获取高层上下文信息。两者的结合可以有效实现对人体行为的理解。

附图说明

图1是本发明所述系统的模块结构图；

图2是本发明所述系统应用的流程图；

图3是本发明实施例2的流程示意图；

图4是本发明实施例2的上下文信息采集图；

图5是本发明实施例2的推理机的推理图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例1、

一种在智能空间中对人体行为的理解系统，包括信息感知模块、信息处理模块、信息调度模块、推理模块、信息存储模块和执行模块；所述的信息感知模块、信息处理模块、信息调度模块、推理模块和信息存储模块依次相连；

所述的信息感知模块为安装在智能空间内的传感器，实现对智能空间环境下各种信息的获取；

所述的信息处理模块为单片机或处理器，将所述传感器采集到的原始传感数据赋予物理意义，即形成上下文信息；

所述的信息调度模块对所述上下文信息进行调度管理，并将调度管理后的上下文信息传给推理模块；

所述的推理模块为CLIPS推理机，对调度管理后的上下文信息抽取出潜在的信息，根据所述的潜在的信息推理结果，所述的推理结果存储在信息存储模块中；

所述的信息存储模块为SQLServer2000数据库；该数据库用来存储推理结果；

所述执行模块根据推理结果对智能空间内的家电进行智能控制。

所述传感器包括智能家电传感器、环境传感器、医疗信息传感器和位置姿态检测传感器。

实施例2、

一种如实施例1所述理解系统的应用，包括步骤如下：

（1）所述信息感知模块对智能空间环境下各种信息的获取；

（2）所述的信息处理模块将所述传感器采集到的原始传感数据赋予物理意义，即形成上下文信息：

所述信息处理模块将信息感知模块中各传感器信息进行抽象，根据各类传感器的作用以及获取数据的特点，将智能家电传感器抽象为一类，其结构体表示形式如下：

将所述环境传感器、医疗信息传感器以及位置姿态检测传感器分别进行抽象，其结构体表示形式如下：

（3）所述的信息调度模块对所述上下文信息进行调度管理，并将调度管理后的上下文信息传给推理模块；

对上下文信息的调度管理遵循三个基本原则：

a.采用先来先服务的策略，对于采集到的上下文信息实行先采集先处理先匹配的方式；

b.采用可信度策略，当同时拥有多条上下文信息时，优先处理匹配可信度高的上下文信息；

（4）所述的推理模块对调度管理后的上下文信息抽取出潜在的信息，根据所述的潜在的信息推理结果，所述的推理结果存储在信息存储模块中；

采用CLIPS专家系统中的CLIPS推理机对获取的与人体行为有关的上下文信息进行推理，具体的推理包括如下步骤：

i.将某一时刻的上下文信息表示成事实模式，如下结构体的形式：

ii.遍历CLIPS专家系统中的规则库,根据上述的当前事实搜寻规则，将与当前事实符合的所有规则放入议程中；若当前仅存在一个事实，则选择议程中可信度高的规则进行激发；若此时存在多个事实，则选择议程中结论可信度高的规则进行激发。

iii．将事实和匹配规则输入推理机中，经过推理获取潜在的高层信息，即人的潜在行为及意图，此处所述的推理获取潜在的高层信息为现有技术；

iv．所述的CLIPS推理机将所述的高层信息传给所述的执行模块；

（5）所述的执行模块依据高层信息驱动控制智能空间中的智能家电；同时将高层信息存储在信息存储模块：SQLServer2000数据库的行为信息表中。

例如：当传感器检测到智能空间内人的姿势为躺卧时，并且位置在床上时，这些上下文信息组成的事实就会自动搜寻规则库中的规则，从而推断出人正在休息，并且从历史数据库中获取到用户的日常习惯是：当睡觉的时候，习惯将窗帘关闭；所以当推断出正在睡觉时，所述执行模块自动发出指令，将窗帘关闭。

当检测到人的姿势为躺卧，根据常识（即定义的规则）：当人的姿势为躺时，应该在床上或是沙发上，但是床上和沙发上压力传感器没感应到任何信号，从而推断出可能发生意外情况，所述执行模块控制手机自动向其家属发送报警短信。

本发明在智能空间中对人体行为的理解系统人的行为理解仿真：

信息处理模块不断地获取上下文信息，将这些信息转化为CLIPS推理机所需的事实格式，并加入事实表。同时当前的事实与CLIPS专家系统中的规则库进行匹配，完成推理。推理完成后，由执行模块将推理结果转化为用户可理解的结论，在用户界面上显示，为服务机器人如何更好地为用户服务提供了依据。用户主界面也为用户提供了知识录入和更新的接口。

Claims (1)

1.一种在智能空间中对人体行为的理解系统的应用，包括在智能空间中对人体行为的理解系统，该系统包括信息感知模块、信息处理模块、信息调度模块、推理模块、信息存储模块和执行模块；所述的信息感知模块、信息处理模块、信息调度模块、推理模块和信息存储模块依次相连；

所述的信息感知模块为安装在智能空间内的传感器，实现对智能空间环境下各种信息的获取；

所述的信息处理模块为单片机或处理器，将所述传感器采集到的原始传感数据赋予物理意义，即形成上下文信息；

所述的信息调度模块对所述上下文信息进行调度管理，并将调度管理后的上下文信息传给推理模块；

所述的推理模块为CLIPS推理机，对调度管理后的上下文信息抽取出潜在的信息，根据所述的潜在的信息推理结果，所述的推理结果存储在信息存储模块中；

所述的信息存储模块为SQLServer2000数据库；该数据库用来存储推理结果；

所述执行模块根据推理结果对智能空间内的家电进行智能控制；

所述传感器包括智能家电传感器、环境传感器、医疗信息传感器和位置姿态检测传感器；

所述在智能空间中对人体行为的理解系统的应用，包括步骤如下：

(1)所述信息感知模块对智能空间环境下各种信息的获取；

(2)所述的信息处理模块将所述传感器采集到的原始传感数据赋予物理意义，即形成上下文信息：

所述信息处理模块将信息感知模块中各传感器信息进行抽象，根据各类传感器的作用以及获取数据的特点，将智能家电传感器抽象为一类，其结构体表示形式如下：

将所述环境传感器、医疗信息传感器以及位置姿态检测传感器分别进行抽象，其结构体表示形式如下：

structsensor//传感器结构体定义，如“环境传感器、医疗信息传感器或位置姿态检测传感器”；

(3)所述的信息调度模块对所述上下文信息进行调度管理，并将调度管理后的上下文信息传给推理模块；

(4)所述的推理模块对调度管理后的上下文信息抽取出潜在的信息，根据所述的潜在的信息推理结果，所述的推理结果存储在信息存储模块中；

采用CLIPS专家系统中的CLIPS推理机对获取的与人体行为有关的上下文信息进行推理，具体的推理包括如下步骤：

i.将某一时刻的上下文信息表示成事实模式，如下结构体的形式：

ii.遍历CLIPS专家系统中的规则库,根据上述的当前事实搜寻规则，将与当前事实符合的所有规则放入议程中；若当前仅存在一个事实，则选择议程中可信度高的规则进行激发；若此时存在多个事实，则选择议程中结论可信度高的规则进行激发；

iii.将事实和匹配规则输入推理机中，经过推理获取潜在的高层信息，即人的潜在行为及意图，此处所述的推理获取潜在的高层信息为现有技术；

iv.所述的CLIPS推理机将所述的高层信息传给所述的执行模块；

(5)所述的执行模块依据高层信息驱动控制智能空间中的智能家电；同时将高层信息存储在信息存储模块：SQLServer2000数据库的行为信息表中。