CN112684711B - 一种人体行为与意图的交互识别方法 - Google Patents

Abstract

一种人体行为与意图的交互识别方法，涉及智能家居技术领域，包括如下步骤：步骤1、制作人体行为数据样本集；步骤2、用人体行为识别算法进行训练和验证，建立人体行为识别模型；步骤3、根据人体行为识别模型建立人体行为‑意图规则库；步骤4、通过现实反馈，对人体行为识别模型不断更新。本发明提供了一种基于人体行为识别人体意图的判断方法，该方法不必通过可穿戴设备即可分析人的真实意图，通过对人行为的分析，针对人的真实意图，可使智能家居更智能更舒适。

Description

一种人体行为与意图的交互识别方法

技术领域

本发明涉及智能家居技术领域，具体涉及一种人体行为与意图的交互识别方法。

背景技术

人在使用智能家居时主要通过明确的语言指令向计算机表达自己的意图，但有时候，人无法用语言准确表达意图，比如聋哑人、有语言障碍者、智能发育不良、或者自己也没有意识到自己的需要的人，在语言无法表达的时候，现有的智能家居就无法起到作用。

虽然人的意图没有通过语言明确的表达出来，但是行为心理学及传统的精神分析告诉我们，人的行为相比起语言来讲更能够反应人的真实意图，而且行为所表达出来的意图常常先于语言表达。因此，对人的行为进行分析，从而掌握人的真实意图，是智能家居真正实现智能化的途径。

然而，作为刚刚起步的智能家居技术，通过人的行为分析人的真实意图还处于起步阶段，其原因在于：在人体的大量行为样本中，仅有少量的行为具有直观可预测的意图，大部分行为无法通过简单的判断获得人的真实意图。

举例来说，人热的时候拿一张纸来扇风，或者一边扇一边说天气热。这个行为明确指向了需要降温的意图。但是，比如什么时候需要喝水，什么时候要走路，什么时候想要吃东西，什么时候需要做某事，则很难通过一个简单的动作得出判断。

现有的专利文献中公开了一些采用人体配套穿戴装置检测人的状态的专利，可以检测人的体温、心跳、脑电波等数据，当数据处于某范围内判断人的状态，进而判断人的意图。这种方法的优点是准确高效，缺点是需要额外增加成本，必须要处于穿戴状态才有用，且判断的结果也经常与人的真实意图不符，比如有些人体温虽然很低，但并不觉得冷。又比如有的人在做运动所以心跳加速，并不能代表这个人的状态就不好。还有些专利文献通过行为检测、采用机器学习的方法，用摄像头收集人的行为数据，但是目前仅仅停留在行为检测上，并没有根据人体状态进一步分析人的意图。

综上所述，智能家居领域通过人的行为来研究人的真实意图还具有很大的技术发展前景，针对现有技术的缺陷，有必要做出改进创新。

发明内容

为解决现有技术的问题，本发明提供了一种人体行为与意图的交互识别方法，该方法不必通过可穿戴设备即可分析人的真实意图，通过对人行为的分析，针对人的真实意图，可使智能家居更智能更舒适。

为解决上述问题，本发明技术方案为：

一种人体行为与意图的交互识别方法，包括如下步骤：步骤1、制作人体行为数据样本集；步骤2、用人体行为识别算法进行训练和验证，建立人体行为识别模型；步骤3、根据人体行为识别模型建立人体行为-意图规则库；步骤4、通过现实反馈，对步骤1～3的数据不断更新。

优选的，所述的步骤1中，人体行为数据样本集的数据来源包括：从公开的数据集中筛选、从志愿者采集实际样本、从真实的场景中截取并标注，所述的人体行为包括：咳嗽、打喷嚏、摇晃、摔倒、打哈欠、疼痛的表情动作。

优选的，所述的步骤1中，所述的人体行为数据样本集中记录人体行为的连贯性反应，所述的连贯性反应指的是具有连贯性的人体行为链。

优选的，所述的步骤2中，根据人体行为的连贯性反应，使用人体行为识别算法进行训练和验证，通过建立连贯行为之间的规律关系，建立人体行为识别模型。

优选的，所述的人体行为识别算法进行训练和验证的方式为：通过摄像传感器采集人体行为的图像、视频数据，使用机器学习或深度学习的分类算法进行训练和验证。

优选的，所述的步骤3中，建立人体行为-意图规则库的方式为：根据人体连贯行为之间的规律关系，分析人体意图，并将人体行为和意图建立映射关系。

优选的，所述的步骤4中，所述现实反馈的方式为，通过对人体行为实时监测，根据人体行为-意图规则库，检测出可能具有意图的人体行为，并询问是否发出指令，当人体同意发出指令时，则执行指令，此时认为规则正确，在根据指令做出反应后，返回步骤1，并依次对步骤1的人体行为数据样本集进行原样本增加，对步骤2的人体行为识别模型进行原模型强化，对步骤3中的人体行为-意图规则库进行原规则强化；当人体所发指令与规则库中的指令不一致或未发出指令并直接操作的行为与规则库的指令不一致时，则认为规则库有偏差，此时返回步骤1，依次对步骤1～3进行新样本增加、新模型强化、新规则强化。

优选的，所述的步骤4中，现实反馈的范围包括所有家庭成员，通过每个家庭成员的现实反馈，建立每个家庭成员的人体行为-意图规则库。

优选的，所述的步骤4中，执行指令时，设有等待时间t，当时间在t的范围内时，询问人体是否发出指令，并根据人体语言反馈执行后续步骤，当人体没有语言反馈，且继续原来行为，且时间超过t的范围，则按照人体行为-意图规则库预先设定的规则执行。

优选的，在进行新样本增加时，记录人体连贯行为的新中间变量，形成新的人体行为数据样本，并依据新中间变量寻找原样本中的原中间变量，并对原样本进行更新。

本发明一种人体行为与意图的交互识别方法具有如下有益效果：

1.本发明不需要额外配备可穿戴设备，即可通过行为分析判断人的真实意图，其使用成本低，使用过程方便。

2.通过不断地学习更新，可以促进智能家居不断地趋近于真正的智能化，提高人类的舒适体验。

3.通过视频采集的方式，不断叠加的数据更新，可以不断贴近家庭成员的真实意图，其判断效果不但更准确，且在判断中，智能家居同时具备了学习功能。

4.每一个人体行为识别模型都是针对特定的家庭成员制定，实现了智能家居的个性化智能服务。

附图说明

图1、本发明的流程框图；

图2、本发明不断接近人体真实意图的原理图；

具体实施方式

以下所述，是以阶梯递进的方式对本发明的实施方式详细说明，该说明仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

本发明的描述中，需要说明的是，术语“上”“下”“左”“右”“顶”“底”“内”“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以及特定的方位构造和操作，因此不能理解为对本发明的限制。

参考图1所示：

一种人体行为与意图的交互识别方法，包括如下步骤：步骤1、制作人体行为数据样本集；步骤2、用人体行为识别算法进行训练和验证，建立人体行为识别模型；步骤3、根据人体行为识别模型建立人体行为-意图规则库；步骤4、通过现实反馈，对步骤1～3的数据不断更新；

所述的步骤1中，人体行为数据样本集的数据来源包括：从公开的数据集中筛选、从志愿者采集实际样本、从真实的场景中截取并标注，所述的人体行为包括：咳嗽、打喷嚏、摇晃、摔倒、打哈欠、疼痛的表情动作；

所述的步骤1中，所述的人体行为数据样本集中记录人体行为的连贯性反应，所述的连贯性反应指的是具有连贯性的人体行为链；

所述的步骤2中，根据人体行为的连贯性反应，使用人体行为识别算法进行训练和验证，通过建立连贯行为之间的规律关系，建立人体行为识别模型；

所述的人体行为识别算法进行训练和验证的方式为：通过摄像传感器采集人体行为的图像、视频数据，使用机器学习或深度学习的分类算法进行训练和验证；

所述的步骤3中，建立人体行为-意图规则库的方式为：根据人体连贯行为之间的规律关系，分析人体意图，并将人体行为和意图建立映射关系；

所述的步骤4中，所述现实反馈的方式为，通过对人体行为实时监测，根据人体行为-意图规则库，检测出可能具有意图的人体行为，并询问是否发出指令，当人体同意发出指令时，则执行指令，此时认为规则正确，在根据指令做出反应后，返回步骤1，并依次对步骤1的人体行为数据样本集进行原样本增加，对步骤2的人体行为识别模型进行原模型强化，对步骤3中的人体行为-意图规则库进行原规则强化；当人体所发指令与规则库中的指令不一致或未发出指令并直接操作的行为与规则库的指令不一致时，则认为规则库有偏差，此时返回步骤1，依次对步骤1～3进行新样本增加、新模型强化、新规则强化；

所述的步骤4中，现实反馈的范围包括所有家庭成员，通过每个家庭成员的现实反馈，建立每个家庭成员的人体行为-意图规则库；

所述的步骤4中，执行指令时，设有等待时间t，当时间在t的范围内时，询问人体是否发出指令，并根据人体语言反馈执行后续步骤，当人体没有语言反馈，且继续原来行为，且时间超过t的范围，则按照人体行为-意图规则库预先设定的规则执行；

在进行新样本增加时，记录人体连贯行为的新中间变量，形成新的人体行为数据样本，并依据新中间变量寻找原样本中的原中间变量，并对原样本进行更新。

本发明的原理：

1、关于人体行为数据样本集：通过收集人体连贯性的行为反应，可以为后续步骤中分析人体意图提供依据，比如：家庭成员A打喷嚏之后，经常会有的后续行为是寻找药物，而家庭成员B打喷嚏后则选择加衣服，针对特定的家庭成员的连贯性行为反应进行记录即构成人体行为数据样本集的一部分；同理，通过公开的数据集，比如公开的视频资料，或者对志愿者采集实际样本，比如对志愿者的行为进行监控跟踪，采集视频信息，或者从随时记录的现实场景中截取相关信息，都是制作人体行为数据样本集的方法，针对采集的视频信息，并进行标注，即可形成较为完备的人体行为数据样本集；

2、关于人体行为数据样本集的必要装备，包括视频采集装置，如视觉传感器，存储装置，处理器，以及预设于处理器中的编辑软件，通过视频采集、存储、编辑标注来实现人体行为数据样本集的建立；本发明其他步骤中所涉及到的设备依据现有的智能家居常用设备解决；

3、关于人体行为识别模型，以人体行为识别算法进行训练和验证，其具体的原理为：采用机器学习或深度学习的分类算法，在现有的专利文献中多有记录，在此不做赘述；

4、关于人体行为识别模型，还可用的现有技术方法，如申请号为：CN201910810740.4，名称为“一种基于视觉的人体状态判断算法”，以此类推，通过现有技术的方法建立人体行为识别模型是为了进一步建立人体行为-意图规则库建立基础；

5、关于人体行为-意图规则库，比如针对家庭成员A，打喷嚏后的意图大部分可能性是寻找药物，因此，寻找药物即为家庭成员A打喷嚏时的规则，也体现了家庭成员A在打喷嚏时产生的意图，在“打喷嚏-寻找药物”的规则基础上，在家庭成员A打喷嚏时，通过智能家居的语音询问装置，询问家庭成员A，是否要寻找药物？如果答案为——要寻找药物，则认为规则——“寻找药物”——是正确的，在智能家居帮助家庭成员A寻找药物做出反应以后，即返回步骤1，进行原样本增加：即增加“打喷嚏-寻找药物”的行为链数据样本，并依据步骤1，在步骤2中，进行原模型强化，同理，在步骤3中，进行原规则强化；而如果人体发出指令与规则不一致，比如人体回答——我要加衣服，或者未做指令而是直接去找衣服，则认为这个规则是有偏差的，因为出现了新的行为链，这时候返回步骤1，然后依次对步骤1～3进行新样本增加、新模型强化、新规则强化；

6、关于新中间变量和原中间变量：如第5条所述，在对步骤1进行新样本增加时，发现家庭成员A在“打喷嚏”和“加衣服”之间有一个“表情轻松”的行为，即认定这个“表情轻松”的行为是新中间变量，并依据新中间变量形成新的人体行为数据样本，即“打喷嚏-表情轻松-加衣服”；对照这个新中间变量，步骤1中，还会对原样本进行检查，发现原样本中，在“打喷嚏”与“寻找药物”之间有一个“表情痛苦”的行为，即认定此“表情痛苦”的行为为原中间变量，根据这个原中间变量，对原样本进行更新，即“打喷嚏-表情痛苦-寻找药物”；通过对新中间变量和原中间变量的发现与更新，可以使原来比较粗糙的“打喷嚏-寻找药物”的规则细化为：“打喷嚏-表情轻松-加衣服”和“打喷嚏-表情痛苦-寻找药物”，经过这样的规则细化，可使智能家居更进一步的接近人体的真实意图，从而为人体提供更智能更舒适的服务；

7、关于通过现实反馈，不断更新步骤1～3的数据，是促进智能家居不断深入了解人体行为背后的真实意图的途径，这一途径本身就是一个不断学习的过程，而且其针对不同的家庭成员，具有个性化的特点；

8、本发明还可以通过人机交互的方式促进人体行为识别模型的快速形成，通过家庭成员对计算机程序直接沟通真实意图，促进智能家居更快速提升智能水平。

Claims (8)

1.一种人体行为与意图的交互识别方法，其特征为：包括如下步骤：步骤1、制作人体行为数据样本集；步骤2、用人体行为识别算法进行训练和验证，建立人体行为识别模型；步骤3、根据人体行为识别模型建立人体行为-意图规则库；步骤4、通过现实反馈，对步骤1～3的数据不断更新；

所述的步骤4中，所述现实反馈的方式为，通过对人体行为实时监测，根据人体行为-意图规则库，检测出可能具有意图的人体行为，并询问是否发出指令，当人体同意发出指令时，则执行指令，此时认为规则正确，在根据指令做出反应后，返回步骤1，并依次对步骤1的人体行为数据样本集进行原样本增加，对步骤2的人体行为识别模型进行原模型强化，对步骤3中的人体行为-意图规则库进行原规则强化；当人体所发指令与规则库中的指令不一致或未发出指令并直接操作的行为与规则库的指令不一致时，则认为规则库有偏差，此时返回步骤1，依次对步骤1～3进行新样本增加、新模型强化、新规则强化；

在进行新样本增加时，记录人体连贯行为的新中间变量，形成新的人体行为数据样本，并依据新中间变量寻找原样本中的原中间变量，并对原样本进行更新。

2.如权利要求1所述的一种人体行为与意图的交互识别方法，其特征为：所述的步骤1中，人体行为数据样本集的数据来源包括：从公开的数据集中筛选、从志愿者采集实际样本、从真实的场景中截取并标注，所述的人体行为包括：咳嗽、打喷嚏、摇晃、摔倒、打哈欠、疼痛的表情动作。

3.如权利要求2所述的一种人体行为与意图的交互识别方法，其特征为：所述的步骤1中，所述的人体行为数据样本集中记录人体行为的连贯性反应，所述的连贯性反应指的是具有连贯性的人体行为链。

4.如权利要求3所述的一种人体行为与意图的交互识别方法，其特征为：所述的步骤2中，根据人体行为的连贯性反应，使用人体行为识别算法进行训练和验证，通过建立连贯行为之间的规律关系，建立人体行为识别模型。

5.如权利要求4所述的一种人体行为与意图的交互识别方法，其特征为：所述的人体行为识别算法进行训练和验证的方式为：通过摄像传感器采集人体行为的图像、视频数据，使用机器学习或深度学习的分类算法进行训练和验证。

6.如权利要求5所述的一种人体行为与意图的交互识别方法，其特征为：所述的步骤3中，建立人体行为-意图规则库的方式为：根据人体连贯行为之间的规律关系，分析人体意图，并将人体行为和意图建立映射关系。

7.如权利要求6所述的一种人体行为与意图的交互识别方法，其特征为：所述的步骤4中，现实反馈的范围包括所有家庭成员，通过每个家庭成员的现实反馈，建立每个家庭成员的人体行为-意图规则库。

8.如权利要求7所述的一种人体行为与意图的交互识别方法，其特征为：所述的步骤4中，执行指令时，设有等待时间t，当时间在t的范围内时，询问人体是否发出指令，并根据人体语言反馈执行后续步骤，当人体没有语言反馈，且继续原来行为，且时间超过t的范围，则按照人体行为-意图规则库预先设定的规则执行。

Images