CN104965552B - 一种基于情感机器人的智能家居环境协同控制方法及系统 - Google Patents

一种基于情感机器人的智能家居环境协同控制方法及系统 Download PDF

Info

Publication number
CN104965552B
CN104965552B CN201510388973.1A CN201510388973A CN104965552B CN 104965552 B CN104965552 B CN 104965552B CN 201510388973 A CN201510388973 A CN 201510388973A CN 104965552 B CN104965552 B CN 104965552B
Authority
CN
China
Prior art keywords
described
smart home
home environment
module
user
Prior art date
Application number
CN201510388973.1A
Other languages
English (en)
Other versions
CN104965552A (zh
Inventor
解仑
韩晶
何志杰
王志良
Original Assignee
北京科技大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京科技大学 filed Critical 北京科技大学
Priority to CN201510388973.1A priority Critical patent/CN104965552B/zh
Publication of CN104965552A publication Critical patent/CN104965552A/zh
Application granted granted Critical
Publication of CN104965552B publication Critical patent/CN104965552B/zh

Links

Abstract

本发明提供一种基于情感机器人的智能家居环境协同控制方法及系统,能够提高用户满意度。所述方法包括:对获取到的用户的情感状态和智能家居环境数据进行融合分析;根据分析结果生成控制指令对智能家居环境进行调节。所述系统包括:情感机器人、家庭网关和智能家居环境设备,情感机器人通过家庭网关与智能家居环境设备进行通讯;所述情感机器人包括:情感认知模块、协同控制中心模块;所述智能家居环境设备:用于获取智能家居环境数据;所述情感认知模块:用于确定用户的情感状态;所述协同控制中心模块,用于对获取到的用户的情感状态和智能家居环境数据进行融合分析,并对智能家居环境进行调节。本发明适用于工业自动化信息及人机交互技术领域。

Description

一种基于情感机器人的智能家居环境协同控制方法及系统

技术领域

[0001] 本发明涉及工业自动化信息及人机交互技术领域,特别是指一种基于情感机器人的智能家居环境协同控制方法及系统。背景技术

[0002] 近年来,随着通信技术、智能技术、移动互联网技术的发展,智能家居已成为今后家居和住宅发展的必然方向,同时家庭服务型情感机器人将成为其中重要的设备。但现有的该类情感机器人大多不具备控制家居环境的功能,即使具备也只是简单的机械式控制, 缺乏自主性与智能性。另外,智能家居的设备往往分散在房间的不同空间,需要布线和施工,且有些设备虽可通过无线传输和传感技术实现无线遥控,但这些设备并不兼容,设备与设备之间无法实现协调工作。

[0003] 尽管人与情感机器人之间的交互技术已经取得较好的成果,且对家居环境的控制技术也在飞速地发展,但在智能家居环境控制方面却没有考虑到用户的不同情感状态和行为动作对家居环境的需求,智能化程度低,目前仍不能满足人们对数字化、智能化的需求, 导致用户体验的满意度和信任度降低。发明内容

[0004] 本发明要解决的技术问题是提供一种基于情感机器人的智能家居环境协同控制方法及系统,以解决现有技术所存在的智能家居控制系统没有考虑到用户的不同情感状态对家居环境的需求、设备与设备之间无法实现协调工作,导致智能化程度、用户体验的满意度和彳目任度低的问题。

[0005] 为解决上述技术问题,本发明实施例提供一种基于情感机器人的智能家居环境协同控制方法,包括:

[0006] 获取用户的情感状态及智能家居环境数据;

[0007] 对获取到的用户的情感状态和智能家居环境数据进行融合分析;

[0008] 根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节。

[0009] 可选的,所述获取用户的情感状态包括:

[0010] 通过视频检测器实时跟踪和检测室内用户的行为动作;

[0011] 通过视觉采集模块对跟踪到的用户的面部表情进行视频采集,并对情感机器人行进过程中的周围环境进行记录;

[0012] 通过情感信息处理模块对采集到的视频的静态图像进行预处理,并利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预存储的人脸情感特征进行匹配识别,确定用户当前的情感状态;

[0013] 根据所述情感信息处理模块输出的用户当前的情感状态,通过情感表达模块显示用户当前的表情;

[0014] 其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。

[0015] 可选的,所述获取智能家居环境数据包括:[〇〇16]通过环境数据采集模块采集室内各项智能家居环境数据,所述环境数据采集模块的工作模式包括:正常工作模式、半睡眠工作模式和睡眠工作模式,所述环境数据采集模块的工作模式不同,环境数据采集模块的检测频率不同;

[0017] 其中,所述环境数据采集模块包括:温湿度传感器、光传感器、烟雾探测器、门窗传感器、空气质量检测器和视频检测器,所述环境数据采集模块采用的工作模式由所述视频检测器检测到的用户在室内的行为动作决定。

[0018] 可选的,所述方法还包括:

[0019] 当所述环境数据采集模块工作在半睡眠工作模式或睡眠工作模式时,根据采集到的各项智能家居环境数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显示;

[0020] 当所述环境数据采集模块工作在正常工作模式,且没有获取到用户的情感状态时,根据采集到的各项智能家居环境数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显不;

[0021] 所述对获取到的用户的情感状态和智能家居环境数据进行融合分析包括:

[0022] 当所述环境数据采集模块工作在正常工作模式,且获取到用户的情感状态时,若用户当前的情感状态与智能家居环境数据不匹配时,根据基于先验知识的数据融合算法生成与当前环境数据相对应的环境实际值;

[0023] 将用户当前情感状态对应的环境值与智能家居环境的基准数据进行融合分析比较得到环境的期望值。

[0024] 可选的,所述根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节包括:

[0025] 根据所述期望值与环境实际值之间的差值,通过阈值分割法进行智能家居环境数据偏差分析,确定相应智能家电设备的工作模式,其中,所述智能家电设备的工作模式包括:高强度模式,中强度模式,柔和模式,睡眠模式;

[0026] 根据确定的相应智能家电设备的工作模式,生成相应的控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节;

[0027] 当所述期望值与当前环境实际值之间的差值逐渐缩小时,通过阈值分割法重新确定相应智能家电设备的工作模式;

[0028] 根据新确定的相应智能家电设备的工作模式,生成新的控制指令对智能家居环境数据进行调节,直至用户当前情感状态与智能家居环境数据相匹配,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显示。

[0029] 本发明实施例还提供一种基于情感机器人的智能家居环境协同控制系统,包括: 情感机器人、家庭网关和智能家居环境设备,所述情感机器人通过家庭网关与智能家居环境设备进行通讯;所述情感机器人包括:情感认知模块、协同控制中心模块;

[0030] 所述智能家居环境设备:用于获取智能家居环境数据以及根据协同控制中心模块生成的控制指令对智能家居环境进行调节;[0031 ]所述情感认知模块:用于确定用户的情感状态;

[0032] 所述协同控制中心模块,用于对获取到的用户的情感状态和智能家居环境数据进行融合分析,根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节。

[0033] 可选的,所述情感认知模块包括:视觉采集模块、情感信息处理模块和情感表达模块;

[0034] 所述视觉采集模块,用于对用户的面部表情进行视频采集,并对情感机器人行进过程中的周围环境进行记录;

[0035] 所述情感信息处理模块:用于对视觉采集模块采集到的视频的静态图像进行预处理,并利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预存储的人脸情感特征进行匹配识别,确定用户当前的情感状态;[〇〇36]所述情感表达模块,用于根据所述情感信息处理模块已确定的用户当前的情感状态,显不用户当如的表情;

[0037]其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。[〇〇38]可选的,所述情感机器人还包括:显示屏、通信模块及移动装置;

[0039] 所述通信模块,用于负责情感机器人本体上位机与下位机之间的通信,以及所述上位机、下位机与智能家居环境之间的数据交互;

[0040] 所述显示屏,用于显示智能家居环境数据及智能家电设备的状态;[0041 ]所述移动装置包括:主-从轮式底盘和避障传感器;

[0042]所述主-从轮式底盘,用于辅助情感机器人的移动,所述主-从轮式底盘包括:2个主动轮和2个从动轮,分布在底盘边缘的四周,其中,所述主动轮安装在底盘的左右两侧,所述从动轮安装在底盘的前后位置;[〇〇43]所述避障传感器分布在情感机器人外壳底部边缘,利用超声波原理对四周的障碍物距尚进行米集。[0〇44]可选的,所述智能家居环境设备包括:环境数据采集模块和智能家电设备;

[0045] 所述环境数据采集模块,用于采集室内各项智能家居环境数据;

[0046] 所述环境数据采集模块包括:温湿度传感器、光传感器、烟雾探测器、门窗传感器、 空气质量检测器和视频检测器;

[0047] 所述视频检测器,用于实时跟踪和检测室内用户的行为动作,并根据检测到的用户在室内的行为动作来决定所述数据采集模块的工作模式,其中,所述环境数据采集模块的工作模式包括:正常工作模式、半睡眠工作模式和睡眠工作模式;

[0048] 所述智能家电设备包括:空调、电视、智能照明灯、空气净化器、加湿器、电动窗帘、 电动开窗器和/或音响;[〇〇49]所述智能家电设备的工作模式,是根据环境期望值与当前环境实际值之间的差值,通过阈值分割法来确定的。

[0050]可选的,所述家庭网关包括:WiFi模块、zigbee模块和万能遥控器;[0〇51 ]所述协同控制中心模块生成的控制指令通过无线WIFI发送给万能遥控器,所述万能遥控器通过红外发射方式将所述控制指令发送至智能家电设备;[〇〇52]所述环境数据采集模块采集到的智能家居环境数据依次通过zigbee方式、家庭网关、无线WIFI方式发送至协同控制中心模块。[〇〇53]本发明的上述技术方案的有益效果如下:

[0054] 上述方案中,通过获取用户的情感状态及智能家居环境数据,并对获取到的用户的情感状态和智能家居环境数据进行融合分析,根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节,之后,再获取用户的情感状态及智能家居环境数据,从而得到数据的反馈,如此循环反复。这样,本发明能够自主地根据用户的情感状态和智能家居环境数据对智能家居环境实现协同控制。附图说明

[0055] 图1为本发明实施例提供的基于情感机器人的智能家居环境协同控制方法的方法流程图一;

[0056] 图2为本发明实施例提供的情感机器人与智能家居环境之间的互联结构示意框图;

[0057] 图3为本发明实施例提供的用户不同行为动作下协同控制方法的方法流程图;

[0058] 图4为本发明实施例提供的基于情感机器人的智能家居环境协同控制方法的方法流程图二;

[0059] 图5为本发明实施例提供的情感认知模块与智能家居环境数据之间的融合过程示意图;

[0060] 图6为本发明实施例提供的协同控制中心模块与智能家电设备之间的协同性原理示意图。具体实施方式

[0061] 为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。

[0062] 本发明针对现有的智能家居控制系统没有考虑到用户的不同情感状态对家居环境的需求、设备与设备之间无法实现协调工作,导致智能化程度、用户体验的满意度和信任度低的问题,提供一种基于情感机器人的智能家居环境协同控制方法及系统。[〇〇63] 实施例一

[0064] 参看图1所示,本发明实施例提供的一种基于情感机器人的智能家居环境协同控制方法,包括:

[0065] S1:获取用户的情感状态及智能家居环境数据;

[0066] S2:对获取到的用户的情感状态和智能家居环境数据进行融合分析;

[0067] S3:根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节。

[0068] 本发明实施例所述的基于情感机器人的智能家居环境协同控制方法,通过获取用户的情感状态及智能家居环境数据,并对获取到的用户的情感状态和智能家居环境数据进行融合分析,根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节,之后,再获取用户的情感状态及智能家居环境数据,从而得到数据的反馈,如此循环反复。这样,本发明能够自主地根据用户的情感状态和智能家居环境数据对智能家居环境实现协同控制。

[0069] 本发明实施例中,参看图2所示为基于情感机器人的智能家居环境协同控制方法构造的系统结构示意图,所述情感机器人通过家庭网关与智能家居环境设备相互通讯,并依据获取到的用户情感状态和智能家居环境数据对智能家居环境的自主控制。

[0070] 本发明实施例中,参看图2所示,所述智能家居环境设备包括:环境数据采集模块和智能家电设备;所述环境数据采集模块,用于采集室内各项智能家居环境数据,具有实时采集各项智能家居环境数据和反馈的作用。[0071 ]本发明实施例中,所述环境数据采集模块包括:温湿度传感器、光传感器、烟雾探测器、门窗传感器、空气质量检测器、视频检测器等多种智能环境传感器。所述智能环境传感器选择性地被安装到智能家居环境的多个子空间中,用于采集其所属子空间范围内的智能家居环境数据。

[0072] 本发明实施例中,例如,所述视频检测器分布于室内屋顶的四个角落,从而尽可能地覆盖整个智能家居环境区域。情感机器人通过视频检测器实时跟踪和监测室内用户的行为动作,且情感机器人依据此视频检测器采集到的室内用户的行为动作来决定智能家居环境数据采集模块的工作模式。

[0073] 参看图3所示,本发明实施例中,结合实际的室内场景,依据室内用户的行为动作, 将所述环境数据采集模块的工作模式分为三种:正常工作模式、半睡眠工作模式和睡眠工作模式,不同环境数据采集模块的工作模式的检测频率不同,根据用户不同的活动状态启动不同检测频率的环境数据采集模块的工作模式,从而保证在正常监测室内智能家居环境的同时达到高效节能,并提升实用性。参看图4所示,若视频检测器跟踪用户失败,则室内传感器的数据传输频率将大大降低,情感机器人控制中心系统将进入睡眠工作模式。若视频检测器连续5次跟踪到室内用户进行移动和坐立等活动姿势时智能家居环境数据采集模块将保持正常的工作模式,传感器的数据传输频率为〇.2次/分钟;当视频检测器连续5次跟踪到用户处于静卧姿势时其将保持半睡眠工作模式,传感器的数据传输频率为〇.1次/分钟; 当视频检测器连续5次跟踪用户失败时其将保持睡眠工作模式,传感器的数据传输频率为 0.05次/分钟。特别地,在任何工作模式下,视频检测器将一直处于正常工作状态从而保证室内安全。在保证安全的情况下,尽可能地减少室内的耗电量。

[0074] 本发明实施例中,所述智能家电设备包括:空调、电视、智能照明灯、空气净化器、 加湿器、电动窗帘、电动开窗器、音响等多种智能家电,所述智能家电之间通过异构无线网络和通用智能控制协议实现互联互通。所述智能家电设备与环境数据采集模块协同工作可实现能够对某一类或某几类环境参数进行调节,例如,某类智能家电设备利用通用智能控制协议实现设备之间的互联互通,促进各个设备之间的协同工作:当开启智能家电设备A 时,与之相对的干扰设备B(抑制设备A对环境的调节)将进行关闭操作,以配合智能家电设备A对环境的调节,提高运行的合理性和实用性。

[0075] 本发明实施例中,所述情感机器人具有用户表情识别和情感认知能力,同时能够通过家庭网关获取环境数据采集模块采集到的智能家居环境数据,更重要的是所述情感机器人能够依据用户的情感状态与获取到的智能家居环境数据进行融合分析,实现对智能家居环境的及时反馈及自主控制,是智能家居环境协同控制的核心,所述情感机器人包括:情感认知模块、移动装置、协同控制中心模块、通信模块、显示屏。

[0076] 本发明实施例中,所述情感认知模块,用于确定用户的情感状态;

[0077] 本发明实施例中,所述协同控制中心模块位于情感机器人腹部,所述协同控制中心模块可以采用Cortext-AS处理器,通过RS232串口通信方式接收来自情感认知模块的用户的情感状态,并将所述情感状态与智能家居环境数据进行融合分析生成控制指令,再将所述控制指令通过无线网络传输的方式发送给室内的智能家电设备,实现对智能家居环境的及时反馈及自主控制。

[0078] 本发明实施例提供的基于情感机器人的智能家居环境协同控制方法采取主动反馈式的自主调节机制:协同控制中心模块将智能家居环境数据采集模块,家电设备和情感认知模块关联在一起,构成闭环系统。一旦智能家居环境数据或用户的情感状态发生变化, 情感机器人均能够自主地生成控制指令,从而对相应的智能家电设备进行控制。

[0079] 本发明实施例中,所述通信模块,用于负责情感机器人本体上位机与下位机之间的通信,以及所述上位机、下位机与智能家居环境之间的数据交互,所述情感机器人上位机与下位机之间的通信采用RS232串口总线实现。

[0080] 本发明实施例中,所述显示屏可以是LCD触摸显示屏,用于显示智能家居环境数据以及智能家电设备的状态,为用户提供直观的智能家居环境交互信息。[0081 ]本发明实施例中,所述移动装置包括:主-从轮式底盘和避障传感器,其中,所述主-从轮式底盘用于辅助情感机器人的灵活移动,所述主-从轮式底盘包括:2个主动轮和2 个从动轮,分布在底盘边缘的四周;其中,所述主动轮安装在左右两侧,所述从动轮安装在前后位置;所述避障传感器分布于情感机器人外壳底部边缘,利用超声波原理实现对障碍物距离的采集,并通过RS232串口通信方式与情感机器人本体的上位机相连并传送信息。这样,通过主-从轮式底盘构造方式提升情感机器人移动的灵敏性和平衡感,提高情感机器人行动的灵活性,便于对用户进行实时跟踪,为采集用户表情提供最佳的拍摄角度,同时还通过避障传感器提供给情感机器人自动避障功能,从而使得情感机器人能够在室内安全、自由的活动。

[0082]本发明实施例中,所述家庭网关,将家庭外部的接入网络和家庭内部网络联系起来的同时,还能对家庭内网的各个异构网络之间进行有效地转换。所述家庭网关包括:WiFi 模块、zigbee模块、开发板模块和万能遥控器。考虑到智能家居环境控制的延伸性和可扩展性,将家庭网关作为终端设备与智能家电设备之间的转换接口,具体的,一端以连接情感机器人为代表的智能终端,另一端以连接环境数据采集模块和由万能红外遥控器控制的智能家电设备。通过家庭网关实现情感机器人与智能家居环境设备之间的互联互通,以完成智能家居环境数据的采集、并实时传输情感机器人生成的控制智能家电设备的控制指令,所述家庭网关是整个智能家居环境正常工作的纽带和桥梁。[〇〇83]本发明实施例中,所述万能红外遥控器具有红外信号学习能力,通过发射红外信号实现对智能家电设备的控制和管理,所述万能红外遥控器主要包括中央控制模块,串口通信模块,红外接收模块,红外发射模块。利用串口通信模块实现与中央控制模块的通信, 并采用通用智能控制协议对数据进行编码,保证信息的完整性和准确性。另外选用ST (Stat1n)模式学习红外操作码,避免了无线访问接入点(Access Point,AP)模式中一个无线网络只能有一个AP的局限性。

[0084]在前述基于情感机器人的智能家居环境协同控制方法的具体实施方式中,可选地,所述获取用户的情感状态包括:

[0085]通过视频检测器实时跟踪和检测室内用户的行为动作;[〇〇86]通过视觉采集模块对跟踪到的用户的面部表情进行视频采集,并对情感机器人行进过程中的周围环境进行记录;[〇〇87]通过情感信息处理模块对采集到的视频的静态图像进行预处理,并利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预存储的人脸情感特征进行匹配识别,确定用户当前的情感状态;[〇〇88]根据所述情感信息处理模块输出的用户当前的情感状态,通过情感表达模块显示用户当前的表情;

[0089] 其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。

[0090] 本发明实施例中,所述情感认知模块包括:视觉采集模块、情感信息处理模块和情感表达模块,其中,视觉采集模块和情感表达模块分别由位于情感机器人颈部的摄像头和位于情感机器人头部的面部表情显示器来实现。例如,所述摄像头可以是采用130万像素 CMOS摄像头,通过所述摄像头对用户的面部表情进行视频采集,并对情感机器人行进过程中的周围环境进行记录,为智能家居环境的扩展应用提供硬件支持;所述摄像头与情感信息处理模块进行通信连接,通过情感信息处理模块对摄像头捕捉到的视频的静态图像进行预处理,利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预设的人脸情感特征进行匹配识别,从而确定用户当前的情感状态,并将确定的用户的情感状态信息发送至协同控制中心模块,同时发送至面部表情显示器。所述面部表情显示器,负责输出情感信息处理模块反馈的用户当前的表情。用户的情感状态是情感机器人进行有效地控制智能家居环境的主要依据,其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。

[0091] 本发明实施例中,采用面部表情显示器与LCD触摸显示屏相结合的方式,将用户的面部表情输出与智能家居环境数据与智能家居设备状态信息分开显示,保证了情感机器人-用户进行正常表情交互的同时,提升了用户对智能家居环境的可控性和可操作性。

[0092] 在前述基于情感机器人的智能家居环境协同控制方法的具体实施方式中,可选地,所述方法还包括:[〇〇93]当所述环境数据采集模块工作在半睡眠工作模式或睡眠工作模式时,根据采集到的各项智能家居环境数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显示;[〇〇94]当所述环境数据采集模块工作在正常工作模式,且没有获取到用户的情感状态时,根据采集到的各项智能家居环境数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显不;[〇〇95]本发明实施例中,参看图3所示,当环境数据采集模块工作在半睡眠和睡眠的模式时,仅依靠环境数据采集模块采集到的智能家居环境的实时数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将环境调节数据和智能家电状态输出至IJLCD触摸显示屏显示。当环境数据采集模块工作在正常模式时,若没有检测到用户的情感状态,则对智能家居环境的调节方法与环境数据采集模块工作在半睡眠工作模式或睡眠工作模式类似;若检测到用户的情感状态,则采用基于先验知识的数据融合算法对用户的情感状态和当前环境数据进行分析,再对智能家居环境进行调节,并将智能家居环境调节数据和智能家电状态输出到LCD触摸显示屏显示。

[0096]在前述基于情感机器人的智能家居环境协同控制方法的具体实施方式中,可选地,所述对获取到的用户的情感状态和智能家居环境数据进行融合分析包括:[〇〇97]当所述环境数据采集模块工作在正常工作模式,且获取到用户的情感状态时,若用户当前的情感状态与智能家居环境数据不匹配时,根据基于先验知识的数据融合算法生成与当前环境数据相对应的环境实际值;

[0098] 将用户当前情感状态对应的环境值与智能家居环境的基准数据进行融合分析比较得到环境的期望值。

[0099] 本发明实施例中,协同控制中心模块的协同性体现在2个方面:

[0100] 1、情感认知模块与智能家居环境数据之间的融合;

[0101] 2、协同控制中心模块与智能家电设备工作模式之间的协同。

[0102] 本发明实施例中,情感状态与智能家居环境数据是情感机器人协同控制中心模块生成指令的重要依据,也是分析家电控制对用户满意度的重要参考。所述情感认知模块与智能家居环境数据之间的融合,使得协同控制中心模块在满足日常环境需求基础上充分地考虑智能家居环境对用户情感的安抚效果,加强智能家居环境的人性化特征。参看图5所示,若用户当前的情感状态与智能家居环境数据不匹配,首先将依据基于先验知识的数据融合算法生成与当前环境相对应的环境实际值,然后将用户当前情感状态对应的环境值与智能家居环境的基准数据进行融合分析比较得到环境的期望值。

[0103] 本发明实施例中,将用户情感状态与智能家居环境数据相融合,共同作为情感机器人协同控制中心模块对智能家电设备调节的依据。引入用户不同情感状态与智能家居环境数据相关联的的先验知识,设定智能家居环境数据的基准数据向量集,采用基于先验知识的数据融合算法对数据进行融合分析,将情感状态加入到环境数据向量集中,为智能家居环境控制加入情感调节,增强了智能家居环境的舒适化和人性化特征。例如,检测到用户当前情感状态为悲伤,则温度、湿度在可控范围的前提下,需要将当前的智能家居环境数据与当前的情感状态相融合得到期望值。

[0104] 在前述基于情感机器人的智能家居环境协同控制方法的具体实施方式中,可选地,所述根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节包括:

[0105] 根据所述期望值与环境实际值之间的差值,通过阈值分割法进行智能家居环境数据偏差分析,确定相应智能家电设备的工作模式,其中,所述智能家电设备的工作模式包括:高强度模式,中强度模式,柔和模式,睡眠模式;

[0106] 根据确定的相应智能家电设备的工作模式,生成相应的控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节;

[0107] 当所述期望值与当前环境实际值之间的差值逐渐缩小时,通过阈值分割法重新确定相应智能家电设备的工作模式;

[0108] 根据新确定的相应智能家电设备的工作模式,生成新的控制指令对智能家居环境数据进行调节,直至用户当前情感状态与智能家居环境数据相匹配,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显示。

[0109] 本发明实施例中,协同控制中心模块与智能家电设备工作模式之间的协同是指在协同控制中心模块对用户情感和智能家居环境数据进行融合分析后,通过阈值分割法判断各类智能家电设备的工作模式,生成相应的控制指令。参看图6所示,针对某一项环境指标, 以环境数据融合之后的环境期望值为基准,对当前环境实际值X与环境期望值Y之间的相对差值进行划分,设最大偏差值为M,则相对差值为| X-Y | /M,并将该相对差值与阈值进行比较从而确定与之对应的智能家电设备的工作模式,并根据确定的各智能家电设备的工作模式生成相应的控制指令,再根据所述控制指令,启动相应的智能家电设备对智能家居环境数据进行相应调节,直至用户当前情感状态与智能家居环境数据相匹配。特别地,随着当前环境实际值与期望值之间的差值逐渐缩短,智能家电设备的工作模式也通过阈值分割法随之进行动态调整,保证满足用户对环境需求的同时,在一定程度上避免了环境指标“过冲”现象的发生,实现情感机器人对智能家居环境的有效控制,从而提高用户的体验性。协同控制中心模块确定的环境改变量(所述环境改变量指:当前环境实际值与环境期望值之间的相对差值)直接决定各智能家电设备的工作模式。另外还可以进行各个传感器参数之间的协同优化调节,防止室内某一环境指标产生“过冲”现象,在提倡智能化的同时确保家居环境的舒适性。

[0110] 本发明实施例中,在生成开启智能家电的控制指令之后,以万能红外遥控器为中介,采用通用智能控制协议实现智能家电设备之间的相互通讯,确保在开启某种智能家电设备的同时,关闭干扰设备(所示闭干扰设备是指对达到期望值具有抑制效果的家电设备)。例如:当控制指令为降低温度时,则开启智能空调进行降温的同时,还需同启动电动开窗器将门窗关闭。这样,通过接收来自情感机器人的控制信号,从而决定各个智能家电设备的工作模式及工作状态,为实现智能家居环境的自主调节起着关键的支撑作用。

[0111] 本发明实施例中,所述智能家电设备的工作模式包括:高强度模式,中强度模式, 柔和模式,睡眠模式。各智能家电设备根据协同控制中心模块发来的不同的控制指令,进入不同的工作模式。例如,若当前环境实际温度与环境期望值之间的差值仅为2摄氏度,则开启柔和模式即可;否则需要开启其他工作模式。协同控制中心模块与智能家电设备工作模式之间的协同配合能够为用户提供安全舒适的智能家居环境。

[0112] 实施例二

[0113] 本发明还提供一种基于情感机器人的智能家居环境协同控制系统的具体实施方式,由于本发明提供的基于情感机器人的智能家居环境协同控制系统与前述基于情感机器人的智能家居环境协同控制方法的具体实施方式相对应,该基于情感机器人的智能家居环境协同控制系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的, 因此上述基于情感机器人的智能家居环境协同控制方法具体实施方式中的解释说明,也适用于本发明提供的基于情感机器人的智能家居环境协同控制系统的具体实施方式,在本发明以下的具体实施方式中将不再赘述。

[0114] 本发明实施例还提供一种基于情感机器人的智能家居环境协同控制系统,包括: 情感机器人、家庭网关和智能家居环境设备,所述情感机器人通过家庭网关与智能家居环境设备进行通讯;所述情感机器人包括:情感认知模块、协同控制中心模块;

[0115] 所述智能家居环境设备:用于获取智能家居环境数据以及根据协同控制中心模块生成的控制指令对智能家居环境进行调节;

[0116] 所述情感认知模块:用于确定用户的情感状态;

[0117] 所述协同控制中心模块,用于对获取到的用户的情感状态和智能家居环境数据进行融合分析,根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节。

[0118] 本发明实施例所述的基于情感机器人的智能家居环境协同控制系统,通过协同控制中心模块对获取到的用户的情感状态和智能家居环境数据进行融合分析,根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节, 之后,再获取用户的情感状态及智能家居环境数据,从而得到数据的反馈,如此循环反复。 这样,本发明能够自主地根据用户的情感状态和智能家居环境数据对智能家居环境实现协同控制。

[0119] 在前述基于情感机器人的智能家居环境协同控制系统的具体实施方式中,可选地,所述情感认知模块包括:视觉采集模块、情感信息处理模块和情感表达模块;[〇12〇]所述视觉采集模块,用于对用户的面部表情进行视频采集,并对情感机器人行进过程中的周围环境进行记录;

[0121] 所述情感信息处理模块:用于对视觉采集模块采集到的视频的静态图像进行预处理,并利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预存储的人脸情感特征进行匹配识别,确定用户当前的情感状态;

[0122] 所述情感表达模块,用于根据所述情感信息处理模块已确定的用户当前的情感状态,显不用户当如的表情;

[0123] 其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。

[0124] 在前述基于情感机器人的智能家居环境协同控制系统的具体实施方式中,可选地,所述情感机器人还包括:显示屏、通信模块及移动装置;

[0125] 所述通信模块,用于负责情感机器人本体上位机与下位机之间的通信,以及所述上位机、下位机与智能家居环境之间的数据交互;

[0126] 所述显示屏,用于显示智能家居环境数据及智能家电设备的状态;

[0127] 所述移动装置包括:主-从轮式底盘和避障传感器;

[0128] 所述主-从轮式底盘,用于辅助情感机器人的移动,所述主-从轮式底盘包括:2个主动轮和2个从动轮,分布在底盘边缘的四周,其中,所述主动轮安装在底盘的左右两侧,所述从动轮安装在底盘的前后位置;

[0129] 所述避障传感器分布在情感机器人外壳底部边缘,利用超声波原理对四周的障碍物距尚进行米集。

[0130] 在前述基于情感机器人的智能家居环境协同控制系统的具体实施方式中,可选地,所述智能家居环境设备包括:环境数据采集模块和智能家电设备;[0131 ]所述环境数据采集模块,用于采集室内各项智能家居环境数据;

[0132] 所述环境数据采集模块包括:温湿度传感器、光传感器、烟雾探测器、门窗传感器、 空气质量检测器和视频检测器;

[0133] 所述视频检测器,用于实时跟踪和检测室内用户的行为动作,并根据检测到的用户在室内的行为动作来决定所述数据采集模块的工作模式,其中,所述环境数据采集模块的工作模式包括:正常工作模式、半睡眠工作模式和睡眠工作模式;

[0134] 所述智能家电设备包括:空调、电视、智能照明灯、空气净化器、加湿器、电动窗帘、 电动开窗器和/或音响;

[0135] 所述智能家电设备的工作模式,是根据环境期望值与当前环境实际值之间的差值,通过阈值分割法来确定的。

[0136] 在前述基于情感机器人的智能家居环境协同控制系统的具体实施方式中,可选地,所述家庭网关包括:WiFi模块、zigbee模块和万能遥控器;

[0137] 所述协同控制中心模块生成的控制指令通过无线WIFI发送给万能遥控器,所述万能遥控器通过红外发射方式将所述控制指令发送至智能家电设备;

[0138] 所述环境数据采集模块采集到的智能家居环境数据依次通过zigbee方式、家庭网关、无线WIFI方式发送至协同控制中心模块。

[0139] 以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于情感机器人的智能家居环境协同控制方法,其特征在于,包括: 获取用户的情感状态及智能家居环境数据; 对获取到的用户的情感状态和智能家居环境数据进行融合分析; 根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节; 其中,所述获取智能家居环境数据包括: 通过环境数据采集模块采集室内各项智能家居环境数据,所述环境数据采集模块的工作模式包括:正常工作模式、半睡眠工作模式和睡眠工作模式,所述环境数据采集模块的工作模式不同,环境数据采集模块的检测频率不同; 其中,所述环境数据采集模块包括:温湿度传感器、光传感器、烟雾探测器、门窗传感器、空气质量检测器和视频检测器,所述环境数据采集模块采用的工作模式由所述视频检测器检测到的用户在室内的行为动作决定。
2.根据权利要求1所述的方法,其特征在于,所述获取用户的情感状态包括: 通过视频检测器实时跟踪和检测室内用户的行为动作; 通过视觉采集模块对跟踪到的用户的面部表情进行视频采集,并对情感机器人行进过程中的周围环境进行记录; 通过情感信息处理模块对采集到的视频的静态图像进行预处理,并利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预存储的人脸情感特征进行匹配识别,确定用户当前的情感状态; 根据所述情感信息处理模块输出的用户当前的情感状态,通过情感表达模块显示用户当前的表情; 其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。
3.根据权利要求1所述的方法,其特征在于,还包括: 当所述环境数据采集模块工作在半睡眠工作模式或睡眠工作模式时,根据采集到的各项智能家居环境数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显示; 当所述环境数据采集模块工作在正常工作模式,且没有获取到用户的情感状态时,根据采集到的各项智能家居环境数据对智能家居环境进行分析调节,使智能家居环境的各个指标保持在基准值,并将各项智能家居环境数据和智能家电设备的状态输出至显示屏显示; 所述对获取到的用户的情感状态和智能家居环境数据进行融合分析包括: 当所述环境数据采集模块工作在正常工作模式,且获取到用户的情感状态时,若用户当前的情感状态与智能家居环境数据不匹配时,根据基于先验知识的数据融合算法生成与当前环境数据相对应的环境实际值; 将用户当前情感状态对应的环境值与智能家居环境的基准数据进行融合分析比较得到环境的期望值。
4.根据权利要求3所述的方法,其特征在于,所述根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智能家居环境进行调节包括: 根据所述期望值与环境实际值之间的差值,通过阈值分割法进行智能家居环境数据偏差分析,确定相应智能家电设备的工作模式,其中,所述智能家电设备的工作模式包括:高 强度模式,中强度模式,柔和模式,睡眠模式;根据确定的相应智能家电设备的工作模式,生成相应的控制指令,并根据所述控制指 令启动相应的智能家电设备对智能家居环境进行调节;当所述期望值与当前环境实际值之间的差值逐渐缩小时,通过阈值分割法重新确定相 应智能家电设备的工作模式;根据新确定的相应智能家电设备的工作模式,生成新的控制指令对智能家居环境数据 进行调节,直至用户当前情感状态与智能家居环境数据相匹配,并将各项智能家居环境数 据和智能家电设备的状态输出至显示屏显示。
5.—种基于情感机器人的智能家居环境协同控制系统,其特征在于,包括:情感机器 人、家庭网关和智能家居环境设备,所述情感机器人通过家庭网关与智能家居环境设备进 行通讯;所述情感机器人包括:情感认知模块、协同控制中心模块;所述智能家居环境设备:用于获取智能家居环境数据以及根据协同控制中心模块生成 的控制指令对智能家居环境进行调节;所述情感认知模块:用于确定用户的情感状态;所述协同控制中心模块,用于对获取到的用户的情感状态和智能家居环境数据进行融 合分析,根据分析结果生成控制指令,并根据所述控制指令启动相应的智能家电设备对智 能家居环境进行调节;其中,所述智能家居环境设备包括:环境数据采集模块和智能家电设备;所述环境数据采集模块,用于采集室内各项智能家居环境数据;所述环境数据采集模块包括:温湿度传感器、光传感器、烟雾探测器、门窗传感器、空气 质量检测器和视频检测器;其中,所述视频检测器,用于实时跟踪和检测室内用户的行为动作,并根据检测到的用 户在室内的行为动作来决定所述数据采集模块的工作模式,其中,所述环境数据采集模块 的工作模式包括:正常工作模式、半睡眠工作模式和睡眠工作模式;所述智能家电设备包括:空调、电视、智能照明灯、空气净化器、加湿器、电动窗帘、电动 开窗器和/或音响;所述智能家电设备的工作模式,是根据环境期望值与当前环境实际值之间的差值,通 过阈值分割法来确定的。
6.根据权利要求5所述的系统,其特征在于,所述情感认知模块包括:视觉采集模块、情 感信息处理模块和情感表达模块;所述视觉采集模块,用于对用户的面部表情进行视频采集,并对情感机器人行进过程 中的周围环境进行记录;所述情感信息处理模块:用于对视觉采集模块采集到的视频的静态图像进行预处理, 并利用基于静态图像的表情情感特征提取算法,将预处理后的静态图像与本地数据库中预 存储的人脸情感特征进行匹配识别,确定用户当前的情感状态;所述情感表达模块,用于根据所述情感信息处理模块已确定的用户当前的情感状态, 显不用户当如的表情;其中,所述情感状态包括:高兴、悲伤、生气、恐惧、惊讶、厌恶和/或平静。
7.根据权利要求5所述的系统,其特征在于,所述情感机器人还包括:显示屏、通信模块 及移动装置;所述通信模块,用于负责情感机器人本体上位机与下位机之间的通信,以及所述上位 机、下位机与智能家居环境之间的数据交互;所述显示屏,用于显示智能家居环境数据及智能家电设备的状态;所述移动装置包括:主-从轮式底盘和避障传感器;其中,所述主-从轮式底盘,用于辅助情感机器人的移动,所述主-从轮式底盘包括:2个 主动轮和2个从动轮,分布在底盘边缘的四周,其中,所述主动轮安装在底盘的左右两侧,所 述从动轮安装在底盘的前后位置;所述避障传感器分布在情感机器人外壳底部边缘,利用超声波原理对四周的障碍物距 尚进行米集。
8.根据权利要求5所述的系统,其特征在于,所述家庭网关包括:WiFi模块、zigbee模块 和万能遥控器;所述协同控制中心模块生成的控制指令通过无线WIFI发送给万能遥控器,所述万能遥 控器通过红外发射方式将所述控制指令发送至智能家电设备;所述环境数据采集模块采集到的智能家居环境数据依次通过zigbee方式、家庭网关、 无线WIFI方式发送至协同控制中心模块。
CN201510388973.1A 2015-07-03 2015-07-03 一种基于情感机器人的智能家居环境协同控制方法及系统 CN104965552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510388973.1A CN104965552B (zh) 2015-07-03 2015-07-03 一种基于情感机器人的智能家居环境协同控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510388973.1A CN104965552B (zh) 2015-07-03 2015-07-03 一种基于情感机器人的智能家居环境协同控制方法及系统

Publications (2)

Publication Number Publication Date
CN104965552A CN104965552A (zh) 2015-10-07
CN104965552B true CN104965552B (zh) 2017-03-08

Family

ID=54219592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510388973.1A CN104965552B (zh) 2015-07-03 2015-07-03 一种基于情感机器人的智能家居环境协同控制方法及系统

Country Status (1)

Country Link
CN (1) CN104965552B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105234940A (zh) * 2015-10-23 2016-01-13 上海思依暄机器人科技有限公司 机器人及其控制方法
CN105446310B (zh) * 2015-12-31 2018-07-03 广东美的制冷设备有限公司 一种空气环境制造方法及装置
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互系统
CN105843050A (zh) * 2016-03-18 2016-08-10 美的集团股份有限公司 智能家居系统、智能家居控制装置和方法
CN105785780A (zh) * 2016-03-23 2016-07-20 北京绿源普惠科技有限公司 智能家居低碳环保的实现方法
CN105743750A (zh) * 2016-03-23 2016-07-06 北京绿源普惠科技有限公司 一种智能家居实现自适应感知的方法
CN105843118B (zh) * 2016-03-25 2018-07-27 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105843068A (zh) * 2016-06-02 2016-08-10 安徽声讯信息技术有限公司 一种基于情感机器人的智能家居环境协同控制系统
CN106662932A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 一种基于意图识别控制家电的方法、系统及机器人
CN106019973A (zh) * 2016-07-30 2016-10-12 杨超坤 一种具有情感识别功能的智能家居
CN106227054A (zh) * 2016-08-30 2016-12-14 广东美的制冷设备有限公司 一种基于用户情感的温度控制方法、系统和家电
CN106990782A (zh) * 2017-04-13 2017-07-28 合肥工业大学 一种移动式智能家居控制中心
CN107976919B (zh) * 2017-07-28 2019-11-15 北京物灵智能科技有限公司 一种智能机器人控制方法、系统及电子设备
CN108510049A (zh) * 2018-03-23 2018-09-07 山东大学 基于情感-时空信息的机器人服务自主认知方法及机器人
CN108577866A (zh) * 2018-04-03 2018-09-28 中国地质大学(武汉) 一种多维情感识别与缓解的系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673112A (zh) * 2009-09-17 2010-03-17 李华东 智能家居语音控制器
CN102202016A (zh) * 2011-06-10 2011-09-28 中山大学 一种基于家庭网关的体征感知中间件系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673112A (zh) * 2009-09-17 2010-03-17 李华东 智能家居语音控制器
CN102202016A (zh) * 2011-06-10 2011-09-28 中山大学 一种基于家庭网关的体征感知中间件系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Eye 2H:A proposed automated smart home control system for detecting human emotions through facial detection;Lim Teck Boon等;《Information and Communication Technology for The Muslim World (ICT4M)》;20141117;第1-3页 *
一种基于视觉避障及导航功能的机器人设计;杨欢;《机电技术》;20150630;第40-42页 *

Also Published As

Publication number Publication date
CN104965552A (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
US9874873B2 (en) Environmental management systems including mobile robots and methods using same
CN204258814U (zh) 红外通信模块系统及通信中转系统
Alam et al. A review of smart homes—Past, present, and future
WO2016062174A1 (zh) 一种智能电器系统及智能电器控制方法
Zhu et al. Bridging e-health and the internet of things: The sphere project
US9436186B2 (en) Cleaning robot, home monitoring apparatus, and method for controlling the cleaning robot
CN105259898B (zh) 一种智能手机控制的扫地机器人
US20180188750A1 (en) Information providing method and information providing apparatus
CN104133386B (zh) 智能厨房主机、智能厨房主机的工作方法和控制方法
CN105357842B (zh) 主控智能灯
CN103529778B (zh) 一种智能家居控制方法、装置和系统
CN103472796B (zh) 一种基于手势识别的智能家居系统
Han et al. Design and implementation of smart home energy management systems based on zigbee
CN103375880B (zh) 空调器的遥控装置和方法
US20160075034A1 (en) Home animation apparatus and methods
US9579790B2 (en) Apparatus and methods for removal of learned behaviors in robots
CN204856135U (zh) 一种室内环境智能监控系统
US9594361B2 (en) Automation and control system with context awareness
Robles et al. Applications, systems and methods in smart home technology: A
Cook Multi-agent smart environments
US20140309752A1 (en) Device control system, device control method, and computer-readable recording medium
Jiang et al. Smart home research
CN105022366A (zh) 基于振动编码的可穿戴式智能家居遥控方法和系统
CN105045140B (zh) 智能控制受控设备的方法和装置
CN107518826A (zh) 提供用于家庭环境控制的环境绘图的移动机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant