CN105068722A - 一种面向智能家居环境的人机交互控制方法 - Google Patents

Abstract

本发明涉及一种面向智能家居环境的人机交互控制方法，属于基于音视频的人机交互系统的智能家居环境控制方法。本发明集成了人脸检测、语音识别与合成、智能会话等人机交互模式，并在智能家居环境中进行了有效应用，能够实时检测视频区域中的人脸，识别非特定人语音，基于会话库实现人机语音交互，合成的语音正确流畅，家居环境中设备的系统响应时间快，联动正确，实现了在智能家居环境中的人机交互控制功能。本发明可应用性强，能够应用于各类家居环境中，为用户的生活提供了极大的便利。

Description

一种面向智能家居环境的人机交互控制方法

技术领域

本发明涉及一种面向智能家居环境的人机交互控制方法，属于基于音视频的人机交互系统的智能家居环境控制方法。

背景技术

智能家居是物联网技术在住宅中的有效体现，利用综合布线、网络通信和自动控制等技术将家居生活相关的各类设施（如灯具、窗帘等）集成，提供多种模式下家居设备联合控制的功能和手段，可以有效地提升用户在家居生活中的便利和舒适。

当前的智能家居系统中，人机交互的主要实现方式有三种：（1）触屏控制，通过直接触碰开关或控制面板中对应控件的方式控制家居环境中的单个设备，但使用者需与设备开关或面板直接接触，操作存在局限性；（2）视频控制，目前出现了基于手势识别或其他肢体的视频智能家居控制方式，但大都依赖于控制器，使用者必须处于控制器前端摄像头指定的区域内才能进行有效的操作，显然造成了不便；（3）语音控制，目前的大部分家居环境中，仅实现了语音识别及合成的功能之一，或加入了音乐播放功能，但大都未实现人机会话功能，使得人机交互的体验感不强。

目前出现的很多人机交互系统都具备视频、语音、照明等功能，但没有很好地与家居设备的控制功能相结合，或仅可控制单个设备，未实现对智能家居情景模式（即同时触发多个家居设备）的控制。同时，目前没有一种人机交互系统能够在融合视频人脸检测、语音合成与识别、智能会话等多种人机交互模式的前提下，又能控制单个设备和情景模式的智能家居人机交互控制系统。

发明内容

为克服现有智能家居环境中人机交互控制系统的不足，本发明目的在于提供一种面向智能家居环境的人机交互控制方法；将人脸检测、语音识别与合成、智能会话与Zigbee控制技术进行了有效集成，无需手控，仅通过视频和语音技术，即可达到无接触，口令式控制智能家具环境中单个设备或情景模式的目的，方便各类人群的使用。

为了实现上述目的，本发明采用如下技术方案：

一种面向智能家居环境的人机交互控制方法，该方法包含如下步骤：

A、开启程序：保证在程序启动后，各类家居设备均处于关闭状态，摄像头处于开启状态，对准需检测区域；

B、“回家模式”的人机交互：实现在智能家具环境中，基于人脸检测和语音合成的人机交互控制:

（1）、人脸检测模块：基于VC++平台，使用OpenCV计算机视觉库提供的haar检测器实现人脸检测功能，并框出人脸区域；可通过设定在前后两次扫描中搜索窗口的比例系数及构成检测目标的相邻矩形的最小个数的值，满足对检测视域的要求；

（2）、语音合成模块：检测到人脸后，以此触发语音合成线程，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将预先设定的文本“欢迎回家”输入到speak函数中完成语音合成；通过CvoiceText类中的SpeedSet、TTSModeSet函数可改变语音的速度、音调、性别、年龄等，使计算机发现不同的声音；

（3）、Zigbee控制功能模块：通过内部无线网络，向网关发送触发对应家居设备开启的无线数据信号，通过zigbee网络向指定路由节点或终端节点发送控制命令，驱动相应的家居设备，实现“回家模式”开启的功能；

C、“学习模式”等室内情景模式的人机交互：实现在智能家具环境中的语音识别与合成、智能会话的人机交互过程；

（1）、语音识别模块：主要分为录音阶段和发送至讯飞云平台识别阶段：首先录音过程采用Windows自带的API函数，通过录音程序获取需要识别的音频文件；然后将音频文件输入到讯飞语音识别函数接口中进行处理，输出与音频相对应的文本；

（2）、Zigbee控制功能模块：根据语音识别结果中的关键词，获取相应的情景模式的驱动信号；通过内部无线网络，向网关发送触发对应各家居设备开启的无线数据信号，驱动相应的家居设备，实现“学习模式”中设备的开启；

（3）、智能会话模块：根据输入语音识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；

（4）、语音合成模块：根据会话库匹配结果，以音频的方式输出的应答文本，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将应答文本输入speak函数中完成语音合成，完成人机对话过程；

D、“出门模式”的人机交互：实现在智能家具环境中的语音识别与合成、智能会话及关闭所有家居设备的人机交互过程；

（1）、语音识别模块：根据用户的语音输入，实现非特定人的语音识别功能，得到与用户输入语音相对应的文本；

（2）、Zigbee控制功能模块：根据语音识别文本中的关键词，得到对应“出门模式”的驱动信号，得到“出门模式”的命令后，通过Zigbee技术关闭所有家居设备；

（3）、智能会话模块：同时，根据识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；

（4）、语音合成模块：根据会话库匹配的文本结果，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，以音频的方式输出应答文本；

E、程序重置：关闭所有家居设备后，程序初始化，返回人脸检测线程，使“回家模式”处于待触发状态。

本发明的有益效果：

本发明集成了人脸检测、语音识别与合成、智能会话等人机交互模式，并在智能家居环境中进行了有效应用，能够实时检测视频区域中的人脸，识别非特定人语音，基于会话库实现人机语音交互，合成的语音正确流畅，家居环境中设备的系统响应时间快，联动正确，实现了在智能家居环境中的人机交互控制功能。本发明可应用性强，能够应用于各类家居环境中，为用户的生活提供了极大的便利。

附图说明

图1为本发明中智能家居环境中人机交互控制方法的系统结构图；

图2为本发明中智能家居环境中人机交互控制方法的流程图。

具体实施方式

下面结合附图1、2对本发明进行详细描述：

1、开启程序：保证在程序启动后，各类家居设备均处于关闭状态，摄像头处于开启状态，对准需检测区域；

2、“回家模式”的人机交互：实现在智能家具环境中，基于人脸检测和语音合成的人机交互控制。

（1）人脸检测模块：基于VC++平台，使用OpenCV（OpenSourceComputerVisionLibrary）计算机视觉库提供的haar检测器实现人脸检测功能，并框出人脸区域。可通过设定在前后两次扫描中搜索窗口的比例系数（scale_factor）及构成检测目标的相邻矩形的最小个数（min_neighbors）的值，满足对检测视域的要求；

（2）语音合成模块：检测到人脸后，以此触发语音合成线程，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将预先设定的文本“欢迎回家”输入到speak函数中完成语音合成。通过CvoiceText类中的SpeedSet、TTSModeSet等函数可改变语音的速度、音调、性别、年龄等，使计算机发现不同的声音；

（3）Zigbee控制功能模块：通过内部无线网络，向网关发送触发对应家居设备开启的无线数据信号，通过zigbee网络向指定路由节点或终端节点发送控制命令，驱动相应的家居设备（如拉开窗帘并打开部分射灯），实现“回家模式”开启的功能。

3、“学习模式”等室内情景模式的人机交互：实现在智能家具环境中的语音识别与合成、智能会话的人机交互过程。

（1）语音识别模块：基于语音公司SDK（以科大讯飞SDK为例），实现非特定人的语音识别功能。主要分为录音阶段和发送至讯飞云平台识别阶段：首先录音过程采用Windows自带的API函数，通过录音程序获取需要识别的音频文件；然后将音频文件输入到讯飞语音识别函数接口中进行处理，输出与音频相对应的文本。

（2）Zigbee控制功能模块：根据语音识别结果中的关键词，获取相应的情景模式（如“学习模式”）的驱动信号。通过内部无线网络，向网关发送触发对应各家居设备开启的无线数据信号，驱动相应的家居设备（如拉上窗帘并打开床头灯），实现“学习模式”中设备的开启。

（3）智能会话模块：根据输入语音识别结果中的关键词，基于会话库，找到会话库中对应的应答语句（如“主人，已为您调节到合适的灯光，好好学习喔”）。

（4）语音合成模块：根据会话库匹配结果，以音频的方式输出的应答文本。基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将应答文本输入speak函数中完成语音合成，完成人机对话过程。

4、“出门模式”的人机交互：实现在智能家具环境中的语音识别与合成、智能会话及关闭所有家居设备的人机交互过程。

（1）语音识别模块：根据用户的语音输入，基于语音公司SDK（以科大讯飞SDK为例），实现非特定人的语音识别功能，得到与用户输入语音相对应的文本。

（2）Zigbee控制功能模块：根据语音识别文本中的关键词（如“出门”），得到对应“出门模式”的驱动信号，得到“出门模式”的命令后，通过Zigbee技术关闭所有家居设备。

（3）智能会话模块：同时，根据识别结果中的关键词，基于会话库，找到会话库中对应的应答语句（如“出门注意完全喔，等您回家”）。

（4）语音合成模块：根据会话库匹配的文本结果，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，以音频的方式输出应答文本。

5、程序重置：关闭所有家居设备后，程序初始化，返回人脸检测线程，使“回家模式”处于待触发状态。

将带有USB接口的摄像头与电脑主机相连或使用具备内置摄像头的笔记本电脑，对准智能家居环境中的进门区域；当检测到设定视频区域中出现人脸后，利用人脸检测技术，检测人脸位置；接着自动触发语音合成线程，基于语音SDK，合成“欢迎回家”的语音提示；随后通过内部无线网络将触发信号发送至网关，通过Zigbee网络向指定路由节点或终端节点发送控制命令，驱动预先设定的对应家居设备的启动（如拉开窗帘并打开部分射灯），完成对“回家模式”的触发。

接着使用者可以在家居环境内通过语音控制各类设备，并进行简单的会话。使用者只需在房间内说出“我想学习”、“我要休息”等相关语句，利用语音SDK便可获得语音识别结果；根据识别结果中的关键词（如“学习”、“休息”）触发相应的情景模式（如“学习模式”、“休息模式”等），其中模式中的设备可自定义；得到相应模式（如“学习模式”）的命令后，通过Zigbee技术驱动对应的家居设备的开启与关闭（如“学习模式”需拉上窗帘并打开床头灯）；随后，根据会话库对应的会话应答结果，合成相关语音应答词（如“主人，已为您调节到合适的灯光，好好学习喔”），从而达到语音交互的目的。

当使用者需要离开家时，只需说出“我要出门了”或“我要走了”等相关语句，利用语音SDK获得语音识别结果；根据识别结果中的关键词（如“出门”、“走了”）触发“出门模式”；得到“出门模式”的命令后，通过Zigbee技术关闭所有家居设备；同时，根据会话库中对应的应答结果，合成“出门注意完全喔，等您回家”的语音应答词，从而完成了从进门到出门的一系列交互过程。

通过上述从“回家模式”到“出门模式”的一系列人机交互过程，能够有效地控制智能家居中的各类设备，友好交互，达到了较好的体验效果。

Claims (1)

1.一种面向智能家居环境的人机交互控制方法，其特征在于该方法包含如下步骤：

A、开启程序：保证在程序启动后，各类家居设备均处于关闭状态，摄像头处于开启状态，对准需检测区域；

B、“回家模式”的人机交互：实现在智能家具环境中，基于人脸检测和语音合成的人机交互控制:

（1）、人脸检测模块：基于VC++平台，使用OpenCV计算机视觉库提供的haar检测器实现人脸检测功能，并框出人脸区域；可通过设定在前后两次扫描中搜索窗口的比例系数及构成检测目标的相邻矩形的最小个数的值，满足对检测视域的要求；

（2）、语音合成模块：检测到人脸后，以此触发语音合成线程，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将预先设定的文本“欢迎回家”输入到speak函数中完成语音合成；通过CvoiceText类中的SpeedSet、TTSModeSet函数可改变语音的速度、音调、性别、年龄等，使计算机发现不同的声音；

（3）、Zigbee控制功能模块：通过内部无线网络，向网关发送触发对应家居设备开启的无线数据信号，通过zigbee网络向指定路由节点或终端节点发送控制命令，驱动相应的家居设备，实现“回家模式”开启的功能；

C、“学习模式”等室内情景模式的人机交互：实现在智能家具环境中的语音识别与合成、智能会话的人机交互过程；

（1）、语音识别模块：主要分为录音阶段和发送至讯飞云平台识别阶段：首先录音过程采用Windows自带的API函数，通过录音程序获取需要识别的音频文件；然后将音频文件输入到讯飞语音识别函数接口中进行处理，输出与音频相对应的文本；

（2）、Zigbee控制功能模块：根据语音识别结果中的关键词，获取相应的情景模式的驱动信号；通过内部无线网络，向网关发送触发对应各家居设备开启的无线数据信号，驱动相应的家居设备，实现“学习模式”中设备的开启；

（3）、智能会话模块：根据输入语音识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；

（4）、语音合成模块：根据会话库匹配结果，以音频的方式输出的应答文本，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将应答文本输入speak函数中完成语音合成，完成人机对话过程；

D、“出门模式”的人机交互：实现在智能家具环境中的语音识别与合成、智能会话及关闭所有家居设备的人机交互过程；

（1）、语音识别模块：根据用户的语音输入，实现非特定人的语音识别功能，得到与用户输入语音相对应的文本；

（2）、Zigbee控制功能模块：根据语音识别文本中的关键词，得到对应“出门模式”的驱动信号，得到“出门模式”的命令后，通过Zigbee技术关闭所有家居设备；

（3）、智能会话模块：同时，根据识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；

（4）、语音合成模块：根据会话库匹配的文本结果，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，以音频的方式输出应答文本；

E、程序重置：关闭所有家居设备后，程序初始化，返回人脸检测线程，使“回家模式”处于待触发状态。