CN103730116A - 在智能手表上实现智能家居设备控制的系统及其方法 - Google Patents

Abstract

本发明公开了一种在智能手表上实现智能家居设备控制的系统及其方法。该系统包括：智能手表端模块，负责实时收集来自麦克风数据，发送用户语音数据和接收系统合成音数据；智能家居端控制模块，负责对家居设备发送控制指令，通过调用SDK接口接收来自智能手表的语音数据；云端语音对话模块，接收来自SDK的语音数据，并完成人机对话过程，将对话结果反馈给智能家居控制模块；家居设备名字自定义模块，负责实现用户对家居设备进行个性化眤称的定制。本发明通过从智能手表采集到用户语音数据，上传到云端进行智能语音对话，并将对话结果反馈给智能家居控制中心，从而实现方便、快捷的家居设备控制。

Description

在智能手表上实现智能家居设备控制的系统及其方法

技术领域

本发明涉及一种控制系统及与所述控制系统配套的控制方法，尤其涉及一种通过语音对话技术在智能手表上实现智能家居设备控制的系统及其方法。

背景技术

随着智能家居设备的逐渐普及，如何更智能的控制智能家居设备、提升用户使用智能家居设备的体验，已经显得越来越重要。一般情况下，目前家居设备的生产厂商会提供两种控制方式，一种是传统的红外遥控器，通过红外的方式实现控制，另一种是开发一个移动端的app应用，安装在手机或者手持平板上，通过触屏方式实现控制。这两种控制方式，都存在一定的局限性。比如，第一种方式，只能在非常有限的距离范围内实现控制，无法实现透墙跨楼层、不同房间的控制，且实现的控制体验非常不好；第二种方式，要求用户必须占用手机，在来电话的情况下无法实现控制，而且一般情况下，人们回家后习惯将手机放在固定的地方，人在家的范围内移动时，控制非常不方便。随着可穿戴式设备智能手表的出现，结合语音对话技术后，为我们提供了一种更方便、更快捷的控制方式。

发明内容

本发明提供一种通过语音对话技术在智能手表上实现智能家居设备控制的系统及其方法，其能在智能手表上实现更方便、快捷地控制智能家居设备。

本发明是这样实现的，一种在智能手表上实现智能家居设备控制的系统，其包括智能手表端模块、智能家居控制端模块和云端语音对话模块，所述智能家居控制端模块包括语音软件开发工具包（Software Development Kit,SDK）模块和家居控制应用程序编程接口（Application Programming Interface,API）模块，所述云端语音对话模块包括接入服务器模块和内核计算服务器模块，所述内核计算服务器模块包括语音识别模块、语义理解模块、对话管理模块和语音合成模块；其中，

所述智能手表端模块用于通过控制麦克风采集用户语音数据，还用于语音播放；所述语音SDK模块一方面用于采用无线通讯方式建立所述智能手表端模块与所述智能家居控制端模块之间的信息连接，另一方面用于采用HTTP协议建立所述智能家居控制端模块与所述云端语音对话模块之间的信息连接；所述云端语音对话模块用于根据所述语音SDK模块传递的所述用户语音数据完成人机对话过程并由此产生控制命令和反馈语音，其中，所述接入服务器模块用于与所述语音SDK模块建立网络接入服务，并负责不同服务器之间的负载均衡，所述内核计算服务器模块用于服务器端的内核计算：所述语音识别模块用于将所述用户语音数据转换成文字，所述语义理解模块用于将所述文字进行文本分析识别出用户的语义意图信息，所述对话管理模块用于结合场景及上、下用户的语义意图信息持续跟踪分析所述用户的语义意图信息的变化，并由此给出该系统的反馈信息，所述语音合成模块用于将所述反馈信息转化为所述控制命令和所述反馈语音；所述家居控制API模块用于根据所述语音SDK模块传递的所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制；所述智能手表端模块根据所述语音SDK模块传递的所述反馈语音进行语音播放。

作为上述方案的进一步改进，该系统还包括家居设备名字自定义模块，所述家居设备名字自定义模块用于接受用户自定义的各智能家居设备名称，并训练生成定制的语义资源方便所述家居控制API模块的控制。

作为上述方案的进一步改进，所述智能手表端模块包括实时录音模块、VAD模块、通信模块、语音反馈模块，其中，所述实时录音模块用于调用所述智能手表的API接口获取麦克风数据以采集所述用户语音数据；所述VAD模块用于检测所述用户语音数据中是否存在语音信号并进行提取；所述通信模块用于完成所述智能手表端模块和所述智能家居控制端模块之间的语音数据交互；所述语音反馈模块用于将所述反馈语音合成语音提示向用户播放。

优选地，所述通信模块为蓝牙通信模块或者WiFi通信模块。

作为上述方案的进一步改进，所述家居设备名字自定义模块包括HTTP服务模块、后台服务模块；所述HTTP服务模块包括名字输入模块和资源包ID映射模块；所述名字输入模块用于接收网页或者手机上发送请求的各智能家居设备；所述资源包ID映射模块用于在每个用户定制好自己的设备名字后后台生成一个语义资源，并将这个语义资源映射到一个ID上；所述后台服务模块包括语义模板库、资源定制模块、语义扩展分析模块和模板合并模块；所述语义模板库的语义模板知识覆盖智能家居控制领域所有各智能家居设备的控制命令和设备名称；所述资源定制模块用于形成定制的语义资源；所述语义扩展分析模块用于对所述名字输入模块输出的文本进行扩展分析，包括分词和文本规范化；所述模板合并模块用于通过分析将原有语义模板中设备名和新定制增加的设备名字进行合并，形成新的语义资源。

本发明还提供一种在智能手表上实现智能家居设备控制的方法，其包括以下步骤：

通过控制麦克风采集用户语音数据；

一方面采用无线通讯方式接收所述用户语音数据，另一方面采用HTTP协议以发送所述用户语音数据；

根据所述用户语音数据完成人机对话过程并由此产生控制命令和反馈语音，其中，包括步骤：建立网络接入服务，并负责不同服务器之间的负载均衡；服务器端的内核计算：将所述用户语音数据转换成文字，将所述文字进行文本分析识别出用户的语义意图信息，结合场景及上、下用户的语义意图信息持续跟踪分析所述用户的语义意图信息的变化，并由此给出该系统的反馈信息，将所述反馈信息转化为所述控制命令和所述反馈语音；

传递所述控制命令和所述反馈语音；

根据所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制，根据所述反馈语音进行语音播放。

作为上述方案的进一步改进，该方法还包括以下步骤：接受用户自定义的各智能家居设备名称，并训练生成定制的语义资源。

作为上述方案的进一步改进，通过控制麦克风采集用户语音数据的步骤中，还包括以下步骤：

调用所述智能手表的API接口获取麦克风数据以采集所述用户语音数据；

检测所述用户语音数据中是否存在语音信号并进行提取；

完成语音数据交互；

将所述反馈语音合成语音提示向用户播放。

优选地，所述家居设备名字自定义步骤包括以下步骤：

接收网页或者手机上发送请求的各智能家居设备；

定义语义模板知识覆盖智能家居控制领域所有各智能家居设备的控制命令和设备名称；

形成定制的语义资源；

对文本进行扩展分析，包括分词和文本规范化；

通过分析将原有语义模板中设备名和新定制增加的设备名字进行合并，形成新的语义资源。

本发明还提供另一种在智能手表上实现智能家居设备控制的方法，其包括以下步骤：

用户通过调用所述智能手表的API接口获取麦克风数据以采集用户语音数据；

向云端服务器转发所述用户语音数据；

所述向云端服务器根据所述用户语音数据进行语音识别和对话管理，形成控制命令及与所述控制命令相对应的反馈语音；

根据所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制；

所述智能手表将所述反馈语音播放出来。

本发明的优点在于：一是通过具备上下文的人机对话实现家居的控制，提供了一种非常自然、快捷的控制方式；二是使用者可以直接使用智能手表来实现所有智能家居设备的控制，走到哪里都可以方便的控制；三是使用者可以自定义个性化的智能家居名称，让智能家居设备控制更个性化和娱乐化。

附图说明

图1是本发明较佳实施例在智能手表上实现智能家居设备控制的系统结构图。

图2是本发明较佳实施例在智能手表上实现智能家居设备控制的云端语音对话模块的系统结构图。

图3是本发明较佳实施例在智能手表上实现智能家居设备控制的家居设备名字自定义模块的系统结构图。

图4是本发明较佳实施例在智能手表上实现智能家居设备控制的智能手表端的系统结构图。

图5是本发明较佳实施例在智能手表上实现智能家居设备控制的方法流程图。

图6是本发明较佳实施例在云端实现智能家居设备名字自定义的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在需要控制家中的智能设备时，本发明的较佳实施方式提供的在智能手表（图未示）上实现智能家居设备控制的系统能够实现智能设备的控制，比如：要打开卧室灯，使用者只要按一下所述智能手表上的录音开始按钮，用很自然的表达方式说出控制命令形成语音数据，所述语音数据通过所述智能手表上传到云端服务器（图未示）进行语音识别、语义分析和对话管理分析，理解用户的控制意图后识别所述控制命令，因而向相应的智能家居设备发出所述控制命令，同时，将所述控制命令形成合成反馈语音通过所述智能手表播放出来，从而实现控制家居设备的人机交互。

请参阅图1，在智能手表上实现智能家居设备控制的系统包括智能手表端模块14、智能家居端控制模块13、云端语音对话模块11和家居设备名字自定义模块12。

智能手表端模块14用于通过控制麦克风采集用户语音数据，请结合图2，在本实施方式中，智能手表端模块14包括实时录音模块42、VAD模块21、通信模块44、语音反馈模块45。

实时录音模块42用于调用所述智能手表的API接口获取麦克风数据以采集所述用户语音数据，可采用手表麦克风46产生所述用户语音数据。VAD模块21用于检测所述用户语音数据中是否存在语音信号并进行提取。通信模块44用于完成智能手表端模块14和智能家居控制端模块13之间的语音数据交互，通信模块44可为蓝牙通信模块或者WiFi通信模块。语音反馈模块45用于将所述反馈语音合成语音提示向用户播放，可采用手表喇叭47播放所述反馈语音。

在本实施方式中，VAD模块41采用基于能量和统计模型的方法检测从实时录音模块42中获取的数据中是否存在语音信号，如检测出语音信号则将语音数据通过通信模块44发送到语音SDK模块131进行处理。实时录音模块42负责调用智能手表端音频API接口43，从手表麦克风46获取音频数据。音频API接口43负责与智能手表的内置硬件设备手表麦克风46和手表喇叭47进行交互，获取麦克风录音音频并向手表喇叭47输出合成音频数据。通信模块44负责与智能家居控制端模块13进行数据通信。语音反馈模块45接受来自智能家居控制端模块13的语音反馈数据，并调用所述智能手表的音频API接口。

请再次参阅图1，智能家居端控制模块13包括语音软件开发工具包（Software Development Kit,SDK）模块131、家居控制应用程序编程接口（Application Programming Interface,API）模块132。

语音SDK模块131一方面用于采用无线通讯方式建立智能手表端模块14与智能家居控制端模块13之间的信息连接，以使智能家居控制端模块13接收来自智能手表端模块14的所述用户语音数据，而智能手表端模块14能接收来自智能家居控制端模块13的所述反馈语音供手表喇叭47播放。

语音SDK模块131另一方面用于采用HTTP协议建立智能家居控制端模块13与云端语音对话模块11之间的信息连接，以使云端语音对话模块11接收来自智能家居控制端模块13的所述用户语音数据，而智能家居控制端模块13接收来自云端语音对话模块11的所述控制命令和所述反馈语音。家居控制API模块132根据语音SDK模块131传递的所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制。

在本实施方式中，语音SDK模块131负责接受来自通信模块44的语音数据后，上传到云端语音对话模块11，并负责接受来自云端语音对话模块11的控制命令和反馈语音。家居控制API模块132负责根据所述控制命令完成相应的设备控制接口调用，实现设备控制。所述反馈语音传递给手表喇叭47进行播放。

也就是说，在智能家居控制器端，使用开发的SDK工具包来建立两个连接，一是通过WIFI或者蓝牙方式，建立智能手表端模块14与智能家居控制端模块13之间的连接，用于将从智能手表的手表麦克风46采集到的语音数据传输到智能家居控制端模块13，并将需要合成的音频返回给智能手表；二是通过HTTP协议建立智能家居控制端模块13与云端语音对话模块11之间的Session连接，负责将音频（即语音数据）上传到云端语音对话模块11，同时，将对话反馈出的控制命令返回给智能家居控制端模块13的家居控制API模块132，家居控制API模块132调用家居控制API来实现家居的控制。

云端语音对话模块11建立一个智能家居控制领域的文本数据库，该数据库覆盖了智能家居领域的所有智能设备控制的说法句式语料。该文本数据库进行分词、文本规范化处理后，采用词频统计分析算法、基于类别的语言模型训练工具训练得到上下文相关的四元子统计语言模型，再与通用语言模型进行插值后，生成智能家居领域定制的语言模型。

云端语音对话模块11还建立一个覆盖智能家居控制领域的语义理解模板库和统计模型。通过两种方法实现高精度的语义理解算法：一是通过人工定义大量智能家居领域语义模板库，对需要控制的智能设备及控制操作进行的说法进行覆盖，得到语音识别结果后，使用模板匹配的算法进行语义理解；二是根据实际使用过程中采集到的用户数据、模板库自动生成的说法数据，训练SVM统计模型，得到语音识别结果后，使用SVM统计算法进行语义理解。

完成语义理解后，相应的语义项输入到对话管理算法中，对话管理算法根据当前与用户对话所处的对话状态实时反馈相应的控制操作及对话文本。对话状态会维护包括用户历史信息、用户目标跟踪、用户当前描述信息、用户意图状态转移概率等，对话状态通过马尔柯夫决策过程（Markov Decision Procession,MDP）进行建模。

请结合图3，云端语音对话模块11用于根据所述用户语音数据完成人机对话过程并由此产生所述控制命令和所述反馈语音。云端语音对话模块11包括接入服务器模块21和内核计算服务器模块22，接入服务器模块21用于与语音SDK模块131建立网络接入服务，并负责不同服务器之间的负载均衡。内核计算服务器模块22用于服务器端的内核计算。其中，内核计算服务器模块22包括语音识别模块221、语义理解模块222、对话管理模块223和语音合成模块224。

语音识别模块221用于将所述用户语音数据转换成文字，语义理解模块222用于将所述文字进行文本分析识别出用户的语义意图信息，对话管理模块223用于结合场景及上、下用户的语义意图信息持续跟踪分析所述用户的语义意图信息的变化，并由此给出该系统的反馈信息，语音合成模块224用于将所述反馈信息转化为所述控制命令和所述反馈语音。

在本实施方式中，语音识别模块221接受来自语音SDK模块131的语音数据后，通过WFST解码技术在云端语言模型上进行解码，最终实现将语音转化为多候选文本做为后续语义理解模块222的输入；语义理解模块222采用基于模板库规则匹配算法和基于SVM进行语义项提取算法，将语音识别的文本结果转化成家居控制领域的语义项；对话管理模块223采用了基于MDP的对话决策算法，考虑到用户上下文信息、意图跟踪等，将相应的家居控制指令反馈给使用者，同时，还将返回系统向使用者做出的一些提示文本；语音合成模块224采用了基于统计模型的参数化合成算法，将系统提示文本转化为标准普通话。通过上述过程，实现了一个完整的人机交互控制过程。

请结合图4，家居设备名字自定义模块12用于接受用户自定义的各智能家居设备名称，并训练生成定制的语义资源方便家居控制API模块132的控制。家居设备名字自定义模块12包括HTTP服务模块31、后台服务模块32。当用户需要给自己的家居设备设置个性化的昵称时，用户可以网页上或者在手机上输入设备的昵称文本及对应的编号ID，并提交到云端语音对话模块11，和系统原有的语义模板库进行合并，即可方便地生成个性化对话控制资源包。

HTTP服务模块31包括名字输入模块311和资源包ID映射模块312。名字输入模块311用于接收网页或者手机上发送请求的各智能家居设备。资源包ID映射模块312用于每个用户定制好自己的设备名字后，后台会生成一个语义资源，并将这个资源包即所述语义资源映射到一个ID上，便后续的使用。

后台服务模块32包括语义模板库321、资源定制模块322、语义扩展分析模块323和模板合并模块324。

语义模板库的语义模板321知识覆盖智能家居控制领域所有各智能家居设备的控制命令和设备名称；资源定制模块322用于形成定制的语义资源；语义扩展分析模块323用于对所述名字输入模块311输出的文本进行扩展分析，包括分词和文本规范化；模板合并模块324用于通过分析将原有语义模板321中设备名和新定制增加的设备名字进行合并，形成新的语义资源。

本发明的在智能手表上实现智能家居设备控制的系统在应用时，其匹配的在智能手表上实现智能家居设备控制的方法的大致流程如图5所示，使用者需要进行家居设备控制时，通过点击智能手表端app后，说出语音控制命令，系统经过VAD模块21检测出有语音数据后，即通过wifi-蓝牙模块（即通信模块44）向智能家居端控制模块13的语音SDK模块131传送语音数据，并向云端语音对话模块11转发，云端语音对话模块11收到数据后，进行实时流式识别和对话管理，完成后返回相应的控制命令。智能家居端控制模块13收到控制命令后，家居控制API模块132调用API接口实现对设备的控制，同时，语音SDK模块131将反馈语音送给智能手表端模块14，语音反馈模块45用于将反馈音频播放给使用者，完成语音控制及交互。

云端自定义设备名字模块12对请求进行处理后提供自定义语义资源包及ResourceID的过程如图6所示：

首先，建立家居领域控制命令数据库，提取家居通用语义模板库，当使用者要自定义设备名字时，先将名家通过语音SDK模块131传到云端语音对话模块11的服务器上，调用家居通用语义模板库，进行资源的合并与优化，并最终生成定制的语义资源包及相应的资源编号ResourceID。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在智能手表上实现智能家居设备控制的系统，其特征在于：其包括智能手表端模块、智能家居控制端模块和云端语音对话模块，所述智能家居控制端模块包括语音软件开发工具包（Software Development Kit,SDK）模块和家居控制应用程序编程接口（Application Programming Interface,API）模块，所述云端语音对话模块包括接入服务器模块和内核计算服务器模块，所述内核计算服务器模块包括语音识别模块、语义理解模块、对话管理模块和语音合成模块；其中，

所述智能手表端模块用于通过控制麦克风采集用户语音数据，还用于语音播放；

所述语音SDK模块一方面用于采用无线通讯方式建立所述智能手表端模块与所述智能家居控制端模块之间的信息连接，另一方面用于采用HTTP协议建立所述智能家居控制端模块与所述云端语音对话模块之间的信息连接；

所述云端语音对话模块用于根据所述语音SDK模块传递的所述用户语音数据完成人机对话过程并由此产生控制命令和反馈语音，其中，所述接入服务器模块用于与所述语音SDK模块建立网络接入服务，并负责不同服务器之间的负载均衡，所述内核计算服务器模块用于服务器端的内核计算：所述语音识别模块用于将所述用户语音数据转换成文字，所述语义理解模块用于将所述文字进行文本分析识别出用户的语义意图信息，所述对话管理模块用于结合场景及上、下用户的语义意图信息持续跟踪分析所述用户的语义意图信息的变化，并由此给出该系统的反馈信息，所述语音合成模块用于将所述反馈信息转化为所述控制命令和所述反馈语音；

所述家居控制API模块用于根据所述语音SDK模块传递的所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制；

所述智能手表端模块根据所述语音SDK模块传递的所述反馈语音进行语音播放。

2.如权利要求1所述的在智能手表上实现智能家居设备控制的系统，其特征在于：该系统还包括家居设备名字自定义模块，所述家居设备名字自定义模块用于接受用户自定义的各智能家居设备名称，并训练生成定制的语义资源方便所述家居控制API模块的控制。

3.如权利要求1所述的在智能手表上实现智能家居设备控制的系统，其特征在于：所述智能手表端模块包括实时录音模块、VAD模块、通信模块、语音反馈模块，其中，所述实时录音模块用于调用所述智能手表的API接口获取麦克风数据以采集所述用户语音数据；所述VAD模块用于检测所述用户语音数据中是否存在语音信号并进行提取；所述通信模块用于完成所述智能手表端模块和所述智能家居控制端模块之间的语音数据交互；所述语音反馈模块用于将所述反馈语音合成语音提示向用户播放。

4.如权利要求3所述的在智能手表上实现智能家居设备控制的系统，其特征在于：所述通信模块为蓝牙通信模块或者WiFi通信模块。

5.如权利要求2所述的在智能手表上实现智能家居设备控制的系统，其特征在于：所述家居设备名字自定义模块包括HTTP服务模块、后台服务模块；所述HTTP服务模块包括名字输入模块和资源包ID映射模块；所述名字输入模块用于接收网页或者手机上发送请求的各智能家居设备；所述资源包ID映射模块用于在每个用户定制好自己的设备名字后后台生成一个语义资源，并将这个语义资源映射到一个ID上；所述后台服务模块包括语义模板库、资源定制模块、语义扩展分析模块和模板合并模块；所述语义模板库的语义模板知识覆盖智能家居控制领域所有各智能家居设备的控制命令和设备名称；所述资源定制模块用于形成定制的语义资源；所述语义扩展分析模块用于对所述名字输入模块输出的文本进行扩展分析，包括分词和文本规范化；所述模板合并模块用于通过分析将原有语义模板中设备名和新定制增加的设备名字进行合并，形成新的语义资源。

6.一种在智能手表上实现智能家居设备控制的方法，其特征在于：其包括以下步骤：

通过控制麦克风采集用户语音数据；

一方面采用无线通讯方式接收所述用户语音数据，另一方面采用HTTP协议以发送所述用户语音数据；

根据所述用户语音数据完成人机对话过程并由此产生控制命令和反馈语音，其中，包括步骤：建立网络接入服务，并负责不同服务器之间的负载均衡；服务器端的内核计算：将所述用户语音数据转换成文字，将所述文字进行文本分析识别出用户的语义意图信息，结合场景及上、下用户的语义意图信息持续跟踪分析所述用户的语义意图信息的变化，并由此给出该系统的反馈信息，将所述反馈信息转化为所述控制命令和所述反馈语音；

传递所述控制命令和所述反馈语音；

根据所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制，根据所述反馈语音进行语音播放。

7.如权利要求6所述的在智能手表上实现智能家居设备控制的方法，其特征在于：该方法还包括以下步骤：接受用户自定义的各智能家居设备名称，并训练生成定制的语义资源。

8.如权利要求6所述的在智能手表上实现智能家居设备控制的方法，其特征在于：通过控制麦克风采集用户语音数据的步骤中，还包括以下步骤：

调用所述智能手表的API接口获取麦克风数据以采集所述用户语音数据；

检测所述用户语音数据中是否存在语音信号并进行提取；

完成语音数据交互；

将所述反馈语音合成语音提示向用户播放。

9.如权利要求7所述的在智能手表上实现智能家居设备控制的方法，其特征在于：所述家居设备名字自定义步骤包括以下步骤：

接收网页或者手机上发送请求的各智能家居设备；

定义语义模板知识覆盖智能家居控制领域所有各智能家居设备的控制命令和设备名称；

形成定制的语义资源；

对文本进行扩展分析，包括分词和文本规范化；

通过分析将原有语义模板中设备名和新定制增加的设备名字进行合并，形成新的语义资源。

10.一种在智能手表上实现智能家居设备控制的方法，其特征在于：其包括以下步骤：

用户通过调用所述智能手表的API接口获取麦克风数据以采集用户语音数据；

向云端服务器转发所述用户语音数据；

所述向云端服务器根据所述用户语音数据进行语音识别和对话管理，形成控制命令及与所述控制命令相对应的反馈语音；

根据所述控制命令调用各智能家居设备的控制指令API，实现相应智能家居设备的控制；

所述智能手表将所述反馈语音播放出来。

Images