CN107529146B - 结合音频的多传感室内定位方法、装置、系统及存储介质 - Google Patents

Abstract

本发明公开了一种结合音频的多传感的室内定位方法、装置、系统及存储介质，其方法包括：综合信息处理平台获取布置在室内的网络节点的感测数据，所述感测数据包括无线信号、语音和/或人体传感感知数据；根据感测数据建立2D节点图；基于2D节点图对不同区域的感测数据对应的语音采集设备和语音播放设备进行定位和关联设置。本发明结合无线信号、语音和人体传感感知的组网方式来实现精确的室内定位，解决小范围内的精确定位，以及结合未来的智能语音交互应用场景，实现及时的定向的语音或显示反馈，增强未来室内人机交互的体验。

Description

结合音频的多传感室内定位方法、装置、系统及存储介质

技术领域

本发明涉及语音交互技术领域，尤其涉及一种结合音频的多传感室内定位方法、装置、系统及存储介质。

背景技术

目前的定位技术应用大多集中在比较大的范围，如大型公共场所，大型超市，大型停车场等。其多采用单一的无线定位技术结合算法实现定位，定位精度不佳，反馈方式单一，在小的家居等环境应用困难，使用体验不佳。

发明内容

本发明提供一种结合音频的多传感室内定位方法、装置、系统及存储介质，以实现精确的室内定位，解决小范围内的精确定位，并适用于人机的语音交互。

为实现上述目的，本发明提供一种结合音频的多传感的室内定位方法，包括：

综合信息处理平台获取布置在室内的网络节点的感测数据，所述感测数据包括无线信号、语音和/或人体传感感知数据；

根据所述感测数据建立2D节点图；

基于2D节点图对不同区域的感测数据对应的语音播放设备进行定位和关联设置。

其中，所述根据所述感测数据建立2D节点图的步骤之后，还包括：

基于2D节点图对不同区域的感测数据进行修正处理。

其中，所述方法还包括：

将所述网络节点处的语音采集设备的位置信息和语言信息发送至综合信息处理平台进行本地识别或发送至云端，并将定位的语音播放设备的位置信息上传至云端；

将定位的语音播放设备的位置信息保存在所述综合信息处理平台。

其中，所述感测数据包括语音感知数据，所述将音采集设备的位置信息和语言信息发送至综合信息处理平台进行本地识别或发送至云端的步骤中，还包括：将所述语音感知数据中的音频指令上传至云端，将定位的人、物的位置信息发送至综合信息处理平台。

其中，所述综合信息处理平台获取布置在室内的网络节点的感测数据的步骤之前，还包括：

所述综合信息处理平台搜索室内网络节点；

在搜索到网络节点后，建立与所述网络节点以及云端的网络连接。

所述感测数据还包括人体所携带的无线信标节点感知数据。

本发明还提出一种结合音频的多传感的室内定位系统，包括：综合信息处理平台，以及布置在室内的网络节点，其中：

所述网络节点，用于采集室内不同区域的感测数据，所述感测数据包括语音和/或人体传感感知数据；

综合信息处理平台，用于获取布置在室内的网络节点的感测数据，根据所述感测数据建立2D节点图；基于2D节点图对不同区域的感测数据对应的语音播放设备进行定位和播放关联设定。

其中，所述综合信息处理平台与云端通信连接；

所述综合信息处理平台，还用于将定位的语音采集设备采集到的语音信息上传至云端，并定向分发云端反馈的数据到位置关联的语音播放设备。

本发明还提出一种结合音频的多传感的室内定位装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤。

本发明提出结合无线信号、语音和人体传感感知的组网方式来实现精确的室内定位，解决小范围内的精确定位，以及结合未来的智能语音交互应用场景，实现及时的定向的语音或显示反馈，适用于人机的语音交互，增强未来室内人机交互的体验。相比现有技术，本发明结合多传感的室内定位网络技术，使得在小面积的家居环境也能实现人和物的精确定位，采用灵活的智能的反馈方式，增强所用场景的便捷性和体验感。

附图说明

图1是本发明结合音频的多传感的室内定位方法实施例的流程示意图；

图2是本发明中网络节点的硬件框图；

图3是本发明中综合感知信息处理平台的硬件框图；

图4是本发明中网络节点的处理流程图；

图5是本发明中综合信息处理平台的处理流程图；

图6是本发明基于语音控制网络的实现方法实施例的流程示意图；

图7是本发明多区域音频交互的场景实例示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提出一种结合音频的多传感的室内定位方法，包括：

步骤S101，综合信息处理平台获取布置在室内的网络节点的感测数据，所述感测数据包括无线信号、语音、人体传感感知数据，进一步地，还可以包括人体所携带的无线信标节点感知数据；

本发明提出一种结合语音及人体传感的室内定位网络技术，采用无线信号、语音及多传感结合的室内定位和定向反馈组网网络技术，以实现精确的室内定位，解决小范围内的精确定位和定向的反馈交互。

本发明方案涉及的系统架构包括：综合感知信息处理平台和网络节点，其中：

网络节点带mesh能力的短距无线通讯、人体感测、声音采集预处理，若人体带有信标(手机、可穿戴设备)，则根据无线技术先做初步定位，再依据人体、人声的综合感测将数据传到综合感知信息处理平台，若人体不带信标，则只传送人体、人声感测数据。因此，网络节点可以是各种感知数据采集设备，比如，无线音频采集设备。

具体地，如图2所示，图2是本发明中网络节点的硬件框图。

本发明中网络节点包括：带mesh无线网络模块，红外人体感知模块、电源模块以及声波采集和预处理模块，

综合感知信息处理平台：带声音采集处理、声音播放功能，基于无线信标节点及声音采集和人体感知网络进行空间2D建模，具有短距无线通讯及路由功能，对网络节点感测数据运算处理、协调、仲裁；并可将本地数据传送到云端，从云端得到数据后进行定向推送和下发。

具体地，如图3所示，图3是本发明中综合感知信息处理平台的硬件框图。

本发明中综合感知信息处理平台包括：带路由功能的无线或有线网络模块、CPU、音频播放模块、电源模块、声波采集和处理模块，其中，CPU分别与各模块连接，负责网络协议解析、数据定向分发、传感网络感知信息处理、2D地图建模、音频信号处理、本地和云端服务内容处理等。

首先，综合信息处理平台搜索室内网络节点，在搜索到网络节点后，建立与所述网络节点以及云端的网络连接。

然后，综合信息处理平台获取布置在室内的网络节点的感测数据。

步骤S102，根据所述感测数据建立2D节点图；

步骤S103，基于2D节点图对不同区域的感测数据对应的语音采集设备和语音播放设备进行定位和关联设置。

综合信息处理平台获取布置在室内的网络节点的感测数据后，根据所述感测数据建立2D节点图，基于2D节点图对不同区域的感测数据对应的语音播放设备进行定位和位置关联。

之后，综合信息处理平台将网络节点语音采集设备所采集到的信息上传至云端，并将定位的语音播放设备的位置信息保存于本地及上传至云端，作为数据定向反馈的依据。

上述方案中，综合信息处理平台在根据所述感测数据建立2D节点图之后，还可以基于2D节点图对不同区域的感测数据进行修正处理。

本实施例中，网络节点的处理流程可以参照图4所示。综合信息处理平台的处理流程可以参照图5所示。

本发明提出结合无线信号、语音和人体传感感知的组网方式来实现精确的室内定位，解决小范围内的精确定位，以及结合未来的智能语音交互应用场景，实现及时的定向的语音或显示反馈，增强未来室内人机交互的体验。相比现有技术，本发明结合多传感的室内定位网络技术，使得在小面积的家居环境也能实现人和物的精确定位，采用灵活的智能的反馈方式，增强所用场景的便捷性和体验感。

此外，本发明还提出一种结合音频的多传感的室内定位系统，包括：综合信息处理平台，以及布置在室内的网络节点，其中：

所述网络节点，用于采集室内不同区域的感测数据，所述感测数据包括语音和/或人体传感感知数据；

综合信息处理平台，用于获取布置在室内的网络节点的感测数据，根据所述感测数据建立2D节点图；基于2D节点图对不同区域的感测数据对应的语音播放设备进行定位和位置关联设定。

所述综合信息处理平台与云端通信连接；

所述综合信息处理平台，还用于将语音采集设备的语音信息上传至云端，并定向分发云端反馈的数据到位置关联的语音播放设备。

其具体处理流程请参照上述各实施例，在此不再赘述。

此外，本发明还提出一种结合音频的多传感的室内定位装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤，本实施例的实现原理，请参照上述各实施例，在此不再赘述。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤，本实施例的实现原理，请参照上述各实施例，在此不再赘述。

此外，考虑到人机交互方式正在进入智能时代，语音交互会成为未来的重要交互方式。但是，目前语音交互在远距离、大范围及家居多房间上无法应用，因为声波的传输距离不足，家居环境的互相隔离等使得单一设备无法提供长距离、广范围的交互，同时无法满足多用户同时交互。

目前市面上的产品，语音命令的采集和音频播放都在一个设备上，这样使得产品的应用体验不够灵活(比如用户需要对着音箱的位置说话)，而且同一时间无法同时响应多用户下发的语音指令；多个地方需要摆多个智能音箱设备，设备间的隔离不佳会造成多个设备响应，影响体验，也可能造成生活上相互的打扰。此外，目前市面上的产品，通常集成音频采集和音乐播放于一体，通常体积都较大，另外原有的蓝牙等无线音箱设备无法再利用，造成资源浪费。

由此，如图6所示，本发明提出一种基于语音控制网络的实现方法，所述方法应用于多区域音频交互系统，各区域设置有网络设备节点，所述方法包括：

步骤S1，通过对应区域的网络设备节点获取来自至少一区域的一个或多个音频唤起源；

在本实施例中，各区域的网络设备节点首先通过无线连接进行室内组网和定位。其中，所述网络设备节点为智能音箱或智能中控设备。

各区域设置有无线音频采集设备，在获取音频唤起源时，首先，通过预设的室内定位技术确定音频唤起源；通过设置在对应区域的无线音频采集设备采集该区域的音频唤起源。

然后，由所述无线音频采集设备将采集到的音频唤起源发送至对应区域的智能音箱或智能中控设备等网络设备节点，在所述音频唤起源中携带所述音频唤起源的定位位置信息。

其中，所述预设的室内定位技术至少包括：人体携带的无线信标、人体红外感应、人声定位技术。

步骤S2，将所述音频唤起源的语音指令进行本地识别或者通过中控设备传送至云端进行识别；

智能音箱或智能中控设备将所述音频唤起源的语音指令进行本地识别或传送至云端进行识别。

步骤S3，将所述云端识别或本地识别反馈的响应数据，定向反馈至所定位位置的语音播放设备。

其中，所定位位置的语音播放设备可以为所述音频唤起源所在位置的语音播放设备，或者，所定位位置的语音播放设备为所述音频唤起源关联的用户当前所在区域的语音播放设备。

所述语音播放设备为智能音箱或智能移动终端或普通无线音频播放设备，所述智能音箱自带麦克风或麦克风阵列，或者自带其他音频采集传感器。

本实施例通过上述方案，将一个语音交互中心控制单元结合网络技术扩展成一个语音控制网络，使得它可以和各种无线音响进行配对，并利用室内定位技术(同上)和音频网络技术实现多用户同时交互，扩大语音交互范围和广度，同时最大限度利用现有无线音频设备来组网，最大化利用现有资源，用新技术带来新体验，满足多用户同时交互的需求，同时节约资源，减少浪费。

以下通过具体应用场景对本发明实施例方案进行详细阐述(以云端识别进行举例)：

如图7所示，区域一、区域二、区域三、区域四都布局有通过WIFI或BT连接到智能音箱或智能中控设备的低功耗的无线音频采集和人体、人声感测设备(音频采集设备)，同时区域内有通过WIFI或BT连接到智能音箱或智能中控的语音播放设备。

当区域一、区域四检测到人活动，同时人发出语音指令时，音频采集设备将采集到的音频指令传输到智能音箱或智能中控，智能音箱或智能中控将语音指令送至云端识别并将得到识别响应反馈数据分别定向传输到区域一和区域四的语音播放设备，做到同时响应，响应数据指向反馈，实时而且互不干涉。

其中，涉及到的定位技术为结合人体、人声和无线的定位技术，包含智能音箱或智能中控，具体原理如下：

对音频采集设备进行位置标定，并根据音频采集设备传送的检测和采集数据判断人所在区域，判别方法如下流程：

若人体带有无线信标(如手机或智能穿戴设备)则通过无线定位技术大致定位人所在位置，同时红外人体检测检测到人活动，启用语音关键词检测，检测到关键词和语音指令后通过无线音频技术将采集到的音频数据传到智能音箱或智能中控，再到云端识别和得到云端得数据反馈；

语音播放设备和音频采集设备的区域关联，语音指令到云端的传送，以及云端反馈数据的通过定向下发。

相比现有技术，本发明基于语音控制网络的实现方法、装置、系统及存储介质，用智能音箱或智能中控设备作为中心，智能音箱或智能中控集成无线多房间功能和多种无线gateway功能(如主流的WIFI，Bluetooth，ZigBee等)，具备通过无线空间建模能力，采用多房间音频技术与各种无线音响配对使用；同时结合多房间网络设备节点，通过结合人体感应、音频处理和无线定位的室内定位技术来确定唤起源，并能同时将唤起源的语音指令进行本地识别或者通过中控设备送至云端识别，并将云端识别或本地识别反馈的指令或数据，定向反馈到所定位位置的语音播放设备。由此，完成多区域、广范围、多用户同时分发指令并获得反馈的语音交互网络系统。其中，智能音箱自带麦克风阵列，通过语音唤醒和采集控制指令，可以语音控制其他无线音响的播放，同时控制多个或单个播放设备。

此外，本发明还提出一种多区域音频交互系统，包括设置在各区域的网络设备节点、无线音频采集设备以及语音播放设备，其中：

所述无线音频采集设备，用于至少一网络设备节点所在区域的一个或多个音频唤起源，将所述音频唤起源发送至所述网络设备节点；

所述网络设备节点，用于将所述音频唤起源的语音指令进行本地识别或者通过中控设备传送至云端进行识别；将所述云端识别反馈的响应数据，定向反馈至所定位位置的语音播放设备。

所述网络设备节点为智能音箱或智能中控设备；所述语音播放设备为智能音箱或智能移动终端或无线音频播放设备。

本实施例通过上述方案，将一个语音交互中心控制单元结合网络技术扩展成一个语音控制网络，使得它可以和各种无线音响进行配对，并利用室内定位技术(同上)和音频网络技术实现多用户同时交互，扩大语音交互范围和广度，同时最大限度利用现有无线音频设备来组网，最大化利用现有资源，用新技术带来新体验，满足多用户同时交互的需求，同时节约资源，减少浪费。提出一种基于语音交互的无线音频交互网络。

此外，本发明还提出一种基于语音控制网络的实现装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤，本实施例的实现原理，请参照上述各实施例，在此不再赘述。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤，本实施例的实现原理，请参照上述各实施例，在此不再赘述。

相比现有技术，本发明具有如下优点：

1、智能音箱或智能语音中控通过无线连接将进行室内设备或区域连接设备进行组网和定位，实现将一个语音交互中心控制单元结合网络技术扩展成一个语音控制网络，使得它可以和各种无线音响进行配对，并利用室内定位技术(同上)和音频网络技术实现多用户同时交互，扩大语音交互范围和广度，同时最大限度利用现有无线音频设备来组网，最大化利用现有资源；

2、智能音箱或智能语音中控同时接受多个网络节点的语音控制指令；

3.智能音箱或智能语音中控上传节点的语音指令在本地识别或送到云端识别并得到本地或云端反馈数据，同时定向反馈到相应的播放设备；

4.无线音频采集设备，集成低功耗，可长时间工作并可以以各种便携形态存在。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种结合音频的多传感的室内定位方法，其特征在于，包括：

综合信息处理平台获取布置在室内的网络节点的感测数据，所述感测数据包括无线信号、语音和人体传感感知数据；

根据所述感测数据建立2D节点图；

基于2D节点图对不同区域的感测数据对应的语音采集设备和语音播放设备进行定位和关联设置；

将所述网络节点处的语音采集设备的位置信息和语言信息发送至综合信息处理平台进行本地识别或发送至云端，并将定位的语音播放设备的位置信息上传至云端；

将定位的语音播放设备的位置信息保存在所述综合信息处理平台；将语音感知数据中的音频指令上传至云端；

综合信息处理平台带声音采集处理、声音播放功能，基于无线信标节点及声音采集和人体感知网络进行空间2D建模，具有短距无线通讯及路由功能，对网络节点感测数据运算处理、协调、仲裁；并将本地数据传送到云端，从云端得到数据后进行定向推送和下发。

2.根据权利要求1所述的结合音频的多传感的室内定位方法，其特征在于，所述根据所述感测数据建立2D节点图的步骤之后，还包括：

基于2D节点图对不同区域的感测数据进行修正处理。

3.根据权利要求1-2中任一项所述的结合音频的多传感的室内定位方法，其特征在于，所述综合信息处理平台获取布置在室内的网络节点的感测数据的步骤之前，还包括：

所述综合信息处理平台搜索室内网络节点；

在搜索到网络节点后，进行本地定位地图的设定及语音播放设备位置设定，并建立与所述网络节点以及云端的网络连接。

4.根据权利要求3所述的结合音频的多传感的室内定位方法，其特征在于，所述感测数据还包括人体所携带的无线信标节点感知数据。

5.一种结合音频的多传感的室内定位系统，其特征在于，包括：综合信息处理平台，以及布置在室内的网络节点，其中：

所述网络节点，用于采集室内不同区域的感测数据，所述感测数据包括语音和/或人体传感感知数据；

综合信息处理平台，用于获取布置在室内的网络节点的感测数据，根据所述感测数据建立2D节点图；基于2D节点图对不同区域的感测数据对应的语音采集设备和语音播放设备进行定位和关联设置；所述综合信息处理平台与云端通信连接；

所述综合信息处理平台，还用于将定位的语音采集设备采集到的语音信号上传至云端，并从云端得到反馈数据，并定向反馈至所定位并关联设定位置的语音播放设备；综合信息处理平台带声音采集处理、声音播放功能，基于无线信标节点及声音采集和人体感知网络进行空间2D建模，具有短距无线通讯及路由功能，对网络节点感测数据运算处理、协调、仲裁；并将本地数据传送到云端，从云端得到数据后进行定向推送和下发。

6.一种结合音频的多传感的室内定位装置，其特征在于，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求1-4任意一项所述的方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-4中任一项所述的方法的步骤。

Images