CN114373459A - 智能家居唤醒方法及智能家居平台 - Google Patents
智能家居唤醒方法及智能家居平台 Download PDFInfo
- Publication number
- CN114373459A CN114373459A CN202210002075.8A CN202210002075A CN114373459A CN 114373459 A CN114373459 A CN 114373459A CN 202210002075 A CN202210002075 A CN 202210002075A CN 114373459 A CN114373459 A CN 114373459A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- user terminal
- home platform
- devices
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004044 response Effects 0.000 claims abstract description 69
- 238000005516 engineering process Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 88
- 239000000523 sample Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012559 user support system Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请实施例公开了一种智能家居唤醒方法及智能家居平台,属于智能家居技术领域。所述方法包括:智能家居平台接收M个智能设备中N个智能设备发送的唤醒词。如果N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则智能家居平台向用户终端发送定位请求消息,以使用户终端向智能家居平台发送定位响应消息,定位响应消息携带用户终端基于UWB定位技术采集的指示用户终端的位置信息。智能家居平台基于定位响应消息从N个智能设备中唤醒第一智能设备,本申请实施例可以基于UWB技术精准唤醒智能设备。
Description
技术领域
本申请实施例涉及智能家居技术领域,特别涉及一种智能家居唤醒方法及智能家居平台。
背景技术
如今,随着科技的不断发展,越来越多的智能设备出现在人们的家居生活中,为人们的家居生活提供了便利。通常,这些智能设备都具备智能语音控制功能,也即是,智能设备配置有语音控制入口和唤醒词,智能设备通过语音控制入口来采集用户语音,进而将用户语音和智能设备的唤醒词进行匹配,若存在某一智能设备的唤醒词与用户语音相匹配,则将该智能设备作为待唤醒的智能设备,进而通过该智能设备采集用户语音并执行用户语音中所指示的操作。
不过,当用户家中具备品牌套系产品,也即是,用户家中有多个具备语音控制入口且唤醒词一致的智能设备时,若用户发出唤醒词用于唤醒并操控某一智能设备A时,用户家中的所有智能设备都采集用户语音,并将用户语音和唤醒词进行匹配,由于同一品牌的智能设备的唤醒词一致,此时,唤醒的可能是同一品牌的其他一智能设备B,或者,同一品牌的多个智能设备同时被唤醒,这种情况下会造成唤醒智能设备A失效或冲突的问题,影响用户体验。
发明内容
本申请实施例提供了一种智能家居唤醒方法及智能家居平台,可以解决相关技术的无法精准唤醒智能设备的问题。所述技术方案如下:
一方面,提供了一种智能家居唤醒方法,所述方法由智能语音控制系统中的智能家居平台执行,所述智能语音控制系统还包括用户终端和M个智能设备,所述用户终端为用户当前手持的终端,所述M为正整数;
所述方法包括:
所述智能家居平台接收所述M个智能设备中N个智能设备发送的唤醒词,所述N为小于或等于所述M的正整数,且所述N大于1;
如果所述N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则所述智能家居平台向所述用户终端发送定位请求消息,以使所述用户终端向所述智能家居平台发送定位响应消息,所述定位响应消息携带所述用户终端基于超宽带UWB定位技术采集的定位数据,所述定位数据指示所述用户终端的位置信息;
所述智能家居平台基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备。
可选地,所述智能家居平台基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备之后,所述方法还包括:
所述智能家居平台接收所述第一智能设备采集的语音数据;
所述智能家居平台确定所述语音数据的语义信息;
所述智能家居平台基于所述语义信息确定待控制的智能设备的描述信息;
如果所述M个智能设备中符合所述描述信息的智能设备的数量为一个,则所述智能家居平台基于所述语音数据控制相应智能设备。
可选地,所述方法还包括:
如果所述M个智能设备中符合所述描述信息的智能设备的数量为多个,所述智能家居平台则基于所述定位响应消息从所述多个智能设备中确定距离所述用户终端最近的智能设备;
所述智能家居平台基于所述语音数据控制距离所述用户终端最近的智能设备。
可选地,所述定位响应消息携带和多个基站一一对应的多个时间戳集合,所述多个基站为所述N个智能设备中在参考时间段内位置不变的智能设备,所述多个基站中每个基站对应的时间戳集合包括和多个探测数据包中每个探测数据包对应的子时间戳集合,每个探测数据包对应的子时间戳集合包括第一发送时间戳、第一接收时间戳、第二发送时间戳和第二接收时间戳,所述第一发送时间戳为所述用户终端发送相应探测数据包的时间戳,所述第一接收时间戳为所述基站接收相应探测数据包的时间戳,所述第二发送时间戳为所述基站发送针对相应探测数据包的响应数据包的时间戳,所述第二接收时间戳为所述用户终端接收所述响应数据包的时间戳;
所述智能家居平台基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备,包括:
对于所述多个基站中任一基站,所述智能家居平台基于所述任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定所述任一基站和所述用户终端之间的距离;
所述智能家居平台基于所述多个基站中每个基站和所述用户终端之间的距离以及所述多个基站的位置信息,确定所述用户终端的位置信息;
所述智能家居平台基于所述用户终端的位置信息和所述N个智能设备中每个智能设备的位置信息,从所述N个智能设备中确定并唤醒所述第一智能设备。
可选地,所述智能家居平台基于所述任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定所述任一基站和所述用户终端之间的距离,包括:
从所述多个探测数据包中选择第一探测数据包和第二探测数据包分别对应的子时间戳集合,所述第一探测数据包和所述第二探测数据包为所述用户终端发送的两个相邻的探测数据包;
基于所述第一探测数据包和所述第二探测数据包分别对应的子时间戳集合,确定第一时长、第二时长、第三时长以及第四时长,所述第一时长为从所述用户终端发送所述第一探测数据包到接收到所述第一探测数据包对应的第一响应数据包之间的时长,所述第二时长为从所述用户终端接收到所述第一响应数据包到发送所述第二探测数据包之间的时长,所述第三时长为从所述任一基站接收所述第一探测数据包到发送所述第一响应数据包之间的时长,所述第四时长为从所述任一基站发送所述第一响应数据包到接收所述第二探测数据包之间的时长;
基于所述第一时长、第二时长、第三时长以及第四时长,通过下述公式确定飞行时间:
其中,所述T指示飞行时间,所述Tround1指示第一时长,所述Tround2指示第四时长,所述Treply1指示第三时长,所述Treply2指示第二时长;
将所述飞行时间和光速之间的乘积作为所述任一基站和所述用户终端之间的距离。
可选地,所述用户终端的位置信息为所述用户终端在所述用户的生活空间图像中的图像坐标,每个智能设备的位置信息为相应智能设备在所述用户的生活空间图像中的图像坐标,所述用户的生活空间图像包括多个图像区域,每个图像区域指示一个房间所对应的位置区域;
所述智能家居平台基于所述用户终端的位置信息和所述N个智能设备中每个智能设备的位置信息,从所述N个智能设备中确定第一智能设备,包括:
基于所述用户终端的位置信息以及所述N个智能设备中每个智能设备的位置信息,从所述多个图像区域中选择与所述用户终端位于同一图像区域的智能设备;
从位于同一图像区域的智能设备中选择与所述用户终端距离最近的智能设备,得到所述第一智能设备。
可选地,所述方法还包括:
所述智能家居平台接收所述用户终端发送的所述生活空间图像,所述生活空间图像中标记有所述多个基站中每个基站的图像坐标、以及所述多个图像区域中每个图像区域的边界图像坐标。
可选地,所述方法还包括:
如果所述N个智能设备中存在两个智能设备采集的唤醒词之间的相似度低于所述相似度阈值,则基于所述N个智能设备中各个智能设备采集的唤醒词,确定清晰度指数最大的唤醒词;
将所述清晰度指数最大的唤醒词对应的智能设备确定为待唤醒的所述第一智能设备。
另一方面,提供了一种智能家居平台,所述智能家居平台为智能语音控制系统中的平台,所述智能语音控制系统还包括用户终端和M个智能设备,所述用户终端为用户当前手持的终端,所述M为正整数;
所述智能家居平台包括处理器,所述处理器用于:
接收所述M个智能设备中N个智能设备发送的唤醒词,所述N为小于或等于所述M的正整数,且所述N大于1;
如果所述N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则向所述用户终端发送定位请求消息,以使所述用户终端向所述智能家居平台发送定位响应消息,所述定位响应消息携带所述用户终端基于超宽带UWB定位技术采集的定位数据,所述定位数据指示所述用户终端的位置信息;
基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备。
可选地,所述处理器还用于:
接收所述第一智能设备采集的语音数据;
确定所述语音数据的语义信息;
基于所述语义信息确定待控制的智能设备的描述信息;
如果所述M个智能设备中符合所述描述信息的智能设备的数量为一个,则基于所述语音数据控制相应智能设备。
可选地,所述处理器还用于:
如果所述M个智能设备中符合所述描述信息的智能设备的数量为多个,则基于所述定位响应消息从所述多个智能设备中确定距离所述用户终端最近的智能设备;
基于所述语音数据控制距离所述用户终端最近的智能设备。
可选地,所述定位响应消息携带和多个基站一一对应的多个时间戳集合,所述多个基站为所述N个智能设备中在参考时间段内位置不变的智能设备,所述多个基站中每个基站对应的时间戳集合包括和多个探测数据包中每个探测数据包对应的子时间戳集合,每个探测数据包对应的子时间戳集合包括第一发送时间戳、第一接收时间戳、第二发送时间戳和第二接收时间戳,所述第一发送时间戳为所述用户终端发送相应探测数据包的时间戳,所述第一接收时间戳为所述基站接收相应探测数据包的时间戳,所述第二发送时间戳为所述基站发送针对相应探测数据包的响应数据包的时间戳,所述第二接收时间戳为所述用户终端接收所述响应数据包的时间戳;
所述处理器还用于:
对于所述多个基站中任一基站,基于所述任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定所述任一基站和所述用户终端之间的距离;
基于所述多个基站中每个基站和所述用户终端之间的距离以及所述多个基站的位置信息,确定所述用户终端的位置信息;
基于所述用户终端的位置信息和所述N个智能设备中每个智能设备的位置信息,从所述N个智能设备中确定并唤醒所述第一智能设备。
可选地,所述处理器还用于:
从所述多个探测数据包中选择第一探测数据包和第二探测数据包分别对应的子时间戳集合,所述第一探测数据包和所述第二探测数据包为所述用户终端发送的两个相邻的探测数据包;
基于所述第一探测数据包和所述第二探测数据包分别对应的子时间戳集合,确定第一时长、第二时长、第三时长以及第四时长,所述第一时长为从所述用户终端发送所述第一探测数据包到接收到所述第一探测数据包对应的第一响应数据包之间的时长,所述第二时长为从所述用户终端接收到所述第一响应数据包到发送所述第二探测数据包之间的时长,所述第三时长为从所述任一基站接收所述第一探测数据包到发送所述第一响应数据包之间的时长,所述第四时长为从所述任一基站发送所述第一响应数据包到接收所述第二探测数据包之间的时长;
基于所述第一时长、第二时长、第三时长以及第四时长,通过下述公式确定飞行时间:
其中,所述T指示飞行时间,所述Tround1指示第一时长,所述Tround2指示第四时长,所述Treply1指示第三时长,所述Treply2指示第二时长;
将所述飞行时间和光速之间的乘积作为所述任一基站和所述用户终端之间的距离。
可选地,所述用户终端的位置信息为所述用户终端在所述用户的生活空间图像中的图像坐标,每个智能设备的位置信息为相应智能设备在所述用户的生活空间图像中的图像坐标,所述用户的生活空间图像包括多个图像区域,每个图像区域指示一个房间所对应的位置区域;
所述处理器还用于:
基于所述用户终端的位置信息以及所述N个智能设备中每个智能设备的位置信息,从所述多个图像区域中选择与所述用户终端位于同一图像区域的智能设备;
从位于同一图像区域的智能设备中选择与所述用户终端距离最近的智能设备,得到所述第一智能设备。
可选地,所述处理器还用于:
接收所述用户终端发送的所述生活空间图像,所述生活空间图像中标记有所述多个基站中每个基站的图像坐标、以及所述多个图像区域中每个图像区域的边界图像坐标。
可选地,所述处理器还用于:
如果所述N个智能设备中存在两个智能设备采集的唤醒词之间的相似度低于所述相似度阈值,则基于所述N个智能设备中各个智能设备采集的唤醒词,确定清晰度指数最大的唤醒词;
将所述清晰度指数最大的唤醒词对应的智能设备确定为待唤醒的所述第一智能设备。
另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述智能家居唤醒方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使得计算机执行上述所述的智能家居唤醒方法的步骤。
本申请实施例提供的技术方案至少可以带来以下有益效果:
在本申请实施例中,智能家居平台接收各个智能设备发送的唤醒词,如果任意两个智能设备发送的唤醒词之间的相似度超过相似度阈值,则表明多个智能设备所采集的唤醒词相似,此时,智能家居平台无法确定待唤醒的设备,这种场景下,为了明确需要唤醒的设备,智能家居平台向用户终端发送定位请求消息,用户终端在接收到该定位请求消息后,则基于UWB定位技术采集定位数据,该定位数据指示用户终端的位置信息,如此,基于UWB技术可以精准确定用户终端的位置信息,在得到用户终端的位置信息后,并向智能家居平台发送携带该用户终端的位置信息的定位响应消息。这样,智能家居平台可以基于定位响应消息中携带的用户终端的位置信息,从多个智能设备中精准确定第一智能设备,该第一智能设备也即是待唤醒的智能设备,从而达到精准唤醒智能设备的作用。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统架构的示意图;
图2是本申请实施例提供的一种生活空间图像的示意图;
图3是本申请实施例提供的一种用户终端的操作流程图;
图4是本申请实施例提供的一种智能家居唤醒方法的流程图;
图5是本申请实施例提供的一种子时间戳集合图;
图6是本申请实施例提供的一种用户终端位置信息的示意图;
图7是本申请实施例提供的一种智能家居唤醒方法的流程图;
图8是本申请实施例提供的一种用户终端的结构示意图;
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的智能家居唤醒方法进行详细的解释说明之前,先对本申请实施例提供的应用场景和系统架构进行介绍。
如今,随着科技的不断发展,越来越多的家居设备出现在人们的生活中,为人们的日常生活提供了便利。而在互联网的影响之下,家居设备开始向智能化的方向发展,形成了以住宅为平台,利用网络通信技术、自动控制技术、音视频技术等将家居生活有关设施集成的智能家居。
智能家居让用户以更方便的手段来管理智能家居中的智能设备。比如,用户可以通过触摸屏、无线遥控器、或语音控制智能设备。其中,用户通过语音控制智能设备的方式适用于智能设备具备智能语音控制功能的场景下,在该场景下时,智能设备配置有语音控制入口和唤醒词,语音控制入口是智能设备上的一软件模块,用于采集用户语音,以得到语音数据。智能设备通过语音控制入口来采集用户语音得到语音数据,并将该语音数据与唤醒词进行匹配,将与用户语音相匹配的唤醒词的智能设备作为待唤醒的智能设备,并基于智能设备的唤醒词来确定待唤醒的智能设备,在确定待唤醒的智能设备后,该待唤醒的智能设备通过语音识别技术识别语音数据中的语义信息,进而根据该语义信息执行用户所发出的指令。
不过,当用户家中具备品牌套系产品,也即是,用户家中有多个具备语音控制入口且唤醒词一致的家居设备时,若用户发出语音用于唤醒并操控某一智能设备,该智能设备记为唤醒设备,由于同一品牌的智能设备的唤醒词一致,此时,可能会出现操控唤醒设备失效或冲突的问题。
基于上述问题,本申请实施例提出了一种智能家居唤醒方法,该方法利用UWB(Ultra Wideband,超宽带)技术来进行精准定位,确定用户终端的位置,智能家居平台根据用户终端的位置实现语音精准采集,精准唤醒智能设备,进而对智能设备进行智能操控,为用户提供优质高效的语音控制体验。
请参考图1,图1是根据一示例性实施例示出的一种系统架构的示意图。该系统架构包括用户终端101、多个智能设备102、以及智能家居平台103。其中,用户终端101分别与智能设备102和智能家居平台103进行通信连接,智能家居平台103还与智能设备102进行通信连接。该通信连接可以为有线或者无线连接,本申请实施例对此不做限定。
其中,用户终端101一方面用于获取用户的生活空间图像,另一方面用于基于UWB技术采集用户终端的位置信息,并将该生活空间图像和用户终端的位置信息都发送至智能家居平台103。另外,智能设备102用于采集用户发出的唤醒词和用于控制智能设备操作的语音,基于语音得到语音数据,并将该唤醒词和语音数据发送至智能家居平台103。
智能家居平台103用于接收用户终端101发送的生活空间图像和用户终端的位置信息、以及智能设备102发送的唤醒词,并基于所接收到的唤醒词确定智能设备102中所要唤醒的智能设备。
另外,图1中的多个智能设备为用户所在的家庭内的多个智能设备。也即,图1所示的系统中的智能设备是以用户家庭为单位的。在一些实施例中,智能家居平台可以为各个智能设备上配置用户家庭标签,用户家庭标签用于唯一标识一个用户家庭,也即将智能设备与用户家庭进行绑定,以便于后续智能家居平台对某个用户家庭中的智能设备进行管理。
其中,用户终端向智能家居平台发送家庭注册请求,该家庭注册请求中携带注册用户家庭的信息,智能家居平台在接收到该家庭注册请求后,即为该用户家庭配置一个用户家庭标签,该用户家庭标签用于唯一标识该用户家庭。
在用户购入智能设备时,用户终端可以向智能家居平台发送标签配置请求,该标签配置请求中携带该智能设备的设备标识,智能家居平台在接收到该标签配置请求后,将该智能设备的设备标识和唯一标识该用户家庭的用户家庭标签建立对应关系,以将该智能设备与用户家庭进行绑定。
此外,在用户终端向智能家居平台发送家庭注册请求时,该家庭注册请求中还可以携带该用户的生活空间图像,以便于后续智能家居平台基于该生活空间图像从多个智能设备中确定唤醒设备,也即是第一智能设备。
其中,该生活空间图像包括多个图像区域以及多个智能设备图像,多个图像区域中每个图像区域指示用户家庭中的一个房间所对应的区域,多个智能设备图像中每个智能设备图像指示一个智能设备。示例地,如图2所示,该生活空间图像中包括用户家庭中的各个房间对应的图像区域以及多个智能设备,如主卧、书房等房间对应的图像区域,电视、空调等智能设备。
此外,用户终端在向智能家居平台发送家庭注册请求时,该家庭注册请求中还携带了多个智能设备中每个智能设备的位置坐标以及多个图像区域中每个图像区域的边界图像坐标。每个智能设备的位置坐标用于表征相应智能设备在生活空间图像中的位置信息,每个图像区域的边界图像坐标用于表征用户家庭中每个房间所在生活空间图像中对应的位置信息。示例地,该边界图像坐标包括二维图像x、y的两个坐标范围,如x坐标从0-100,y坐标从0-100,x、y的这两个坐标范围即体现了一个边界图像坐标。
另外,在智能家居平台对用户家庭和智能设备进行绑定时,智能家居平台还需记录该用户家庭中的多个用户中每个用户的用户信息,每个用户的用户信息包括该用户的用户终端信息、用户的唤醒词等信息。其中,用户终端信息包括该用户终端的标识和该用户终端所支持的功能(如该用户终端是否支持UWB技术)等信息。
智能家居平台在记录用户家庭中各个用户的用户信息时,会将该用户的用户标识、该用户的唤醒词、以及该用户的用户终端信息一一对应记录。以便于后续智能家居平台基于该用户信息确定智能设备发送的唤醒词是用户家庭中的哪个用户发出的、以及确定该用户的用户终端是否支持UWB技术。
如图3所示,用户首先登录用户终端上的智能家居APP(Application,应用程序),在该APP上新建用户家庭,以向智能家居平台发送家庭注册请求,并上传该用户家庭的生活空间图像。然后将该用户家庭的生活空间图像发送至智能家居平台,以便于后续智能家居平台基于该用户家庭的生活空间图像对该用户家庭中的智能设备进行管理。
可选地,用户在该APP上已建家庭后,后续再上传该用户家庭的生活空间图像。
其中,用户终端101可以是任何一种用户手持的,可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如PC(Personal Computer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、掌上电脑PPC(Pocket PC)、平板电脑等。
智能设备102可以是任何一种电器设备,例如智能电视、智能音箱、洗衣机、冰箱、空调等电器设备。
智能家居平台103可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。
此外,本领域技术人员应能理解上述用户终端101、智能设备102以及智能家居平台103仅为举例,其他现有的或今后可能出现的终端或智能设备或智能家居平台如可适用于本申请实施例,也应包含在本申请实施例保护范围以内,并在此以引用方式包含于此。
需要说明的是,图1所示的系统架构是以用户终端101和智能家居平台103为相互独立的设备为例进行说明。可选地,本申请实施例提供的方法也可以应用在集中式的一个终端设备上,该终端设备同时具有上述用户终端101和智能家居平台103的功能,本申请实施例对此不做限定。
接下来对本申请实施例提供的智能家居唤醒方法进行详细的解释说明。
图4是本申请实施例提供的一种智能家居唤醒方法的流程图,该方法应用于智能家居平台。请参考图4,该方法包括如下步骤。
步骤401:智能家居平台接收M个智能设备中N个智能设备发送的唤醒词,N为小于或等于M的正整数,且N大于1。
其中,智能设备是通过智能设备上的语音控制入口来采集用户发出的唤醒词的。当用户发出唤醒词时,各个智能设备都采集唤醒词,由于智能设备与用户之间存在一定距离,这种场景下,可能存在某些智能设备由于距离原因未采集到用户发出的唤醒词的情况。因此,本申请实施例中的N个智能设备为M个智能设备中采集到用户发出的唤醒词的智能设备。
智能家居平台接收N个智能设备中每个智能设备发送的唤醒词,该唤醒词可以是用户发出的语音信息,也可以是智能设备将语音信息提取后的语音特征值。该语音特征值包括用户这段语音的音量大小等信息。也即是,智能家居平台接收N个智能设备中每个智能设备发送的唤醒词的实现过程可以有以下两种。
当语音数据为用户发出的语音信息时,智能家居平台接收N个智能设备中每个智能设备发送的唤醒词的实现过程可以为:当用户发出唤醒词时,N个智能设备中每个智能设备通过各自配置的语音控制入口采集用户发出的唤醒词,也即是语音信息,并将各自采集到的语音信息直接发送至智能家居平台。
当语音数据为经智能设备提取后的语音特征值时,智能家居平台接收N个智能设备中每个智能设备发送的唤醒词的实现过程可以为:当用户发出唤醒词时,N个智能设备中每个智能设备通过各自配置的语音控制入口采集用户发出的唤醒词,也即是语音信息,并分别提取该用户的语音信息,以得到语音特征值。每个智能设备再分别将各自提取的语音特征值发送至智能家居平台。
在智能家居平台接收到N个智能设备发送的唤醒词后,智能家居平台会分别确定N个智能设备中每个智能设备和其他各个智能设备发送的唤醒词之间的相似度。如针对智能设备1,智能家居平台会分别确定智能设备1与N个智能设备中其他每个智能设备采集的唤醒词之间的相似度。
若唤醒词是用户发出的语音信息,则智能家居平台会基于各个语音信息分别确定各个语音信息所对应的语音特征值,再基于各个语音特征值来确定每两个语音特征值之间的相似度。若唤醒词是经智能设备提取后的语音特征值,则智能家居平台确定每两个语音特征值之间的相似度。
为使智能家居平台能够从N个智能设备中精准确定某一智能设备,在得到N个智能设备中每两个智能设备发送的唤醒词之间的相似度后,智能家居平台都会对比这两个智能设备发送的唤醒词之间的相似度与相似度阈值的大小。该相似度阈值可以事先设置,如可以设置相似度阈值为80%。
对于N个智能设备中各个智能设备发送的唤醒词而言,当任意两个智能设备发送的唤醒词之间的相似度超过相似度阈值时,则表明任意两个智能设备发送的唤醒词的差异较小,智能家居平台无法基于唤醒词来确定第一智能设备,此时,智能家居平台首先确定发出该唤醒词所对应的用户,进而确定该用户的用户终端是否支持UWB技术。若发出该唤醒词所对应的用户的用户终端支持UWB技术,则通过下述步骤402-403来确定第一智能设备,步骤402-403后续进行详细描述。
其中,确定发出该唤醒词所对应的用户的实现方式可以为:在用户家庭中的各个用户首次发出唤醒词时,智能家居平台记录各个用户的唤醒词。在后续智能设备发送唤醒词至智能家居平台时,智能家居平台可以通过计算该唤醒词与之前记录的用户家庭中的各个用户的唤醒词之间的相似度,将相似度最高的用户家庭中的唤醒词所对应的用户作为智能设备发送的唤醒词所对应的用户。
若该唤醒词所对应的用户的用户终端不支持UWB技术,则智能家居平台如下述场景“当存在两个智能设备发送的唤醒词之间的相似度低于相似度阈值时”中所述,来确定清晰度指数最大的唤醒词,进而确定第一智能设备。
当存在两个智能设备发送的唤醒词之间的相似度低于相似度阈值时,表明存在两个智能设备发送的唤醒词的差异较大,智能家居平台可以基于唤醒词来确定清晰度指数最大的唤醒词,进而基于清晰度指数最大的唤醒词所对应的智能设备来进行智能控制。
在确定清晰度指数最大的唤醒词时,若唤醒词为用户发出的语音信息时,确定清晰度指数的实现过程可以为:计算语音信息中各个频段上的信噪比,对各频段信噪比进行线性转化至[0,1]以得到各个频段的清晰度,然后基于各个频段对应的清晰度值加权求和确定最终的清晰度指数。
若唤醒词为经智能设备提取后的语音特征值时,确定清晰度指数的实现过程可以为:基于语音特征值中包括的音量大小等信息,对这些信息分别设置权重,该权重用于指示每个信息所占的比例,基于每个信息的权重,将各个信息的值分别乘以相应的权重,将得到的数值再与语音特征值中包括的信息项的数量做商,以得到最终的清晰度指数。
步骤402:如果N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则智能家居平台向用户终端发送定位请求消息,以使用户终端向智能家居平台发送定位响应消息,定位响应消息携带用户终端基于UWB定位技术采集的定位数据,该定位数据指示用户终端的位置信息。
在任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值的情况下,需要精准确定用户终端的位置信息,以根据用户终端的位置信息从N个智能设备中精准确定第一智能设备。
在现有技术中,通常是采用蓝牙、WI-FI(Wireless-Fidelity,无线宽带)、RFID(Radio Frequency Identification,射频识别)等技术来确定用户终端的位置信息。不过,基于采用蓝牙、WI-FI、RFID等技术来确定用户终端的位置信息的方法,定位精度不高,在这种情况下,仍然有大概率造成确定第一智能设备失效或冲突的问题。
因此,在本申请实施例中,用户终端基于UWB定位技术精准确定用户终端的位置信息。UWB技术的基本原理是:多个基站中各个基站和标签之间进行交互,以确定各个基站与标签之间的距离,再基于各个基站与标签之间的距离、以及各个基站的位置信息,确定标签的位置信息。
其中,基站为用户终端向智能家居平台发送的生活空间图像中位置不变的智能设备,基站的位置信息为这些智能设备的位置信息。
在发出该唤醒词所对应的用户的用户终端支持UWB技术的情况下,智能家居平台向该用户终端发送定位请求消息。在用户终端基于UWB技术采集定位数据后,用户终端基于该定位数据生成定位响应消息,并将该定位响应消息发送至智能家居平台。其中,定位数据可以携带和多个基站一一对应的多个时间戳集合。
多个基站中每个基站对应的时间戳集合包括和多个探测数据包中每个探测数据包对应的子时间戳集合,每个探测数据包对应的子时间戳集合包括第一发送时间戳、第一接收时间戳、第二发送时间戳和第二接收时间戳,第一发送时间戳为用户终端发送相应探测数据包的时间戳,第一接收时间戳为基站接收相应探测数据包的时间戳,第二发送时间戳为基站发送针对相应探测数据包的响应数据包的时间戳,第二接收时间戳为用户终端接收响应数据包的时间戳。
其中,当用户终端接收到定位请求消息时,对每个基站都进行下述操作,即可得到各个基站对应的时间戳集合。具体地,各个基站都和用户终端之间进行交互,也即是发送探测数据包,即可得到每个探测数据包对应的子时间戳集合。该探测数据包的数量,本申请实施例对此不作限定。
其中,子时间戳集合如图5所示,以基站和用户终端之间交互第一探测数据包为例来进行说明。用户终端在第一时间向基站发送第一探测数据包,该第一时间记为第一发送时间戳。基站在第二时间接收到该第一探测数据包,该第二时间记为第一接收时间戳,且基站在第三时间向基站发送针对该第一探测数据包的第一响应数据包,该第三时间记为第二发送时间戳。用户终端在第四时间接收到针对该第一探测数据包的第一响应数据包,该第四时间记为第二接收时间戳。如此,基于第一探测数据包得到四个时间戳,也即是得到第一探测数据包对应的子时间戳集合。
其中,基站在向用户终端发送第一响应数据包时,还同时向用户终端发送第一接收时间戳和第二发送时间戳。以便于后续用户终端得到与第一探测数据包对应的子时间戳集合。
步骤403:智能家居平台基于定位响应消息从N个智能设备中唤醒第一智能设备。
当定位响应消息携带和多个基站一一对应的多个时间戳集合时,步骤403的实现过程可以分为以下几个步骤:
步骤一:对于多个基站中任一基站,智能家居平台基于任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定任一基站和用户终端之间的距离。
步骤二:智能家居平台基于多个基站中每个基站和用户终端之间的距离以及多个基站的位置信息,确定用户终端的位置信息。
步骤三:智能家居平台基于用户终端的位置信息和N个智能设备中每个智能设备的位置信息,从N个智能设备中确定第一智能设备。
也就是说,智能家居平台在得到各个基站对应的时间戳集合后,确定任一基站和用户终端之间的距离,然后确定用户终端的位置信息,最后基于用户终端的位置信息和每个智能设备的位置信息,从N个智能设备中确定第一智能设备。
其中,步骤一中确定任一基站和用户终端之间的距离的实现过程可以为:对于任一基站,从该基站与用户终端交互的多个探测数据包中选择第一探测数据包和第二探测数据包分别对应的子时间戳集合,第一探测数据包和第二探测数据包为用户终端发送的两个相邻的探测数据包。基于第一探测数据包和第二探测数据包分别对应的子时间戳集合,确定第一时长、第二时长、第三时长以及第四时长,第一时长为从用户终端发送第一探测数据包到接收到第一探测数据包对应的第一响应数据包之间的时长,第二时长为从用户终端接收到第一响应数据包到发送第二探测数据包之间的时长,第三时长为从该基站接收第一探测数据包到发送第一响应数据包之间的时长,第四时长为从该基站发送第一响应数据包到接收第二探测数据包之间的时长。基于第一时长、第二时长、第三时长以及第四时长,通过下述公式确定飞行时间:
其中,T指示飞行时间,Tround1指示第一时长,Tround2指示第四时长,Treply1指示第三时长,Treply2指示第二时长。将飞行时间和光速之间的乘积作为该基站和用户终端之间的距离。
第一探测数据包和第二探测数据包可以是从多个探测数据包中选择用户终端发送的两个相邻的探测数据包,也即是基于第一探测数据包和第二探测数据包得到一组Tround1、Tround2、Treply1以及Treply2,以根据上述公式确定飞行时间T。
示例地,如图5所示,基站与用户终端进行3次交互,用户终端发起第一次测距消息,即向基站发送第一探测数据包,基站响应,在此过程中得到4个时间戳:第一发送时间戳、第一接收时间戳、第二发送时间戳以及第二接收时间戳,用户终端等待一段时间后再次发起测距消息,也即是向基站发送第二探测数据包,基站接收该第二探测数据包,从而得到2个时间戳:第一发送时间戳和第一接收时间戳,(该第一发送时间戳和第一接收时间戳是针对发送和接收第二探测数据包的时间)。经过该过程,最终得到4个时间差Tround1、Tround2、Treply1以及Treply2。
当然,还可以分别基于多个探测数据包中每两个相邻的探测数据包,得到多个飞行时间T,然后对对该多个T求取均值以确定最终的飞行时间T。在得到最终的飞行时间T后,根据公式d=T·c确定该基站和用户终端之间的距离。其中,d表示该基站和用户终端之间的距离,c表示光速。
对多个基站中每个基站都进行上述操作,即可得到每个基站和用户终端之间的距离。
在步骤一确定每个基站和用户终端之间的距离后,即可根据步骤二确定用户终端的位置信息。
其中,多个基站的位置信息是基于智能家居平台上的生活空间图像得到的,各个基站的位置信息为相应基站在用户的生活空间图像中的图像坐标。
如图6所示,可以以每个基站的位置坐标为中心(如空调、冰箱、洗衣机等智能设备),以相应基站与用户终端之间的距离为半径分别画圆,以得到交点O,该交点O的坐标即为用户终端的位置信息。
在另一些实施例中,定位数据还可以携带移动终端的位置信息,该位置信息为用户终端的位置坐标。这种场景下,由智能家居平台基于用户终端的位置信息和各个智能设备的位置信息确定各个智能设备到用户终端的距离,以便于后续智能家居平台从多个智能设备中确定与用户终端距离最近的第一智能设备。其中,用户终端确定用户终端的位置信息的方式和智能家居平台确定用户终端的位置信息的方式相同,在此不再赘述。
在智能家居平台通过上述两种方式得到用户终端的位置信息后,即可基于步骤三从N个智能设备中确定第一智能设备。其中,步骤三的实现过程可以为:基于用户终端的位置信息以及N个智能设备中每个智能设备的位置信息,从多个图像区域中选择与用户终端位于同一图像区域的智能设备。从位于同一图像区域的智能设备中选择与用户终端距离最近的智能设备,得到第一智能设备。
具体地,在得到用户终端的位置信息后,即可在用户的生活空间图像中标注该用户终端的图像坐标。由于生活空间图像中包括各个图像区域的边界图像坐标,智能家居平台可以基于用户终端的位置信息(位置坐标),来确定用户终端所在的图像区域,也即是,确定用户终端所在的房间。然后智能家居平台基于该图像区域的图像边界坐标,确定所有位置坐标包括在该图像边界坐标所指示的区域中的智能设备,也即是,确定位于该图像区域中的智能设备。
此时,可能出现的结果为:该图像区域中不存在智能设备、该图像区域中只有一个智能设备、以及该图像区域中存在两个及其以上数量的智能设备。
当该图像区域中不存在智能设备时,智能家居平台可以基于N个智能设备中各个智能设备与用户终端的距离,将与用户终端距离最近的智能设备作为第一智能设备。
当该图像区域中只有一个智能设备时,智能家居平台直接将该智能设备作为第一智能设备。
当该图像区域中存在两个及其以上数量的智能设备,智能家居平台可以基于这些智能设备与用户终端的距离,将该图像区域中与用户终端距离最近的智能设备作为第一智能设备。
此外,在N个智能设备中存在两个智能设备发送的唤醒词之间的相似度低于相似度阈值时,将清晰度指数最大的唤醒词对应的智能设备确定为第一智能设备。
另外,在智能家居平台确定并唤醒第一智能设备后,智能家居平台还接收第一智能设备采集的语音数据,并确定该语音数据的语义信息,基于该语义信息确定待控制的智能设备的描述信息,该描述信息包括待控制智能设备的名称和/或位置等信息。
在智能家居平台确定第一智能设备后,该第一智能设备也称为唤醒设备,在智能家居平台唤醒第一智能设备后,该第一智能设备就用于采集用户语音得到语音数据,并将该语音数据发送至智能家居平台,以使智能家居平台确定该语音数据的语义信息,并基于该语义信息确定待控制的智能设备的描述信息,该智能设备用于执行用户语音数据中所指示的操作。
其中,智能家居平台确定该语音数据的语义信息的实现过程可以为:智能家居平台通过语音识别技术提取语音数据中表达语音含义的特征信息,根据特征信息,用最小单元识别字词,并按照不同语音的各自语法,对所识别的字词进行语义分析,并将所识别的字词连接起来组成可用于理解的句子。
在智能家居平台得到该语音数据的语义信息后,基于该语义信息来确定待控制的智能设备的描述信息。示例地,智能家平台处理得到的语义信息可以为“打开空调”,这样,智能家居平台会得到待控制的智能设备的描述信息“空调”,然后会将用户家庭中符合该描述信息的智能设备(空调)作为待控制的智能设备。
此时,如果M个智能设备中符合该描述信息的智能设备的数量为一个,智能家居平台则基于该语音数据控制相应智能设备。
示例地,若第一智能设备为电视,用户发出语音“打开客厅空调”,电视将用户语音转换为语音数据并发送至智能家居平台,智能家居平台读取该语音数据,并基于该语音数据得到语义信息“打开客厅空调”,此时,智能家居平台会基于该语义信息得到待控制的智能设备的描述信息“客厅空调”,并将客厅空调作为待控制的智能设备,使客厅空调执行打开的操作。
此外,如果M个智能设备中符合描述信息的智能设备的数量为多个,智能家居平台则基于定位响应消息从多个智能设备中确定距离用户终端最近的智能设备,并基于该语音数据控制距离用户终端最近的智能设备。
具体地,如果有多个智能设备都能执行用户语音数据中所指示的操作,也即是,用户家庭中有多个具有相同功能的智能设备。此时,智能家居平台基于上述步骤中的定位响应消息,在该多个智能设备中,确定与用户终端距离最近的智能设备。
其中,智能家居平台确定与用户终端距离最近的智能设备的方式与上述在得到用户终端的位置信息后,确定第一智能设备的方式相同,在此不再赘述。
示例地,若第一智能设备为电视,用户发出语音“打开空调”,电视将用户语音转换为语音数据并发送至智能家居平台,智能家居平台读取该语音数据,并基于该语音数据得到语义信息“打开空调”,基于该语义信息得到待控制的智能设备的描述信息“空调”,此时,智能家居平台会基于该描述信息确定用户家庭中的空调,如果用户家庭中有多个空调,智能家居平台则基于定位响应消息中指示的用户终端的位置信息,确定并控制与用户终端距离最近的空调,使该空调执行打开的操作。
下面以图7为例,对上述步骤401-403进一步解释说明。
图7是本申请实施例提供的一种智能家居语音控制方法的流程图。如图7所示,用户发出唤醒词,智能设备采集并发送唤醒词到智能家居平台后,智能家居平台会根据该唤醒词首先判断是用户家庭中哪个用户,并且获取该用户的用户终端信息,并且智能家居平台会对比智能设备发送的唤醒词之间的相似度。
若存在两个智能设备发送的唤醒词之间的相似度低于相似度阈值时,也即是,唤醒词之间的差异大,则从N个智能设备中选择采集的清晰度指数最大的唤醒词的相应的智能设备作为待唤醒的智能设备,也即是第一智能设备。
若N个智能设备中任意两个智能设备发送的唤醒词之间的相似度超过相似度阈值时,也即是,唤醒词之间的差异小,智能家居平台首先确定绑定的用户终端是否支持UWB技术,若用户终端不支持UWB技术,则智能家居平台仍选择清晰度指数最大的唤醒词相应的智能设备作为第一智能设备。
若用户终端支持UWB技术,则智能家居平台基于用户终端的UWB技术确定用户终端的位置信息,并判断是否存在与用户终端位于同一图像区域的智能设备。
若不存在与用户终端位于同一图像区域的智能设备,则智能家居平台将N个智能设备中与用户终端距离最近的智能设备作为第一智能设备。
若存在与用户终端位于同一图像区域的智能设备,则智能家居平台将位于同一图像区域的智能设备中与用户终端距离最近的智能设备作为第一智能设备。
在确定第一智能设备后,智能家居平台基于该第一智能设备采集用户语音,并基于用户语音来控制相应智能设备,以使该智能设备执行用户语音中所指示的操作。
在本申请实施例中,智能家居平台通过各个智能设备采集的唤醒词,对比每两个智能设备发送的唤醒词之间的相似度,在存在两个智能设备发送的唤醒词之间的相似度超过相似度阈值的情况下,智能家居平台基于用户终端支持UWB定位技术,确定用户终端的位置信息,并基于用户终端和各个智能设备的位置信息,从多个智能设备中确定并唤醒第一智能设备。并基于该第一智能设备采集的用户语音,精准控制相应智能设备,以使该智能设备执行用户语音所指示的操作。
本申请实施例提供了一种智能家居平台,该智能家居平台为智能语音控制系统中的平台,智能语音控制系统还包括用户终端和M个智能设备,用户终端为用户当前手持的终端,M为正整数。该智能家居平台包括:第一接收模块、发送模块和第一确定模块。
第一接收模块,用于接收M个智能设备中N个智能设备发送的唤醒词,N为小于或等于M的正整数,且N大于1;
发送模块,用于如果N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则向用户终端发送定位请求消息,以使用户终端向智能家居平台发送定位响应消息,定位响应消息携带用户终端基于超宽带UWB定位技术采集的定位数据,定位数据指示用户终端的位置信息;
第一确定模块,用于基于定位响应消息从N个智能设备中唤醒第一智能设备。
可选地,智能家居平台还包括:
第二接收模块,用于接收第一智能设备采集的语音数据;
第二确定模块,用于确定语音数据的语义信息;
第三确定模块,用于基于语义信息确定待控制的智能设备的描述信息;
第一控制模块,用于如果M个智能设备中符合描述信息的智能设备的数量为一个,则基于语音数据控制相应智能设备。
可选地,智能家居平台还包括:
第四确定模块,用于如果M个智能设备中符合描述信息的智能设备的数量为多个,则基于定位响应消息从多个智能设备中确定距离用户终端最近的智能设备;
第二控制模块,用于基于语音数据控制距离用户终端最近的智能设备。
可选地,定位响应消息携带和多个基站一一对应的多个时间戳集合,多个基站为N个智能设备中在参考时间段内位置不变的智能设备,多个基站中每个基站对应的时间戳集合包括和多个探测数据包中每个探测数据包对应的子时间戳集合,每个探测数据包对应的子时间戳集合包括第一发送时间戳、第一接收时间戳、第二发送时间戳和第二接收时间戳,第一发送时间戳为用户终端发送相应探测数据包的时间戳,第一接收时间戳为基站接收相应探测数据包的时间戳,第二发送时间戳为基站发送针对相应探测数据包的响应数据包的时间戳,第二接收时间戳为用户终端接收响应数据包的时间戳;
第一确定模块,包括:
第一确定子模块,用于对于多个基站中任一基站,基于任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定任一基站和用户终端之间的距离;
第二确定子模块,用于基于多个基站中每个基站和用户终端之间的距离以及多个基站的位置信息,确定用户终端的位置信息;
第三确定子模块,用于基于用户终端的位置信息和N个智能设备中每个智能设备的位置信息,从N个智能设备中确定并唤醒第一智能设备。
可选地,第一确定子模块用于:
从多个探测数据包中选择第一探测数据包和第二探测数据包分别对应的子时间戳集合,第一探测数据包和第二探测数据包为用户终端发送的两个相邻的探测数据包;
基于第一探测数据包和第二探测数据包分别对应的子时间戳集合,确定第一时长、第二时长、第三时长以及第四时长,第一时长为从用户终端发送第一探测数据包到接收到第一探测数据包对应的第一响应数据包之间的时长,第二时长为从用户终端接收到第一响应数据包到发送第二探测数据包之间的时长,第三时长为从任一基站接收第一探测数据包到发送第一响应数据包之间的时长,第四时长为从任一基站发送第一响应数据包到接收第二探测数据包之间的时长;
基于第一时长、第二时长、第三时长以及第四时长,通过下述公式确定飞行时间:
其中,T指示飞行时间,Tround1指示第一时长,Tround2指示第四时长,Treply1指示第三时长,Treply2指示第二时长;
将飞行时间和光速之间的乘积作为任一基站和用户终端之间的距离。
可选地,用户终端的位置信息为用户终端在用户的生活空间图像中的图像坐标,每个智能设备的位置信息为相应智能设备在用户的生活空间图像中的图像坐标,用户的生活空间图像包括多个图像区域,每个图像区域指示一个房间所对应的位置区域;
第三确定子模块用于:
基于用户终端的位置信息以及N个智能设备中每个智能设备的位置信息,从多个图像区域中选择与用户终端位于同一图像区域的智能设备;
从位于同一图像区域的智能设备中选择与用户终端距离最近的智能设备,得到第一智能设备。
可选地,智能家居平台还包括:
第三接收模块,用于接收用户终端发送的生活空间图像,生活空间图像中标记有多个基站中每个基站的图像坐标、以及多个图像区域中每个图像区域的边界图像坐标。
可选地,智能家居平台还包括:
第五确定模块,用于如果N个智能设备中存在两个智能设备采集的唤醒词之间的相似度低于相似度阈值,则基于N个智能设备中各个智能设备采集的唤醒词,确定清晰度指数最大的唤醒词;
第六确定模块,用于将清晰度指数最大的唤醒词对应的智能设备确定为待唤醒的第一智能设备。
在本申请实施例中,智能家居平台通过各个智能设备采集的唤醒词,对比每两个智能设备发送的唤醒词之间的相似度,在存在两个智能设备发送的唤醒词之间的相似度超过相似度阈值的情况下,智能家居平台基于用户终端支持UWB定位技术,确定用户终端的位置信息,并基于用户终端和各个智能设备的位置信息,从多个智能设备中确定并唤醒第一智能设备。并基于该第一智能设备采集的用户语音,精准控制相应智能设备,以使该智能设备执行用户语音所指示的操作。
需要说明的是:上述实施例提供的智能家居平台在唤醒智能设备时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的智能家居平台与智能家居唤醒方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是本申请实施例提供的一种用户终端800的结构框图。通常,用户终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的智能家居语音控制方法。
在一些实施例中,用户终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
本领域技术人员可以理解,图8中示出的结构并不构成对用户终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图9是本申请实施例提供的一种服务器的结构示意图。服务器900包括中央处理单元(CPU)901、包括随机存取存储器(RAM)902和只读存储器(ROM)903的系统存储器904,以及连接系统存储器904和中央处理单元901的系统总线905。服务器900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)906,和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。大容量存储设备907及其相关联的计算机可读介质为服务器900提供非易失性存储。也就是说,大容量存储设备907可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请的各种实施例,服务器900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器900可以通过连接在系统总线905上的网络接口单元911连接到网络912,或者说,也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中智能家居语音控制方法的步骤。例如,所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请实施例提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的智能家居语音控制方法的步骤。
应当理解的是,本文提及的“至少一个”是指一个或多个,“多个”是指两个或两个以上。在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
可以理解的是,在本申请的具体实施例方式中,涉及到用户生活空间图像等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种智能家居唤醒方法,其特征在于,所述方法由智能语音控制系统中的智能家居平台执行,所述智能语音控制系统还包括用户终端和M个智能设备,所述用户终端为用户当前手持的终端,所述M为正整数;
所述方法包括:
所述智能家居平台接收所述M个智能设备中N个智能设备发送的唤醒词,所述N为小于或等于所述M的正整数,且所述N大于1;
如果所述N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则所述智能家居平台向所述用户终端发送定位请求消息,以使所述用户终端向所述智能家居平台发送定位响应消息,所述定位响应消息携带所述用户终端基于超宽带UWB定位技术采集的定位数据,所述定位数据指示所述用户终端的位置信息;
所述智能家居平台基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备。
2.如权利要求1所述的方法,其特征在于,所述智能家居平台基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备之后,所述方法还包括:
所述智能家居平台接收所述第一智能设备采集的语音数据;
所述智能家居平台确定所述语音数据的语义信息;
所述智能家居平台基于所述语义信息确定待控制的智能设备的描述信息;
如果所述M个智能设备中符合所述描述信息的智能设备的数量为一个,则所述智能家居平台基于所述语音数据控制相应智能设备。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
如果所述M个智能设备中符合所述描述信息的智能设备的数量为多个,所述智能家居平台则基于所述定位响应消息从所述多个智能设备中确定距离所述用户终端最近的智能设备;
所述智能家居平台基于所述语音数据控制距离所述用户终端最近的智能设备。
4.如权利要求1所述的方法,其特征在于,所述定位响应消息携带和多个基站一一对应的多个时间戳集合,所述多个基站为所述N个智能设备中在参考时间段内位置不变的智能设备,所述多个基站中每个基站对应的时间戳集合包括和多个探测数据包中每个探测数据包对应的子时间戳集合,每个探测数据包对应的子时间戳集合包括第一发送时间戳、第一接收时间戳、第二发送时间戳和第二接收时间戳,所述第一发送时间戳为所述用户终端发送相应探测数据包的时间戳,所述第一接收时间戳为所述基站接收相应探测数据包的时间戳,所述第二发送时间戳为所述基站发送针对相应探测数据包的响应数据包的时间戳,所述第二接收时间戳为所述用户终端接收所述响应数据包的时间戳;
所述智能家居平台基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备,包括:
对于所述多个基站中任一基站,所述智能家居平台基于所述任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定所述任一基站和所述用户终端之间的距离;
所述智能家居平台基于所述多个基站中每个基站和所述用户终端之间的距离以及所述多个基站的位置信息,确定所述用户终端的位置信息;
所述智能家居平台基于所述用户终端的位置信息和所述N个智能设备中每个智能设备的位置信息,从所述N个智能设备中确定并唤醒所述第一智能设备。
5.如权利要求4所述的方法,其特征在于,所述智能家居平台基于所述任一基站对应的时间戳集合中包括的和多个探测数据包中每个探测数据包对应的子时间戳集合,确定所述任一基站和所述用户终端之间的距离,包括:
从所述多个探测数据包中选择第一探测数据包和第二探测数据包分别对应的子时间戳集合,所述第一探测数据包和所述第二探测数据包为所述用户终端发送的两个相邻的探测数据包;
基于所述第一探测数据包和所述第二探测数据包分别对应的子时间戳集合,确定第一时长、第二时长、第三时长以及第四时长,所述第一时长为从所述用户终端发送所述第一探测数据包到接收到所述第一探测数据包对应的第一响应数据包之间的时长,所述第二时长为从所述用户终端接收到所述第一响应数据包到发送所述第二探测数据包之间的时长,所述第三时长为从所述任一基站接收所述第一探测数据包到发送所述第一响应数据包之间的时长,所述第四时长为从所述任一基站发送所述第一响应数据包到接收所述第二探测数据包之间的时长;
基于所述第一时长、第二时长、第三时长以及第四时长,通过下述公式确定飞行时间:
其中,所述T指示飞行时间,所述Tround1指示第一时长,所述Tround2指示第四时长,所述Treply1指示第三时长,所述Treply2指示第二时长;
将所述飞行时间和光速之间的乘积作为所述任一基站和所述用户终端之间的距离。
6.如权利要求4所述的方法,其特征在于,所述用户终端的位置信息为所述用户终端在所述用户的生活空间图像中的图像坐标,每个智能设备的位置信息为相应智能设备在所述用户的生活空间图像中的图像坐标,所述用户的生活空间图像包括多个图像区域,每个图像区域指示一个房间所对应的位置区域;
所述智能家居平台基于所述用户终端的位置信息和所述N个智能设备中每个智能设备的位置信息,从所述N个智能设备中确定第一智能设备,包括:
基于所述用户终端的位置信息以及所述N个智能设备中每个智能设备的位置信息,从所述多个图像区域中选择与所述用户终端位于同一图像区域的智能设备;
从位于同一图像区域的智能设备中选择与所述用户终端距离最近的智能设备,得到所述第一智能设备。
7.如权利要求5所述的方法,其特征在于,所述方法还包括:
所述智能家居平台接收所述用户终端发送的所述生活空间图像,所述生活空间图像中标记有所述多个基站中每个基站的图像坐标、以及所述多个图像区域中每个图像区域的边界图像坐标。
8.如权利要求1-7任一所述的方法,其特征在于,所述方法还包括:
如果所述N个智能设备中存在两个智能设备采集的唤醒词之间的相似度低于所述相似度阈值,则基于所述N个智能设备中各个智能设备采集的唤醒词,确定清晰度指数最大的唤醒词;
将所述清晰度指数最大的唤醒词对应的智能设备确定为待唤醒的所述第一智能设备。
9.一种智能家居平台,其特征在于,所述智能家居平台为智能语音控制系统中的平台,所述智能语音控制系统还包括用户终端和M个智能设备,所述用户终端为用户当前手持的终端,所述M为正整数;
所述智能家居平台包括处理器,所述处理器用于:
接收所述M个智能设备中N个智能设备发送的唤醒词,所述N为小于或等于所述M的正整数,且所述N大于1;
如果所述N个智能设备中任意两个智能设备采集的唤醒词之间的相似度超过相似度阈值,则向所述用户终端发送定位请求消息,以使所述用户终端向所述智能家居平台发送定位响应消息,所述定位响应消息携带所述用户终端基于超宽带UWB定位技术采集的定位数据,所述定位数据指示所述用户终端的位置信息;
基于所述定位响应消息从所述N个智能设备中唤醒第一智能设备。
10.如权利要求9所述的智能家居平台,其特征在于,所述处理器用于:
接收所述第一智能设备采集的语音数据;
确定所述语音数据的语义信息;
基于所述语义信息确定待控制的智能设备的描述信息;
如果所述M个智能设备中符合所述描述信息的智能设备的数量为一个,则基于所述语音数据控制相应智能设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210002075.8A CN114373459A (zh) | 2022-01-04 | 2022-01-04 | 智能家居唤醒方法及智能家居平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210002075.8A CN114373459A (zh) | 2022-01-04 | 2022-01-04 | 智能家居唤醒方法及智能家居平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114373459A true CN114373459A (zh) | 2022-04-19 |
Family
ID=81141879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210002075.8A Pending CN114373459A (zh) | 2022-01-04 | 2022-01-04 | 智能家居唤醒方法及智能家居平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114373459A (zh) |
-
2022
- 2022-01-04 CN CN202210002075.8A patent/CN114373459A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106407984B (zh) | 目标对象识别方法及装置 | |
US20130300546A1 (en) | Remote control method and apparatus for terminals | |
US9911417B2 (en) | Internet of things system with voice-controlled functions and method for processing information of the same | |
US11880410B2 (en) | Systems and methods for proactive information discovery with multiple senses | |
CN112346845B (zh) | 编码任务的调度方法、装置、设备及存储介质 | |
CN113506568B (zh) | 中控及智能设备控制方法 | |
CN112739507B (zh) | 一种交互沟通实现方法、设备和存储介质 | |
WO2023273463A1 (zh) | 流量套餐获取方法、装置、终端及存储介质 | |
CN109388238A (zh) | 一种电子设备的控制方法及装置 | |
US20190394247A1 (en) | Conference system, conference server, and program | |
CN106843882B (zh) | 一种信息处理方法、装置及信息处理系统 | |
CN112863545B (zh) | 性能测试方法、装置、电子设备及计算机可读存储介质 | |
CN114373459A (zh) | 智能家居唤醒方法及智能家居平台 | |
CN116668580B (zh) | 场景识别的方法、电子设备及可读存储介质 | |
CN116861198A (zh) | 数据处理方法、装置及存储介质 | |
CN110797983B (zh) | 充电管控方法、装置、存储介质及充电设备 | |
CN116129942A (zh) | 语音交互设备和语音交互方法 | |
CN111314177B (zh) | 一种基于无线信号的作息时段识别方法以及相关装置 | |
CN112948763B (zh) | 件量预测方法、装置、电子设备及存储介质 | |
CN114065056A (zh) | 学习方案推荐方法、服务器及系统 | |
CN114065168A (zh) | 信息处理方法、智能终端及存储介质 | |
CN111091827A (zh) | 语音导览方法及装置、终端和计算机可读存储介质 | |
CN110807330A (zh) | 语义理解模型评估方法、装置及存储介质 | |
CN116564312B (zh) | 设备控制方法、装置、电子设备及可读存储介质 | |
CN115035894B (zh) | 一种设备响应方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |