CN117406611A - 电子设备交互方法、系统、终端和可读存储介质 - Google Patents
电子设备交互方法、系统、终端和可读存储介质 Download PDFInfo
- Publication number
- CN117406611A CN117406611A CN202210804193.0A CN202210804193A CN117406611A CN 117406611 A CN117406611 A CN 117406611A CN 202210804193 A CN202210804193 A CN 202210804193A CN 117406611 A CN117406611 A CN 117406611A
- Authority
- CN
- China
- Prior art keywords
- terminal
- sound signal
- sound
- trend
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims description 11
- 230000005236 sound signal Effects 0.000 claims abstract description 248
- 230000033001 locomotion Effects 0.000 claims abstract description 146
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000002452 interceptive effect Effects 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims description 116
- 230000015654 memory Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 239000010410 layer Substances 0.000 description 20
- 230000009471 action Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Abstract
一种电子设备交互方法,包括:终端向周围的电子设备发送交互请求;终端获取终端在移动过程中的运动数据;以及,接收电子设备响应于交互请求所发送的声音信号;基于声音信号和运动数据,终端从电子设备中确定目标设备;其中,目标设备为电子设备中的一个。本申请方案可以使智能家居系统中的终端能够根据用户的交互手势快速、准确地选择出需要交互控制的智能家居设备,用户操作简单。本申请方案的场景适应性更强,能够使终端支持在各种距离下选择目标设备连接以进行相应的控制操作,用户体验更佳。
Description
技术领域
本申请涉及智能家居技术领域,具体涉及一种电子设备交互方法、系统、终端和可读存储介质。
背景技术
随着物联网技术的不断发展,如智能电视、大屏设备、扫地机器人、智能空调、智能灯具、智能插座等智能家居设备越来越多。除了通过对应的遥控器对智能家居设备进行控制外,用户通常还使用手机等手持终端来对智能家居设备进行控制。但是目前用户使用手持终端选择需要控制的智能家居设备,需要通过靠近、碰一碰或者扫一扫等操作方式发现目标设备并建立控制连接,操作比较繁琐。
发明内容
本申请实施例提供了一种电子设备交互方法、系统、终端和可读存储介质,其中该方法可以使智能家居系统中的终端能够根据用户的交互手势快速、准确地选择出需要交互控制的智能家居设备,用户操作简单。
第一方面,本申请实施例提供了一种电子设备交互方法,应用于终端中,该方法包括:终端向周围的电子设备发送交互请求;终端获取终端在移动过程中的运动数据;以及,接收电子设备响应于交互请求所发送的声音信号;基于声音信号和运动数据,终端从电子设备中确定目标设备;其中,目标设备为电子设备中的一个。
上述终端例如可以是智能家居系统中的控制终端,例如手机等。上述电子设备例如可以是智能家居系统中的智能家居设备。终端可以在检测到用户需要选择某个智能家居设备进行控制操作时,向周围在网的各智能家居设备发送交互请求。各智能家居设备在接收到终端发来的交互请求后,可以发出声音信号作为反馈。进而,终端可以根据检测到的自身的运动数据以及接收到的各智能家居设备发来的声音信号,从周围的各智能家居设备中确定出用户意图控制的目标设备,以简化对智能家居设备的控制操作。
在上述第一方面的一种可能的实现中,上述方法还包括:终端向周围的电子设备发送交互请求,包括:终端检测到用于触发交互控制的第一操作,向周围的电子设备发送交互请求。
在上述第一方面的一种可能的实现中,第一操作包括:作用于终端上预设控件的操作,其中预设控件用于对连接的电子设备进行控制操作;运行终端上安装的第一应用的操作,其中第一应用具有对电子设备进行控制操作的功能。
即终端可以在检测到用于触发交互控制的用户操作时向周围在网的各智能家居设备发送交互请求。上述预设控件例如可以是手机的下拉菜单的NFC功能控件、或者手机上预设的用于启动交互控制功能的按钮;上述第一应用例如可以是手机上安装的某个具有控制功能的应用程序,例如智慧生活等。在另一些实施例中,上述第一操作还可以是其他用于触发交互控制的用户操作,在此不做限制。
在上述第一方面的一种可能的实现中,终端包括运动检测元件,终端通过以下方式获取运动数据:终端检测到终端选择目标设备的第二操作;终端基于运动检测元件采集第二操作期间的运动数据,其中第二操作期间为第二操作开始时刻至结束时刻的时间段。
即终端可以在检测到用户选择目标设备的操作开始时,通过运动检测元件来采集自身的运动数据。当终端检测到用户选择目标设备的操作结束时,则可以停止采集运动数据。上述第二操作例如可以是用户携带该终端进行的具有指向性的操作,比如下文具体实施方式中图1所示的“招一招”手势等,在此不做限制。具体终端采集第二操作期间运动数据的过程,可以参考下文实施例1中步骤504或实施例2中步骤904的相关描述,在此不做赘述。
上述运动检测元件例如可以是IMU等,基于运动检测元件采集到的运动数据例如可以包括加速度数据和三轴姿态角数据。
在上述第一方面的一种可能的实现中,接收电子设备响应于交互请求所发送的声音信号,包括:终端接收第一电子设备响应于交互请求所发送的第一声音信号,第一声音信号的时长大于或等于第二操作期间;终端接收第二电子设备响应于交互请求所发送的第二声音信号,第二声音信号的时长大于或等于第二操作期间。
在上述第一方面的一种可能的实现中,基于声音信号和运动数据,终端从电子设备中确定目标设备,包括:终端确定第一声音信号的变化趋势和变化程度;终端确定第二声音信号的变化程度;终端确定自身的运动趋势;当第一声音信号的变化程度大于第二声音信号的变化程度、并且运动趋势与第一声音信号变化的趋势相匹配,确定第一电子设备为目标设备。
即终端可以根据采集到的运动数据和第二操作期间接收到的各智能家居设备发出的声音信号,先从各智能家居设备中确定出声音信号的变化强度较大的一个或多个智能家居设备为备选的目标设备,再从备选的目标设备中确定声音信号变化趋势与终端的运动趋势更匹配的智能家居设备为目标设备。即将声音信号变化程度更大且声音信号变化趋势与终端的运动趋势更匹配的智能家居设备确定为目标设备。
可以理解,如果终端在第二操作开始之前已经接收到智能家居设备发来的声音信号,则终端接收到的各声音信号的时长大于第二操作期间。对于此种情形,终端可以对接收到的各声音信号截取处于第二操作期间的信号片段来确定相应声音信号的变化趋势和变化程度。例如,终端可以对接收到的上述第一声音信号截取第二操作期间的信号片段,再根据该声音片段确定第一声音信号的变化趋势和变化程度。如此,可以减少终端对声音信号的处理量,提高处理效率。
可以理解,如果终端在第二操作开始时接收智能家居设备发来的声音信号,则终端接收到的各声音信号的时长等于第二操作期间。对于此种情形,终端则可以直接利用接收到的声音信号确定各声音信号的变化程度等。在此不做限制。
在上述第一方面的一种可能的实现中,第一声音信号变化的趋势包括第一声音信号的频率变化趋势,并且,确定第一声音信号变化的趋势与终端的运动趋势相匹配,包括:根据获取到的运动数据确定的速度变化趋势,模拟目标设备发来的声音信号的频率变化趋势;将模拟的目标设备的声音信号的频率变化趋势与第一声音信号的频率变化趋势进行相似度分析;当相似度高于预设的相似度阈值,则确定第一声音信号变化的趋势与终端的运动趋势相匹配。
即终端接收到的各声音信号的变化趋势例如可以是各声音信号的频率变化趋势。该频率变化趋势例如可以通过下文具体实施方式中图8a或图8b的频移曲线描绘。
在上述第一方面的一种可能的实现中,终端确定第一声音信号的变化趋势和变化程度,包括:终端对第一声音信号提取第一频移特征;终端根据第一频移特征的值随时间变化的趋势确定第一声音信号的变化趋势,并根据第一频移特征的值的大小确定第一声音信号的变化程度。
在上述第一方面的一种可能的实现中,终端确定第二声音信号的变化程度,包括:终端对第二声音信号提取第二频移特征;终端根据第二频移特征的值的大小确定第二声音信号的变化程度。
可以理解,上述频移特征为声音信号的一种音频变化特征。各声音信号的音频变化特征还可以包括强度变化特征等,在此不做限制。
可以理解,终端接收到的各声音信号的变化是由上述第二操作所引起的终端与各智能家居设备之间的距离变化导致。因此,终端截取的第二操作期间的各信号片段即可以确定第二操作引起的接收到的各声音信号的变化趋势和变化程度。
上述音频变化特征的值随时间变化的趋势例如可以参考下文具体实施方式中图8a或图8b所示的频移曲线走势。可以理解,在一些实施例中,如果终端提取的音频变化特征包括频移特征和强度变化特征,则上述根据音频变化特征的值的大小确定第一声音信号或第二声音信号变化的程度时,可以综合频移特征的值和强度变化特征的值来确定。在另一些实施例中,终端对截取的信号片段提取得到的音频变化特征也可以是其他能够描述声音信号变化趋势及程度的特征,在此不做限制。
在上述第一方面的一种可能的实现中,方法还包括:终端通过第一收声元件和第二收声元件接收声音信号;第一收声元件位于终端的第一端,第二收声元件位于终端的第二端且远离第一端;根据第一收声元件和第二收声元件接收到第一声音信号的时间差,终端确定第一电子设备相对于终端的第一方位角度;终端根据前端的收声元件和后端的收声元件接收到第二声音信号的时间差,计算确定第二电子设备相对于终端的第二方位角度。
上述终端的第一端例如可以是下文实施例中描述的手机的前端,第一收声元件例如是手机前端的麦克风。上述终端的第二端例如可以是下文实施例中描述的手机的后端,第二收声元件例如是手机后端的麦克风。
在上述第一方面的一种可能的实现中,基于声音信号和运动数据,终端从电子设备中确定目标设备,包括:终端根据运动数据对第一方位角度进行角度校准,得到第三方位角度;终端根据运动数据对第二方位角度进行角度校准,得到第四方位角度;终端确定第一声音信号的变化程度和第二声音信号的变化程度;当第三方位角度小于第四方位角度、并且第一声音信号的变化程度大于第二声音信号的变化程度,则确定第一电子设备为目标设备。
即终端可以根据设置在不同位置的收声元件接收到各智能家居设备发出的声音信号的时间差,初步计算出各智能家居设备相对于该终端的方位角度,例如上述对应于第一电子设备的第一方位角度和对应于第二电子设备的第二方位角度。然后,该终端可以根据运动检测元件采集的运动数据确定对上述各方位角度的运动补偿程度,校准各智能家居设备相对于该终端的方位角度。之后,终端可以判断校准后的方位角度最小的一个或多个智能家居设备,并判断声音信号变化程度最小的一个智能家居设备作为目标设备。
可以理解,上述收声元件例如可以是麦克风。在另一些实施例中,该收声元件也可以是预设在终端上的超声装置等,在此不做限制。
在上述第一方面的一种可能的实现中,第二操作包括下列中的任一项:用户手持终端指向目标设备后向靠近身体的方向连续挥动至少两次的手势;用户手持终端指向目标设备并翻转终端的手势;用户手持终端指向目标设备并向远离身体的方向移动的手势。
在上述第一方面的一种可能的实现中,声音信号包括:声音频率在18KHz至20KHz之间的音频信号,或者,声音频率在20KHz至24KHz之间的超声波信号。
可以理解,声音频率在18KHz至24KHz之间的声音信号,用户一般不会感知。因此,各智能家居设备响应于终端发出的交互请求所发出的声音信号不会给用户带来噪声污染。
第二方面,本申请实施例提供了一种终端,包括:一个或多个处理器;一个或多个存储器;一个或多个存储器存储有一个或多个程序,当一个或者多个程序被一个或多个处理器执行时,使得电子设备执行上述第一方面提供的电子设备交互方法。
第三方面,本申请实施例提供了一种智能家居系统,其特征在于,包括:电子设备以及上述终端;电子设备用于响应终端发送的交互请求发出声音信号。
第四方面,本申请实施例提供了一种计算机可读存储介质,存储介质上存储有指令,指令在计算机上执行时使计算机执行上述第一方面提供的电子设备交互方法。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面提供的电子设备交互方法。
附图说明
图1示出了一种智能家居场景中选择交互设备的应用场景示意图。
图2所示为本申请实施例提供的一种终端与智能家居设备的交互过程示意图。
图3所示为本申请实施例提供的根据本申请实施例示出了一种智能家居系统的组成示意图。
图4所示为本申请实施例提供的一种手机的结构示意图。
图5所示为本申请实施例1提供的一种电子设备交互方法的实施流程示意图。
图6所示为本申请实施例1提供的一种终端截取t1至t2期间各智能家居设备发来的声音信号的过程示意图。
图7所示为本申请实施例1提供的一种智能家居设备与终端之间的相对方位示意图。
图8a所示为本申请实施例1提供的一种频移曲线比较示意图。
图8b所示为本申请实施例1提供的另一种频移曲线比较示意图。
图9所示为本申请实施例2提供的一种电子设备交互方法的实施流程示意图。
图10所示为本申请实施例2提供的一种手机根据接收到的声音信号计算智能家居设备所在方位角度的原理示意图。
图11所示为本申请实施例提供的一种手机根据各智能家居设备发来的声音信号确定的各智能家居设备相对于终端的方位角度示意图。
图12所示为本申请实施例提供的一种设备交互系统的各物理单元与功能单元之间的关联关系示意图。
图13所示为本申请实施例提供的一种手机的软件系统架构示意框图。
图14所示为本申请实施例提供的一种智能家居设备的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合说明书附图以及具体的实施方式对本申请实施例中的技术方案进行详细的说明。
首先对本申请实施例涉及的一些基本概念进行介绍,以便本领域技术人员理解。
(1)智能家居:是以住宅为平台,利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成,构建高效的住宅设施与家庭日程事务的管理系统。
(2)智能家居设备:指应用在智能家居中的各种电子设备,比如可以为智能防盗系列产品,智能防盗系列产品,主要通过各种报警器、探测器相互协调,在布放状态下触发报警信息,起到安全防盗的作用。还可以为智能照明类产品,用户可直接通过手机、平板电脑等终端轻松查看和控制家中照明设备的开关状态。也可以为家电控制类产品,智能家电控制器,可以将红外无线信号关联起来,通过终端来控制任何使用红外遥控器的设备,例如电视、空调、电动窗帘等。另外还可以为空气质量传感器,用户可以在终端的APP上方便地查看空气质量传感器监控到的室内温湿度、环境情况,并可联动家中其他用电设备改善室内环境,为用户提供更好享受。还可以是手机智能门锁,用户只需拿出手机、平板电脑等终端,输入密码,即可实现自动开锁。同时,用户还可以为家人或访客远程开锁。
(3)声音的频移,又称多普勒频移,简称频移。当发射源与接收体之间存在相对运动时,接收体接收的发射源发射的声音信号的频率与发射源发射的声音信号频率之间存在差异,这种现象称为多普勒效应。其中接收频率与发射频率之差称为多普勒频移。
(4)惯性测量单元(Inertial Measurement Unit,IMU),它由三个单轴的加速度计和三个单轴的陀螺仪组。其中,加速度计检测物体在载体坐标系统独立三轴的加速度信号,而陀螺仪检测载体相对于导航坐标系的角速度信号。对检测到的这些信号进行处理之后,便可解算出物体的姿态。
图1根据本申请实施例示出了一种智能家居场景中选择交互设备的应用场景示意图。
如图1所示,该智能家居场景包括手机100和多个智能家居设备,即设备A、设备B和设备C等。该手机100是用户的手持终端。
在图1所示的场景中,例如用户意图对设备B进行控制,但设备B目前与用户手持的手机100之间距离较远,此时用户无法将手机100靠近设备B碰一碰、或者使用手机100扫一扫设备B,以与设备B建立连接并实现对设备B的控制。而且此种情形下,如果利用手机100的投屏、分享等功能实现对设备B的远程控制,又需要用户在手机100上进行多次点击操作,繁琐复杂。
为了解决目前远程选择交互设备操作复杂、且无法快捷、准确地选择交互设备的问题,本申请实施例提供了一种电子设备交互方法,应用于智能家居系统中的终端。
具体地,终端在需要对各智能家居设备进行控制操作时,可以运行能够触发交互控制的应用程序或者开启相应的功能按键等,以向周围在网的各智能家居设备发送交互请求。各智能家居设备则可以响应于接收到的交互请求向该终端发送声音信号。进而,用户可以携带该终端向需控制的智能家居设备执行预设的交互手势,该终端在检测到用户执行的交互手势时检测各智能家居设备发来的声音信号的变化。根据各声音信号的变化趋势、以及用户执行的预设交互手势引起终端运动所对应的运动数据,该终端则可以选择出用户意图控制的目标设备。其中,该目标设备为从各智能家居设备中选择出的、用户意图控制的电子设备,在网的各智能家居设备是指此时与上述终端接入同一物联网下的各智能家居设备。
例如,终端可以在检测到某一声音信号变化的趋势与用户执行的交互手势导致的终端运动的趋势相匹配或者相近时,将发出该声音信号的智能家居设备确定为目标设备。又例如,终端也可以根据检测到的上述运动数据校准基于接收到的各声音信号确定的各智能家居设备所在方位角度,进而终端可以根据校准后的方位角度以及检测到声音信号变化的趋势选择出目标设备。其中,选择出的目标设备对应的校准后的方位角度最小并且声音信号变化趋势也最为明显。
其中,终端可以在检测到用于触发交互控制的第一操作时,确认需要对各智能家居设备进行控制操作。该第一操作可以包括图形界面(Graphical UserInterface,GUI)操作、语音界面(Voice User Interface,VUI)操作、或者预设的交互手势等。例如,用户可以在手机100的桌面下拉菜单中通过开启NFC功能或者预设的用于启动交互控制功能的按钮、或者打开某个具有控制功能的应用程序的界面等,来触发手机100向周围在网的各智能家居设备发送交互请求。
各智能家居设备发来的声音信号,例如可以是频率在18KHz至20KHz之间的音频信号或者是20KHz至24KHz之间的超声波信号等。智能家居设备可以在接收到终端的交互请求后发出声音信号作为反馈信号。
终端检测到的用户执行的预设交互手势用于选择目标设备,可以作为第二操作,该交互手势可以是预设的具有指向性的动作。在本申请实施例中,该交互手势可以是指向目标设备的动作。该预设的交互手势,参考上述图1所示场景,该交互手势例如可以是招一招手势,参考图1所示的动作①,即将手机100向上并向身体方向连续挥动两次等。该交互手势例如也可以是向下挥动手机100的手势,参考图1所示的动作②,即将手机100向下并向靠近身体的方向连续挥动两次等。
在另一些实施例中,用户通过手机100所进行的用于选择目标设备的预设的交互手势还可以是其他预设的快捷操作手势。例如,用户可以将手机100指向目标设备并左右翻转手机100的手势、或者将手机100指向目标设备并向远离身体的方向移动的手势等,在此不做限制。
第二操作所对应的运动数据,可以是该用户操作过程中终端采集到的实时加速度数据、三轴姿态角数据等,基于该运动数据可以确定终端在该用户操作下的运动趋势。例如,对于上述图1所示的招一招手势,对应的运动数据可以是在用户反复操作图1所示的动作①的过程中,终端的IMU实时采集到的加速度数据或三轴姿态角数据等。
在一些实施例中,基于各声音信号以及运动数据,综合确定出该第二操作对应选择交互的目标设备方式可以包括:先基于各声音信号提取相应的音频变化特征,从各智能家居设备中选择出频移较大的一个或多个设备。该音频变化特征包括频率变化特征、强度变化特征等,其中的强度变化特征例如可以是接收到的声音信号能量强弱变化。然后,基于采集到的对应于选择目标设备的用户操作的运动数据,选择出相对于终端运动趋势较匹配的一个或多个设备、或者选择出相对于终端的方位角度较小的一个或多个设备。进而,终端可以对基于各声音信号选择出的各设备与基于运动数据选择出的各设备取交集,以确定第二操作所对应的目标设备。例如,基于各声音信号选择出的设备,同时也是基于运动数据选择出的设备,由此可以将该设备作为第二操作所对应的目标设备。
其中,上述频率变化特征也可以称为频移特征,在下文描述中,除非特别说明,频移与频率变化可以认为是相同的表述、频移特征与频率变化特征可以认为是相同的表述。
在另一些实施例中,终端也可以先基于各声音信号从各智能家居设备中先选择出一个或多个设备作为备选的目标设备、再基于运动数据从选择出的多个设备中选择出目标设备,在此不做限制。
基于采集到的第二操作的运动数据,可以从各智能家居设备中选择出相对于终端运动趋势较匹配的一个或多个设备的方式可以为:结合分析的运动趋势模拟得到的信号变化特征与各智能家居设备的信号变化特征进行相似度比较,选择出相似度超过预设的相似度阈值的一个或多个设备。例如,终端可以对接收到的声音信号进行音频变化特征提取,并对采集到的运动数据进行运动趋势分析,例如分析运动数据的速度变化等。
可以理解,用于选择目标设备的第二操作是指向目标设备的操作,因此,相较于其他智能家居设备而言,目标设备发出的声音信号到达终端时的频率变化会更大,即频移更加明显。同时,如果该第二操作是上述图1所示的招一招手势等运动变化明显的动作,相较于其他智能家居设备而言,目标设备相对于终端的运动也会更加明显,并且二者的相对运动趋势与目标设备发来的声音信号的频率变化规律也会更加匹配。
因此,基于提取到的音频变化特征和运动趋势分析结果,终端可以从各智能家居设备中选择出音频变化特征值较大、并且运动趋势分析结果与相应的音频变化特征更为匹配或者运动趋势更加明显的智能家居设备确定为目标设备。
比如,终端根据提取的音频变化特征可以初步确定音频变化程度较大的智能家居设备为备选的目标设备。继而,终端结合分析的运动趋势模拟得到的声音频率变化特征与各备选目标设备的声音信号频率变化特征进行相似度比较,确定声音信号频率变化特征更为匹配的设备为目标设备。如此,终端则可以准确地选择出用户意图控制的目标设备。
在另一些实施例中,基于提取到的音频变化特征和运动趋势分析结果,也可以从各智能家居设备中选择出基于运动趋势分析结果校准后的方位角度更小、并且音频变化特征值较大的智能家居设备作为目标设备。可以理解,音频变化特征值较大对应的音频变化也较为明显。比如,终端可以向根据接收到的声音信号初步确定各智能家居设备相对于终端的方位角度,再根据提取的运动变化特征进行运动补偿以对各智能家居设备的方位角度进行校准。进而,终端可以根据校准后的方位角度初步选择出方位角度较小的备选目标设备,并根据各智能家居设备声音信号的音频变化特征从备选目标设备中准确选择出目标设备。
可以理解,人耳可感知的声音频率一般在20~20000Hz范围内,通常如果声音频率在18KHz以上,一般人就已经听不到了。因此,上述智能家居设备在接收到终端的交互请求后,可以利用扬声器等发声元件发出18KHz到24KHz频率范围的声音信号,该声音信号可以被终端的麦克风等收声元件接收,而用户不会感知到这种声音信号的传播,因此不会给用户带来噪声污染。
如此,基于本申请实施例提供的电子设备交互方法,可以使终端能够根据用户的交互手势快速、准确地选择出需要交互控制的智能家居设备,用户操作简单。此外,该方法还突破了碰一碰、扫一扫等方式选择交互设备的距离限制,场景适应性更强,有利于提高用户体验。
在终端基于用户操作选择出目标设备的过程中,可以综合终端的运动趋势以及智能家居设备发来的声音信号的信号变化特征综合确定出目标设备。即便目标设备附近存在其他的智能家居设备,基于本申请方案也能够准确选择出用户想要控制操作的目标设备。
参考图2所示的终端与智能家居设备的交互过程,作为终端的手机100在检测到用户意图控制大屏设备200的交互手势时,可以向周围的各智能家居设备发送交互请求,该交互手势例如可以是招一招手势等,周围的各智能家居设备例如可以是大屏设备200以及智能音箱300等。如图2所示,大屏设备200和智能音箱300在接收到手机100发来的交互请求后,可以分别向手机100发送声音信号。手机100在接收到大屏设备200和智能音箱300发来的声音信号后,对接收到的声音信号进行滤波处理并提取相应的音频变化特征,该音频变化特征包括声音的频率变化特征或者强度变化特征等。
以频移特征为例,大屏设备200和智能音箱300的声音信号分别对应的频移特征例如可以通过图2所示的频移曲线来描绘,在此不做限制。可以理解,由于用户作出“招一招手势”等交互手势是指向目标设备的动作,因此在用户作出该手势期间,目标设备相对于手机100的运动趋势更加明显,目标设备发来的声音信号到达手机100时的频移也会更大。因此,参考图2所示,基于大屏设备200和智能音箱300发来的声音信号分别对应的频移曲线可以看出,大屏设备200的声音频率变化程度更大,即频移更大,手机100可以确定大屏设备200为用户选择的目标设备。具体关于图2所示频移曲线将在下文结合附图详细描述,在此不做赘述。
可以理解,当大屏设备200和智能音箱300相对于手机100位于较近方向上,手机100还可以基于运动检测元件,例如IMU等,采集到的运动数据,分析用户操作对应的运动趋势。进而,手机100可以模拟出声音信号的频率变化趋势,再基于模拟出的频率变化趋势与各声音信号的频偏曲线进行相似度匹配,从而可以确定相似度较大的声音信号对应的智能家居设备为选定的目标设备。该目标设备例如可以是图2所示的大屏设备200。
可以理解,当大屏设备200和智能音箱300的位置对称分布在手机100的两侧时,手机100还可以基于IMU等采集到的运动数据,分析用户操作对应的运动趋势。进而手机100可以基于分析出的运动趋势校准基于声音信号的信号源方位确定的目标设备的方位角度,以排除用户操作对确定目标设备实际方位角度的干扰,从而能够准确选择出目标设备。
可以理解,本申请实施例提供的电子设备交互方案,所适用的终端可以包括但不限于手机、平板电脑、桌面型、膝上型、手持计算机、上网本,以及增强现实(AugmentedReality,AR)\虚拟现实(Virtual Reality,VR)设备、智能电视、智能手表等可穿戴设备、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、其中嵌入或耦接有一个或多个处理器、且具有收声元件和运动检测元件的其他电子设备。
可以理解,在另一些实施例中,本申请实施例所提供的电子设备交互方法,也可以用于在办公室等场景中,实现通过手机100等手持终端设备对远端的大屏设备等智能办公设备实现快捷控制操作,在此不做限制。
本申请实施例提供的电子设备交互方案,所适用的智能家居设备可以包括但不限于大屏设备、智能音箱、智能电视等智能家居设备、平板电脑、桌面型、膝上型、手持计算机、上网本,以及增强现实(Augmented Reality,AR)\虚拟现实(Virtual Reality,VR)设备、智能手表等可穿戴设备、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、其中嵌入或耦接有一个或多个处理器、且具有发声元件的其他电子设备。
图3根据本申请实施例示出了一种智能家居系统的组成示意图。
参考图3所示,本申请实施例提供的电子设备交互方案所适用的智能家居系统10中,终端与智能家居设备所具备的通信系统需接入同一无线局域网。该通信系统例如可以基于WiFi芯片、蓝牙芯片等元件实现通信功能,在此不做限制。
继续如图3所示,该智能家居系统10中的智能家居设备需具备发声元件,例如扬声器;终端则需具备收声元件,例如麦克风。另外,为执行本申请实施例提供的电子设备交互方法,终端还需具备计算系统和运动检测元件。其中,计算系统例如可以基于一个或多个处理器建立,运动检测元件例如可以是IMU等,在此不做限制。在一些实施例中,终端还可以具备指南针,该指南针例如可以是基于地磁传感器实现的用于检测终端前端方向的功能单元,在此不做赘述。
下面以手机100作为终端为例,详细说明手机100实施本申请实施例提供的电子设备交互方法,准确选择出目标设备进行交互控制的实现过程。可以理解,在智能家居系统中,用户操作手机100选择交互的智能家居设备可以是任意智能家居设备,例如上述图2所示场景中的大屏设备200、智能音箱300等,在此不做限制。
图4根据本申请实施例示出了一种手机100的结构示意图。
手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从上述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在本申请实施例中,处理器110可以读取存储器中的指令和数据,来实施本申请实施例提供的电子设备交互方法。从而使手机100能够响应于用户操作,快速选择出用户意图控制的目标设备,从而方便用户对家居环境中的各智能家居设备进行远程控制操作。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据,摄像头193用于捕获静态图像或视频。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,该可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行手机100的各种功能应用以及数据处理。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟声音信号输出,也用于将模拟音频输入转换为数字声音信号。音频模块170还可以用于对声音信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中,手机100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。手机100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,手机100根据压力传感器180A检测该触摸操作的强度。手机100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定手机100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测手机100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消手机100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。
基于上述图2所示的交互场景以及和图3-4所示的结构,结合具体实施例详细介绍本申请实施例提供的电子设备交互方案。
下面先结合实施例1介绍本申请实施例提供的电子设备交互方法的一种实现方式。例如先根据终端接收到的声音信号的音频变化特征从各智能家居设备中初步选择出至少一个备选的目标设备,再根据终端采集到的运动数据模拟目标设备的声音信号频率变化特征,进而与各备选的目标设备的声音信号频率变化特征进行相似度比较后准确选择出目标设备的实现方式。
实施例1
可以理解,本申请实施例所介绍的一种电子设备交互方法的实现方式,是根据终端采集到的运动数据模拟智能家居设备音频变化特征。进而,将模拟出的音频变化特征与目标设备发来的声音信号的音频变化特征进行比对来准确选择出目标设备。
具体地,图5根据本申请实施例示出了一种电子设备交互方法的实施流程示意图。可以理解,图5所示流程的各步骤执行主体均为手机100,即终端。为了简化描述,以下在介绍图5所示流程各步骤时将不再重复描述各步骤的执行主体。
如图5所示,该流程包括以下步骤:
501:检测到触发交互控制的第一操作,向周围在网的一个或多个智能家居设备发送交互请求。
示例性地,手机100检测到用户触发交互控制的操作,即上述第一操作,则可以向同一无线局域网下的各智能家居设备发送交互请求。上述第一操作可以包括图形界面(GUI)操作、语音界面(VUI)操作、或者预设的交互手势等。
例如,用户可以在手机100的桌面下拉菜单中通过开启NFC功能或者预设的用于启动交互控制功能的按钮,来触发手机100向周围在网的各智能家居设备发送交互请求。又例如,用户也可以手持手机100挥动手臂,进行图1所示动作①示意的招一招手势等,来触发手机100向周围在网的智能家居设备发送交互请求。
在另一些实施例中,用户也可以执行其他操作,触发手机100向同一无线局域网下的智能家居设备发送交互请求,在此不做限制。
502:接收到各智能家居设备发出的声音信号。
示例性地,各智能家居设备响应于手机100发来的交互请求,可以通过扬声器等发声元件发出声音信号。如上所述,该声音信号可以是频率在18KHz至20KHz的音频信号,或者20KHz至24KHz的超声波信号。用户对各智能家居设备与手机100之间传递的声音信号不可感知,因此该声音信号不会对用户产生干扰。
在另一些实施例中,各智能家居设备响应于手机100发来的交互请求而发出的声音信号也可以通过麦克风以外的其他发声元件或者装置发出。例如,可以通过预设在各智能家居设备上的微型超声装置发出声音信号,在此不做限制。
503:检测到具有指向性的第二操作,记录第二操作开始时刻的时间戳t1。
示例性地,手机100接收到各智能家居设备发出的声音信号后,可以继续检测用户操作的具有指向性的动作,即上述第二操作。手机100检测到第二操作时,可以记录下相应的时间戳,可以记为t1,以标记第二操作的开始时间,手机100则可以在执行下述步骤508时,截取第二操作开始至结束期间的声音信号并进行特征提取,以提高确定用户意图控制的目标设备的准确性。该第二操作可以是预设的交互手势,例如上述图1所示动作①示意的招一招手势、或者动作②示意的连续挥动手势等。在另一些实施例中,该第二操作还可以是其他预设的快捷操作手势,例如将手机100指向目标设备并左右翻转手机100的手势、或者将手机100指向目标设备并向远离身体的方向移动的手势等,在此不做限制。
可以理解,手机100执行本步骤检测到的第二操作可以是上述步骤501中检测到的第一操作的连续性动作,例如上述第一操作是招一招手势的“第一招”,本步骤的第二操作是接续该“第一招”的“第二招”以及“第三招”等。在另一些实施例中,手机100检测到的第二操作也可以是与上述第一操作无关的操作,或者与上述第一操作之间是连续性的其他交互手势操作,在此不做限制。
504:获取第二操作期间的运动数据。
示例性地,手机100在检测到具有指向性的第二操作时,可以基于IMU等运动检测元件采集该第二操作对应的运动数据。可以理解,该运动数据可以是手机100的运动数据;或者,也可以是手机100中的收声元件的运动数据。其中,手机100中的收声元件例如可以是麦克风。因此,手机100基于采集到的运动数据,则可以对第二操作对应的运动趋势等进行分析,进而可以基于运动趋势的分析结果执行下述步骤507以及步骤510的过程。具体可以参考下述相关步骤描述,在此不做赘述。
505:判断第二操作是否结束。若判断结果为是,表明第二操作已结束,则可以继续执行下述步骤506;若判断结果为否,表明第二操作尚未结束,则返回上述步骤504,继续采集第二操作期间手机100的运动数据。
示例性地,手机100可以基于获取到的IMU等采集的运动数据判断第二操作是否结束。如果手机100获取到的运动数据表明第二操作已结束,例如用户执行完上述图1所示动作①后停留在该动作结束的位置超过预设时长时,此时手机100获取到的运动数据会在该预设时长内降低至0或者接近0;此外,该运动数据可以降低到其他预设的下限阈值范围内。此种情形下,手机100则可以继续执行下述步骤506,记录第二操作结束时刻的时间戳。
如果手机100获取到的运动数据表明第二操作仍在进行,用户执行完上述图1所示动作①到达该动作结束位置后,又返回该动作的起始位置,重复执行该动作①,此时手机100获取到的运动数据例如加速度的大小和方向则会不断变化。此种情形下,手机100则可以返回上述步骤504,继续采集第二操作期间手机100的运动数据。
506:记录第二操作结束时刻的时间戳t2。
示例性地,手机100在确定检测到的第二操作结束时,可以记录下该结束时刻的时间戳,可以记为t2。进而,手机100则可以在执行下述步骤508时,截取第二操作开始至结束期间的声音信号进行特征提取,以提高确定用户意图控制的目标设备的准确性。上述第二操作开始至结束期间例如是上述t1至t2期间。
可以理解,手机100检测到第二操作结束时,还可以向各智能家居设备发送结束指令,以使各智能家居设备停止发声。也就是说,手机100在完成第二操作期间的声音信号的采集后,可以及时指令各智能家居设备停止发声,从而有利于节省各智能家居设备上因扬声器等元件发声导致的功耗。
作为示例,图6根据本申请实施例示出了一种手机100截取t1至t2期间各智能家居设备发来的声音信号的过程示意图。
如图6所示,智能家居设备在终端检测到第二操作开始前,便响应于终端的交互请求开始发声,即在图6所示的早于t1的T1时刻开始发声;并且,智能家居设备在终端检测到第二操作结束后停止发声,即图6所示的晚于t2的T2时刻停止发声。可以理解,响应于终端发来的结束指令,智能家居设备可以控制扬声器等发声元件停止发声。在另一些实施例中,T1时刻对应的时间戳也可以等于t1,T2时刻对应的时间戳也可以等于t2,在此不做限制。
因此,参考图6所示,手机100可以对接收到的各智能家居设备发来的声音信号,截取t1至t2期间的部分,以用于执行下述步骤508的相关过程,对截取到的声音信号进行特征提取。具体特征提取的过程,可以参考下述步骤508中的相关描述,在此不做赘述。
507:基于t1至t2期间获取的运动数据,模拟目标设备的声音信号频率变化特征。
示例性地,手机100可以基于检测到第二操作开始至结束期间,即t1至t2期间获取的运动数据,模拟出该第二操作指向的目标设备对应的声音信号频率变化特征。可以理解,第二操作指向的目标设备发出声音信号的频率、与手机100接收声音信号的频率之间存在多普勒频移,这种频率变化通常与该目标设备与手机100之间的相对运动速度的变化呈正比。因此,手机100基于运动数据确定的运动速度的变化特征,可以对应模拟出目标设备的声音信号的频率变化特征。
作为示例,手机100基于获取到的运动数据可以计算确定运动速度的变化,进而手机100可以基于下述关系式(1)计算得到t1至t2期间目标设备的声音信号频率变化特征。
/>
其中,c为声音在空间中的传播速度,Δv表示速度变化,Δf表示频率变化。
可以理解,基于计算得到的声音信号频率变化特征,可以模拟出目标设备的声音信号频移曲线。进而,手机100可以在执行下述步骤510时用于与接收到的各声音信号的频移曲线之间进行相似度分析,从而准确选择出用户意图控制的目标设备。具体可以参考下述步骤510中相关描述,在此不做赘述。
508:对t1至t2期间接收到的各智能家居设备发来的声音信号,分别提取音频变化特征。
示例性地,手机100在执行上述步骤502时即可接收各智能家居设备发来的声音信号。参考上述图6所示,手机100可以截取第二操作开始时刻至结束时刻期间,即截取t1至t2期间各智能家居设备发来的声音信号。进而,手机100可以对截取到的声音信号进行特征提取,提取相应的音频变化特征。可以理解,手机100对接收到的各声音信号提取的音频变化特征,包括频移特征、强度变化特征等特征中的一项或多项,在此不做限制。
可以理解,手机100基于上述提取到的各音频变化特征,可以继续执行下述步骤509确定备选的目标设备。
509:基于提取到的音频变化特征,从各智能家居设备中选择至少一个备选的目标设备。
示例性地,手机100基于上述提取到的各音频变化特征,可以从同一无线局域网下的多个智能家居设备中确定出备选的至少一个目标设备。若手机100确定的备选的目标设备为1个,则该备选的目标设备即为用户意图控制的目标设备;若手机100确定的备选的目标设备为多个,则手机100可以继续执行下述步骤510准确选择出目标设备。
可以理解,由于上述步骤503中手机100检测到的第二操作是具有指向性的操作,该操作所指方向一般是目标设备所在方向,因此,目标设备所在方向上的各智能家居设备与手机100之间的相对运动会较大一些,由此引起的声音信号的变化也会更大,具体可以体现为手机100接收到的目标设备所在方向上各智能家居设备发出的声音信号的频移更大、强度变化也会更大。因此,如果将手机100接收到的各声音信号的频移和/或强度变化通过频移曲线和/或强度变化曲线进行描绘,其中频移曲线为声音信号的频率变化随时间变化的曲线,强度变化曲线为声音信号的能量大小随时间变化的曲线。以频移曲线为例,实验证明,目标设备所在方向上各智能家居设备的声音信号对应的频移曲线与横坐标轴之间所围区域的面积会较大一些。相应地,偏离目标设备所在方向的智能家居设备对应的声音信号频移曲线与横坐标轴所围区域的面积会较小一些。
可以理解,上述目标设备所在方向包括目标设备所在一侧的方向、以及目标设备相对于手机100为中心对称的位置所在一侧的方向。在一些实施例中,目标设备所在方向的智能家居设备仅包括目标设备,参考图7所示的设备A相对于手机100的位置和方向等。在另一些实施例中,目标设备所在方向的智能家居设备可能会包括目标设备与另一个或另外多个智能家居设备,参考图7所示的设备B与设备C、或者设备B与设备C'相对于手机100的位置和方向等,在此不做限制。
图8a根据本申请实施例示出了一种频移曲线比较示意图。
如图8a所示,频移曲线的横坐标轴为时间,单位可以为秒(s),纵坐标轴为频率的变化值,即频移大小,单位可以为Hz。在一些实验数据中,基于手机100提取的智能家居设备TV-A发来的声音信号的频移特征可以绘制得到图8a所示的频移曲线801。
同样地,基于手机100提取的智能家居设备TV-B发来的声音信号的频移特征可以绘制得到图8a所示的频移曲线802。参考图8a所示,频移曲线801与横坐标轴所围区域的面积显著大于频移曲线802与横坐标轴所围区域的面积,表明智能家居设备TV-A发来的声音信号的频移更大。可以理解,上述横坐标轴可以是图8a所示的频移大小为0的直线。因此,手机100可以确定智能家居设备TV-A为用户意图控制的目标设备。
图8b根据本申请实施例示出了另一种频移曲线比较示意图。
如图8b所示,在另一些实验数据中,基于手机100提取的智能家居设备TV-A发来的声音信号的频移特征可以绘制得到图8b所示的频移曲线803;基于手机100提取的智能家居设备TV-B发来的声音信号的频移特征可以绘制得到图8b所示的频移曲线804。
参考图8b所示,频移曲线803与横坐标轴所围区域的面积略小于频移曲线804与横坐标轴所围区域的面积,表明智能家居设备TV-B发来的声音信号的频移更大。可以理解,上述横坐标轴可以是图8b所示的频移大小为0的直线。因此,手机100可以确定智能家居设备TV-B为用户意图控制的目标设备。
在另一些实施例中,当基于声音信号提取的频移特征无法准确确定目标设备时,例如第二操作的动作幅度较小时,参考上述图8b所示,智能家居设备TV-A对应的频移曲线803与横坐标轴所围区域的面积与智能家居设备TV-B对应的频移曲线804与横坐标轴所围区域的面积区别较小。此时,手机100判断智能家居设备TV-B为目标设备的结果可能不够准确。此种情形下,手机100可以继续执行下述步骤510,进一步在智能家居设备TV-A与智能家居设备TV-B之间准确选择出目标设备。
510:将模拟的声音信号频率变化特征与各备选目标设备的声音信号频率变化特征进行相似度分析。
示例性地,手机100在执行上述步骤509选择出至少一个备选的目标设备后,可以利用相似度算法对上述步骤507模拟的声音信号频率变化特征与各备选的目标设备对应发出的声音信号的频移特征进行相似度分析。例如将上述步骤507模拟的声音信号频率变化特征对应的频移曲线、与各备选的目标设备的声音信号对应的频移曲线计算相似度等。其中,该相似度算法例如可以是动态时间规整(Dynamic Time Warping,DTW)算法、或者其他可以确定上述两种频率变化特征之间相似度的算法等,在此不做赘述。
可以理解,在另一些实施例中,手机100也可以在执行上述步骤508完成对接收到的各声音信号提取频率变化特征后,直接执行本步骤510。例如,手机100将模拟的声音信号频率变化特征与接收到的各声音信号的频率变化特征进行相似度分析,以从各智能家居设备中选择出目标设备,在此不做限制。
511:基于相似度分析结果,选择出目标设备。
示例性地,模拟的声音信号频率变化特征应与目标设备的声音信号对应的频率变化特征之间的相似度最高。因此,手机100可以基于模拟的声音信号频率变化特征与各备选的目标设备对应发出的声音信号的频率变化特征之间的相似度分析结果,并将相似度最高的声音信号对应的备选的目标设备确定为用户意图控制的目标设备。
可以理解,在另一些实施例中,根据实际需求,上述图5所示各步骤可以组合、删除或者替换为其他利于实现本申请目的的步骤等,例如可以删除上述步骤505、或者将上述步骤505与步骤506组合为一个步骤,在此不做限制。
基于上述步骤501至511的实施过程,手机100便可以在检测到用户的交互手势等时准确选择出用户意图控制的目标设备。进而,手机100可以与该目标设备建立连接,以对该目标设备执行一些遥控操作,例如遥控该目标设备播放下一个节目、或者播放下一首音乐等。
在一些实施例中,当选出目标设备后,该目标设备还可以关联调用其他电子设备,本申请对此不加限制。例如目标设备可以为电视机,该电视机可以关联调用音箱,以通过音箱来输出音频。或者,目标设备为某个音箱,该音箱可以关联调用其他音箱,以输出立体声。
下面结合另一实施例2介绍本申请实施例提供的电子设备交互方法的另一种实现方式。例如先根据终端接收到的声音信号的音频变化特征从各智能家居设备中初步选择出至少一个备选的目标设备,再根据检测到的智能家居设备方位角度从各备选的目标设备中准确选择出用户意图控制的目标设备的实现方式。
实施例2
可以理解,本申请实施例所介绍的一种电子设备交互方法的实现方式是先根据终端接收到的声音信号的音频变化特征从各智能家居设备中初步选择出至少一个备选的目标设备。继而,手机100再根据检测到的智能家居设备方位角度从各备选的目标设备中准确选择出用户意图控制的目标设备。
图9根据本申请实施例示出了另一种电子设备交互方法的实施流程示意图。可以理解,图9所示流程的各步骤执行主体均为手机100,即终端。为了简化描述,以下在介绍图9所示流程各步骤时将不再重复描述各步骤的执行主体。
901:检测到触发交互控制的第一操作,向周围在网的一个或多个智能家居设备发送交互请求。
902:接收到各智能家居设备发出的声音信号。
903:检测到具有指向性的第二操作,记录第二操作开始时刻的时间戳t1。
904:获取第二操作期间的运动数据。
905:判断第二操作是否结束。若判断结果为是,表明第二操作已结束,则可以继续执行下述步骤906;若判断结果为否,表明第二操作尚未结束,则返回上述步骤904,继续采集第二操作期间手机100的运动数据。
906:记录第二操作结束时刻的时间戳t2。
可以理解,上述步骤901至步骤906分别与上述实施例1中图5所示流程的步骤501至步骤506的实施过程相同,在此不做赘述。以下将具体介绍与上述实施例1中图5所示流程不同的步骤907至911。
907:根据接收到的声音信号确定各智能家居设备相对于终端的方位角度。
示例性地,手机100可以根据接收到的声音信号计算得到各智能家居设备所在的方位角度,为了减少计算量,手机100可以仅计算上述步骤908中选择出的各备选的目标设备所在的方位角度。作为示例,手机100可以根据前端的麦克风和后端的麦克风接收到声音信号的时间差,来计算各智能家居设备所在的方位角度。应当理解,当用户正常手持手机时,前端的麦克风可以指手机上方或者靠近用户食指的麦克风,后端的麦克风可以指手机下方或者靠近用户手腕的麦克风。
可以理解,智能家居设备相对于手机100的方位角度,例如可以是垂直于智能家居设备屏幕中心点的平面与终端中轴线之间的夹角,在此不做限制。
图10根据本申请实施例示出了一种手机100根据接收到的声音信号计算智能家居设备所在方位角度的原理示意图。
如图10所示,手机100前端的麦克风Mic101接收到声音信号的时刻、与手机100后端的麦克风Mic102接收到声音信号的时刻之间存在时间差t,这个时间差很小,但通过计算音速对时间的积分可以确定图10所示的距离差值δt。该距离差值δt结合手机100的前后端麦克风之间的距离,即图10所示的Mic101与Mic102之间的距离L,便可以估算出智能家居设备相对于手机100的方位角度θ。
图11根据本申请实施例示出了手机100根据各智能家居设备发来的声音信号确定的各智能家居设备相对于终端的方位角度示意图。
如图11所示,手机100根据智能家居设备A、智能家居设备B和智能家居设备C发来的声音信号,基于上述图10所示意的原理,可以分别计算出各智能家居设备相对手机100的方位角度。智能家居设备A相对于手机100的方位角度为θA,智能家居设备B相对于手机100的方位角度为θB,智能家居设备C相对于手机100的方位角度为θC。
在另一些实施例中,手机100也可以采用其他预设计算方法来计算各智能家居设备的方位角度,在此不做限制。
908:基于t1至t2期间获取的运动数据,校准各智能家居设备的方位角度。
示例性地,手机100在检测到第二操作后的t1至t2期间获取的运动数据,确定手机100处于运动状态以及相应的运动趋势。进而,手机100可以结合该运动趋势对各智能家居设备进行运动补偿,实现对上述步骤907中计算得到的方位角度的校准。如此,手机100便可以更准确地确定各智能家居设备相对于手机100的方位角度。
可以理解,基于t1至t2期间获取的运动数据补偿校验后的目标设备的方位角度,相较于上述步骤907中基于接收到的声音信号确定的目标设备方位角度更加准确。一些实验数据表明,基于t1至t2期间获取的运动数据补偿、校验后的目标设备方位角度准确率可以达到93%以上,而目前仅基于接收到的声音信号确定目标设备的方位角度的准确率仅可达到80%左右。
909:基于校准后的各智能家居设备的方位角度,初步确定至少一个备选的目标设备。
示例性地,手机100基于校准后的各智能家居设备的方位角度,则可以初步确定至少一个备选的目标设备,该备选目标设备例如可以是方位角度最小的智能家居设备。可以理解,方位角度相同的两个或两个以上的智能家居设备的相对位置,可以参考上述图7所示意的设备B和设备C'之间的相对位置,因此,手机100基于校准后的方位角度所确定的备选目标设备可以是一个或者多个。
可以理解,手机100执行完本步骤909后,可以继续执行下述步骤910至911进一步确定该方向上的哪个智能家居设备是用户意图控制的目标设备。
910:对t1至t2期间接收到的各智能家居设备发来的声音信号,分别提取音频变化特征。
具体地,本步骤的执行过程可以参考上述步骤508中相关描述,在此不做赘述。
911:基于提取到的音频变化特征,结合目标设备的方位角度,选择出目标设备。
示例性地,具体地,本步骤的执行过程可以参考上述步骤509中相关描述,在此不做赘述。
在另一些实施例中,手机100也可以同步执行上述步骤907至909、与步骤910至911的过程,本申请实施例对此不做限制。
可以理解,在另一些实施例中,根据实际需求,上述图9所示各步骤可以组合、删除或者替换为其他利于实现本申请目的的步骤等,例如可以删除上述步骤905、或者将上述步骤905与步骤906组合为一个步骤,在此不做限制。
基于上述步骤901至911的实施过程,手机100也可以在检测到用户的交互手势等时准确选择出待交互的目标设备。进而,手机100可以与该目标设备建立连接,以对该目标设备执行一些遥控操作,例如遥控该目标设备播放下一个节目、或者播放下一首音乐等。
可以理解,手机100中也可以预设一些设备交互场景,其中一部分设备交互场景可以是适合采用实施例1提供的实施流程来选择目标设备的场景,另一部分设备交互场景适合采用实施例2提供的实施流程来选择目标设备的场景。进而,终端在检测到触发交互控制的第一操作执行上述步骤501至506或者901至906的过程中,先识别当前的交互控制场景,再决定执行实施例1所提供的实施流程或者实施例2所提供的实施流程。
其中,适合采用实施例1的场景中,例如终端为移动的终端电子设备,例如手机100,智能家居设备可以是移动的终端电子设备,也可以是位置较为固定的电子设备。适合采用实施例2的场景中,例如终端与智能家居设备均为家居场景中位置较为固定的设备,比如终端为智能电视、智能家居设备为智能音箱。此种场景下,智能电视可以在检测到智能音箱启动并接入网络时便可以执行实施例2中图9所示的步骤901至909的过程,确定智能音箱相对于智能电视的方位角度。从而,在后续检测到用户触发交互控制的操作时,可以基于已测得的方位角度快速确定智能音箱为目标设备,在此不做限制。
可以理解,在上述实施例1和实施例2介绍的本申请的电子设备交互方法的两种示例性的实施过程中,终端与各智能家居设备可以形成一种设备交互系统。该设备交互系统中,终端或者智能家居设备的各功能单元可以基于终端或者智能家居设备上的相应物理单元实现。
图12根据本申请实施例示出了一种设备交互系统的各物理单元与功能单元之间的关联关系示意图。
如图12所示,设备交互系统1200所涉及的各物理单元包括:
扬声器:用于设备发声,即发射声音信号。设备交互系统1200中的智能家居设备具有扬声器则可以发出超声声音信号,供终端接收。设备交互系统1200中的终端也可以具有扬声器,具体可以参考上述图4所示手机100所具有的扬声器170A,在此不做赘述。
麦克风:用于设备收声,即接收声音信号。设备交互系统1200中的终端基于麦克风可以接收智能家居设备发出的声音信号,具体可以参考上述图4所示手机100所具有的麦克风170C,在此不做赘述。
运动检测元件:用于检测终端的运动数据。该运动检测元件例如可以是IMU或者组成IMU的加速度传感器、陀螺仪传感器等。设备交互系统1200中的终端可以基于运动检测元件采集的运动数据识别第二操作的开始或结束,以及识别第二操作过程中终端的运动趋势。具体可以参考上述图4所示手机100所具有的陀螺仪传感器180B、加速度传感器180E,在此不做赘述。
指南针:用于确定终端的前端方位以及中心轴的方位,进而用于确定智能家居设备的相对方位角度。该设备交互系统中的终端可以基于指南针来确定前端方向,该指南针例如可以是基于地磁传感器实现的方位测量模块。
CPU:用于逻辑计算,该设备交互系统中的终端可以基于CPU执行上述实施例1中图5所示流程对应的电子设备交互方法相关指令、或者执行上述实施例2中图9所示流程对应的电子设备交互方法相关指令。
无线芯片:用于设备间通信。该设备交互系统中的终端与智能家居设备之间的通信可以基于无线芯片实现。无线芯片例如可以包括5G芯片、4G芯片、WiFi芯片等。具体可以参考上述图4所示的移动通信模块150或者无线通信模块160。
基于上述物理单元,设备交互系统1200所涉及的功能单元至少包括收声模块、运动轨迹感知模块、方位感知模块、以及设备通信模块、信号处理模块,各功能单元与相应物理单元之间的联系如下:
收声模块,可以包括一个或多个麦克风,用于接收声音信号。
运动轨迹感知模块,基于运动检测元件实现功能。终端运动轨迹感知模块基于运动检测元件采集的运动数据,可以分析用户操作引起的终端开始运动以及运动停止,从而识别到用户操作的开始和停止,进而终端可以在用户操作开始时刻触发智能家居设备发声、以及在用户操作结束时刻触发智能家居设备停止发声。
信号处理模块,基于CPU执行预设的处理接收到的声音信号的相关算法来实现信号处理功能。终端基于信号处理模块能够对接收到的声音信号进行特征提取及相关计算,从而用于确定目标设备。
方位感知模块,基于指南针实现相关功能。终端基于该方位感知模块,可以在用户的交互手势停止时,确定目标设备的方位。
设备通信模块,用于实现终端与智能家居设备之间的通信,用于设备信息交互及终端对智能家居设备的交互控制。
智能家居设备应具备的功能单元至少包括发声模块,该发声模块可以包括一个或多个扬声器,用于发射声音信号。可以理解,为了实现与终端之间的通信,智能家居设备的功能单元还可以包括设备通信模块,该设备通信模块可以包括一个或多个相同或不同类型的无线芯片,实现与终端之间的无线通信。
图13根据本申请实施例示出了一种手机100的软件系统架构示意框图。
手机100的软件系统架构可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明手机100的软件结构。
图13手机100分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
如图13所示,应用程序层可以包括一系列应用程序包。应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,智慧生活,短信息等应用程序。其中,智慧生活可以集成用于执行本申请实施例提供的电子设备交互方法的各功能单元。当检测到用户在智慧生活的界面上实施的触发交互控制的第一操作时,例如选择使用智慧生活提供的遥控功能等操作,手机100可以执行上述实施例1或实施例2对应提供的流程各步骤,在此不做限制。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图13所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。在本申请实施例中,应用程序框架层还可以包括综合信息感知服务,用于接收应用层的应用程序调用,实施本申请实施例提供的电子设备交互方法。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。该数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
图14根据本申请实施例示出了一种智能家居设备1400的结构示意图。
如图14所示,智能家居设备1400包括处理器1411、存储器1412、显示屏1413、通信模块1414、电源开关1415、输入输出接口1416以及音频模块1417。可以理解,在本申请实施例中,智能家居设备1400可以为智能电视或大屏设备、智能音箱等设备,在此不做限制。
其中,处理器1411可以包括一个或多个处理单元,例如,可以包括中央处理器CPU(Central Processing Unit)、图像处理器GPU(Graphics Processing Unit)、数字信号处理器DSP(Digital Signal Processor)、微处理器MCU(Micro-programmed Control Unit)、AI(Artificial Intelligence,人工智能)处理器或可编程逻辑器件FPGA(FieldProgrammable Gate Array)等的处理模块或处理电路。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,处理器1411可以基于接收到的终端发来的交互请求,通过控制器控制扬声器发出声音信号,作为向终端发送的反馈信号等。
存储器1412可用于存储数据、软件程序以及模块,可以是易失性存储器(VolatileMemory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(Non-Volatile Memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(FlashMemory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,或者也可以是可移动存储介质,例如安全数字(Secure Digital,SD)存储卡。
显示屏1413包括显示面板。显示面板可以采用液晶显示屏(Liquid CrystalDisplay,LCD),有机发光二极管(Organic Light-emitting Diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-matrix Organic Light-emitting Diode的,AMOLED),柔性发光二极管(Flex Light-emitting Diode,FLED),Mini LED,Micro LED,Micro OLED,量子点发光二极管(Quantum Dot Light-emitting Diodes,QLED)等。
通信模块1414可以包括各种有线或无线的通信模块,例如红外模块(Infrared,IR)141、无线局域网(Wireless Local Area Networks,WLAN)模块142等,用于提供无线保真(Wireless Fidelity,Wi-Fi),蓝牙(Bluetooth,BT),全球导航卫星系统(GlobalNavigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)、广域网(Wide AreaNetwork,WAN)等有线或无线通信的解决方案。
电源开关1415可以包括电源按键、IR接收器等,用于根据用户的操作接通或断开智能家居设备1400的电源。
输入输出接口1416可以包括各种形式的输入或输出接口,智能家居设备1400可以通过输出接口将视频和/或音频数据传输到其他电子设备,通过输入接口接收来自于其他电子设备的视频和/或音频数据。
音频模块1417可以将数字音频信号转换成模拟音频信号输出,或者将模拟音频输入转换为数字音频信号,也可以将数字音频信号和/或模拟音频信号通过输入输出接口1416传输给其他电子设备。在一些实施例中,音频模块1417可以包括麦克风171和扬声器172,扬声器172可以响应于终端发来的交互请求,用于发出声音信号以供终端采集,用于提取相应的音频变化特征,从而结合采集到的运动数据准确选择出目标设备。
可以理解,图14所示的智能家居设备1400的结构只是一种示例,在另一些实施例中,智能家居设备1400也可以包括更多或更少的模块,还可以组合或拆分部分模块,本申请实施例不做限定。
在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本申请实施例公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
本申请实施例的公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中,诸如,但不限于任何类型的盘,包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、专用集成电路(ASIC)或者适于存储电子指令的任何类型的介质,并且每个可以被耦合到计算机系统总线。此外,说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。
另外,在本说明书所使用的语言已经主要被选择用于可读性和指导性的目的并且可能未被选择为描绘或限制所公开的主题。因此,本申请实施例公开旨在说明而非限制本文所讨论的概念的范围。
Claims (15)
1.一种电子设备交互方法,应用于终端中,其特征在于,所述方法包括:
所述终端向周围的电子设备发送交互请求;
所述终端获取所述终端在移动过程中的运动数据;以及,接收所述电子设备响应于所述交互请求所发送的声音信号;
基于所述声音信号和所述运动数据,所述终端从所述电子设备中确定目标设备;其中,所述目标设备为所述电子设备中的一个。
2.根据权利要求1所述的方法,其特征在于,所述终端向周围的电子设备发送交互请求,包括:
所述终端检测到用于触发交互控制的第一操作,向周围的电子设备发送交互请求。
3.根据权利要求2所述的方法,其特征在于,所述第一操作包括:
作用于所述终端上预设控件的操作,其中所述预设控件用于对连接的电子设备进行控制操作;
运行所述终端上安装的第一应用的操作,其中所述第一应用具有对电子设备进行控制操作的功能。
4.根据权利要求1所述的方法,其特征在于,所述终端包括运动检测元件,所述终端通过以下方式获取所述运动数据:
所述终端检测到所述终端选择目标设备的第二操作;
所述终端基于所述运动检测元件采集第二操作期间的运动数据,其中所述第二操作期间为所述第二操作开始时刻至结束时刻的时间段。
5.根据权利要求4所述的方法,其特征在于,所述接收所述电子设备响应于所述交互请求所发送的声音信号,包括:
所述终端接收第一电子设备响应于所述交互请求所发送的第一声音信号,所述第一声音信号的时长大于或等于所述第二操作期间;
所述终端接收第二电子设备响应于所述交互请求所发送的第二声音信号,所述第二声音信号的时长大于或等于所述第二操作期间。
6.根据权利要求5所述的方法,其特征在于,基于所述声音信号和所述运动数据,所述终端从所述电子设备中确定目标设备,包括:
所述终端确定所述第一声音信号的变化趋势和变化程度;
所述终端确定所述第二声音信号的变化程度;
所述终端确定自身的运动趋势;
当所述第一声音信号的变化程度大于所述第二声音信号的变化程度、并且所述运动趋势与所述第一声音信号变化的趋势相匹配,确定所述第一电子设备为目标设备。
7.根据权利要求6所述的方法,其特征在于,第一声音信号变化的趋势包括所述第一声音信号的频率变化趋势,并且,
所述确定所述第一声音信号变化的趋势与所述终端的运动趋势相匹配,包括:
根据获取到的运动数据确定的速度变化趋势,模拟目标设备发来的声音信号的频率变化趋势;
将模拟的目标设备的声音信号的频率变化趋势与所述第一声音信号的频率变化趋势进行相似度分析;
当所述相似度高于预设的相似度阈值,确定所述第一声音信号变化的趋势与所述终端的运动趋势相匹配。
8.根据权利要求6所述的方法,其特征在于,所述终端确定所述第一声音信号的变化趋势和变化程度,包括:
所述终端对所述第一声音信号提取第一频移特征;
所述终端根据所述第一频移特征的值随时间变化的趋势确定所述第一声音信号的变化趋势,并根据所述第一频移特征的值的大小确定所述第一声音信号的变化程度。
9.根据权利要求6所述的方法,其特征在于,所述终端确定所述第二声音信号的变化程度,包括:
所述终端对所述第二声音信号提取第二频移特征;
所述终端根据所述第二频移特征的值的大小确定所述第二声音信号的变化程度。
10.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述终端通过第一收声元件和第二收声元件接收所述声音信号;所述第一收声元件位于所述终端的第一端,所述第二收声元件位于所述终端的第二端且远离所述第一端;
根据所述第一收声元件和所述第二收声元件接收到所述第一声音信号的时间差,所述终端确定所述第一电子设备相对于所述终端的第一方位角度;
所述终端根据前端的收声元件和后端的收声元件接收到所述第二声音信号的时间差,计算确定所述第二电子设备相对于所述终端的第二方位角度。
11.根据权利要求10所述的方法,其特征在于,基于所述声音信号和所述运动数据,所述终端从所述电子设备中确定目标设备,包括:
所述终端根据所述运动数据对所述第一方位角度进行角度校准,得到第三方位角度;
所述终端根据所述运动数据对所述第二方位角度进行角度校准,得到第四方位角度;
所述终端确定所述第一声音信号的变化程度和所述第二声音信号的变化程度;
当所述第三方位角度小于所述第四方位角度、并且所述第一声音信号的变化程度大于所述第二声音信号的变化程度,则确定所述第一电子设备为目标设备。
12.根据权利要求4至11中任一项所述的方法,其特征在于,所述第二操作包括下列中的任一项:
用户手持所述终端指向所述目标设备后向靠近身体的方向连续挥动至少两次的手势;
用户手持所述终端指向所述目标设备并翻转所述终端的手势;
用户手持所述终端指向所述目标设备并向远离身体的方向移动的手势。
13.一种终端,其特征在于,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个程序,当所述一个或者多个程序被所述一个或多个处理器执行时,使得所述终端执行权利要求1至12中任一项所述的电子设备交互方法。
14.一种智能家居系统,其特征在于,包括:电子设备以及如权利要求13所述的终端;所述电子设备用于响应所述终端发送的交互请求发出声音信号。
15.一种计算机可读存储介质,其特征在于,所述存储介质上存储有指令,所述指令在计算机上执行时使所述计算机执行权利要求1至12中任一项所述的电子设备交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210804193.0A CN117406611A (zh) | 2022-07-07 | 2022-07-07 | 电子设备交互方法、系统、终端和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210804193.0A CN117406611A (zh) | 2022-07-07 | 2022-07-07 | 电子设备交互方法、系统、终端和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117406611A true CN117406611A (zh) | 2024-01-16 |
Family
ID=89493127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210804193.0A Pending CN117406611A (zh) | 2022-07-07 | 2022-07-07 | 电子设备交互方法、系统、终端和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117406611A (zh) |
-
2022
- 2022-07-07 CN CN202210804193.0A patent/CN117406611A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200272309A1 (en) | Additional object display method and apparatus, computer device, and storage medium | |
CN110495819B (zh) | 机器人的控制方法、机器人、终端、服务器及控制系统 | |
CN110826358B (zh) | 动物情绪的识别方法、装置及存储介质 | |
US20200194027A1 (en) | Method and apparatus for displaying pitch information in live webcast room, and storage medium | |
CN108694073B (zh) | 虚拟场景的控制方法、装置、设备及存储介质 | |
CN112907725B (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
CN111983559A (zh) | 室内定位导航方法及装置 | |
CN114217699A (zh) | 一种检测手写笔笔尖方向的方法、电子设备及手写笔 | |
CN111402844B (zh) | 歌曲合唱的方法、装置及系统 | |
CN113365085A (zh) | 一种直播视频生成方法及装置 | |
CN114371985A (zh) | 自动化测试方法、电子设备及存储介质 | |
CN111681655A (zh) | 语音控制方法、装置、电子设备及存储介质 | |
CN111437600A (zh) | 剧情展示方法、装置、设备及存储介质 | |
WO2022028290A1 (zh) | 基于指向操作的设备之间的交互方法及电子设备 | |
WO2021213451A1 (zh) | 轨迹回放方法及相关装置 | |
CN112922589B (zh) | 尖灭线确定方法、装置、终端及存储介质 | |
CN115032640B (zh) | 手势识别方法和终端设备 | |
WO2022095983A1 (zh) | 一种防止手势误识别的方法及电子设备 | |
CN113744736B (zh) | 命令词识别方法、装置、电子设备及存储介质 | |
CN113380240B (zh) | 语音交互方法和电子设备 | |
CN115035187A (zh) | 声源方向确定方法、装置、终端、存储介质及产品 | |
CN117406611A (zh) | 电子设备交互方法、系统、终端和可读存储介质 | |
CN111314205B (zh) | 即时通信匹配的方法、装置、系统、设备以及存储介质 | |
CN113843814A (zh) | 机械臂设备的控制系统、方法、装置和存储介质 | |
CN114740986A (zh) | 手写输入显示方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |