CN118072723A - 协同唤醒的方法、装置和电子设备 - Google Patents
协同唤醒的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN118072723A CN118072723A CN202211469337.8A CN202211469337A CN118072723A CN 118072723 A CN118072723 A CN 118072723A CN 202211469337 A CN202211469337 A CN 202211469337A CN 118072723 A CN118072723 A CN 118072723A
- Authority
- CN
- China
- Prior art keywords
- wake
- coordinate
- sound
- sound pickup
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 190
- 230000004044 response Effects 0.000 claims abstract description 62
- 230000015654 memory Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 58
- 238000004891 communication Methods 0.000 description 37
- 230000006854 communication Effects 0.000 description 37
- 238000007726 management method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 239000010410 layer Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000006855 networking Effects 0.000 description 17
- 230000001976 improved effect Effects 0.000 description 16
- 230000001360 synchronised effect Effects 0.000 description 14
- 238000010295 mobile communication Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000004807 localization Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 210000000707 wrist Anatomy 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本申请实施例提供了一种协同唤醒的方法,该方法包括:响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置,该第一坐标系为以第一拾音设备为坐标原点建立的坐标系,N个智能语音设备包括该第一拾音设备;根据该唤醒音源在第一坐标系中的坐标位置和该N个拾音设备在第一坐标系中的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离;再进一步根据该距离确定唤醒设备。该方法不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖于与设备硬件相关的指标,能够减少设备的不一致性对决策结果的干扰,提升拾音设备的响应准确度,进而提高用户的使用体验。
Description
技术领域
本申请涉及通信领域,并且更具体地,涉及一种协同唤醒的方法、装置和电子设备。
背景技术
随着设备的智能化程度越来越高,很多智能设备(例如:手机,音箱,电视等)都配置有唤醒功能,因此,如何确定合适的应答设备,以避免出现“一呼百应”的场景,以及如何在此基础上提高唤醒速度和准确度,成为了亟需解决的问题。
发明内容
本申请提供一种协同唤醒的方法、装置和电子设备。该方法中,组网内的各个拾音设备在检测到唤醒后,能够根据各个拾音设备与唤醒音源之间的距离和/或唤醒优先级在短时内做出是否进行唤醒响应的决策,该方法不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖于与设备硬件相关的指标,能够减少设备的不一致性对决策结果的干扰,提升拾音设备的响应准确度,进而提高用户的使用体验。
第一方面,提供一种协同唤醒的方法,该方法包括:响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置,该第一坐标系为以第一拾音设备为坐标原点建立的坐标系,N个拾音设备包括该第一拾音设备,其中,N为大于1的正整数;根据该唤醒音源在该第一坐标系中的坐标位置和该N个拾音设备在该第一坐标系中的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离;根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,该N个拾音设备包括该唤醒设备。
可选地,可以通过超声波定位的方法确定唤醒音源在第一坐标系中的坐标位置,或通过摄影功能定位的方法确定唤醒音源在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定唤醒音源在第一坐标系中的坐标位置,具体取决于拾音设备(例如:N个拾音设备中的任意一个或多个)所具有的定位功能类型,本申请对此不作限定。
在一种实现方式中,N个拾音设备中的一个拾音设备确定该N个拾音设备与该唤醒音源之间的距离,并进一步根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,若该唤醒设备为自身,则该N个拾音设备中的一个拾音设备进行唤醒响应;若该唤醒设备不是自身,则该N个拾音设备中的一个拾音设备将唤醒信息发送给该唤醒设备,或者,该N个拾音设备中的一个拾音设备将唤醒信息发送给第三方设备,由该第三方设备将该唤醒信息发送给唤醒设备。其中,唤醒信息可以包括唤醒设备的标识信息,还可以包括唤醒响应的指令信息。
在另一种实现方式中,N个拾音设备中的每个拾音设备分别确定该N个拾音设备与该唤醒音源之间的距离,并进一步根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,若该唤醒设备为自身,则进行唤醒响应;若该唤醒设备不是自身,则不进行唤醒响应。
其中,N个拾音设备可以位于同一组网中。
本申请实施例中,以任意一个拾音设备为坐标原点建立坐标系,当检测到唤醒事件后,能够在确定唤醒音源在该坐标系中的坐标位置后,进一步根据唤醒音源和所有拾音设备在该坐标系中的坐标位置确定所有拾音设备与唤醒音源之间的距离,并直接根据该距离信息确定唤醒设备,该过程不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
结合第一方面,在一种可能的实现方式中,在响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置之前,该方法还包括:以该第一拾音设备为坐标原点建立该第一坐标系;分别确定该N个拾音设备在该第一坐标系中的坐标位置。
可选地,可以通过超声波定位的方法分别确定N个拾音设备在第一坐标系中的坐标位置,还可以通过摄影功能定位的方法分别确定N个拾音设备在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定N个拾音设备在第一坐标系中的坐标位置,具体取决于拾音设备(例如:第一拾音设备)所具有的定位功能类型,本申请对此不作限定。
结合第一方面,在一种可能的实现方式中,该方法还包括:将该N个拾音设备在该第一坐标系中的坐标位置同步至该N个拾音设备中的每个拾音设备。
可选地,第一拾音设备将N个拾音设备在第一坐标系中的坐标位置发送给其他N-1个拾音设备中的每个拾音设备。
本申请实施例中,在唤醒事件发生之前,就已经确定好了所有拾音设备在第一坐标系中的坐标位置,并在该所有拾音设备范围内进行了坐标位置的同步,使得所有拾音设备均能够在检测到唤醒事件后,快速得到唤醒音源与各个拾音设备之间的距离,进而确定唤醒设备,该过程不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度,提高用户的使用体验。
结合第一方面,在一种可能的实现方式中,确定唤醒音源在该第一坐标系中的坐标位置,包括:确定第二拾音设备相对该唤醒音源的距离和方向;根据该第二拾音设备在该第一坐标系中的坐标位置以及该第二拾音设备相对该唤醒音源的距离和方向确定该唤醒音源在该第一坐标系中的坐标位置,该N个拾音设备包括该第二拾音设备。
其中,第二拾音设备和第一拾音设备可以是同一拾音设备,也可以是不同的拾音设备。
可选地,第二拾音设备利用自身的声源定位系统确定自身距唤醒音源的距离d4和方向(角度α4),然后该第二拾音设备根据自身在第一坐标系中的坐标位置(x1,y1)和自身距唤醒音源的距离d4和方向(角度α4)确定唤醒音源在第一坐标系中的坐标位置为(x1-d4sinα4,y1-d4cosα4)=(x4,y4)。
本申请实施例中,N个拾音设备中的任意拾音设备均能够根据自身在第一坐标系中的位置坐标和自身与唤醒音源之间的距离和角度确定唤醒音源在第一坐标系中的坐标位置,通过该方法得到的唤醒音源的坐标位置更加准确,也进一步使得后续根据该唤醒音源的坐标位置所确定的唤醒设备更加准确。
结合第一方面,在一种可能的实现方式中,根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,包括:根据该N个拾音设备与该唤醒音源之间的距离确定距离该唤醒音源最近的拾音设备;将该距离唤醒音源最近的拾音设备确定为该唤醒设备。
本申请实施例中,将距离唤醒音源最近的拾音设备确定为唤醒设备,这样,用户要唤醒哪个拾音设备,就离哪个拾音设备最近,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
结合第一方面,在一种可能的实现方式中,该方法还包括:若存在两个或两个以上距离唤醒音源最近的拾音设备,则进一步根据该两个或两个以上距离唤醒音源最近的拾音设备的唤醒优先级确定该唤醒设备。
本申请实施例中,当有多个拾音设备离用户发出唤醒事件的唤醒声源距离相同并都为最近距离时,能够进一步根据该多个拾音设备的唤醒优先级确定唤醒设备,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
第二方面,提供一种协同唤醒的方法,该方法包括:响应于唤醒事件,第i个拾音设备确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,N个拾音设备包括该第i个拾音设备,其中,N为大于1的正整数,i=1,…,N;该第i个拾音设备根据该N个拾音设备在该以第i个拾音设备为坐标原点建立的坐标系中的坐标位置和该唤醒音源在该以第i个拾音设备为坐标原点建立的坐标系中的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离;该第i个拾音设备根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,该N个拾音设备包括该唤醒设备。
可选地,该第i个拾音设备可以通过超声波定位的方法确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,还可以通过摄影功能定位的方法确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,此外,还可以通过其他定位方法确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,具体取决于该第i个拾音设备所具有的定位功能类型,本申请对此不作限定。
其中,N个拾音设备可以位于同一组网中。
本申请实施例中,分别以N个拾音设备中的每个拾音设备为坐标原点建立坐标系,当检测到唤醒事件后,N个拾音设备中的每个拾音设备能够在确定唤醒音源在自身坐标系中的坐标位置后,进一步根据唤醒音源和所有拾音设备在自身坐标系中的坐标位置确定所有拾音设备与唤醒音源之间的距离,并直接根据该距离信息确定唤醒设备。该过程不需要同步坐标位置,也不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
结合第二方面,在一种可能的实现方式中,在响应于唤醒事件,第i个拾音设备确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置之前,该方法还包括:以该第i个拾音设备为坐标原点建立坐标系;分别确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置。
可选地,可以通过超声波定位的方法分别确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,还可以通过摄影功能定位的方法确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,此外,还可以通过其他定位方法确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,具体取决于相应拾音设备所具有的定位功能类型,本申请对此不作限定。
结合第二方面,在一种可能的实现方式中,该第i个拾音设备根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,包括:该第i个拾音设备根据该N个拾音设备与该唤醒音源之间的距离确定距离该唤醒音源最近的拾音设备;该第i个拾音设备将该距离唤醒音源最近的拾音设备确定为该唤醒设备。
本申请实施例中,该N个拾音设备中的每个可以分别以其自身为坐标原点建立坐标系,并分别计算在其建立的坐标系中该N个拾音设备对应的N个坐标位置,从而各自根据在其建立的坐标系中的该N个坐标位置,将距离唤醒音源最近的拾音设备确定为唤醒设备,这样,用户要唤醒哪个拾音设备,就离哪个拾音设备最近,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
结合第二方面,在一种可能的实现方式中,该方法还包括:若存在两个或两个以上该距离唤醒音源最近的拾音设备,则进一步根据该两个或两个以上该距离唤醒音源最近的拾音设备的唤醒优先级确定该唤醒设备。
本申请实施例中,当有多个拾音设备离用户发出唤醒事件的唤醒声源距离相同并都为最近距离时,能够进一步根据该多个拾音设备的唤醒优先级确定唤醒设备,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
第三方面,提供一种协同唤醒的装置,该装置包括:坐标确定模块,用于响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置,该第一坐标系为以第一拾音设备为坐标原点建立的坐标系,N个拾音设备包括该第一拾音设备,N为大于1的正整数;距离确定模块,用于根据该唤醒音源在该第一坐标系中的坐标位置和该N个拾音设备在该第一坐标系中的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离;决策模块,用于根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,该N个拾音设备包括该唤醒设备。
可选地,坐标确定模块可以通过超声波定位的方法确定唤醒音源在第一坐标系中的坐标位置,或通过摄影功能定位的方法确定唤醒音源在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定唤醒音源在第一坐标系中的坐标位置,具体取决于拾音设备(例如:N个拾音设备中的任意一个或多个)所具有的定位功能类型,本申请对此不作限定。
在一种实现方式中,N个拾音设备中的一个拾音设备通过坐标确定模块确定该N个拾音设备与该唤醒音源之间的距离,并进一步根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,若该唤醒设备为自身,则该N个拾音设备中的一个拾音设备进行唤醒响应;若该唤醒设备不是自身,则该N个拾音设备中的一个拾音设备将唤醒信息发送给该唤醒设备,或者,该N个拾音设备中的一个拾音设备将唤醒信息发送给第三方设备,由该第三方设备将该唤醒信息发送给唤醒设备。其中,唤醒信息可以包括唤醒设备的标识信息,还可以包括唤醒响应的指令信息。
在另一种实现方式中,N个拾音设备中的每个拾音设备分别通过坐标确定模块确定该N个拾音设备与该唤醒音源之间的距离,并进一步根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,若该唤醒设备为自身,则进行唤醒响应;若该唤醒设备不是自身,则不进行唤醒响应。
其中,N个拾音设备可以位于同一组网中。
本申请实施例中,以任意一个拾音设备为坐标原点建立坐标系,当检测到唤醒事件后,能够在确定唤醒音源在该坐标系中的坐标位置后,进一步根据唤醒音源和所有拾音设备在该坐标系中的坐标位置确定所有拾音设备与唤醒音源之间的距离,并直接根据该距离信息确定唤醒设备,该过程不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
结合第三方面,在一种可能的实现方式中,坐标确定模块还用于:以该第一拾音设备为坐标原点建立该第一坐标系;分别确定该N个拾音设备在该第一坐标系中的坐标位置。
可选地,坐标确定模块可以通过超声波定位的方法分别确定N个拾音设备在第一坐标系中的坐标位置,还可以通过摄影功能定位的方法分别确定N个拾音设备在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定N个拾音设备在第一坐标系中的坐标位置,具体取决于拾音设备(例如:第一拾音设备)所具有的定位功能类型,本申请对此不作限定。
结合第三方面,在一种可能的实现方式中,该装置还包括:坐标同步模块,用于将该N个拾音设备在该第一坐标系中的坐标位置同步至该N个拾音设备中的每个拾音设备。
可选地,第一拾音设备通过坐标同步模块将N个拾音设备在第一坐标系中的坐标位置发送给其他N-1个拾音设备中的每个拾音设备。
本申请实施例中,在唤醒事件发生之前,就已经确定好了所有拾音设备在第一坐标系中的坐标位置,并在该所有拾音设备范围内进行了坐标位置的同步,使得所有拾音设备均能够在检测到唤醒事件后,快速得到唤醒音源与各个拾音设备之间的距离,进而确定唤醒设备,该过程不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度,提高用户的使用体验。
结合第三方面,在一种可能的实现方式中,该坐标确定模块具体用于:确定第二拾音设备相对该唤醒音源的距离和方向;根据该第二拾音设备在该第一坐标系中的坐标位置以及该第二拾音设备相对该唤醒音源的距离和方向确定该唤醒音源在该第一坐标系中的坐标位置,该N个拾音设备包括该第二拾音设备。
其中,第二拾音设备和第一拾音设备可以是同一拾音设备,也可以是不同的拾音设备。
可选地,第二拾音设备利用自身的声源定位系统,通过坐标确定模块确定自身距唤醒音源的距离d4和方向(角度α4),然后该第二拾音设备根据自身在第一坐标系中的坐标位置(x1,y1)和自身距唤醒音源的距离d4和方向(角度α4)确定唤醒音源在第一坐标系中的坐标位置为(x1-d4sinα4,y1-d4cosα4)=(x4,y4)。
本申请实施例中,N个拾音设备中的任意拾音设备均能够根据自身在第一坐标系中的位置坐标和自身与唤醒音源之间的距离和角度确定唤醒音源在第一坐标系中的坐标位置,通过该方法得到的唤醒音源的坐标位置更加准确,也进一步使得后续根据该唤醒音源的坐标位置所确定的唤醒设备更加准确。
结合第三方面,在一种可能的实现方式中,该决策模块具体用于:根据该N个拾音设备与该唤醒音源之间的距离确定距离该唤醒音源最近的拾音设备;将该距离唤醒音源最近的拾音设备确定为该唤醒设备。
本申请实施例中,将距离唤醒音源最近的拾音设备确定为唤醒设备,这样,用户要唤醒哪个拾音设备,就离哪个拾音设备最近,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
结合第三方面,在一种可能的实现方式中,该决策模块还具体用于:若存在两个或两个以上该距离唤醒音源最近的拾音设备,则进一步根据该两个或两个以上该距离唤醒音源最近的拾音设备的唤醒优先级确定该唤醒设备。
本申请实施例中,当有多个拾音设备离用户发出唤醒事件的唤醒声源距离相同并都为最近距离时,能够进一步根据该多个拾音设备的唤醒优先级确定唤醒设备,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
第四方面,提供一种协同唤醒的装置,该装置包括:坐标确定模块,用于响应于唤醒事件,确定唤醒音源在以第i个拾音设备为坐标原点建立的坐标系中的坐标位置,N个拾音设备包括该第i个拾音设备,其中,N为大于1的正整数,i=1,…,N;距离确定模块,用于根据该N个拾音设备在以第i个拾音设备为坐标原点建立的坐标系中的坐标位置和该唤醒音源在以第i个拾音设备为坐标原点建立的坐标系中的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离;决策模块,用于根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备,该N个拾音设备包括该唤醒设备。
可选地,坐标确定模块可以通过超声波定位的方法确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,还可以通过摄影功能定位的方法确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,此外,还可以通过其他定位方法确定唤醒音源在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,具体取决于该第i个拾音设备所具有的定位功能类型,本申请对此不作限定。
其中,N个拾音设备可以位于同一组网中。
本申请实施例中,分别以N个拾音设备中的每个拾音设备为坐标原点建立坐标系,当检测到唤醒事件后,N个拾音设备中的每个拾音设备能够在确定唤醒音源在自身坐标系中的坐标位置后,进一步根据唤醒音源和所有拾音设备在自身坐标系中的坐标位置确定所有拾音设备与唤醒音源之间的距离,并直接根据该距离信息确定唤醒设备,该过程不需要同步坐标位置,也不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
结合第四方面,在一种可能的实现方式中,该坐标确定模块还用于:以该第i个拾音设备为坐标原点建立坐标系;分别确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置。
可选地,坐标确定模块可以通过超声波定位的方法分别确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,还可以通过摄影功能定位的方法确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,此外,还可以通过其他定位方法确定该N个拾音设备在以该第i个拾音设备为坐标原点建立的坐标系中的坐标位置,具体取决于相应拾音设备所具有的定位功能类型,本申请对此不作限定。
结合第四方面,在一种可能的实现方式中,该决策模块具体用于:根据该N个拾音设备与该唤醒音源之间的距离确定距离该唤醒音源最近的拾音设备;将该距离唤醒音源最近的拾音设备确定为该唤醒设备。
本申请实施例中,将距离唤醒音源最近的拾音设备确定为唤醒设备,这样,用户要唤醒哪个拾音设备,就离哪个拾音设备最近,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
结合第四方面,在一种可能的实现方式中,该决策模块还具体用于:若存在两个或两个以上距离唤醒音源最近的拾音设备,则进一步根据该两个或两个以上距离唤醒音源最近的拾音设备的唤醒优先级确定该唤醒设备。
本申请实施例中,当有多个拾音设备离用户发出唤醒事件的唤醒声源距离相同并都为最近距离时,能够进一步根据该多个拾音设备的唤醒优先级确定唤醒设备,能够进一步提高所确定的唤醒设备的准确度,避免用户在发出唤醒事件时,出现其他无关拾音设备进行误唤醒响应的情况。
第五方面,提供一种电子设备,该电子设备包括存储器和处理器,其中,存储器用于存储计算机程序代码,处理器用于执行存储于存储器中的计算机程序代码,以实现上述第一方面或第一方面中任一种可能实现方式中的方法,或,实现上述第二方面或第二方面中任一种可能实现方式中的方法。
第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,当该计算机程序或指令被执行时,实现上述第一方面或第一方面中任一种可能实现方式中的方法,或者,实现上述第二方面或第二方面中任一种可能实现方式中的方法。
第七方面,提供了一种芯片,其中存储有指令,当其在设备上运行时,使得所述芯片执行上述第一方面或第一方面中任一种可能实现方式中的方法,或者,使得所述芯片执行上述第二方面或第二方面中任一种可能实现方式中的方法。
第八方面,提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面或第一方面中任一种可能实现方式中的方法,或者,使得电子设备执行上述第二方面或第二方面中任一种可能实现方式中的方法。
附图说明
图1是本申请实施例提供的电子设备的结构示意图;
图2是本申请实施例提供的电子设备的软件结构框图;
图3是本申请实施例提供的一种应用场景示意图;
图4是本申请实施例提供的一种现有的唤醒方法的示意性流程图;
图5是本申请实施例提供的另一种现有的唤醒方法的示意性流程图;
图6是本申请实施例提供的一种协同唤醒的方法的示意性流程图;
图7是本申请实施例提供的又一种协同唤醒的方法的示意性流程图;
图8是本申请实施例提供的一种确定拾音设备的坐标位置的示意图;
图9是本申请实施例提供的又一种协同唤醒的方法的示意性流程图;
图10是本申请实施例提供的又一种确定拾音设备的坐标位置的示意图;
图11是本申请实施例提供的一种协同唤醒的装置的功能模块示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“复数个”或者“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户身份识别(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户身份识别(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的App(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用嵌入式SIM(embedded-SIM,eSIM)卡,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
应理解,本申请实施例中的电话卡包括但不限于SIM卡、eSIM卡、全球用户识别卡(universal subscriber identity module,USIM)、通用集成电话卡(universalintegrated circuit card,UICC)等等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
应理解,本申请实施例中的技术方案可以用于Android、IOS、鸿蒙等系统中。
本申请实施例的应用场景可以是用户发出唤醒指令,由唤醒设备来应答,该唤醒设备为多个具有唤醒功能的拾音设备中最合理的应答设备。
本申请实施例中的拾音设备可以是电视机、台式电脑、笔记本电脑,还可以是便携式电子设备,诸如手机、平板电脑、照相机、摄影机、录像机,还可以是5G网络中的电子设备或者未来演进的公用陆地移动通信网络(public land mobile network,PLMN)中的电子设备等,本申请对此不做限定。
示例性地,图3示出了本申请实施例提供的一种应用场景示意图。如图3所示,多个具有唤醒功能的智能设备位于同一组网中,该多个智能设备包括电视机310、手表320、耳机330、可折叠屏340、笔记本电脑350、平板电脑360、智能手机370和音箱380,其中,音箱380与用户之间的距离最短,当用户(唤醒音源)发出唤醒指令时,与用户(唤醒音源)距离最近的音箱380进行唤醒应答,其他智能设备不应答。
在一个示例中,用户发出语音指令“小艺小艺”,音箱380发出应答响应“我在”。
可选地,若多个智能设备距用户(唤醒音源)的距离相同,并且该距离为最短距离时,根据该多个智能设备的应答优先级确定应答设备。
其中,多个智能设备之间的优先级顺序可以是根据用户的输入确定的,也可以是系统自动确定的,本申请对此不作限定。
在一种示例中,手表320和耳机330均处于被用户(唤醒音源)佩戴的状态,也就是说,手表320和耳机330距用户的距离相同,并且手表320和耳机330的定位与用户(唤醒音源)重合,或手表320和耳机330距用户的距离为最短距离,则进一步根据手表320和耳机330的优先级顺序确定应答设备。
可选地,若耳机330的优先级为高优先级,那么确定耳机330为应答设备。
可选地,若用户佩戴手表320的手臂处于抬起状态,系统自动确定手表320为高优先级,进一步确定手表320为应答设备。
图4示出了一种现有的唤醒方法400的示意性流程图。如图4所示,该方法400包括:
S401:响应于语音唤醒事件,生成第一唤醒请求,并将该第一唤醒请求发送至服务器。
S402:接收至少一个第二智能设备发送的第二唤醒请求。
S403:如果满足决策条件,则根据预设的决策规则,生成第一唤醒结果,并向各个智能设备发送该第一唤醒结果。
S404:如果生成第一唤醒结果,在接收到服务器根据第一唤醒请求和第二唤醒请求返回的第二唤醒结果之后,丢弃第一唤醒结果,根据第二唤醒结果执行唤醒或抑制唤醒。
S405:如果生成第一唤醒结果,在接收到第二唤醒结果之前,根据第一唤醒结果执行唤醒或抑制唤醒。
该方法中,采用服务器作为中心节点来收集多个智能设备的每一次唤醒请求,这会使得决策唤醒的过程耗时较长,从而导致唤醒响应慢;并且,服务器采用语音能量值作为执行唤醒或抑制唤醒的决策标准,而设备采集到的语音能量值与设备的麦克风阵列、增益等硬件参数相关,还会随着唤醒音源与设备之间的距离的变化而变化,因此语音能量值作为评估标准所做出的决策准确度较低。
图5示出了另一种现有的唤醒方法500的示意性流程图。如图5所示,该方法500包括:
S501:通过预设标准训练语音对同一声学组网协议下各不同类型的智能语音设备进行增益校准,确定各类型的智能语音设备的增益参数。
S502:监听所述声学组网下的各智能语音设备,当至少一台智能语音设备被用户的唤醒指令激活时,获取各激活中待选的智能语音设备录制的音频以及各待选的智能语音设备识别所述唤醒指令的置信度。
S503:根据各待选的智能语音设备的增益参数对各自录制的音频进行能量分析增益校准,至少根据对增益校准后的音频进行直达声和混响比分析确定各待选智能语音设备与所述用户的距离,对增益校准后的音频进行高低频一致性分析,确定所述待选智能语音设备与用户的方向。
S504:至少将所述各待选智能语音设备与所述用户的距离、方向以及唤醒指令的置信度输入至预先训练的神经网络中进行信息融合分析,唤醒用于反馈用户的智能设备。
该方法中,对声学组网中的智能语音设备进行建模分析,构建声学组网模型,因此,需要提前采集和训练组网中的智能语音设备的信息,这使得该方法不具有多设备灵活声学组网的可能性;并且,每做一次唤醒决策,都需要将智能语音设备与用户的坐标、方向以及唤醒指令的置信度输入至预先训练的神经网络中进行信息融合分析,该信息融合过程需要收集每个智能语音设备录制的音频信息,同样属于中心化收集设备信息,进行决策的过程,这会使得决策唤醒的过程耗时较长,从而导致唤醒响应慢。
因此,目前的唤醒方法均存在唤醒响应速度较慢和唤醒准确率较低的问题。
因此,亟需要一种唤醒方法,以提升唤醒响应的速度和唤醒准确率,提升用户的使用体验。
有鉴于此,本申请提供了一种协同唤醒的方法、装置和电子设备。该方法通过构建去中心化的协同唤醒模型,能够避免在协同唤醒过程中,每次唤醒均收集设备信息的流程,从而能够提高唤醒响应的速度;并且,该方法不依赖音频数据(音频数据受设备的硬件参数影响),能够提升唤醒的准确率,进而提高用户的使用体验。
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“一个实施例”、“一些实施例”、“另一个实施例”、“另外一些实施例”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
示例性地,图6示出了本申请实施例提供的一种协同唤醒的方法600的示意性流程图。如图6所示,该方法600包括:
S601:分别确定N个拾音设备的坐标位置。
其中,该N个拾音设备可以位于同一组网中,例如:该N个拾音设备连接了同一个无线网络。
可选地,拾音设备可以是智能语音设备。
可选地,可以以该N个拾音设备中的任意一个拾音设备为坐标原点建立坐标系,确定该N个拾音设备在该坐标系中的坐标位置;还可以分别以该N个拾音设备为坐标原点建立对应的N个坐标系,再分别确定该N个拾音设备中的每个拾音设备在该N个坐标系中的坐标位置。
可选地,可以通过超声波定位的方法确定N个拾音设备的坐标位置。
可选地,当有拾音设备上线时,该拾音设备通过蓝牙广播的方式通知组网中的其他拾音设备;其他拾音设备收到该蓝牙广播后,通过超声波定位的方式确定该新上线的拾音设备在坐标系中的坐标位置;并且,该新上线的拾音设备建立自身坐标系,进行通过超声波定位的方式确定组网内其他拾音设备的坐标位置。
可选地,上述定位方法还可以是其他定位方法,例如可以是摄影定位方法等;上述通知还可以是其他方式的通知,例如通过wifi通知等方式,本申请对此不作限定。
可选地,在组网过程中,若N个拾音设备中的一个或多个拾音设备被移动,可以通过重力传感器,方向传感器或者陀螺仪等设备检测到该移动,并且,在移动结束后,被移动的拾音设备可通过在组网中发送广播,以触发新一轮的坐标定位,能够避免在组网过程中,由于拾音设备的坐标位置发生变化而产生的决策不准确(所确定的唤醒设备不准确)的问题。
S602:确定唤醒音源的坐标位置。
可选地,唤醒音源可以是用户发出唤醒指令时所在的坐标位置,该唤醒指令为用户发出的唤醒语音,例如可以是“小艺小艺!”。
可选地,可以以该N个拾音设备中的任意一个拾音设备为坐标原点建立坐标系,确定该唤醒音源在该坐标系中的坐标位置;还可以分别以该N个拾音设备为坐标原点建立对应的N个坐标系,再分别确定该唤醒音源在该N个坐标系中的坐标位置。
可选地,可以通过超声波定位的方法确定唤醒音源的坐标位置,具体地,拾音设备能够通过自身的声源定位模型确定唤醒音源的方向和距离,进而确定唤醒音源的坐标位置。
S603:根据该N个拾音设备的坐标位置和该唤醒音源的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离。
假设在同一坐标系中,第一拾音设备的坐标位置为(a1,b1),第二拾音设备的坐标位置为(a2,b2),唤醒音源的坐标位置为(a3,b3),那么,第一拾音设备与唤醒音源之间的距离为第二拾音设备与唤醒音源之间的距离为
S604:根据该N个拾音设备与该唤醒音源之间的距离确定目标唤醒设备。
其中,唤醒设备为确定需要被唤醒的拾音设备,该N个拾音设备包括该唤醒设备。
可选地,可以将离唤醒音源的距离最近的拾音设备确定为唤醒设备。
可选地,该N个拾音设备中的每个拾音设备可以根据该N个拾音设备与该唤醒音源之间的距离和N个拾音设备的唤醒优先级,确定自身是否进行唤醒应答。
其中,N个拾音设备的唤醒优先级,可以是根据用户输入确定的,还可以是系统自动确定的,还可以是系统根据用户习惯确定的,还可以是通过其他方式确定的,本申请对此不作限定。
在一个示例中,N个拾音设备中的M个拾音设备离唤醒音源的距离相同,且均为最小距离,此时,将该M个拾音设备中唤醒优先级最高的拾音设备确定为唤醒设备,其中,M为大于或者等于2,且小于或者等于N的正整数。
可选地,设备系统组网后,对N个拾音设备设置唤醒优先级排序,如果该N个拾音设备是同一账号下的协同设备,用户可以在相应的应用程序APP上设置该N个拾音设备的唤醒优先级,或者,系统还可以根据该N个拾音设备的配网顺序自动生成各自的唤醒优先级。
在另一个示例中,N个拾音设备中存在可能会被用户(唤醒人/唤醒音源)随身携带的设备,并且,通过该N个拾音设备和唤醒音源的坐标位置,能够知道该N个拾音设备中存在与唤醒音源的坐标位置重合的Z个拾音设备,在此情况下,需要根据相关规则对该Z个拾音设备的唤醒优先级进行重新排序,其中,Z为大于或者等于2,且小于或者等于N的正整数。
以该Z个拾音设备为手机和手表为例,用户佩戴了手表,并且同时拿着手机,当用户手腕抬起时,触发了手表亮屏,此时,重新确定手表为高优先级,进而该手表被优先唤醒。
可选地,可预先同步该手腕抬起的动作给N个拾音设备,并设置在此场景下手表的唤醒优先级为高优先级;或者,用户佩戴了手表,并且同时拿着手机,当手机亮屏,且用户与手机在高度上的距离小于50cm时,重新确定手机为高优先级,进而该手机被优先唤醒,其中,可预先同步该手机亮屏且高度小于50cm的条件给组网内的所有拾音设备,并设置在此场景下手机的唤醒优先级为高优先级。
可以理解:可预先同步任意一个或多个预示当前拾音设备可能处于正在被使用的状态的条件给组网内的所有拾音设备,并设置在满足此条件时该当前拾音设备的唤醒优先级为高优先级。
本申请实施例中,各个拾音设备在检测到唤醒后,自身能够根据组网内的拾音设备与唤醒音源之间的距离和/或唤醒优先级在短时内做出是否进行唤醒响应的决策,该过程不依赖于中心设备,不需要等待组网内的所有拾音设备的信息同步,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、音色、音调、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
示例性地,图7示出了本申请实施例提供的一种协同唤醒的方法700的示意性流程图。如图7所示,该方法700包括:
S701:以第一拾音设备为坐标原点建立第一坐标系。
其中,N个拾音设备包括第一拾音设备,该N个拾音设备可以位于同一组网中。
可选地,拾音设备可以是智能语音设备。
S702:分别确定N个拾音设备在第一坐标系中的坐标位置。
可选地,通过超声波定位的方法分别确定N个拾音设备在第一坐标系中的坐标位置,或通过摄影功能定位的方法分别确定N个拾音设备在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定N个拾音设备在第一坐标系中的坐标位置,具体取决于定位设备(例如:第一拾音设备)所具有的定位功能类型,本申请对此不作限定。
S703:将N个拾音设备的坐标位置同步至该N个拾音设备中的每个拾音设备。
S704:确定唤醒音源在第一坐标系中的坐标位置。
可选地,通过超声波定位的方法确定唤醒音源在第一坐标系中的坐标位置,或通过摄影功能定位的方法确定唤醒音源在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定唤醒音源在第一坐标系中的坐标位置,具体取决于定位设备(例如:N个拾音设备中的任意一个或多个)所具有的定位功能类型,本申请对此不作限定。
可以理解:本申请实施例中,第一拾音设备具备定位组网内其他拾音设备的坐标位置的能力,N个拾音设备中除第一拾音设备之外的其他拾音设备可以不具备定位组网内其他拾音设备的坐标位置的能力;但是,N个拾音设备均具有声源定位能力,用以确定唤醒音源在第一坐标系中的坐标位置。
具体地,N个拾音设备中的任意拾音设备确定唤醒音源在第一坐标系中的距离的方法可以是:该任意拾音设备利用自身的声源定位系统确定自身距唤醒音源的距离和方向(角度),然后该任意拾音设备根据自身在第一坐标系中的坐标位置和自身距唤醒音源的距离和方向(角度)确定唤醒音源在第一坐标系中的坐标位置。
S705:根据唤醒音源在第一坐标系中的坐标位置和N个拾音设备在第一坐标系中的坐标位置分别确定唤醒音源和N个拾音设备之间的距离。
其中,确定唤醒音源和N个拾音设备之间的距离的具体方法,将在后续实施例中进行详细介绍。
S706:根据唤醒音源和N个拾音设备之间的距离确定唤醒设备。
其中,关于对确定唤醒设备的具体解释,在图6所示的实施例中的步骤S604中进行了详细描述,为了简洁,在此不再赘述。
其中,步骤S701至步骤S703为非必选步骤,也就是说,步骤S701至步骤S703可以视作组网内在线的拾音设备的维护和坐标位置同步,在组网内的拾音设备上下线情况不变且位置不变的情况下,该坐标位置的同步仅发生一次,而唤醒事件可发生多次,该步骤S701至步骤S703发生于唤醒事件之前。
可选地,在检测到组网内有拾音设备上线或有拾音设备发生移动(即坐标位置发生变化)时,会触发组网内各个拾音设备的定位操作,并重新进行坐标位置的同步。
其中,当检测到拾音设备发生移动时,不会立即触发重新定位和坐标位置同步操作,而是待确定移动结束后(例如:距离最近一次检测到移动的时间点间隔了某一预设时长)才会触发。
本申请实施例中,以任意一个拾音设备为坐标原点建立坐标系,并确定所有拾音设备和唤醒音源在该坐标系中的坐标位置,在所有拾音设备范围内内同步该坐标位置信息,使得所有拾音设备均能够得到唤醒音源与各个拾音设备之间的距离,这样,当有拾音设备检测到唤醒后,能够直接根据该距离信息确定自身是否做出唤醒响应,该过程不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
图8示出了本申请实施例提供的一种确定拾音设备的坐标位置的示意图,为了更加清楚地理解图7所示的协同唤醒方法700,示例性地,结合图8,对本申请实施例提供的方法700中确定唤醒设备的方法进行详细介绍。
如图8所示,第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840可以位于同一组网中,该方法800包括:
(1)以第一拾音设备810作为坐标原点建立第一坐标系。
(2)分别确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840在该第一坐标系中的坐标位置。
其中,所确定的第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840在该第一坐标系中的坐标位置分别为(0,0)、(x1,y1)、(x2,y2)、(x3,y3)。
可选地,通过超声波定位的方式确定各个拾音设备在第一坐标系中的坐标位置,具体地:
第一拾音设备通过自身的定位模型确定各个拾音设备的方向和距离,其中,第二拾音设备和第一拾音设备之间的距离为d1,以第二拾音设备和第一拾音设备为端点的线段与y轴正方向的夹角为α1,第二拾音设备820的坐标位置为(-d1sinα1,d1cosα1)=(x1,y1);第三拾音设备和第一拾音设备之间的距离为d2,以第三拾音设备和第一拾音设备为端点的线段与y轴正方向的夹角为α2,第三拾音设备830的坐标位置为(d2sinα2,d2cosα2)=(x2,y2);第四拾音设备和第一拾音设备之间的距离为d3,以第四拾音设备和第一拾音设备为端点的线段与y轴正方向的夹角为α3,第四拾音设备840的坐标位置为(d3sinα3,d3cosα3)=(x3,y3)。
可选地,还可以通过摄影功能定位的方法确定各个拾音设备在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定各个拾音设备在第一坐标系中的坐标位置,具体取决于定位设备(例如:第一拾音设备)所具有的的定位功能类型,本申请对此不作限定。
(3)将第一拾音设备810、第二拾音设备820、第三拾音设备830、第四拾音设备840的上述坐标位置同步给第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840。
上述步骤(1)至步骤(3)发生于唤醒事件发生之前。
(4)检测到唤醒事件后,确定唤醒音源850在该第一坐标系中的坐标位置为(x4,y4)。
可选地,通过超声波定位的方式确定唤醒音源850在第一坐标系中的坐标位置,具体地:
第一拾音设备810、第二拾音设备820、第三拾音设备830、第四拾音设备840分别通过自身的声源定位系统确定确定唤醒音源850在第一坐标系中坐标位置。
具体地,以第二拾音设备820确定唤醒音源850在第一坐标系中的坐标位置为例:
第二拾音设备820利用自身的声源定位系统确定自身距唤醒音源850的距离d4和方向(角度α4),然后该第二拾音设备根据自身在第一坐标系中的坐标位置(x1,y1)和自身距唤醒音源的距离d4和方向(角度α4)确定唤醒音源在第一坐标系中的坐标位置为(x1-d4sinα4,y1-d4cosα4)=(x4,y4)。
可选地,还可以通过摄影功能定位的方法确定唤醒音源在第一坐标系中的坐标位置,此外,还可以通过其他定位方法确定唤醒音源在第一坐标系中的坐标位置,具体取决于定位设备(例如:N个拾音设备中的任意一个或多个)所具有的定位功能类型,本申请对此不作限定。
(5)分别根据第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840与唤醒音源850在第一坐标系中的坐标位置确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840与唤醒音源850之间的距离。
其中,第一拾音设备810与唤醒音源850之间的距离为第二拾音设备820与唤醒音源850之间的距离为/>第三拾音设备830与唤醒音源850之间的距离为/>第四拾音设备840与唤醒音源850之间的距离为/>
(5)根据第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840与唤醒音源850之间的距离确定唤醒设备。
其中,关于对确定唤醒设备的具体解释,在图6所示的实施例中的步骤S604中进行了详细描述,为了简洁,在此不再赘述。
示例性地,图9示出了本申请实施例提供的一种协同唤醒的方法900的示意性流程图。如图9所示,该方法900包括:
S901:分别以N个拾音设备为坐标原点建立N个第二坐标系。
其中,N个拾音设备和N个第二坐标系具有一一对应关系。
S902:分别在N个第二坐标系中确定N个拾音设备中的每个拾音设备的坐标位置。
也可以描述为:分别确定N个拾音设备中的每个拾音设备在该N个第二坐标系中的坐标位置。
举例来说,假设N=2,N个拾音设备包括第一拾音设备和第二拾音设备,则是分别确定第一拾音设备在以第一拾音设备为坐标原点建立的第二坐标系和以第二拾音设备为坐标原点建立的第二坐标系中的坐标位置;且分别确定第二拾音设备在以第一拾音设备为坐标原点建立的第二坐标系和以第二拾音设备为坐标原点建立的第二坐标系中的坐标位置。
可选地,可以通过超声波定位的方法分别确定N个拾音设备中的每个拾音设备在该N个第二坐标系中的坐标位置,或通过摄影功能定位的方法分别确定N个拾音设备中的每个拾音设备在该N个第二坐标系中的坐标位置,此外,还可以通过其他定位方法分别确定N个拾音设备中的每个拾音设备在该N个第二坐标系中的坐标位置,具体取决于定位设备(例如:N个拾音设备中的任意拾音设备)所具有的定位功能类型,本申请对此不作限定。
也就是说,N个拾音设备中的每个拾音设备均以自身为坐标原点建立了坐标系,并且确定了其他拾音设备在该坐标系中的坐标位置。
上述步骤S901和步骤S902发生于唤醒事件之前。
其中,步骤S901和步骤S902为非必选步骤,也就是说,步骤S901和步骤S902可以视作组网内在线的拾音设备的维护和坐标位置同步,在组网内的拾音设备上下线情况不变且位置不变的情况下,该坐标位置的同步仅发生一次,而唤醒事件可发生多次。
可选地,在检测到组网内有拾音设备上线或有拾音设备发生移动(即坐标位置发生变化)时,会触发组网内各个拾音设备的定位操作,并重新进行坐标位置的同步。
其中,当检测到拾音设备发生移动时,不会立即触发重新定位和坐标位置同步操作,而是待确定移动结束后(例如:距离最近一次检测到移动的时间点间隔了某一预设时长)才会触发。
S903:检测到唤醒事件后,分别在N个第二坐标系中确定唤醒音源的坐标位置。
也可以描述为:分别确定唤醒音源在N个第二坐标系中的坐标位置。
可选地,通过超声波定位的方法分别确定唤醒音源在N个第二坐标系中的坐标位置,或通过摄影功能定位的方法分别确定唤醒音源在N个第二坐标系中的坐标位置,此外,还可以通过其他定位方法分别确定唤醒音源在N个第二坐标系中的坐标位置,具体取决于定位设备(例如:N个拾音设备中的任意一个或多个)所具有的定位功能类型,本申请对此不作限定。
可以理解:本申请实施例中,N个拾音设备中的每个拾音设备均具备定位组网内其他拾音设备的坐标位置的能力;并且该N个拾音设备均具有声源定位能力,用以确定唤醒音源在自身坐标系中的坐标位置。
S904:分别在该N个第二坐标系中确定该N个拾音设备和唤醒音源之间的距离。
其中,确定该N个拾音设备和唤醒音源之间的距离的具体方法,将在后续实施例中进行详细介绍。
S905:根据N个拾音设备和唤醒音源之间的距离确定唤醒设备。
其中,关于对确定唤醒设备的具体解释,在图6所示的实施例中的步骤S604中进行了详细描述,为了简洁,在此不再赘述。
本申请实施例中,分别以N个拾音设备中的每个拾音设备为坐标原点建立坐标系,并确定N个拾音设备和唤醒音源分别在所建立的多个坐标系中的坐标位置,使得该N个拾音设备均能够计算得到唤醒音源与各个拾音设备之间的距离,这样,当拾音设备检测到唤醒后,能够直接根据该距离信息确定自身是否做出唤醒响应,该过程不需要同步坐标位置,也不依赖于中心设备,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
图10示出了本申请实施例提供的又一种确定拾音设备的坐标位置的示意图,为了更加清楚地理解图9所示的协同唤醒方法900,示例性地,结合图10,对本申请实施例提供的方法900中确定唤醒设备的方法进行详细介绍。
如图10所示,第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840位于同一组网中,该方法1000包括:
(1)分别以第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840作为坐标原点建立平面直角坐标系。
(2)分别在以第一拾音设备810为坐标原点建立的坐标系、以第二拾音设备820为坐标原点建立的坐标系、以第三拾音设备830为坐标原点建立的坐标系和以第四拾音设备840为坐标原点建立的坐标系中确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840的坐标位置。
其中,在以第一拾音设备810为坐标原点的坐标系中确定的第一拾音设备810的坐标位置、第二拾音设备820的坐标位置、第三拾音设备830的坐标位置和第四拾音设备840的坐标位置分别为(0,0)、(x01,y01)、(x02,y02)、(x03,y03);在以第二拾音设备820为坐标原点的坐标系中确定的第一拾音设备810的坐标位置、第二拾音设备820的坐标位置、第三拾音设备830的坐标位置和第四拾音设备840的坐标位置分别为(x10,y10)、(0,0)、(x12,y12)、(x13,y13);在以第三拾音设备830为坐标原点的坐标系中确定的第一拾音设备810的坐标位置、第二拾音设备820的坐标位置、第三拾音设备830的坐标位置和第四拾音设备840的坐标位置分别为(x20,y20)、(x21,y21)、(0,0)、(x23,y23);在以第四拾音设备840为坐标原点的坐标系中确定的第一拾音设备810的坐标位置、第二拾音设备820的坐标位置、第三拾音设备830的坐标位置和第四拾音设备840的坐标位置分别为(x30,y30)、(x31,y31)、(x32,y32)、(0,0)。
(3)检测到唤醒事件后,分别在以第一拾音设备810为坐标原点建立的坐标系、以第二拾音设备820为坐标原点建立的坐标系、以第三拾音设备830为坐标原点建立的坐标系和以第四拾音设备840为坐标原点建立的坐标系中确定唤醒音源850的坐标位置。
其中,在以第一拾音设备810为坐标原点的坐标系中确定的唤醒音源850的坐标位置为(x04,y04);在以第二拾音设备820为坐标原点的坐标系中确定的唤醒音源850的坐标位置为(x14,y14);在以第三拾音设备830为坐标原点的坐标系中确定的唤醒音源850的坐标位置为(x24,y24);在以第四拾音设备840为坐标原点的坐标系中确定的唤醒音源850的坐标位置为(x34,y34)。
(4)在以第一拾音设备810为坐标原点的坐标系中分别确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离:
在以第二拾音设备820为坐标原点的坐标系中分别确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离:/> 在以第三拾音设备830为坐标原点的坐标系中分别确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离:
在以第四拾音设备840为坐标原点的坐标系中分别确定第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离:/>
(5)确定唤醒设备。
具体地,第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840在检测到唤醒后,分别根据自身与唤醒音源850和其他拾音设备之间距离确定自身是否为唤醒设备。
在一个示例中,若第二拾音设备与唤醒音源之间的距离最短,则确定第二拾音设备为唤醒设备。
其中,第二拾音设备与唤醒音源之间的距离最短,具体体现为:
第一拾音设备在以自身为坐标原点的坐标系中分别确定的第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离中,最小值为与此同时,第二拾音设备在以自身为坐标原点的坐标系中分别确定的第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离中,最小值为/>第三拾音设备在以自身为坐标原点的坐标系中分别确定的第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离中,最小值为/>第四拾音设备在以自身为坐标原点的坐标系中分别确定的第一拾音设备810、第二拾音设备820、第三拾音设备830和第四拾音设备840到唤醒音源850的距离中,最小值为
在另一个示例中,若第二拾音设备和第三拾音设备与唤醒音源之间的距离相同且为最短,则进一步结合第二拾音设备和第三拾音设备的优先级确定唤醒设备,例如:以该第二拾音设备和第三拾音设备分别为手机和手表为例,用户佩戴了手表,并且同时拿着手机,当用户手腕抬起时,触发了手表亮屏,此时,确定手表为高优先级,进而该手表被优先唤醒,其中,可预先同步该手腕抬起的动作给组网内的所有拾音设备,并设置在此场景下手表的唤醒优先级为高优先级;再例如:用户佩戴了手表,并且同时拿着手机,当手机亮屏,且用户与手机在高度上的距离小于50cm时,确定手机为高优先级,进而该手机被优先唤醒,其中,可预先同步该手机亮屏且高度小于50cm的条件给组网内的所有拾音设备,并设置在此场景下手机的唤醒优先级为高优先级。
可以理解:可预先同步任意一个或多个预示当前拾音设备可能处于正在被使用的状态的条件给组网内的所有拾音设备,并设置在满足此条件时该当前拾音设备的唤醒优先级为高优先级。
为了更加清楚地理解本申请提供的协同唤醒的方法,示例性地,图11示出了本申请实施例提供的一种协同唤醒的装置1100的功能模块示意图。如图11所示,该装置1100包括:
坐标确定模块1110,用于分别确定N个拾音设备的坐标位置。
其中,该N个拾音设备可以位于同一组网中,例如:该N个拾音设备连接了同一个无线网络。
可选地,拾音设备可以是智能语音设备。
可选地,坐标确定模块1110可以以该N个拾音设备中的任意一个拾音设备为坐标原点建立坐标系,确定该N个拾音设备在该坐标系中的坐标位置;还可以分别以该N个拾音设备为坐标原点建立对应的N个坐标系,再分别确定该N个拾音设备中的每个拾音设备在该N个坐标系中的坐标位置。
可选地,坐标确定模块1110可以通过超声波定位的方法确定N个拾音设备的坐标位置。
可选地,当有拾音设备上线时,该拾音设备通过蓝牙广播的方式通知组网中的其他拾音设备;其他拾音设备收到该蓝牙广播后,通过超声波定位的方式确定该新上线的拾音设备在坐标系中的坐标位置;并且,该新上线的拾音设备建立自身坐标系,进行通过超声波定位的方式确定组网内其他拾音设备的坐标位置。
可选地,上述定位方法还可以是其他定位方法,例如可以是摄影定位方法等;上述通知还可以是其他方式的通知,例如通过wifi通知等方式,本申请对此不作限定。
可选地,在组网过程中,若N个拾音设备中的一个或多个拾音设备被移动,可以通过重力传感器,方向传感器或者陀螺仪等设备检测到该移动,并且,在移动结束后,被移动的拾音设备可通过在组网中发送广播,以触发新一轮的坐标定位,能够避免在组网过程中,由于拾音设备的坐标位置发生变化而产生的决策不准确(所确定的唤醒设备不准确)的问题。
坐标确定模块1110,还用于确定唤醒音源的坐标位置。
可选地,唤醒音源可以是用户发出唤醒指令时所在的坐标位置,该唤醒指令为用户发出的唤醒语音,例如可以是“小艺小艺!”。
可选地,坐标确定模块1110可以以该N个拾音设备中的任意一个拾音设备为坐标原点建立坐标系,确定该唤醒音源在该坐标系中的坐标位置;还可以分别以该N个拾音设备为坐标原点建立对应的N个坐标系,再分别确定该唤醒音源在该N个坐标系中的坐标位置。
可选地,坐标确定模块1110可以通过超声波定位的方法确定唤醒音源的坐标位置,具体地,坐标确定模块1110通过拾音设备自身的声源定位模型确定唤醒音源的方向和距离,进而确定唤醒音源的坐标位置。
距离确定模块1120,用于根据该N个拾音设备的坐标位置和该唤醒音源的坐标位置分别确定该N个拾音设备与该唤醒音源之间的距离。
假设在同一坐标系中,第一拾音设备的坐标位置为(a1,b1),第二拾音设备的坐标位置为(a2,b2),唤醒音源的坐标位置为(a3,b3),那么,第一拾音设备与唤醒音源之间的距离为第二拾音设备与唤醒音源之间的距离为/>
决策模块1130,用于根据该N个拾音设备与该唤醒音源之间的距离确定唤醒设备。
其中,唤醒设备为确定需要被唤醒的拾音设备,该N个拾音设备包括该唤醒设备。
可选地,决策模块1130可以将离唤醒音源的距离最近的拾音设备确定为唤醒设备。
可选地,决策模块1130可以根据该N个拾音设备与该唤醒音源之间的距离和N个拾音设备的唤醒优先级,确定当前的拾音设备是否进行唤醒应答。
其中,N个拾音设备的唤醒优先级,可以是根据用户输入确定的,还可以是系统自动确定的,还可以是系统根据用户习惯确定的,还可以是通过其他方式确定的,本申请对此不作限定。
在一个示例中,N个拾音设备中的M个拾音设备离唤醒音源的距离相同,且均为最小距离,此时,决策模块1130将该M个拾音设备中唤醒优先级最高的拾音设备确定为唤醒设备,其中,M为大于或者等于2,且小于或者等于N的正整数。
可选地,设备系统组网后,对N个拾音设备设置唤醒优先级排序,如果该N个拾音设备是同一账号下的协同设备,用户可以在相应的应用程序APP上设置该N个拾音设备的唤醒优先级,或者,系统还可以根据该N个拾音设备的配网顺序自动生成各自的唤醒优先级。
在另一个示例中,N个拾音设备中存在可能会被用户(唤醒人/唤醒音源)随身携带的设备,并且,通过该N个拾音设备和唤醒音源的坐标位置,能够知道该N个拾音设备中存在与唤醒音源的坐标位置重合的Z个拾音设备,在此情况下,决策模块1130需要根据相关规则对该Z个拾音设备的唤醒优先级进行重新排序,其中,Z为大于或者等于2,且小于或者等于N的正整数。
以该Z个拾音设备为手机和手表为例,用户佩戴了手表,并且同时拿着手机,当用户手腕抬起时,触发了手表亮屏,此时,决策模块1130重新确定手表为高优先级,进而该手表被优先唤醒。
可选地,可预先同步该手腕抬起的动作给N个拾音设备,并设置在此场景下手表的唤醒优先级为高优先级;或者,用户佩戴了手表,并且同时拿着手机,当手机亮屏,且用户与手机在高度上的距离小于50cm时,决策模块1130重新确定手机为高优先级,进而该手机被优先唤醒,其中,可预先同步该手机亮屏且高度小于50cm的条件给组网内的所有拾音设备,并设置在此场景下手机的唤醒优先级为高优先级。
可以理解:可预先同步任意一个或多个预示当前拾音设备可能处于正在被使用的状态的条件给组网内的所有拾音设备,并设置在满足此条件时该当前拾音设备的唤醒优先级为高优先级。
本申请实施例中,各个拾音设备在检测到唤醒后,自身能够根据组网内的拾音设备与唤醒音源之间的距离和/或唤醒优先级在短时内做出是否进行唤醒响应的决策,该过程不依赖于中心设备,不需要等待组网内的所有智能语音设备的信息同步,能够缩短决策时间,进而能够提高唤醒响应的速度;并且,该方法不依赖设备硬件相关的指标(例如:音频数据、麦克采音的唤醒能量等受设备的硬件参数影响的指标),能够减少设备的不一致性对决策结果的干扰,提升协同唤醒设备的响应准确度,进而提高用户的使用体验。
可以理解地,上述实施例虽然以拾音设备唤醒为示例,但相应的方法也可以用于多拾音设备布局中的其他场景,如在用户语音发出控制指令的场景中,利用本申请提供的方案在多拾音设备中确定目标拾音设备,以通过该目标拾音设备的响应执行或控制其他设备执行与控制指令关联的操作等。也即,该用户事件可以不限于唤醒事件,也可以是其他事件类型。
本文中所描述的模块或单元的一个或多个可以软件、硬件或二者结合来实现。当以上任一模块或单元以软件实现的时候,所述软件以计算机程序指令的方式存在,并被存储在存储器中,处理器可以用于执行所述程序指令并实现以上方法流程。所述处理器可以包括但不限于以下至少一种:中央处理单元(central processing unit,CPU)、微处理器、数字信号处理器(DSP)、微控制器(microcontroller unit,MCU)、或人工智能处理器等各类运行软件的计算设备,每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。该处理器可以内置于SoC(片上系统)或专用集成电路(applicationspecificintegrated circuit,ASIC),也可是一个独立的半导体芯片。该处理器内处理用于执行软件指令以进行运算或处理的核外,还可进一步包括必要的硬件加速器,如现场可编程门阵列(field programmable gate array,FPGA)、PLD(可编程逻辑器件)、或者实现专用逻辑运算的逻辑电路。
当本文中所描述的模块或单元以硬件实现的时候,该硬件可以是CPU、微处理器、DSP、MCU、人工智能处理器、ASIC、SoC、FPGA、PLD、专用数字电路、硬件加速器或非集成的分立器件中的任一个或任一组合,其可以运行必要的软件或不依赖于软件以执行以上方法流程。
当本文中所描述的模块或单元使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid statedisk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (27)
1.一种协同唤醒的方法,其特征在于,所述方法包括:
响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置,所述第一坐标系为以第一拾音设备为坐标原点建立的坐标系,N个拾音设备包括所述第一拾音设备,所述N为大于1的正整数;
根据所述唤醒音源在所述第一坐标系中的坐标位置和所述N个拾音设备在所述第一坐标系中的坐标位置分别确定所述N个拾音设备与所述唤醒音源之间的距离;
根据所述N个拾音设备与所述唤醒音源之间的距离确定唤醒设备,所述N个拾音设备包括所述唤醒设备。
2.根据权利要求1所述的方法,其特征在于,在所述响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置之前,所述方法还包括:
以所述第一拾音设备为坐标原点建立所述第一坐标系;
分别确定所述N个拾音设备在所述第一坐标系中的坐标位置。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述N个拾音设备在所述第一坐标系中的坐标位置同步至所述N个拾音设备中的每个拾音设备。
4.根据权利要求2或3所述的方法,其特征在于,所述分别确定所述N个拾音设备在所述第一坐标系中的坐标位置,包括:
通过超声波定位的方法分别确定所述N个拾音设备在所述第一坐标系中的坐标位置;和/或,
所述确定唤醒音源在第一坐标系中的坐标位置,包括:
通过超声波定位的方法确定所述唤醒音源在所述第一坐标系中的坐标位置。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述确定唤醒音源在所述第一坐标系中的坐标位置,包括:
确定第二拾音设备相对所述唤醒音源的距离和方向;
根据所述第二拾音设备在所述第一坐标系中的坐标位置以及所述第二拾音设备相对所述唤醒音源的距离和方向确定所述唤醒音源在所述第一坐标系中的坐标位置,所述N个拾音设备包括所述第二拾音设备。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述根据所述N个拾音设备与所述唤醒音源之间的距离确定唤醒设备,包括:
根据所述N个拾音设备与所述唤醒音源之间的距离确定距离所述唤醒音源最近的拾音设备;
将所述距离唤醒音源最近的拾音设备确定为所述唤醒设备。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若存在两个或两个以上所述距离唤醒音源最近的拾音设备,则进一步根据所述两个或两个以上所述距离唤醒音源最近的拾音设备的唤醒优先级确定所述唤醒设备。
8.一种协同唤醒的方法,其特征在于,所述方法包括:
响应于唤醒事件,第i个拾音设备确定唤醒音源在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置,N个拾音设备包括所述第i个拾音设备,其中,N为大于1的正整数,i=1,…,N;
所述第i个拾音设备根据所述N个拾音设备在所述以第i个拾音设备为坐标原点建立的坐标系中的坐标位置和所述唤醒音源在所述以第i个拾音设备为坐标原点建立的坐标系中的坐标位置分别确定所述N个拾音设备与所述唤醒音源之间的距离;
所述第i个拾音设备根据所述N个拾音设备与所述唤醒音源之间的距离确定唤醒设备,所述N个拾音设备包括所述唤醒设备。
9.根据权利要求8所述的方法,其特征在于,在所述响应于唤醒事件,第i个拾音设备确定唤醒音源在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置之前,所述方法还包括:
以所述第i个拾音设备为坐标原点建立坐标系;
分别确定所述N个拾音设备在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置。
10.根据权利要求9所述的方法,其特征在于,所述分别确定所述N个拾音设备在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置,包括:
通过超声波定位的方法分别确定所述N个拾音设备在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置;和/或,
所述第i个拾音设备确定唤醒音源在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置,包括:
所述第i个拾音设备通过超声波定位的方法确定唤醒音源在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置。
11.根据权利要求8至10中任一项所述的方法,其特征在于,所述第i个拾音设备根据所述N个拾音设备与所述唤醒音源之间的距离确定唤醒设备,包括:
所述第i个拾音设备根据所述N个拾音设备与所述唤醒音源之间的距离确定距离所述唤醒音源最近的拾音设备;
所述第i个拾音设备将所述距离唤醒音源最近的拾音设备确定为所述唤醒设备。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
若存在两个或两个以上所述距离唤醒音源最近的拾音设备,则进一步根据所述两个或两个以上所述距离唤醒音源最近的拾音设备的唤醒优先级确定所述唤醒设备。
13.一种协同唤醒的装置,其特征在于,所述装置包括:
坐标确定模块,用于响应于唤醒事件,确定唤醒音源在第一坐标系中的坐标位置,所述第一坐标系为以第一拾音设备为坐标原点建立的坐标系,N个拾音设备包括所述第一拾音设备,所述N为大于1的正整数;
距离确定模块,用于根据所述唤醒音源在所述第一坐标系中的坐标位置和所述N个拾音设备在所述第一坐标系中的坐标位置分别确定所述N个拾音设备与所述唤醒音源之间的距离;
决策模块,用于根据所述N个拾音设备与所述唤醒音源之间的距离确定唤醒设备,所述N个拾音设备包括所述唤醒设备。
14.根据权利要求13所述的装置,其特征在于,所述坐标确定模块还用于:
以所述第一拾音设备为坐标原点建立所述第一坐标系;
分别确定所述N个拾音设备在所述第一坐标系中的坐标位置。
15.根据权利要求14所述的装置,其特征在于,所述装置还包括:
坐标同步模块,用于将所述N个拾音设备在所述第一坐标系中的坐标位置同步至所述N个拾音设备中的每个拾音设备。
16.根据权利要求15所述的装置,其特征在于,所述坐标确定模块具体用于:
通过超声波定位的方法分别确定所述N个拾音设备在所述第一坐标系中的坐标位置;和/或,
所述坐标确定模块具体用于:
通过超声波定位的方法确定所述唤醒音源在所述第一坐标系中的坐标位置。
17.根据权利要求13至16中任一项所述的装置,其特征在于,所述坐标确定模块具体用于:
确定第二拾音设备相对所述唤醒音源的距离和方向;
根据所述第二拾音设备在所述第一坐标系中的坐标位置以及所述第二拾音设备相对所述唤醒音源的距离和方向确定所述唤醒音源在所述第一坐标系中的坐标位置,所述N个拾音设备包括所述第二拾音设备。
18.根据权利要求13至17中任一项所述的装置,其特征在于,所述决策模块具体用于:
根据所述N个拾音设备与所述唤醒音源之间的距离确定距离所述唤醒音源最近的拾音设备;
将所述距离唤醒音源最近的拾音设备确定为所述唤醒设备。
19.根据权利要求18所述的装置,其特征在于,所述决策模块还具体用于:
若存在两个或两个以上所述距离唤醒音源最近的拾音设备,则进一步根据所述两个或两个以上所述距离唤醒音源最近的拾音设备的唤醒优先级确定所述唤醒设备。
20.一种协同唤醒的装置,其特征在于,所述装置包括:
坐标确定模块,用于响应于唤醒事件,确定唤醒音源在以第i个拾音设备为坐标原点建立的坐标系中的坐标位置,N个拾音设备包括所述第i个拾音设备,其中,N为大于1的正整数,i=1,…,N;
距离确定模块,用于根据所述N个拾音设备在所述以第i个拾音设备为坐标原点建立的坐标系中的坐标位置和所述唤醒音源在所述以第i个拾音设备为坐标原点建立的坐标系中的坐标位置分别确定所述N个拾音设备与所述唤醒音源之间的距离;
决策模块,用于根据所述N个拾音设备与所述唤醒音源之间的距离确定唤醒设备,所述N个拾音设备包括所述唤醒设备。
21.根据权利要求20所述的装置,其特征在于,所述坐标确定模块还用于:
以所述第i个拾音设备为坐标原点建立坐标系;
分别确定所述N个拾音设备在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置。
22.根据权利要求21所述的装置,其特征在于,所述坐标确定模块具体用于:
通过超声波定位的方法分别确定所述N个拾音设备在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置;和/或,
所述坐标确定模块具体用于:
通过超声波定位的方法确定唤醒音源在以所述第i个拾音设备为坐标原点建立的坐标系中的坐标位置。
23.根据权利要求20至22中任一项所述的装置,其特征在于,所述决策模块具体用于:
根据所述N个拾音设备与所述唤醒音源之间的距离确定距离所述唤醒音源最近的拾音设备;
将所述距离唤醒音源最近的拾音设备确定为所述唤醒设备。
24.根据权利要求23所述的装置,其特征在于,所述决策模块还具体用于:
若存在两个或两个以上所述距离唤醒音源最近的拾音设备,则进一步根据所述两个或两个以上所述距离唤醒音源最近的拾音设备的唤醒优先级确定所述唤醒设备。
25.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至7中任一项所述的方法,或,执行如权利要求8至12中任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序或指令,当所述程序或指令被运行时,实现如权利要求1至7中任一项所述的方法,或,实现如权利要求8至12中任一项所述的方法。
27.一种芯片,其特征在于,所述芯片中存储有指令,当所述指令被运行时,使得所述芯片执行如权利要求1至7中任一项所述的方法,或,执行如权利要求8至12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211469337.8A CN118072723A (zh) | 2022-11-22 | 2022-11-22 | 协同唤醒的方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211469337.8A CN118072723A (zh) | 2022-11-22 | 2022-11-22 | 协同唤醒的方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118072723A true CN118072723A (zh) | 2024-05-24 |
Family
ID=91102705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211469337.8A Pending CN118072723A (zh) | 2022-11-22 | 2022-11-22 | 协同唤醒的方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118072723A (zh) |
-
2022
- 2022-11-22 CN CN202211469337.8A patent/CN118072723A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020211701A1 (zh) | 模型训练方法、情绪识别方法及相关装置和设备 | |
CN110910872B (zh) | 语音交互方法及装置 | |
EP3923634A1 (en) | Method for identifying specific position on specific route and electronic device | |
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
CN114079893B (zh) | 蓝牙通信方法、终端设备及计算机可读存储介质 | |
WO2021052139A1 (zh) | 手势输入方法及电子设备 | |
CN116070035B (zh) | 数据处理方法和电子设备 | |
CN115589051B (zh) | 充电方法和终端设备 | |
CN114995715B (zh) | 悬浮球的控制方法和相关装置 | |
CN115333941B (zh) | 获取应用运行情况的方法及相关设备 | |
CN113380240B (zh) | 语音交互方法和电子设备 | |
CN115206308A (zh) | 一种人机交互的方法及电子设备 | |
CN114116610A (zh) | 获取存储信息的方法、装置、电子设备和介质 | |
CN118072723A (zh) | 协同唤醒的方法、装置和电子设备 | |
CN116048831B (zh) | 一种目标信号处理方法和电子设备 | |
CN117133311B (zh) | 音频场景识别方法及电子设备 | |
CN116382728B (zh) | 传播名显示方法和终端设备 | |
CN115619628B (zh) | 图像处理方法和终端设备 | |
CN116719376B (zh) | 电压控制方法、装置、设备和存储介质 | |
CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
CN116346982B (zh) | 处理音频的方法、电子设备及可读存储介质 | |
CN114205318B (zh) | 头像显示方法及电子设备 | |
CN114006976B (zh) | 一种界面显示方法及终端设备 | |
CN117177216A (zh) | 信息交互的方法、装置和电子设备 | |
CN117435309A (zh) | 任务迁移的方法、电子设备和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |