CN114268379B - 无线感知方法、终端及计算机存储介质 - Google Patents
无线感知方法、终端及计算机存储介质 Download PDFInfo
- Publication number
- CN114268379B CN114268379B CN202110464023.8A CN202110464023A CN114268379B CN 114268379 B CN114268379 B CN 114268379B CN 202110464023 A CN202110464023 A CN 202110464023A CN 114268379 B CN114268379 B CN 114268379B
- Authority
- CN
- China
- Prior art keywords
- terminal
- signals
- signal
- sound wave
- modules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例提供一种无线感知方法,应用于包括多个声波发送模块的第一终端,该方法包括:使用多个第一发送模块分别发送多个第一信号,多个第一发送模块为多个声波发送模块的部分或全部;接收第二终端发送的第一指示信息,第一指示信息用于指示发送多个第一信号中第二信号的第二发送模块,第二终端接收的第二信号的信号质量参数大于或等于预设阈值,或第二终端接收的第二信号的信号质量参数大于多个第一信号中其他信号的信号质量参数;根据第一指示信息确定使用第二发送模块发送第三信号,第三信号用于确定第一终端和第二终端的相对位置关系。采用本申请实施例能够选择合适的声波发送模块实现设备间的定位,从而提高定位的准确流程和稳定性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种无线感知方法、终端及计算机存储介质。
背景技术
无线感知技术可以通过分析无线信号在传播过程中的变化来获得信号传播空间的特性,从而实现人或其他物体的无线感知(例如定位,手势识别等)。发送端可以发送多个无线信号,接收端可以对这多个无线信号进行分析,从而实现无线感知应用。但这多个无线信号之间常常出现互相干扰、信号衰减不同等问题,导致无线感知应用的稳定性和准确率都较低。例如,发送端可以配置多个扬声器,这多个扬声器存在朝向角不同,同步性差的问题,加上声波波束具有一定的方向性,导致这多个扬声器在实现定位时发送的多个声波信号之间互相干扰,信号衰减不同,因此定位结果不准确。
发明内容
本申请实施例公开了一种无线感知方法、终端及计算机存储介质,可以选择合适的发送模块实现无线感知应用,从而提高无线感知应用的稳定性和准确率。
第一方面,本申请实施例提供了一种无线感知方法,应用于第一终端,上述第一终端包括多个声波发送模块,该方法包括:使用多个第一发送模块分别发送多个第一信号,上述多个第一发送模块为上述多个声波发送模块的部分或全部;接收第二终端发送的第一指示信息,上述第一指示信息用于指示第二发送模块,上述第二发送模块为发送上述多个第一信号中的第二信号的模块,上述第二终端接收的上述第二信号的信号质量参数大于或等于第一预设阈值,或,上述第二终端接收的上述第二信号的信号质量参数大于,上述第二终端接收的上述多个第一信号中其他信号的信号质量参数,上述第一指示信息是上述第二终端根据接收的上述多个第一信号的信号质量参数确定的;根据上述第一指示信息确定使用上述第二发送模块发送第三信号,上述第三信号用于确定上述第一终端和上述第二终端的相对位置关系。
本申请中,第二终端可以从第一终端的多个第一发送模块中,确定出“最佳”的第二发送模块,第二终端接收的第二发送模块所发送的第二信号的信号质量参数较大或最大。第二终端可以指示第一终端使用第二发送模块发送第三信号,以实现设备间的定位等声波感知应用,提高了定位等声波感知应用的准确率和稳定性。并且,避免了其他声波发送模块一起发送声波信号而带来的干扰,也减少了发送声波信号的声波发送模块的数量,在保证准确性的同时减少了设备功耗,可用性更高。
在一种可能的实现方式中,上述使用多个第一发送模块分别发送多个第一信号之前,上述方法还包括:使用上述多个声波发送模块分别发送多个第四信号;接收上述第二终端发送的第二指示信息,上述第二指示信息用于指示上述多个第一发送模块,上述第二终端接收的上述多个第一发送模块所发送的上述第四信号的信号质量参数大于或等于第二预设阈值,或,上述第二终端接收的上述多个第一发送模块所发送的上述第四信号的信号质量参数大于,上述第二终端接收的上述多个第四信号中其他信号的信号质量参数,上述第二指示信息是上述第二终端根据接收的上述多个第四信号的信号质量参数确定的;上述使用多个第一发送模块分别发送多个第一信号,包括:根据上述第二指示信息确定使用上述多个第一发送模块分别发送上述多个第一信号。
本申请中,第一终端可以先通过多个声波发送模块发送多个第四信号,第二终端可以先从这多个声波发送模块中,确定出发送信号的信号质量参数较大或最大的多个第一发送模块。然后,第一终端可以通过多个第一发送模块发送多个第一信号,第二终端再从这多个第一发送模块中,确定出发送信号的信号质量参数较大或最大的第二发送模块。这样的两次筛选过程,可以避免一次发送的信号数量较多,信号间干扰较大,导致声波发送模块的筛选不准确的问题,进一步提高了定位等声波感知应用的准确率和稳定性。
在一种可能的实现方式中,上述多个第一信号中任意两个信号的发送时刻不同;或,上述多个第一信号中任意两个信号的传输频段不同;或,上述多个第一信号中任意两个信号的编码方式不同。
可选地,上述多个第一信号中任意两个信号的发送时刻不同时,上述第一终端发送声波信号的方式为时分复用TDM。
在上述TDM的传输方式下,多个第一发送模块发送第一信号的时序不重叠,因此发送每个第一信号所使用的带宽可以尽可能大,减少信号干扰,提高筛选第二发送模块的准确率。
可选地,上述多个第一信号中任意两个信号的传输频段不同时,上述第一终端发送声波信号的方式为频分复用FDM或正交频分复用OFDM。
在上述FDM或OFDM的传输方式下,多个第一发送模块可以同时发送第一信号,因此可以在较短时间内完成发送模块的筛选。
可选地,上述多个第一信号中任意两个信号的编码方式不同时,上述第一终端发送声波信号的方式为码分复用CDM。
在上述CDM的传输方式下,多个第一发送模块可以同时发送频段相同的第一信号,不仅可以在较短时间内完成发送模块的筛选,并且,发送每个第一信号所使用的带宽可以尽可能大,减少信号干扰,提高筛选第二发送模块的准确率。
在一种可能的实现方式中,该方法还包括:向上述第二终端发送上述第一终端的第一参数,并接收上述第二终端的第二参数;上述第一参数包括上述第一终端的上述多个声波发送模块的数量,上述第二参数包括上述第二终端的声波接收模块的数量;根据上述第一参数和上述第二参数确定使用上述多个声波发送模块分别发送上述多个第四信号的发送方式。
可选地,发送方式为TDM,FDM,OFDM或CDM。可选地,多个声波发送模块的数量大于或等于预设数量阈值时,发送方式为FDM,OFDM或CDM。可选地,多个声波发送模块的数量小于预设数量阈值时,发送方式为TDM。
在一种可能的实现方式中,上述多个声波发送模块属于多个发送模块组,一个上述发送模块组包括上述多个声波发送模块中的至少一个上述声波发送模块;上述第二发送模块为上述多个发送模块组中的至少一个上述发送模块组。
本申请中,第一终端可以使用多个发送模块组发送声波信号,第二终端可以使用一个声波接收模块接收任意一个发送模块组发送的声波信号,即使第二终端的配置较差,例如仅配置了一个声波接收模块或者多个声波接收模块之间的距离较近(接收信号时信号干扰较大),也可以实现发送模块组的筛选,从而实现准确率和稳定性较高的定位等声波感知应用,应用场景更广泛。
在一种可能的实现方式中,第一发送模块组发送的至少一个上述第四信号中任意两个信号的发送时刻不同;或,第一发送模块组发送的至少一个上述第四信号中任意两个信号的传输频段不同;或,第一发送模块组发送的至少一个上述第四信号中任意两个信号的编码方式不同;上述第一发送模块组为上述多个发送模块组中的任意一个上述发送模块组。
在一种可能的实现方式中,第一发送模块组发送的至少一个上述第四信号的发送时刻和第二发送模块组发送的至少一个上述第四信号的发送时刻不同;或,第一发送模块组发送的至少一个上述第四信号的传输频段和第二发送模块组发送的至少一个上述第四信号的传输频段不同;或,第一发送模块组发送的至少一个上述第四信号的编码方式和第二发送模块组发送的至少一个上述第四信号的编码方式不同;上述第一发送模块组和上述第二发送模块组为上述多个发送模块组中的任意两个上述发送模块组。
在一种可能的实现方式中,上述信号质量参数包括以下至少一项:信号强度、信噪比、信号的主径和旁径的比值,上述主径为直射径,上述旁径为反射径、折射径或绕射径。
第二方面,本申请实施例提供了一种无线感知方法,应用于第二终端,该方法包括:接收第一终端使用多个第一发送模块分别发送的多个第一信号,上述多个第一发送模块为上述第一终端包括的多个声波发送模块的部分或全部;向上述第一终端发送第一指示信息,上述第一指示信息用于指示第二发送模块,上述第二发送模块为发送上述多个第一信号中的第二信号的模块,上述第二终端接收的上述第二信号的信号质量参数大于或等于第一预设阈值,或,上述第二终端接收的上述第二信号的信号质量参数大于,上述第二终端接收的上述多个第一信号中其他信号的信号质量参数,上述第一指示信息是上述第二终端根据接收的上述多个第一信号的信号质量参数确定的;接收上述第一终端使用上述第二发送模块发送的第三信号,上述第三信号用于确定上述第一终端和上述第二终端的相对位置关系。
本申请中,第二终端可以从第一终端的多个第一发送模块中,确定出“最佳”的第二发送模块,第二终端接收的第二发送模块所发送的第二信号的信号质量参数较大或最大。第二终端可以指示第一终端使用第二发送模块发送第三信号,以实现设备间的定位等声波感知应用,提高了定位等声波感知应用的准确率和稳定性。并且,避免了其他声波发送模块一起发送声波信号而带来的干扰,也减少了发送声波信号的声波发送模块的数量,在保证准确性的同时减少了设备功耗,可用性更高。
在一种可能的实现方式中,上述接收第一终端使用多个第一发送模块分别发送的多个第一信号之前,该方法还包括:接收上述第一终端使用上述多个声波发送模块分别发送的多个第四信号;向上述第一终端发送第二指示信息,上述第二指示信息用于指示上述多个第一发送模块,上述第二终端接收的上述多个第一发送模块所发送的上述第四信号的信号质量参数大于或等于第二预设阈值,或,上述第二终端接收的上述多个第一发送模块所发送的上述第四信号的信号质量参数大于,上述第二终端接收的上述多个第四信号中其他信号的信号质量参数,上述第二指示信息是上述第二终端根据接收的上述多个第四信号的信号质量参数确定的。
本申请中,第一终端可以先通过多个声波发送模块发送多个第四信号,第二终端可以先从这多个声波发送模块中,确定出发送信号的信号质量参数较大或最大的多个第一发送模块。然后,第一终端可以通过多个第一发送模块发送多个第一信号,第二终端再从这多个第一发送模块中,确定出发送信号的信号质量参数较大或最大的第二发送模块。这样的两次筛选过程,可以避免一次发送的信号数量较多,信号间干扰较大,导致声波发送模块的筛选不准确的问题,进一步提高了定位等声波感知应用的准确率和稳定性。
在一种可能的实现方式中,上述多个第一信号中任意两个信号的发送时刻不同;或,上述多个第一信号中任意两个信号的传输频段不同;或,上述多个第一信号中任意两个信号的编码方式不同。
可选地,上述多个第一信号中任意两个信号的发送时刻不同时,上述第一终端发送声波信号的方式为时分复用TDM。
在上述TDM的传输方式下,多个第一发送模块发送第一信号的时序不重叠,因此发送每个第一信号所使用的带宽可以尽可能大,减少信号干扰,提高筛选第二发送模块的准确率。
可选地,上述多个第一信号中任意两个信号的传输频段不同时,上述第一终端发送声波信号的方式为频分复用FDM或正交频分复用OFDM。
在上述FDM或OFDM的传输方式下,多个第一发送模块可以同时发送第一信号,因此可以在较短时间内完成发送模块的筛选。
可选地,上述多个第一信号中任意两个信号的编码方式不同时,上述第一终端发送声波信号的方式为码分复用CDM。
在上述CDM的传输方式下,多个第一发送模块可以同时发送频段相同的第一信号,不仅可以在较短时间内完成发送模块的筛选,并且,发送每个第一信号所使用的带宽可以尽可能大,减少信号干扰,提高筛选第二发送模块的准确率。
在一种可能的实现方式中,该方法还包括:接收上述第一终端的第一参数,并向上述第一终端发送上述第二终端的第二参数;上述第一参数包括上述第一终端的上述多个声波发送模块的数量,上述第二参数包括上述第二终端的声波接收模块的数量,上述第一参数和上述第二参数用于确定上述第一终端使用上述多个声波发送模块分别发送上述多个第四信号的发送方式。
可选地,发送方式为TDM,FDM,OFDM或CDM。可选地,多个声波发送模块的数量大于或等于预设数量阈值时,发送方式为FDM,OFDM或CDM。可选地,多个声波发送模块的数量小于预设数量阈值时,发送方式为TDM。
在一种可能的实现方式中,上述多个声波发送模块属于多个发送模块组,一个上述发送模块组包括上述多个声波发送模块中的至少一个上述声波发送模块;上述第二发送模块为上述多个发送模块组中的至少一个上述发送模块组。
本申请中,第一终端可以使用多个发送模块组发送声波信号,第二终端可以使用一个声波接收模块接收任意一个发送模块组发送的声波信号,即使第二终端的配置较差,例如仅配置了一个声波接收模块或者多个声波接收模块之间的距离较近(接收信号时信号干扰较大),也可以实现发送模块组的筛选,从而实现准确率和稳定性较高的定位等声波感知应用,应用场景更广泛。
在一种可能的实现方式中,第一发送模块组发送的至少一个上述第四信号中任意两个信号的发送时刻不同;或,第一发送模块组发送的至少一个上述第四信号中任意两个信号的传输频段不同;或,第一发送模块组发送的至少一个上述第四信号中任意两个信号的编码方式不同;上述第一发送模块组为上述多个发送模块组中的任意一个上述发送模块组。
在一种可能的实现方式中,第一发送模块组发送的至少一个上述第四信号的发送时刻和第二发送模块组发送的至少一个上述第四信号的发送时刻不同;或,第一发送模块组发送的至少一个上述第四信号的传输频段和第二发送模块组发送的至少一个上述第四信号的传输频段不同;或,第一发送模块组发送的至少一个上述第四信号的编码方式和第二发送模块组发送的至少一个上述第四信号的编码方式不同;上述第一发送模块组和上述第二发送模块组为上述多个发送模块组中的任意两个上述发送模块组。
在一种可能的实现方式中,上述信号质量参数包括以下至少一项:信号强度、信噪比、信号的主径和旁径的比值,上述主径为直射径,上述旁径为反射径、折射径或绕射径。
第三方面,本申请实施例提供了一种第一终端,包括收发器、处理器和存储器,上述存储器用于存储计算机程序,上述处理器调用上述计算机程序,用于执行本申请实施例第一方面以及第一方面的任意一种实现方式提供的无线感知方法。
第四方面,本申请实施例提供了一种第二终端,包括收发器、处理器和存储器,上述存储器用于存储计算机程序,上述处理器调用上述计算机程序,用于执行本申请实施例第二方面以及第二方面的任意一种实现方式提供的无线感知方法。
第五方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时,实现本申请实施例第一方面至第二方面,以及第一方面至第二方面的任意一种实现方式提供的无线感知方法。
第六方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在终端上运行时,使得该终端执行本申请实施例第一方面至第二方面,以及第一方面至第二方面的任意一种实现方式提供的无线感知方法。
第七方面,本申请实施例提供一种电子设备,该电子设备包括执行本申请任一实施例所介绍的方法或装置。上述电子设备例如为芯片。
附图说明
以下对本申请实施例用到的附图进行介绍。
图1-图2是本申请实施例提供的一些终端的硬件结构示意图;
图3-图4是本申请实施例示例的一些终端;
图5是本申请实施例提供的一种终端的软件架构示意图;
图6-图7是本申请实施例提供的一些声源定位模式的架构示意图;
图8-图9是本申请实施例提供的一些声源定位的场景示意图;
图10是本申请实施例提供的一种无线感知方法的流程示意图;
图11-图12是本申请实施例提供的一些无线感知方法的传输示意图;
图13是本申请实施例提供的一种信号编码的示意图;
图14是本申请实施例提供的又一种无线感知方法的传输示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
无线感知技术可以通过分析无线信号在传播过程中的变化来获得信号传播空间的特性,并且可以基于获取的特性实现人或其他物体的无线感知应用,例如定位(定位可以用于实现设备连接、场景定义等功能),人体识别(如手势识别,用户是否在等),场景定义例如立体声场景的定义(包括左右声道的识别)。可选地,使用不同无线信号的无线感知技术的名称可以不同,常见的无线感知技术可以包括无线保真(wireless fidelity,Wi-Fi)感知、蓝牙感知、(超)声波感知、超宽带(ultra wide band,UWB)感知等。相比成本较高的UWB感知,声波感知可以基于终端上低成本的已有器件(如为扬声器的声波发送模块,和/或,为麦克风的声波接收模块)实现,大大降低了成本,提升终端的产品竞争力。可选地,实现的无线感知应用不同,无线感知技术的名称也可以不同。例如通过声波或超声波感知技术实现定位,可以称为声源定位,声源定位常应用于存在多个智能家居设备的场景(可称为智能家居自组网)下,这多个智能家居设备可以携带声波发送模块(如扬声器)和/或声波接收模块(如麦克风),可以通过声波感知技术实现设备间的方位检测。例如,通过声波或超声波感知技术实现测距,可以称为声波测距,用于实现声波测距的模块(如麦克风和扬声器)可以配置在终端上,应用于人脸靠近终端时接听电话,终端放置在桌面上且显示屏背对用户时熄屏等场景,终端可以无需配置接近光传感器。
发送端可以发送多个无线信号,接收端可以接收这多个无线信号,并对这多个无线信号进行分析处理,从而实现无线感知应用,但这多个无线信号之间常常出现互相干扰、信号衰减不同等问题,导致无线感知应用的稳定性和准确率都较低。
示例性地,一个发送端可以配置多个扬声器,不同的发送端往往因产品工业设计导致配置的多个扬声器的布局、性能、数量各不相同,因此即使使用的是相同的声波感知技术,实现效果也不同,声波感知技术的稳定性和准确率较低,可用性较差。
示例性地,一个发送端可以配置多个扬声器,这多个扬声器存在朝向角不同,同步性差的问题,加上声波波束具有一定的方向性,导致这多个扬声器一起实现声波感知应用时发送的多个声波信号之间互相干扰,信号衰减不同,声波感知应用的稳定性和准确率无法到达商用水平,可用性较差。
本申请实施例提供了一种无线感知方法,可以从发送端配置的多个发送模块中,确定出满足预设条件的发送模块,并通过该发送模块实现无线感知应用。可选地,预设条件为该发送模块发送的信号的信号质量参数大于预设阈值,信号质量参数可以包括但不限于以下至少一项:信号强度、信噪比、信号主径和旁径的比值(可称为主旁径比)。可选地,该发送模块可以理解为是最适用于该发送端所处场景的发送模块,可以称为“最佳”发送模块,通过“最佳”发送模块实现声波感知应用可以提高无线感知应用的稳定性和准确率。
视距条件下,无线信号可以无遮挡地在发送端与接收端之间直线传播,可选地,具备视距条件的无线信号(简称视距信号)可以包括一条主径和至少一条旁径,可选地,不具备视距条件的无线信号(简称非视距信号)可以包括至少一条旁径,不包括主径。可选地,主径可以是直射径,旁径可以是主径反射、绕射或折射得到的。可选地,主径的信号强度大于旁径。具体示例可参见下图8所示的视距信号和非视距信号。
接下来以声波感知应用为例进行说明,并且,以实现声波感知应用的发送端为包括多个扬声器的第一终端,实现声波感知应用的接收端为包括至少一个麦克风的第二终端为例进行说明。
接下来介绍本申请实施例中提供的示例性的终端。
请参见图1,图1示出了一种第一终端100的结构示意图。可选地,第一终端100为实现声波感知应用的发送端。第一终端100可以包括处理器110、存储器120、收发器130和扬声器140,处理器110、存储器120、收发器130和扬声器140可以通过总线相互连接。
处理器110可以是一个或多个中央处理器(central processing unit,CPU),在处理器110是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。存储器120包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),存储器120用于存储相关计算机程序及数据。可选地,存储器120用于存储音频文件。可选地,存储器120用于存储第二终端(即实现无线感知应用的接收端)发送的信息,例如设备参数、声波感知参数和第一指示信息,这些信息的说明可参见下图10中设备参数、声波感知参数和第一指示信息的说明,暂不详述。
收发器130用于接收和发送数据,可选地,第一终端100可以通过收发器130采用无线通信技术和其他终端通信,例如第一终端100可以通过收发器130接收第二终端发送的设备参数、声波感知参数和第一指示信息。可选地,无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packetradio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-divisioncode division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),无线局域网(wireless local area networks,WLAN)(如Wi-Fi),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR),UWB等。
扬声器140,也称“喇叭”,可选地,扬声器140属于声波发送模块。可选地,扬声器140用于将音频电信号转换为声音信号。可选地,第一终端100可以通过扬声器140收听音乐,或收听免提通话。可选地,扬声器140可以包括多个扬声器。可选地,扬声器140可以包括多个扬声器组,一个扬声器组可以包括多个扬声器。可选地,第一终端100包括的多个扬声器或多个扬声器组的朝向和/或规格不同。可选地,第一终端100可以通过扬声器140发送声波信号,该声波信号用于实现声波感知应用。可选地,第一终端100通过扬声器140发送的声波信号是存储器120中存储的音频文件。
在一些实施例中,第一终端100还可以包括麦克风,也称“话筒”,“传声器”,可选地,麦克风属于声波接收模块。可选地,麦克风用于将音频电信号转换成声音信号。可选地,当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风发声,将声音信号输入到麦克风。可选地,第一终端100可以设置至少一个麦克风。可选地,第一终端100可以通过麦克风接收声波信号。可选地,麦克风接收的声波信号可以传输至处理器110,处理器110可以对声波信号进行分析处理,以实现声波感知应用。
在一些实施例中,第一终端100还可以包括显示屏。显示屏用于显示图像,视频等。可选地,第一终端100和第二终端实现声波感知应用时,显示屏可以显示和声波感知应用对应的用户界面。例如,第一终端100和第二终端实现设备间的定位,并通过设备间的定位实现设备连接时,显示屏上可以显示已连接第二终端的信息。
可选地,第一终端100中的处理器110可以用于读取存储器120中存储的计算机程序及数据,执行图10所示的无线感知方法,第一终端100用于执行第一终端执行的步骤。
请参见图2,图2示出了一种第二终端200的结构示意图。可选地,第二终端200为实现声波感知应用的接收端。第二终端200可以包括处理器210、存储器220、收发器230和麦克风240,处理器210、存储器120、收发器230和麦克风240可以通过总线相互连接。
处理器210可以是一个或多个中央处理器CPU,在处理器210是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。存储器220包括但不限于是RAM、ROM、EPROM、或CD-ROM,存储器220用于存储相关计算机程序及数据。可选地,存储器220用于存储第一终端(即实现声波感知应用的发送端)发送的信息,例如设备参数和声波感知参数。可选地,存储器220用于存储第一终端发送的声波信号。
收发器230用于接收和发送数据,可选地,第二终端200可以通过收发器230采用无线通信技术和其他终端通信,例如第二终端200通过收发器230接收第一终端发送的第一终端的设备参数和声波感知参数。可选地,无线通信技术可以包括GSM,GPRS,CDMA,WCDMA,TD-SCDMA,LTE,WLAN)(如Wi-Fi),BT,GNSS),FM,NFC,IR,UWB等。
麦克风240的说明和上图1中麦克风的说明类似。可选地,第二终端200可以设置至少一个麦克风。可选地,第二终端200可以通过麦克风接收声波信号。可选地,麦克风接收的声波信号可以传输至处理器210,处理器210可以对声波信号进行分析处理,以实现声波感知应用。
在一些实施例中,第二终端200还可以包括扬声器,扬声器的说明和上图1中扬声器140的说明类似,不再赘述。
在一些实施例中,第二终端200还可以包括显示屏,显示屏用于显示图像,视频等。可选地,第一终端和第二终端200实现声波感知应用时,显示屏可以显示和声波感知应用对应的用户界面。例如,第一终端和第二终端200实现设备间的定位,并通过设备间的定位实现设备连接时,显示屏上可以显示已连接第一终端的信息。
可选地,第二终端200中的处理器210可以用于读取存储器220中存储的计算机程序及数据,执行图10所示的无线感知方法,第二终端200用于执行第二终端执行的步骤。
不限于上述列举的情况,声波发送模块也可以为受话器,也称“听筒”,用于将音频电信号转换成声音信号。可选地,用户通过配置受话器的终端接听电话或收听语音信息时,可以将受话器靠近人耳收听声音。本申请对实现无线感知应用的发送模块和接收模块的具体形态不作限定。
本申请实施例中涉及的终端可以是手机,平板电脑,桌面型、膝上型、笔记本电脑,超级移动个人计算机(Ultra-mobile Personal Computer,UMPC),手持计算机,上网本,个人数字助理(Personal Digital Assistant,PDA),可穿戴电子设备(如智能手环、智能眼镜等),智能家居设备(如智能音箱、智能大屏、智能电视)等设备。
请参见图3,图3示例性示出一种第一终端的俯视图。图3以第一终端为智能音箱300为例进行示意。
如图3所示,智能音箱300的上部可以配置有环状的扬声器。例如图3的(A)所示的包括三个扬声器的智能音箱300,这三个扬声器的朝向不同。例如图3的(B)所示的包括四个扬声器的智能音箱300,这四个扬声器的朝向不同。例如图3的(C)所示的包括六个扬声器的智能音箱300,这六个扬声器的朝向不同。
请参见图4,图4示例性示出一种第二终端。图4所示的第二终端为智能大屏400。其中,图4的(A)为智能大屏400的正视图,图4的(B)为智能大屏400的俯视图。
如图4所示,智能大屏400的正面的左右两侧可以配置有扬声器,可以包括左声道对应的扬声器401和右声道对应的扬声器402。可选地,左右声道各自对应的扬声器的朝向不同,扬声器401的朝向向左,扬声器402的朝向向右,其中,左右、左右声道是相对用户(正对智能大屏400)而言的。智能大屏400的上部可以配置有两个麦克风:麦克风403和麦克风404。
不限于上述列举的情况,在具体实现中,终端包括的发送模块和/或接收模块可以更多也可以更少,本申请对终端包括的发送模块和/或接收模块的数量不作限定。
不限于上述列举的情况,在具体实现中,终端的无线发送模块和无线接收模块可以是同一个器件,例如为上图1所示的收发器130、上图2所示的收发器230可以是蓝牙收发器。
在一些实施例中,终端的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。例如,分层架构的软件系统可以是安卓(Android)系统,也可以是华为移动服务(huawei mobile services,HMS)系统。本申请实施例以分层架构的Android系统为例,示例性说明终端的软件结构。
请参见图5,图5是本申请实施例提供的一种终端的软件结构框图。可选地,该终端为实现声波感知应用的发送端。可选地,该终端为实现声波感知应用的接收端。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图5所示,应用程序包可以包括相机、图库、音乐、视频、文件管理、即时通信应用、蓝牙、短信等应用程序。可选地,应用程序层的应用可以通过无线感知技术实现相应的功能,例如可以通过声波感知技术进行手势识别,视频应用可以根据手势识别的结果显示相应的用户界面,用户握拳时视频应用可以暂停播放的视频,用户手指张开时视频应用可以继续播放被暂停的视频。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图5所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面示例性介绍本申请实施例涉及的应用场景。
在一些实施例中,声源定位的模式可以包括两种:一发两收的模式和两发一收的模式,这两种模式的具体示例如下图6-图7所示。
请参见图6,图6示例性示出一种一发两收模式的架构示意图。
如图6的(A)所示,实现声波感知应用的发送端可以使用一个扬声器A发出两路信号:信号A和信号B,可选地,信号A和信号B相同,可选地,信号A和信号B为一个信号的主径信号和旁径信号,可选地,信号A和信号B为一个信号的两路旁径信息。实现声波感知应用的接收端可以使用两个麦克风分别接收上述两路信号,可选地,通过麦克风A接收信号A,通过麦克风B接收信号B。可选地,接收端可以计算信号A和信号B的参数,例如接收时间的差值,简称为时延差。可选地,接收端可以根据信号A和信号B的时延差确定发送端和接收端的相对位置,例如发送端处于接收端的麦克风阵列的左侧或右侧。
可选地,如图6的(B)所示,第一终端100(即上述发送端)可以包括六个组成环状的扬声器:扬声器141、扬声器142、扬声器143、扬声器144、扬声器145和扬声器146。第一终端100可以还包括两个麦克风。第二终端200可以包括两个麦克风:麦克风241和麦克风242。可选地,第一终端100可以基于声波感知应用的类型确定使用一个扬声器发送一个声波信号,可选地,发送声波信号的任意一个扬声器可以是图6的(A)所示的扬声器A。例如,扬声器142为扬声器A,扬声器142发送的一个声波信号被反射为两路声波信号,这两路声波信号为图6的(A)所示的信号A和信号B,这两路声波信号分别被第二终端200上的两个麦克风接收,麦克风241和麦克风242可以是图6的(A)所示的麦克风A和麦克风B。其他扬声器的示例和扬声器142的说明类似,不再赘述。
请参见图7,图7示例性示出一种两发一收模式的架构示意图。
如图7的(A)所示,实现声波感知应用的发送端可以使用两个扬声器分别发出两个信号,通过扬声器B发送信号C,通过扬声器C发送信号D。可选地,扬声器B和扬声器C构成一个扬声器组,可选地,信号C和信号D为这一个扬声器组发送的一组信号。可选地,信号C和信号D不同。实现声波感知应用的接收端可以使用一个麦克风C接收信号C和信号D。可选地,接收端可以计算信号C和信号D的参数,例如时延差。可选地,接收端可以根据信号C和信号D的时延差确定发送端和接收端的相对位置,例如发送端处于接收端的麦克风阵列的左侧或右侧。
图7的(B)所示的第一终端100和第二终端200的结构和上图6的(B)类似,不再赘述。可选地,第一终端100可以基于声波感知应用的类型确定使用一个扬声器组来发送一组声波信号。可选地,如图7的(B)所示,第一终端100可以包括三个扬声器组:包括扬声器141和扬声器144的扬声器组1,包括扬声器142和扬声器145的扬声器组2,包括扬声器143和扬声器146的扬声器组3。可选地,发送声波信号的任意一个扬声器组可以是图7的(A)所示的扬声器B和扬声器C构成的扬声器组。例如,扬声器组2为扬声器B(对应扬声器142)和扬声器C(对应扬声器145)构成的扬声器组。扬声器组2内的两个扬声器分别发送一个声波信号,扬声器142发送的声波信号为图7的(A)所示的扬声器B发送的信号C,扬声器142发送的声波信号为图7的(A)所示的扬声器C发送的信号D,这两个信号被第二终端200上的一个麦克风(例如麦克风241)接收。其他扬声器组的示例和扬声器组2的说明类似,不再赘述。
上图6-图7仅示出了一个声波信号的部分旁径,在具体实现中可以还包括主径,或者其他旁径。
不限于图7示例的两发一收的模式,在具体实现中,也可以是多发一收的模式,例如一个扬声器组可以包括两个以上的扬声器,该扬声器组中每个扬声器发送一个信号,这些信号可以被一个麦克风接收。
接下来以第一终端使用扬声器发送声波信号,声源定位的模式为一发两收为例进行说明。
请参见图8,图8示例性示出一种声源定位的场景示意图。
如图8所示,声源定位的场景下可以存在智能音箱300和智能大屏400,可选地,该场景为家庭场景,可选地,智能音箱300和智能大屏400处于同一个第一房间内。智能音箱300可以包括六个组成环状的扬声器:扬声器301、扬声器302、扬声器303、扬声器304、扬声器305和扬声器306,这六个扬声器的朝向不同,具体可参见上图3的(C)所示的智能音箱300。智能音箱300可以包括两个麦克风:麦克风307和麦克风308。智能大屏400可以包括对应左右声道的两个扬声器:扬声器401和扬声器402,这两个扬声器的朝向不同,具体可参见上图4的(A)所示的智能大屏400。智能大屏400可以包括两个麦克风:麦克风403和麦克风404。
如图8所示,可选地,智能音箱300上电后,可以通过至少两个扬声器发送声波信号。可选地,智能音箱300和智能大屏400通过无线通信方式(例如蓝牙、Wi-Fi等)连接后,智能音箱300可以通过至少两个扬声器发送声波信号。图8以扬声器301和扬声器302发送声波信号为例进行说明。智能大屏400可以通过两个麦克风接收声波信号,智能大屏400可以对接收的声波信号进行分析处理,以筛选出满足预设条件的扬声器,可称为“最佳”扬声器。可选地,“最佳”扬声器为具备最佳视距条件的扬声器,最佳视距条件可以是信号的主旁径比最大。示例性地,如图8所示,智能音箱300的扬声器302(即发送端)发送的第一信号为视距信号,包括主径和旁径,主径无需经过第一房间内的墙壁反射或绕射即可到达智能大屏400的麦克风(即接收端)。而扬声器301发送的第二信号为非视距信号,仅包括旁径,不包括主径,旁径需经过第一房间内的墙壁反射或绕射才能到达智能大屏400的麦克风。图8所示的场景下扬声器302为具备最佳视距条件的扬声器,可以是“最佳”扬声器。
可选地,智能音箱300后续可以通过“最佳”扬声器(即扬声器302)和智能大屏400传输声波信号。可选地,智能音箱300可以通过扬声器302发送声波信号,智能大屏400可以接收该声波信号,并基于该声波信号确定智能音箱300和智能大屏400的相对位置关系(如距离、方位等),即实现设备间的定位。可选地,智能大屏400可以接收用户操作,响应于用户操作,指示智能音箱300执行相应的操作。可选地,智能音箱300和智能大屏400可以基于确定的相对位置关系实现设备连接、场景定义等相关功能。
示例性地,假设有多个智能音箱向智能大屏400发送连接请求(例如蓝牙、Wi-Fi等形式的连接请求),这多个智能音箱中智能音箱300和智能大屏400位于第一房间内(如图8所示),其他智能音箱位于其他房间内。智能大屏400基于智能音箱300发送的声波信号确定智能音箱300和智能大屏400的距离较近,因此同意智能音箱300发送的连接请求,智能音箱300和智能大屏400建立连接。
示例性地,假设智能大屏400基于智能音箱300发送的声波信号,确定智能音箱300距离智能大屏400的扬声器401更近。假设智能音箱400响应于用户操作播放音乐,播放音乐时可以提供立体声功能,其中,扬声器401用于实现左声道播放功能,扬声器402用于实现右声道播放功能。智能音箱400可以响应于该用户操作,指示智能音箱300实现左声道播放功能,无需用户手动控制也能使播放效果较好,提升用户体验感。
可选地,假设智能音箱300的位置发生变化,智能音箱300可以再次通过至少两个扬声器发送声波信号,智能大屏400可以重新确定出智能音箱300上的“最佳”扬声器。
可选地,假设在图8所示的第一房间内新增智能音箱500,可选地,智能音箱500和智能大屏400可以传输声波信号,以确定出智能音箱500上满足预设条件的扬声器,该扬声器用于后续智能音箱500和智能大屏400之间传输声波信号,具体过程和上图8所示的智能音箱300和智能大屏400确定“最佳”扬声器的过程类似,不再赘述。可选地,假设智能大屏400基于智能音箱500发送的声波信号,确定智能音箱500距离智能大屏400的扬声器402更近。假设智能音箱400响应于用户操作播放音乐,智能音箱400可以指示智能音箱300实现左声道播放功能,以及指示智能音箱500实现右声道播放功能,无需用户手动控制也能使播放效果较好,提升用户体验感。
示例性地,智能音箱300可以通过“最佳”扬声器(即扬声器302),一直或周期性向智能大屏400发送声波信号,当智能大屏400检测到声波信号发生剧烈变化时可以确定用户位于智能音箱300和智能大屏400之间,智能大屏400可以指示智能音箱300工作,例如智能音箱300的应用处理器原本处于休眠状态,在智能大屏400的指示下应用处理器被唤醒,无需用户手动触发智能音箱300工作,操作更加便捷。可选地,假设智能音箱300未接收到智能大屏400发送的指示工作的信息之前,通过扬声器302周期性向智能大屏400发送声波信号。智能大屏400确定用户位于智能音箱300和智能大屏400之间时,可以指示智能音箱300一直发送声波信号,以便对实现对用户的感知。可选地,智能大屏400可以基于智能音箱300通过扬声器302发送的声波信号对手势、动作等用户行为进行识别,并根据用户行为执行相应的操作。
可以理解地,相比使用只具备非视距条件的扬声器301,智能音箱300和智能大屏400之间通过具备视距条件的扬声器302传输声波信号,可以大幅度提升声波感知应用的准确率和稳定性。可选地,智能音箱300可以停止使用其他扬声器发送声波信号,减少了智能音箱300的功耗,并且降低了对扬声器302的干扰,进一步提升声波感知应用的准确率。
可选地,第一终端可以是多个终端,可选地,第二终端可以是多个终端。示例性地,一个房间内存在四个智能音箱,这四个智能音箱分别位于这个房间的四个角落,假设智能音箱1位于左上角,智能音箱2位于右上角,智能音箱3位于左下角,智能音箱4位于右上角。可选地,这四个智能音箱可以构成一个智能家居组网。假设智能音箱1为中控音箱,用于控制其他三个智能音箱。智能音箱1可以分别和其他三个智能音箱传输声波信号,并确定出满足预设条件的扬声器,其中,智能音箱1可以是第一终端,也可以是第二终端。假设智能音箱1为第二终端,则其他三个智能音箱均为第一终端。假设这四个智能音箱的结构和上图8的智能音箱300的结构一致,智能音箱1和其他三个智能音箱确定的满足预设条件的扬声器在智能音箱上的位置可以不同,例如,智能音箱2上满足预设条件的扬声器位于上图8所示的扬声器306所在位置,智能音箱3上满足预设条件的扬声器位于上图8所示的扬声器301和扬声器302所在位置,智能音箱4上满足预设条件的扬声器位于上图8所示的扬声器301所在位置。智能音箱1可以接收其他三个智能音箱通过满足预设条件的扬声器发送的声波信号,并确定出智能音箱1和其他三个智能音箱的相对方位。智能音箱1可以响应于用户操作播放音乐,并且可以指示其他三个智能音箱一起播放音乐,播放音乐时可以提供环绕声功能,智能音箱1可以根据确定的和其他三个智能音箱的相对方位,指示这三个智能音箱实现不同声道的播放功能。
不限于上述列举的情况,在具体实现中,满足预设条件的扬声器也可以是发送信号的变化幅度大于预设变化阈值,和/或发送信号的变化幅度大于其他扬声器发送信号的变化幅度,示例性地,智能大屏400可以在接收到用户操作(例如语音、触摸操作等)后,根据智能音箱300发送的声波信号确定出满足预设条件的扬声器,后续智能音箱300和智能大屏400可以通过该扬声器传输声波信号,智能大屏400可以根据满足预设条件的扬声器发送的声波信号判断用户是否位于附近,避免其他扬声器干扰导致误识别用户的情况,例如朝向为向墙面且和墙面的距离较近的扬声器(如上图8的扬声器306),即使发送的声波信号的变化幅度大于其他扬声器发送信号的变化幅度,也不会是用户位于墙面和该扬声器之间的位置。
在一些实施例中,第一终端100和第二终端200可以为同一个终端,即实现声波感知应用的发送端和接收端相同,假设就为第一终端100。示例性地,第一终端100可以通过扬声器发送声波信号,并通过麦克风接收该声波信号,对该声波信号进行分析处理,以实现声波感知应用,例如实现手势识别。
请参见图9,图9示例性示出又一种声源定位的场景示意图。图9所示的场景和上图8所示的场景类似。
如图9所示,声源定位的场景下可以存在智能音箱300,可选地,该场景为家庭场景,可选地,智能音箱300位于第二房间内。智能音箱300的结构可参见上图8所示的智能音箱300的说明。可选地,智能音箱300上电后,可以通过至少两个扬声器发送声波信号,图9以扬声器301、扬声器304和扬声器305发送声波信号为例进行说明。智能音箱300可以通过两个麦克风(麦克风307和麦克风308)接收声波信号。智能音箱300可以对接收的声波信号进行分析处理,以筛选出满足预设条件的扬声器,可称为“最佳”扬声器。可选地,“最佳”扬声器可以是发送的信号的变化幅度大于预设变化阈值的扬声器,可选地,“最佳”扬声器可以是发送的信号的变化幅度最大的扬声器。
示例性地,如图9所示,用户可以发出声音,例如“手势”,智能音箱300接收到用户发出的声音后,可以通过扬声器发送声波信号,并根据接收的声波信号的变化幅度确定“最佳”扬声器,其中,图9中第三信号和第五信号直接通过墙面反射,变化幅度较小,第四信号经过用户,变化幅度较大,则图9所示的场景下扬声器304可以是“最佳”扬声器。
可选地,智能音箱300后续可以通过“最佳”扬声器(即扬声器304)发送的声波信号来识别用户手势、用户动作等用户行为,可选地,智能音箱300可以根据用户发出的声音:“手势”,确定识别用户手势。可选地,智能音箱300可以根据用户行为执行相应的操作,避免智能音箱300根据扬声器301、扬声器305发送的声波信号识别用户行为失败,或误识别的情况,提升了声波感知应用的准确率,也减少了不必要的功耗和开销。
上图6-图9所示的信号路径仅为示例,在具体实现中,信号路径可能更为复杂,本申请对信号路径不作限定。
不限于上述列举的情况,在具体实现中,第一终端也可以使用扬声器组发送声波信号,即声源定位模式为两发一收。例如,假设两个智能音箱位于一个房间内,这两个智能音箱的结构和上图8的智能音箱300的结构一致。和上图8所示的智能大屏400上的两个麦克风的距离较大不同,智能音箱上的两个麦克风的距离通常较小,使用一发两收的模式容易造成信号间的干扰,因此可以使用两发一收的模式。这两个智能音箱中,一个智能音箱为第一终端,可以通过扬声器组发送声波信号,另一个智能音箱为第二终端,可以通过一个麦克风接收声波信号。例如,上图9中智能音箱300可以使用扬声器组发送声波信号。
基于图1-图9所示的一些实施例,下面介绍本申请提供的无线感知方法。以下实施例以无线感知方法为声波感知方法为例进行说明。
请参见图10,图10是本申请实施例提供的一种无线感知方法。该方法中的第一终端可以是图1所示的第一终端100。该方法中的第二终端可以是图2所示的第二终端200。该方法可以包括但不限于如下步骤:
S101:第一终端向第二终端发送第一终端的设备参数。
S101为可选的步骤。
S102:第二终端向第一终端发送第二终端的设备参数。
S102为可选的步骤。
可选地,设备参数可以包括但不限于以下至少一项:是否支持声波感知技术,声波发送模块的数量,声波发送模块的布局,声波接收模块的数量,声波接收模块的布局,可用带宽,应用的状态。可选地,器件的布局可以包括但不限于器件的位置、器件的朝向角。可选地,该应用可以是终端当前运行的应用。可选地,该应用可以是终端预测的后续要运行的应用。可选地,该应用可以通过声波感知技术实现相关功能。可选地,声波发送模块可以是扬声器,可选地,声波接收模块可以是麦克风。
S103:第一终端和第二终端确定声波感知参数。
S103为可选的步骤。
可选地,第一终端和第二终端可以基于交互的设备参数,确定实现声波感知应用,例如第一终端和第二终端均支持声波感知技术的情况下,确定实现声波感知应用。
可选地,第一终端和第二终端可以基于交互的设备参数,确定实现声波感知应用的发送端为第一终端,实现声波感知应用的接收端为第二终端。
示例性地,第一终端和第二终端基于交互的设备参数,确定声波感知参数、发送端和接收端,使能智能家居自组网(包括第一终端和第二终端)在同一协议下实现声波感知应用。
可选地,第一终端和第二终端可以基于交互的设备参数,确定实现声波感知应用时所使用的声波感知参数。可选地,声波感知参数可以包括但不限于以下至少一项:实现声波感知应用的声波发送模块的数量,实现声波感知应用的声波发送模块的布局,实现声波感知应用的声波接收模块的数量,实现声波感知应用的声波接收模块的布局,实现声波感知应用时所使用的频段,实现声波感知应用时所使用的带宽,信号信息。可选地,信号信息可以为发送端发送的声波信号的信息,可选地,信号信息可以包括但不限于以下至少一项:发送时刻、发送时段、发送时序、传输频段、传输频点、传输频宽、编码信息、解码信息、基带序列。可选地,第一终端发送的声波信号可以是未经过编码的,可以称为基带序列,可选地,第一终端发送的声波信号可以是经过编码的,可以称为该声波信号是对应的基带序列编码后得到的。
可选地,第一终端以扬声器来发送声波信号时(例如上图6所示的一发两收的模式),信号信息可以包括每个扬声器和该扬声器发送的声波信号的对应关系,例如扬声器1对应发送时序为1的声波信号,扬声器2对应发送时序为2的声波信号。或者,扬声器1对应传输频段为第一频段的声波信号,扬声器2对应传输频段为第二频段的声波信号。或者扬声器1对应解码信息为第一地址码的声波信号,扬声器2对应解码信息为第二地址码的声波信号。可选地,一个扬声器用于发送一个声波信号,即一个扬声器对应一个声波信号。
可选地,第一终端以扬声器组来发送声波信号时(例如上图7所示的两发一收的模式),信号信息可以包括每个扬声器组和该扬声器发送的一组声波信号的对应关系,例如扬声器组1对应发送时段为第一时段的一组声波信号,扬声器组2对应发送时段为第二时段的一组声波信号。或者,扬声器组1对应传输频段为第一频段的一组声波信号,扬声器组2对应传输频段为第二频段的一组声波信号。或者,扬声器组1对应解码信息为第一地址码(可以是多个地址码)的一组声波信号,扬声器组2对应解码信息为第二地址码(可以是多个地址码)的一组声波信号。可选地,一个扬声器组用于发送一组声波信号,即一个扬声器组对应一组声波信号。可选地,一个扬声器组内的每个扬声器用于发送一个声波信号,一个扬声器组对应的一组声波信号包括的声波信号的数目和该扬声器组包括的扬声器数目相同。
图10以声波发送模块为扬声器,声波接收模块为麦克风为例进行说明。
图10以第一终端以扬声器来发送声波信号为例进行说明。图10以用于实现声波感知应用的扬声器的数目为N为例进行说明,N为正整数。
S104:第一终端在第一时刻通过第一扬声器发送第一声波信号。
S105:第一终端在第N时刻通过第N扬声器发送第N声波信号。
S104为可选的步骤,S105为可选的步骤。
可选地,S104和S105之间可以包括至少一个步骤,任意一个步骤为第一终端在第i时刻通过第i扬声器发送第i声波信号,i为大于1且小于N的正整数。可选地,N个扬声器用于发送N个声波信号,第j声波信号对应的声波发送模块为第j扬声器,可选地,第j声波信号对应的发送时刻为第j时刻,j为小于N+1的正整数。
可选地,声波感知参数包括声波发送模块的数量,即包括N。
可选地,第二终端可以接收第一终端通过N个扬声器发送的N个声波信号。可选地,第一终端和第二终端之间传输声波信号的方式为一发两收,具体示例如上图6所示,可选地,第二终端通过两个麦克风接收一个扬声器发送的一个声波信号,可选地,第二终端通过两个麦克风接收一个扬声器发送的一个声波信号的两路信号,例如一路主径和一路旁径(如图8所示的第一信号),或者两路旁径(如图8所示的第二信号)。可选地,第二终端可以在第一接收时刻和第二接收时刻之间接收这N个声波信号,其中,第一接收时刻早于或等于N个声波信号对应的N个发送时刻中最早的时刻,例如第一时刻,第二接收时刻晚于或等于N个发送时刻中最晚的时刻,例如第N时刻。可选地,第一接收时刻和/或第二接收时刻可以是根据声波感知参数(例如包括发送时刻、发送时段、发送时序)确定的。
可选地,第一终端和第二终端可以基于交互的设备参数,确定通过N个扬声器发送N个声波信号的发送方式,发送方式可以为时分复用(time division multiplexing,TDM)、频分复用(frequency division multiplexing,FDM)或正交频分复用(orthogonalfrequency division multiplexing,OFDM)(后续可以简称为FDM/OFDM)、或者码分复用(code division multiplexing,CDM)的方式来发送N个声波信号,具体示例可参见下图11-图14所示实施例,暂不详述。
可选地,第一终端可以预置第一终端和第二终端的设备参数和发送方式的对应关系,例如设备参数为第一参数时,发送方式为TDM,设备参数为第二参数时,发送方式为FDM/OFDM,设备参数为第三参数时,发送方式为CDM,第一参数、第二参数和第三参数可以各不相同。
可选地,第一终端可以根据扬声器的数量和布局特征、第二终端的麦克风的数量和布局特征、应用类型、可用带宽中至少一项确定信号的发送方式。
可选地,第一终端可以基于扬声器的数量确定发送的声波信号的数量(即上述N),以及N个声波信号的发送方式,例如,扬声器的数量为6个时,可以发送6个声波信号,声波信号的数量较多,为了避免发送时间过长而影响后续数据的发送,可以确定发送方式为FDM/OFDM。扬声器的数量为3个时,可以发送3个声波信号,声波信号的数量较少,可以确定发送方式为TDM。
可选地,第一终端可以基于应用类型确定N个声波信号的发送方式,例如,当前应用的数据量较大时,可以选择FDM/OFDM或者CDM的发送方式,避免选择TDM的方式导致发送时长过长,减少对后续数据传输的影响。
可选地,第一终端可以基于可用带宽确定N个声波信号的发送方式,例如,可用带宽较小时,可以选择TDM的发送方式,避免每个声波信号对应的频宽太小影响声波感知的准确率。
可选地,第一终端可以基于可用带宽和应用类型确定N个信声波号的发送方式,例如可用带宽较大,以及当前应用的时延要求较高时,可以选择CDM的方式,在保证时延的同时也可以保证声波感知的准确率。
不限于上述列举的情况,在具体实现中,还可以根据所处位置、器件布局、应用的服务质量(Quality of Service,QoS)要求等确定N个声波信号的发送方式。
可选地,第一终端以扬声器组来发送声波信号时,第一终端可以通过多个扬声器组发送多组声波信号,其中一个扬声器组发送一组声波信号,可选地,一个扬声器组内的每个扬声器发送一个声波信号。可选地,第一终端和第二终端之间传输声波信号的方式为两发一收,具体示例如上图7所示,可选地,第二终端通过一个麦克风接收一个扬声器组发送的一组声波信号。
S106:第二终端实现第一声波感知应用。
S106为可选的步骤。可选地,第二终端可以对第一终端发送的N个声波信号中的至少一个声波信号进行处理,从而实现第一声波感知应用。可选地,第二终端可以根据N个声波信号的信号质量参数,从第一终端发送的N个声波信号中确定出目标信号,可选地,第二终端可以基于目标信号实现第一声波感知应用。可选地,信号质量参数可以包括但不限于以下至少一项:信号强度、信噪比、主旁径比,不限于此,信号质量参数还可以包括其他参数,本申请对此不作限定。可选地,目标信号的信号质量参数大于预设阈值,可选地,目标信号的信号质量参数大于N个声波信号中其他声波信号的信号质量参数。示例性地,上图8中的第一信号(视距信号)的主旁径比最大,则确定第一信号为目标信号。
可选地,第二终端可以根据N个声波信号的变化幅度,从第一终端发送的N个声波信号中确定出目标信号,可选地,目标信号的变化幅度大于预设变化阈值,可选地,目标信号的变化幅度大于N个声波信号中其他声波信号的变化幅度。示例性地,上图9中的第四信号的变化幅度最大,则确定第四信号为目标信号。本申请对确定目标信号的具体方式不作限定。
可选地,第一终端发送一个视距信号后,第二终端可以接收到多路具有相同特征的信号,这多路信号即为该视距信号经过反射、折射、绕射等得到的。可选地,第二终端可以对接收到具有相同特征的多路信号进行处理以得到主径和旁径,例如进行自相关、互相关等处理后得到多个波峰值(如信号强度的波峰值),将最大的波峰值和次大的波峰值的比值作为主旁径比。或者,将最大的波峰值,和最大的波峰值的差值的绝对值小于第一差值(如最大的波峰值乘0.8)的一系列值构成一个集合,该集合用于表征主径,将次大的波峰值,和次大的波峰值的差值的绝对值小于第二差值(如次大的波峰值乘0.6)的一系列值构成一个集合,该集合用于表征旁径,对主径集合和旁径集合进行比较处理以得到一个比值(即主旁径比)。
可选地,第一终端以扬声器组来发送声波信号时,第二终端可以对第一终端发送的多组声波信号进行处理,从而实现声波感知应用。可选地,第二终端可以根据第一终端发送的多组声波信号的信号质量参数,从多组声波信号中确定出目标信号,基于目标信号实现第一感知应用。例如,假设第一终端包括两个扬声器组:扬声器组1和扬声器2,一个扬声器组包括两个扬声器,扬声器组1发送信号1和信号2,扬声器组2发送信号3和信号4,第二终端可以先确定信号1和信号2中信号质量参数较大的信号(假设为信号1),以及确定信号3和信号4中信号质量较大的信号(假设为信号3),然后比较信号1和信号3的信号质量参数,将信号质量参数更大的信号确定为目标信号。不限于此,在具体实现中,也可以直接将多组声波信号输入神经网络模型,以得到输出的目标信号,本申请对确定目标信号的具体方式不作限定。
S107:第二终端根据第一声波信号、…、第N声波信号确定第一指示信息。
S107为可选的步骤。可选地,第二终端可以根据N个声波信号的信号质量参数,从N个声波信号中确定出目标信号,目标信号的说明可参见上述S106。可选地,第一指示信息用于指示目标信号,可选地,第一指示信息包括目标信号的信息,例如但不限于以下至少一项:信号特征,接收时刻,接收时序,传输频点,传输频宽,传输频段,对应的基带序列,编码信息,解码信息。可选地,第一指示信息用于指示目标扬声器,目标扬声器是第二终端根据目标信号和声波感知参数确定的,可选地,声波感知参数包括信号信息,信号信息包括扬声器和扬声器发送的声波信号的对应关系。
可选地,第一终端以扬声器组来发送声波信号时,第二终端可以根据第一终端发送的多组声波信号的信号质量参数,从多组声波信号中确定出目标信号。
可选地,S106和S107的顺序不作限定。
S108:第二终端向第一终端发送第一指示信息。
S108为可选的步骤。
S109:第一终端根据第一指示信息确定N个扬声器中的目标扬声器。
S109为可选的步骤。可选地,第一指示信息用于指示目标信号,可选地,第一指示信息包括目标信号的信息。可选地,第一终端可以根据目标信号确定发送目标信号的目标扬声器。
可选地,目标扬声器可以是N个扬声器中的一个或M个扬声器,M为正整数,M小于或等于N。
可选地,第一终端可以先通过N个扬声器发送N个声波信号,第二终端可以先根据N个声波信号,从N个扬声器中筛选出部分扬声器。第一终端可以使用这部分扬声器发送声波信号,第二终端可以根据这部分扬声器发送的声波信号,从这部分扬声器中筛选出目标扬声器。这样可以避免一次发送的信号数量较多,信号间干扰较大,导致目标扬声器的筛选不准确的问题。
可选地,第一终端通过N个扬声器发送N个声波信号之后,S108之前,该方法还可以包括:第二终端向第一终端发送第二指示信息,第二指示信息用于指示发送这N个声波信号中的多个信号的多个扬声器。可选地,第二指示信息和N个声波信号的信号质量参数有关联,可选地,第二终端从N个声波信号中确定出这多个信号的方式,可参见上述S106中确定目标信号的方式。可选地,第一终端接收到第二指示信息后,可以通过上述发送这多个信号的多个扬声器发送声波信号,可选地,第二终端可以从这多个扬声器发送的声波信号中确定出目标信号,可选地,第一指示信息和这多个扬声器发送的声波信号的信号质量参数有关联。可选地,第一终端通过N个扬声器发送N个声波信号时,所使用的发送方式可以为方式1,第一终端通过上述多个扬声器发送声波信号时,所使用的发送方式可以为方式2,方式1和方式2可以为TDM、FDM/OFDM或者CDM,可选地,方式1和方式2可以相同,可选地,方式1和方式2可以不同,例如方式1为FDM/OFDM,方式2为TDM。
S110:第一终端通过目标扬声器发送声波信号。
可选地,第一终端通过目标扬声器发送声波信号时,其他扬声器不发送声波信号。
可选地,第一终端和第二终端之间传输声波信号的方式为一发两收,具体示例如上图6所示,可选地,第二终端通过两个麦克风接收目标扬声器发送的一个声波信号,可选地,第二终端通过两个麦克风接收目标扬声器发送的一个声波信号的两路信号。
可选地,第一终端以扬声器组来发送声波信号时,第一终端可以通过确定的目标扬声器组发送声波信号,可选地,其他扬声器组不发送声波信号。可选地,第一终端和第二终端之间传输声波信号的方式为两发一收,具体示例如上图7所示,可选地,第二终端通过一个麦克风接收目标扬声器组发送的声波信号。
S111:第二终端实现第二声波感知应用。
可选地,第二终端对第一终端通过目标扬声器发送的声波信号进行处理,从而实现第二声波感知应用。可选地,目标扬声器发送的声波信号的信号质量参数高于其他扬声器发送的声波信号的信号质量参数,基于目标扬声器发送的声波信号实现的第二声波感知应用可以理解为是精度更高的细粒度的声波感知应用,而基于N个扬声器发送的N个声波信号实现的第一声波感知应用可以理解为是精度较低的粗粒度的声波感知应用。
可选地,第一声波感知应用和第二声波感知应用可以是同种应用,例如均为基于定位实现的设备连接,也可以不是同种应用,例如第一终端和第二终端首先实现基于定位实现的设备连接(即第一声波感知应用),第一终端通过加速度传感器检测到发生移动,因此再次实现设备间的距离检测(即第二声波感知应用)。
可选地,第二终端也可以仅实现第二声波感知应用,而不执行第一声波感知应用。
可选地,S107-S111为可选的步骤,第一终端和第二终端可以仅执行S104-S106。
本申请实施例可以筛选出第一终端使用的声波发送模块中满足预设条件的声波发送模块,例如图10所示的目标扬声器。第一终端可以使用满足预设条件的声波发送模块实现声波感知应用,避免其他声波发送模块一起发送声波信号带来的干扰,提高声波感知应用的准确率和稳定性,并且减少了实现声波感知应用的声波发送模块的数量,从而减少了设备功耗,可用性更高。
可选地,上述第一终端发送声波信号的方式可以包括但不限于TDM、FDM/OFDM或CDM,具体说明如下所示:
情况一,第一终端使用TDM的方式来发送N个声波信号,则N个声波信号的发送时刻各不相同,即第一时刻、…、第N时刻中任意两个时刻不同。可选地,第一终端通过N个扬声器在时序上依次发送N个声波信号,可选地,这N个声波信号中任意两个声波信号可以相同,也可以不同。可选地,第二终端通过麦克风在时序上依次接收N个声波信号。可选地,声波感知参数可以包括N个声波信号发送的时刻、时段、时序中至少一项,可选地,第二终端可以根据声波感知参数确定接收N个声波信号的时刻,例如第一接收时刻和第二接收时刻。
可选地,声波感知参数可以包括信号发送的时序和发送该信号的声波发送模块的对应关系,可选地,第二终端可以根据目标信号的时序确定目标扬声器,第一指示信息用于指示目标扬声器。
可选地,第二终端可以确定目标信号的时序,第一指示信息可以包括目标信号的时序,可选地,第一终端可以根据第一指示信息中目标信号的时序确定目标扬声器。
请参见图11,图11示例性示出一种TDM方式的传输示意图。图11以发送的声波信号为未经编码的基带序列为例进行说明,在具体实现中,声波信号可以是基带序列经过编码后得到的,可选地,N个基带序列的编码方式可以相同。
如图11所示,第一终端包括N个扬声器,这N个扬声器在时序上依次发送N个基带序列。可选地,第一终端发送N个基带序列的时刻按照时间的先后顺序排列,依次为第一时刻t1、第二时刻t2、...、第N时刻tN。第一终端可以在t1通过第一扬声器发送第一基带序列M1,在t2通过第二扬声器发送第二基带序列M2,...,在tN通过第N扬声器发送第N基带序列MN。可选地,第二终端可以通过麦克风在第一接收时刻r1和第二接收时刻r2之间接收N个基带序列,可选地,r1早于t1,r2晚于tN。
在上述TDM的传输方式下,由于多个发送模块发送信号的时序不重叠,因此发送每个信号所使用的带宽可以尽可能大(例如尽可能靠近可用带宽),减少信号干扰,提高筛选满足预设条件的发送模块的准确率,并且可以直接使用信号干扰较小,信号质量参数较大的目标信号实现无线感知应用,从而同时实现发送模块的筛选和无线感知应用,效率更高。
情况二,第一终端使用FDM/OFDM的方式来发送N个声波信号,则N个声波信号的频点、频宽、频段中至少一项不同。可选地,N个声波信号的发送时刻可以相同,也可以不同,即第一时刻、...、第N时刻中任意两个时刻可以相同也可以不同。可选地,第一终端通过N个声波发送模块在时序上发送N个频点、频宽不同的声波信号。可选地,声波感知参数可以包括N个声波信号发送时所使用的频域信息,例如包括频点和频宽,或者包括频点和频段,或者包括频点、频宽和频段,或者包括频段,可选地,第二终端可以根据声波感知参数确定N个声波信号对应的频段,并在对应的频段上进行滤波,以获取到N个声波信号。
可选地,声波感知参数可以包括信号的频域信息和发送该信号的声波发送模块的对应关系,可选地,第二终端可以根据目标信号的频域信息确定目标扬声器,第一指示信息用于指示目标扬声器。
可选地,第二终端可以确定目标信号的频域信息,第一指示信息可以包括目标信号的频域信息,可选地,第一终端可以根据第一指示信息中目标信号的频域信息确定目标扬声器。
请参见图12,图12示例性示出一种FDM/OFDM方式的传输示意图。图12以发送的声波信号为未经编码的基带序列为例进行说明,在具体实现中,声波信号可以是基带序列经过编码后得到的,可选地,N个基带序列的编码方式可以相同。其中,图12的(A)示出了FDM/OFDM方式的时域传输示意图,图12的(B)示出了FDM/OFDM方式的频域传输示意图。
如图12的(A)所示,第一终端包括N个扬声器,这N个扬声器可以同时发送N个基带序列。可选地,第一终端可以在第一时刻t1通过第一扬声器发送:第一频点f1和第一频宽b1的第一基带序列M1,在第二时刻t2通过第二扬声器发送:第二频点f2和第二频宽b2的第二基带序列M2,...,在第N时刻tN通过第N扬声器发送:第N频点fN和第N频宽bN的第N基带序列MN。可选地,第一终端发送N个基带序列的N个时刻可以相同,即t1、t2、...、tN相同。不限于此,发送任意两个基带序列的时刻也可以不同,例如t1和t2相同,t1和tN不同。可选地,第二终端可以通过麦克风在第一接收时刻r1和第二接收时刻r2之间接收N个基带序列,可选地,r1早于第a时刻ta,r2晚于第b时刻tb,ta为N个时刻中最早的时刻,tb为N个时刻中最晚的时刻,a和b均为小于N+1的正整数。
如图12的(B)所示,可选地,发送一个基带序列时所使用的频段可以对应一个频点和一个频宽,这N个基带序列分别对应的频段不同,这N个基带序列分别对应的频点和/或频宽不同。可选地,N个基带序列分别对应的频点按照频率从小到大的顺序排列,依次为f1、f2、...、fN。N个基带序列分别对应的频宽b1、b2、...、bN可以相同。可选地,第二终端可以对接收的N个基带序列进行滤波,具体可以是在第一频段(即对应f1和b1的频段)进行滤波以得到M1,在第二频段(即对应f2和b2的频段)进行滤波以得到M2,...,在第N频段(即对应fN和bN的频段)进行滤波以得到MN。
在上述FDM/OFDM的传输方式下,各个发送模块可以同时发送信号,因此可以在较短时间内完成发送模块的筛选。并且,可以在可用频带内划分频段不同(例如频点和频宽不同)的信号,以支持分配给多个发送模块来发送信号,这多个发送模块可以是一个终端的,也可以是多个终端的,从而可以支持至少一个发送端在较短时间内完成发送模块的筛选。
情况三,第一终端使用CDM的方式来发送N个声波信号,则N个声波信号的编码方式不同。可选地,第一终端发送的N个声波信号为对N个基带序列编码后得到的互相正交的码字。可选地,N个声波信号的发送时刻可以相同,也可以不同,即第一时刻、...、第N时刻中任意两个时刻可以相同也可以不同。可选地,第一终端通过N个声波发送模块在同一时刻发送N个频点和频宽相同,基带序列正交的声波信号。可选地,声波感知参数可以包括N个声波信号的编解码信息,例如包括解码所使用的地址码,可选地,第二终端可以根据声波感知参数确定N个声波信号的解码信息,并使用N个声波信号对应的解码方式(例如使用对应的地址码)对接收到的N个声波信号进行解码,以获取到N个基带序列。
可选地,声波感知参数可以包括N个声波信号的编解码信息和发送该信号的声波发送模块的对应关系,可选地,第二终端可以根据目标信号的编解码信息确定目标扬声器,第一指示信息用于指示目标扬声器。可选地,声波感知参数可以包括N个声波信号对应的N个基带序列,和发送该信号的声波发送模块的对应关系,可选地,第二终端可以根据目标信号对应的基带序列确定目标扬声器,第一指示信息用于指示目标扬声器。
可选地,第二终端可以确定目标信号的编解码信息,第一指示信息可以包括目标信号的编解码信息,可选地,第一终端可以根据第一指示信息中目标信号的编解码信息确定目标扬声器。可选地,第二终端可以确定目标信号对应的基带序列,第一指示信息可以包括目标信号对应的基带序列,可选地,第一终端可以根据第一指示信息中目标信号对应的基带序列确定目标扬声器。
请参见图13,图13示例性示出一种声波信号的编码示意图。
如图13所示,可以对N个基带序列进行上变频编码,以得到N个正交序列,可选地,对于这N个正交序列而言,这N个基带序列正交。其中,上变频所使用的频点为预设频点f0,所使用的频宽为预设频宽b0,第i基带序列Mi和对Mi进行上变频编码得到的第i正交序列Si的关系如下所示:
Si=F(f0,b0,Mi)
其中,F为上变频编码对应的函数。i为小于N+1的正整数。
请参见图14,图14示例性示出一种CDM方式的传输示意图。图14的(A)示出了CDM方式的时域传输示意图,图14的(B)示出了CDM方式的频域传输示意图。图14以传输N个声波信号的频点和频宽为:对N个基带训练进行上变频编码以获取N个声波信号时,所使用的预设频点f0和预设频宽b0为例进行说明。
如图14的(A)所示,第一终端包括N个扬声器,这N个扬声器可以同时发送N个正交序列,这N个正交序列的编码方式不同。可选地,第一终端可以在第一时刻t1通过第一扬声器发送:f0和b0的第一基带序列M1,在第二时刻t2通过第二扬声器发送:f0和b0的第二基带序列M2,...,在第N时刻tN通过第N扬声器发送:f0和b0的第N基带序列MN。可选地,第一终端发送N个正交序列的N个时刻可以相同,即t1、t2、...、tN相同,不限于此,发送任意两个基带序列的时刻也可以不同。可选地,第二终端可以通过麦克风在第一接收时刻r1和第二接收时刻r2之间接收N个正交序列,可选地,r1早于第c时刻tc,r2晚于tc,tc为N个发送时刻中任意一个时刻,a为小于N+1的正整数。
如图14的(B)所示,可选地,发送一个正交序列时所使用的频段可以对应一个频点和一个频宽,这N个正交序列分别对应的频段可以相同,这N个正交序列分别对应的频点和频宽可以相同,均为f0和b0,不限于此,任意两个正交序列对应的频段也可以不同。可选地,第二终端可以在预设频段(即对应f0和b0的频段)接收N个正交序列,可选地,第二终端可以根据N个正交序列分别对应的解码信息(例如地址码),对着N个正交序列进行解码,以得到N个基带序列。
在上述CDM的传输方式下,各个发送模块可以同时发送频段相同的信号,发送每个信号所使用的带宽可以尽可能大(例如尽可能靠近可用带宽),减少信号干扰,提高筛选“最佳”扬声器的准确率,并且可以直接使用信号干扰较小,信号质量参数较大的信号实现无线感知应用,因此可以在较短时间内完成发送模块的筛选和无线感知应用,效率更高。
可选地,上述情况一下,即第一终端使用TDM的方式来发送N个声波信号时,这N个声波信号分别对应的频段可以不同,例如频域传输示意图为图12的(B)所示,这N个声波信号分别对应的频段可以相同,例如频域传输示意图为图14的(B)所示。
可选地,第一终端和第二终端之间传输声波信号的方式为一发两收,上图11-图12、图14中第二终端的麦克风为两个麦克风中的任意一个麦克风。
上述复用方式的说明以第一终端以扬声器发送声波信号为例进行说明,第一终端以扬声器组发送声波信号时,多个扬声器组发送的多组声波信号之间可以按照第一复用方式发送,一组声波信号内的多个声波信号之间可以按照第二复用方式发送,第一复用方式和第二复用方式可以相同,也可以不同。第一复用方式和第二复用方式也可以是TDM、FDM/OFDM或CDM,具体说明如下所示:
下述举例假设第一扬声器包括两个扬声器组:扬声器组1和扬声器组2,每个扬声器组包括两个扬声器,扬声器组1发送信号1和信号2,扬声器组2发送信号3和信号4。
可选地,第一复用方式为TDM时,第二复用方式可以为TDM、FDM/OFDM或CDM。可选地,第一复用方式和第二复用方式均为TDM时,多组声波信号的发送时段不同,一组声波信号内的声波信号的发送时刻各不相同,例如信号1、信号2、信号3和信号4分别在时刻0、时刻1、时刻2和时刻3发送,时刻0和时刻1属于扬声器组1发送声波信号的时段,时刻2和时刻3属于扬声器组2发送声波信号的时段。可选地,第一复用方式为TDM,第二复用方式为FDM/OFDM时,多组声波信号中任意一组声波信号内的信号的发送时刻均相同且传输频段各不相同,多组声波信号的发送时刻不同,例如信号1和信号2的发送时刻均为时刻0且传输频段分别为频段1和频段2,信号3和信号4的发送时刻均为时刻1且传输频段分别为频段1和频段2。可选地,第一复用方式为TDM,第二复用方式为CDM时,多组声波信号中任意一组声波信号内的信号的发送时刻均相同且编码方式各不相同,多组声波信号的发送时刻不同,多组声波信号中任意一组声波信号内的信号的传输频段可以相同也可以不同,多组声波信号的传输频段可以相同也可以不同。
可选地,第一复用方式为TDM时,时域传输示意图和图11类似,其中扬声器可以替换为扬声器组,基带序列可以替换为一组声波信号对应的基带序列,发送时刻可以保持不变或替换为发送时段。可选地,第二复用方式为TDM时,时域传输示意图和图11类似,其中N个扬声器可以是一个扬声器组内包括的N个扬声器。
可选地,第一复用方式为FDM/OFDM时,第二复用方式可以为TDM、FDM/OFDM或CDM。可选地,第一复用方式和第二复用方式均为FDM/OFDM时,多组声波信号的传输频段不同,一组声波信号内的声波信号的传输频段各不相同。可选地,第一复用方式为FDM/OFDM,第二复用方式为TDM时,多组声波信号中任意一组声波信号内的信号的传输频段均相同且发送时刻各不相同,多组声波信号的传输频段不同。可选地,第一复用方式为FDM/OFDM,第二复用方式为CDM时,多组声波信号中任意一组声波信号内的信号的传输频段均相同且编码方式各不相同,多组声波信号的传输频段不同。
可选地,第一复用方式为FDM/OFDM方式时,时域传输示意图和频域传输示意图和图12类似,其中扬声器可以替换为扬声器组,基带序列可以替换为一组声波信号对应的基带序列,发送时刻可以保持不变或替换为发送时段。可选地,第二复用方式为FDM/OFDM时,时域传输示意图和频域传输示意图和图12类似,其中N个扬声器可以是一个扬声器组内包括的N个扬声器。
可选地,第一复用方式为CDM时,第二复用方式可以为TDM、FDM/OFDM或CDM。可选地,第一复用方式和第二复用方式均为CDM时,多组声波信号的编码方式不同,一组声波信号内的声波信号的编码方式各不相同。可选地,第一复用方式为CDM,第二复用方式为TDM时,多组声波信号中任意一组声波信号内的信号的编码方式均相同且发送时刻各不相同,多组声波信号的编码方式不同。可选地,第一复用方式为CDM,第二复用方式为FDM/OFDM时,多组声波信号中任意一组声波信号内的信号的编码方式均相同且传输频段各不相同,多组声波信号的编码方式不同。
可选地,第一复用方式为CDM方式时,时域传输示意图和频域传输示意图和图14类似,其中扬声器可以替换为扬声器组,基带序列可以替换为一组声波信号对应的基带序列,发送时刻可以保持不变或替换为发送时段。可选地,第二复用方式为CDM时,时域传输示意图和频域传输示意图和图14类似,其中N个扬声器可以是一个扬声器组内包括的N个扬声器。
可选地,第一复用方式和第二复用方式中一个为TDM,一个为FDM/OFDM时,假设多组声波信号中任意两组声波信号为信号组1和信号组2,信号组1和信号组2内的信号的发送时刻各不相同,信号组1内任意一个信号和信号组2内的至少一个信号的发送时刻不同,信号组1内任意一个信号和信号组2内的至少一个信号的发送时刻相同且传输频段不同,例如,信号1和信号3的发送时刻均为时刻0,信号2和信号4的发送时刻均为时刻1,信号1和信号4的传输频段为频段1,信号2和信号3的传输频段为频段2。可选地,这种情况下,一组声波信号内的多个声波信号的时域传输示意图可以为图11,其中第i扬声器是发送这组声波信号的一组扬声器中的一个扬声器,i为小于N+1的正整数。可选地,这种情况下,一组声波信号内的多个声波信号的频域传输示意图可以为图12的(B),其中第i扬声器是发送这组声波信号的一组扬声器中的一个扬声器。
可选地,第一复用方式和第二复用方式中一个为TDM,一个为CDM时,假设多组声波信号中任意两组声波信号为信号组1和信号组2,信号组1和信号组2内的信号的发送时刻各不相同,信号组1内任意一个信号和信号组2内的至少一个信号的发送时刻不同,信号组1内任意一个信号和信号组2内的至少一个信号的发送时刻相同且编码方式不同,例如,信号1和信号3的发送时刻均为时刻0,信号2和信号4的发送时刻均为时刻1,信号1和信号4的编码方式为方式1,信号2和信号3的编码方式为方式2。可选地,这种情况下,一组声波信号内的多个声波信号的时域传输示意图可以为图11,其中基带序列替换为正交序列,第i扬声器是发送这组声波信号的一组扬声器中的一个扬声器,i为小于N+1的正整数。可选地,这种情况下,一组声波信号内的多个声波信号的频域传输示意图可以为图14的(B),其中第i扬声器是发送这组声波信号的一组扬声器中的一个扬声器。
可选地,第一复用方式和第二复用方式中一个为FDM/OFDM,一个为CDM时,假设多组声波信号中任意两组声波信号为信号组1和信号组2,信号组1和信号组2内的信号的传输频段各不相同,信号组1内任意一个信号和信号组2内的至少一个信号的传输频段不同,信号组1内任意一个信号和信号组2内的至少一个信号的传输频段相同且编码方式不同,例如,信号1和信号3的传输频段均为频段1,信号2和信号4的传输频段均为频段2,信号1和信号4的编码方式为方式1,信号2和信号3的编码方式为方式2。可选地,这种情况下,一组声波信号内的多个声波信号的频域传输示意图可以为图12的(B),其中基带序列替换为正交序列,第i扬声器是发送这组声波信号的一组扬声器中的一个扬声器,i为小于N+1的正整数。
可选地,第一终端可以是图5所示的终端。可选地,第二终端可以是图5所示的终端。
可选地,图10所示的方法中第一终端和第二终端所使用的无线感知的模式可以是图6所示的一发两收的模式。可选地,图10所示的方法中第一终端和第二终端所使用的无线感知的模式可以是图7所示的两发一收的模式。
可选地,图10所示的方法可以应用于图8所示的场景下,第一终端为图8所示的智能音箱300,第二终端为图8所示的智能大屏400,智能音箱300和智能大屏300可以执行图10所示的方法,其中确定的目标扬声器可以为图8中智能音箱300的扬声器302。
在一些实施例中,第一终端可以以扬声器发送声波信号的方式确定目标扬声器(例如执行上图10所示方法),但后续若第一终端需以扬声器组发送声波信号的方式实现声波感知应用,可以无需再以扬声器组发送声波信号的方式确定目标扬声器组,而是直接将目标扬声器对应的扬声器组确定为目标扬声器组,减小处理压力和处理时延。
在一些实施例中,第一终端和第二终端可以为一个终端,假设为第一终端,第一终端可以自发自收来完成声波感知应用。可选地,第一终端自发自收完成声波感知应用的情况下,实现的无线感知方法和图10类似,区别在于,第二终端执行的步骤变为第一终端执行的步骤,并且此时可以不包括图10的S101-S102,S107-S109可以直接为:根据第一声波信号、…、第N声波信号确定目标扬声器。可选地,第一终端内置声波信号和发送该声波信号的扬声器的对应关系,第一终端确定目标信号的情况下,可以确定目标扬声器。
可选地,第一终端自发自收完成声波感知应用的情况下,第一终端所使用的无线感知的模式可以是图6所示的一发两收的模式。可选地,第一终端自发自收完成声波感知应用的情况下,第一终端所使用的无线感知的模式可以是图7所示的两发一收的模式。
可选地,第一终端自发自收完成声波感知应用的情况下,实现的无线感知方法可以应用于图9所示的场景下,第一终端为图9所示的智能音箱300,第一终端可以执行无线感知方法,其中确定的目标扬声器可以为图9中智能音箱300的扬声器304。
不限于上述列举的情况,在具体实现中,第一终端可以是多个终端,和/或,第二终端可以是多个终端,任意一个实现无线感知应用的发送端可以执行图10中第一终端执行的步骤,任意一个实现无线感知应用的接收端可以执行图10中第二终端执行的步骤。
可以理解地,其他无线感知技术的实现方式和上述声波感知技术的实现方式一致,只是传输的无线信号以及所使用的发送模块、接收模块不同。示例性地,通过蓝牙感知技术实现时,传输的无线信号可以是蓝牙信号,所使用的发送模块、接收模块可以是图1所示的收发器130。可选地,实现的无线感知应用可以相同。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时,全部或部分地产生按照本申请上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
总之,以上上述仅为本发明技术方案的实施例而已,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (19)
1.一种无线感知方法,其特征在于,应用于第一终端,所述第一终端包括多个声波发送模块,所述方法包括:
使用多个第一发送模块分别发送多个第一信号,所述多个第一发送模块为所述多个声波发送模块的部分或全部;
接收第二终端发送的第一指示信息,所述第一指示信息用于指示第二发送模块,所述第二发送模块为发送所述多个第一信号中的第二信号的模块,所述第二终端接收的所述第二信号的信号质量参数大于或等于第一预设阈值,或,所述第二终端接收的所述第二信号的信号质量参数大于,所述第二终端接收的所述多个第一信号中其他信号的信号质量参数,所述第一指示信息是所述第二终端根据接收的所述多个第一信号的信号质量参数确定的;
根据所述第一指示信息确定使用所述第二发送模块发送第三信号,所述第三信号用于确定所述第一终端和所述第二终端的相对位置关系。
2.如权利要求1所述的方法,其特征在于,所述使用多个第一发送模块分别发送多个第一信号之前,所述方法还包括:
使用所述多个声波发送模块分别发送多个第四信号;
接收所述第二终端发送的第二指示信息,所述第二指示信息用于指示所述多个第一发送模块,所述第二终端接收的所述多个第一发送模块所发送的所述第四信号的信号质量参数大于或等于第二预设阈值,或,所述第二终端接收的所述多个第一发送模块所发送的所述第四信号的信号质量参数大于,所述第二终端接收的所述多个第四信号中其他信号的信号质量参数,所述第二指示信息是所述第二终端根据接收的所述多个第四信号的信号质量参数确定的;
所述使用多个第一发送模块分别发送多个第一信号,包括:
根据所述第二指示信息确定使用所述多个第一发送模块分别发送所述多个第一信号。
3.如权利要求1或2所述的方法,其特征在于,所述多个第一信号中任意两个信号的发送时刻不同;或,
所述多个第一信号中任意两个信号的传输频段不同;或,
所述多个第一信号中任意两个信号的编码方式不同。
4.如权利要求2所述的方法,其特征在于,所述方法还包括:
向所述第二终端发送所述第一终端的第一参数,并接收所述第二终端的第二参数;所述第一参数包括所述第一终端的所述多个声波发送模块的数量,所述第二参数包括所述第二终端的声波接收模块的数量;
根据所述第一参数和所述第二参数确定使用所述多个声波发送模块分别发送所述多个第四信号的发送方式。
5.如权利要求2所述的方法,其特征在于,所述多个声波发送模块属于多个发送模块组,一个所述发送模块组包括所述多个声波发送模块中的至少一个所述声波发送模块;
所述第二发送模块为所述多个发送模块组中的至少一个所述发送模块组。
6.如权利要求5所述的方法,其特征在于,第一发送模块组发送的至少一个所述第四信号中任意两个信号的发送时刻不同;或,
第一发送模块组发送的至少一个所述第四信号中任意两个信号的传输频段不同;或,
第一发送模块组发送的至少一个所述第四信号中任意两个信号的编码方式不同;所述第一发送模块组为所述多个发送模块组中的任意一个所述发送模块组。
7.如权利要求5或6所述的方法,其特征在于,第一发送模块组发送的至少一个所述第四信号的发送时刻和第二发送模块组发送的至少一个所述第四信号的发送时刻不同;或,
第一发送模块组发送的至少一个所述第四信号的传输频段和第二发送模块组发送的至少一个所述第四信号的传输频段不同;或,
第一发送模块组发送的至少一个所述第四信号的编码方式和第二发送模块组发送的至少一个所述第四信号的编码方式不同;所述第一发送模块组和所述第二发送模块组为所述多个发送模块组中的任意两个所述发送模块组。
8.如权利要求1、2、4、5、6中任一项所述的方法,其特征在于,所述信号质量参数包括以下至少一项:信号强度、信噪比、信号的主径和旁径的比值,所述主径为直射径,所述旁径为反射径、折射径或绕射径。
9.一种无线感知方法,其特征在于,应用于第二终端,所述方法包括:
接收第一终端使用多个第一发送模块分别发送的多个第一信号,所述多个第一发送模块为所述第一终端包括的多个声波发送模块的部分或全部;
向所述第一终端发送第一指示信息,所述第一指示信息用于指示第二发送模块,所述第二发送模块为发送所述多个第一信号中的第二信号的模块,所述第二终端接收的所述第二信号的信号质量参数大于或等于第一预设阈值,或,所述第二终端接收的所述第二信号的信号质量参数大于,所述第二终端接收的所述多个第一信号中其他信号的信号质量参数,所述第一指示信息是所述第二终端根据接收的所述多个第一信号的信号质量参数确定的;
接收所述第一终端使用所述第二发送模块发送的第三信号,所述第三信号用于确定所述第一终端和所述第二终端的相对位置关系。
10.如权利要求9所述的方法,其特征在于,所述接收第一终端使用多个第一发送模块分别发送的多个第一信号之前,所述方法还包括:
接收所述第一终端使用所述多个声波发送模块分别发送的多个第四信号;
向所述第一终端发送第二指示信息,所述第二指示信息用于指示所述多个第一发送模块,所述第二终端接收的所述多个第一发送模块所发送的所述第四信号的信号质量参数大于或等于第二预设阈值,或,所述第二终端接收的所述多个第一发送模块所发送的所述第四信号的信号质量参数大于,所述第二终端接收的所述多个第四信号中其他信号的信号质量参数,所述第二指示信息是所述第二终端根据接收的所述多个第四信号的信号质量参数确定的。
11.如权利要求9或10所述的方法,其特征在于,所述多个第一信号中任意两个信号的发送时刻不同;或,
所述多个第一信号中任意两个信号的传输频段不同;或,
所述多个第一信号中任意两个信号的编码方式不同。
12.如权利要求10所述的方法,其特征在于,所述方法还包括:
接收所述第一终端的第一参数,并向所述第一终端发送所述第二终端的第二参数;所述第一参数包括所述第一终端的所述多个声波发送模块的数量,所述第二参数包括所述第二终端的声波接收模块的数量,所述第一参数和所述第二参数用于确定所述第一终端使用所述多个声波发送模块分别发送所述多个第四信号的发送方式。
13.如权利要求10所述的方法,其特征在于,所述多个声波发送模块属于多个发送模块组,一个所述发送模块组包括所述多个声波发送模块中的至少一个所述声波发送模块;
所述第二发送模块为所述多个发送模块组中的至少一个所述发送模块组。
14.如权利要求13所述的方法,其特征在于,第一发送模块组发送的至少一个所述第四信号中任意两个信号的发送时刻不同;或,
第一发送模块组发送的至少一个所述第四信号中任意两个信号的传输频段不同;或,
第一发送模块组发送的至少一个所述第四信号中任意两个信号的编码方式不同;所述第一发送模块组为所述多个发送模块组中的任意一个所述发送模块组。
15.如权利要求13或14所述的方法,其特征在于,第一发送模块组发送的至少一个所述第四信号的发送时刻和第二发送模块组发送的至少一个所述第四信号的发送时刻不同;或,
第一发送模块组发送的至少一个所述第四信号的传输频段和第二发送模块组发送的至少一个所述第四信号的传输频段不同;或,
第一发送模块组发送的至少一个所述第四信号的编码方式和第二发送模块组发送的至少一个所述第四信号的编码方式不同;所述第一发送模块组和所述第二发送模块组为所述多个发送模块组中的任意两个所述发送模块组。
16.如权利要求9、10、12、13、14中任一项所述的方法,其特征在于,所述信号质量参数包括以下至少一项:信号强度、信噪比、信号的主径和旁径的比值,所述主径为直射径,所述旁径为反射径、折射径或绕射径。
17.一种第一终端,其特征在于,包括收发器、处理器和存储器,所述存储器用于存储计算机程序,所述处理器调用所述计算机程序,用于执行如权利要求1-8任一项所述的方法。
18.一种第二终端,其特征在于,包括收发器、处理器和存储器,所述存储器用于存储计算机程序,所述处理器调用所述计算机程序,用于执行如权利要求9-16任一项所述的方法。
19.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1-8任一项或权利要求9-16任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010975278 | 2020-09-16 | ||
CN2020109752786 | 2020-09-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114268379A CN114268379A (zh) | 2022-04-01 |
CN114268379B true CN114268379B (zh) | 2023-03-28 |
Family
ID=80824569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110464023.8A Active CN114268379B (zh) | 2020-09-16 | 2021-04-26 | 无线感知方法、终端及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114268379B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023201548A1 (zh) * | 2022-04-19 | 2023-10-26 | Oppo广东移动通信有限公司 | 通信方法和设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105337670A (zh) * | 2014-08-13 | 2016-02-17 | 国民技术股份有限公司 | 无线声波通信的方法及其装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI494827B (zh) * | 2013-08-28 | 2015-08-01 | Au Optronics Corp | 感測裝置與定位方法 |
US9307331B2 (en) * | 2013-12-19 | 2016-04-05 | Gn Resound A/S | Hearing device with selectable perceived spatial positioning of sound sources |
CN106230518A (zh) * | 2016-07-29 | 2016-12-14 | 西安电子科技大学 | 基于WiFi与声波的多点拓扑逼近室内定位方法 |
CN108370492B (zh) * | 2017-01-20 | 2021-08-20 | 华为技术有限公司 | 一种室内定位的方法和设备 |
CN107015230B (zh) * | 2017-03-15 | 2019-12-06 | 中国人民解放军63655部队 | 一种超声波测距方法 |
CN111391784B (zh) * | 2020-03-13 | 2022-05-17 | Oppo广东移动通信有限公司 | 信息提示方法、装置、存储介质及相关设备 |
-
2021
- 2021-04-26 CN CN202110464023.8A patent/CN114268379B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105337670A (zh) * | 2014-08-13 | 2016-02-17 | 国民技术股份有限公司 | 无线声波通信的方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114268379A (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200071758A (ko) | 주파수 호핑 구성 방법 및 장치 | |
US10051368B2 (en) | Mobile apparatus and control method thereof | |
CN112929972B (zh) | 一种信道调整方法及电子设备 | |
CN113015065B (zh) | 一种连接方法、装置、设备及计算机存储介质 | |
CN109379490B (zh) | 音频播放方法、装置、电子设备及计算机可读介质 | |
CN109863710A (zh) | 下行控制信息的传输方法及装置 | |
CN114189790B (zh) | 音频信息的处理方法、电子设备、系统、产品及介质 | |
US20150222849A1 (en) | Method and apparatus for transmitting file during video call in electronic device | |
JP7234379B2 (ja) | スマートホームデバイスによってネットワークにアクセスするための方法および関連するデバイス | |
KR20230098360A (ko) | 부분 대역폭의 구성 방법 및 장치 | |
US20220278719A1 (en) | Method and apparatus for selecting antenna panel | |
CN109863700A (zh) | 数据传输方法及装置 | |
CN114268379B (zh) | 无线感知方法、终端及计算机存储介质 | |
CN114422710B (zh) | 电子设备的录像控制方法、电子设备及可读介质 | |
CN108476479A (zh) | 随机接入方法及装置、用户设备和计算机可读存储介质 | |
JP2011250311A (ja) | 聴覚ディスプレイ装置及び方法 | |
CN109194998A (zh) | 数据传输方法、装置、电子设备及计算机可读介质 | |
US9733714B2 (en) | Computing system with command-sense mechanism and method of operation thereof | |
CN104660348A (zh) | 一种发送数据的方法、装置、移动终端及声波通信系统 | |
CN110291831A (zh) | 直连链路数据发送和直连链路资源配置方法以及装置 | |
CN114040319B (zh) | 一种终端设备外放音质优化方法、装置、设备和介质 | |
CN110311692A (zh) | 用户设备、控制方法及存储介质 | |
CN109155803B (zh) | 音频数据处理方法、终端设备和存储介质 | |
CN104102717A (zh) | 在终端上进行音乐专属播放的方法和系统 | |
CN103338416A (zh) | 无线插卡耳机的音乐共享系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |