CN109792465B - 基于声学的设备间通信 - Google Patents

Abstract

一种称为时移键控(TSK)的调制方法用于以高能效方式在两个设备之间传输消息。由不可听到的音频信号表示的消息在发送设备上被调制。音频信号由非零幅度分隔符信号的队列组成，其中在分隔符之间具有零幅度传输的时间段。将零幅度传输时段的持续时间映射到符号，然后将多个符号组合成消息。在发送设备上，将音频信号分解为映射到符号的片段或比特序列。在接收设备上，将零幅度传输的持续时间转换为组合为消息的符号。分隔符信号具有逐渐增大和逐渐减小的幅度，并且具有使得它们可被接收设备检测到的长度。

Description

基于声学的设备间通信

技术领域

本发明涉及用于设备交互的基于声学信号的通信。更具体地，它涉及设备之间声学信号的调制和解调。

背景技术

多年来移动设备一直在剧增。随着这种增长，移动设备和其他类型的非移动设备之间越来越多地使用基于声学信号的通信。这种交互形式要求设备具有扬声器和麦克风。这种类型的设备交互的另一个特点是，设备上的扬声器总是处于开启以便传输声学信号。用于基于声学的设备间交互的现有调制方法包括幅移键控、频移键控、相移键控和正交幅度调制。所有这些方法都需要连续的非零幅度信号。这导致设备的高功耗。此外，在这些交互中使用的许多设备是移动设备或可穿戴设备，例如智能电话、健身追踪器等，其通常不具有持久的电源。

要注意的是，可穿戴设备的普及也在增长。对于这些类型的设备，延长电池寿命或相反地寻找省电的方法变得越来越重要。这些设备已经使用基于连续声学信号的通信与其他设备交互。它们向其他设备发送听不见的声音信号，这要求设备上的扬声器始终处于通电，以使其连续。类似地，设备麦克风(或其他信号检测组件)必须始终开启以便检测信号。这些组件，尤其是传输声学信号所需的扬声器，是设备上耗能最多的硬件组件。由此，现有的设备间连续声学信号通信解决方案对于设备而言是相对高功耗的操作。

对于较小的移动设备而言，这尤其是一个问题，其中能效是一个重要因素。使扬声器始终通电可能会快速耗尽设备的电池，这可能会妨碍使用声学通信与低功率设备进行交互。需要一种高能效解决方案，以实现对于各种设备的连续的实时声学通信。

发明内容

技术方案

在本发明的一个方面，描述了一种将消息从第一设备传送到第二设备的方法，每个设备具有扬声器和麦克风。在第一设备上将消息划分成多个片段或段。将每个片段映射到符号，从而创建多个符号。在一个实施例中，符号由零幅度传输的特定持续时间表示。在两个连续符号之间插入分隔符信号。这产生了传输队列，它是分隔符信号的序列，其中在分隔符之间具有零幅度传输的时间段。在一个实施例中，分隔符是非零幅度信号，其具有逐渐增加的起始幅度和类似地逐渐减小的结束幅度。其可以表征为双边带调制信号。在记录的时间通过第一设备的扬声器发送或发射第一分隔符信号。在表示一个符号的特定持续时间之后，发射第二分隔符信号并记录该发射时间。继续该分隔符信号的发射和零幅度发射，直到表示消息的所有符号都已被第一设备的扬声器发出。

在本发明的另一方面，描述了一种在发送设备和接收设备之间传送消息的方法。接收设备通过其麦克风接收表示消息的输入音频信号。设备上的软件检测输入信号中的第一分隔符信号。在一个实施例中，这是使用参考分隔符信号完成的。设备记录检测到分隔符信号的时间。然后在特定持续时间之后检测第二分隔符信号。在两个分隔符之间的该持续时间期间，存在零幅度传输的时间段。记录该持续时间。设备使用实现预定义协议的符号映射表，以将持续时间转换为不同的符号。这是针对输入信号中的每个零幅度持续时间进行的，每个零幅度持续时间可以通过分隔符信号来区分。组合多个符号以形成发送设备正发送的消息。

附图说明

可通过参考结合附图进行的以下描述来最佳理解本发明及其优点，其中：

图1是示出了根据一个实施例的使用TSK调制的输出信号的曲线图；

图2是根据一个实施例的从一设备发送消息以便被另一设备接收的处理的流程图；

图3是示出了根据一个实施例的符号间分隔符的形状或波形的曲线图；

图4是根据一个实施例的设备接收表示消息的声学信号的处理的流程图；并且

图5是示出了根据一个实施例的内容查看设备的组件的框图。

具体实施方式

在各附图中描述了用于实现基于声学信号并消耗低功率量的设备间连续通信或交互、从而节省电池寿命的方法和系统。设备交互的类型可以广泛地变化。可以发生在可穿戴设备和移动设备之间。也可以发生在可穿戴设备或移动设备与更大的设备(例如，笔记本电脑、电视、电器或汽车)之间。可以使用本发明的连续通信解决方案的不同应用和领域广泛地变化，下面描述了一些。

本发明的实施例提供了一种连续实时设备交互的高能效方法。本发明的一个实施例包括调制和解调具有零幅度传输周期的超声波声学信号，其中使用非零分隔符信号来划分或分隔每个周期，从而减少设备上扬声器的使用。以这种方式，发送声学信号的扬声器不必一直处于开启；其仅当分隔符信号正被发送时才消耗功率。在零幅度传输期间的能量使用可以忽略不计。

在当前的移动设备(例如，电话和智能手表)中使用的扬声器的某些技术规范能够实现所描述的实施例的调制方案。一种方案是，这些扬声器可以播放非常短的声音或信号持续时间(例如，小于10ms)。另一种方案是，当发出零幅度的声音时，扬声器消耗可忽略不计的功率量。即使扬声器设置在最高传输功率下，这两个特性也都适用。

所描述的实施例的调制方案可以被称为时移键控(TSK)，并且利用了如上所述的当前扬声器的技术规范。与使用声学信号作为符号的传统方案相比，TSK通过使用由非零信号分割的零幅度持续时间作为符号来调制数据(即，消息)。图1是示出了根据一个实施例的使用TSK调制的输出信号的曲线图102。在该具体示例中，y轴显示范围从-0.4到+0.4的幅度，x轴显示从0ms到200ms的时间。这些值可根据各种需要而不同。信号104a、104b、104c......被称为分隔符，是短持续时间的非零幅度信号，并且具有如下所述的特定属性。零幅度持续时间中的两个被示为在非零幅度信号之间的S₁106a和S₂106b。

在本发明的一个实施例中，本文描述的过程在两个设备之间执行，并且可以连续地执行。这样，必然的是，设备的用户和附近设备的用户听不到或感知不到任何声音。在下面描述的其他应用中也是如此，其中用户不应意识到正在进行设备交互或通信。分隔符(非零信号)应当是用户听不到的。在一个实施例中，分隔符可以在17KHz到22KHz的范围内，一个产生人类听不到的信号的范围。在从分隔符转变到零幅度信号时，扬声器不应发出任何可听到的伪声。

本发明的实施例可以用于各种应用。在一个实施例中，移动设备或可穿戴设备(例如，智能电话或智能手表)用于与电视交互。移动设备用作控制器设备，用于操作电视和与电视连接的组件。用户在电视前方移动移动设备，或者更广泛地，在电视的扬声器和麦克风的声学信号检测距离内移动移动设备，以引起电视的操作，例如改变频道或音量，切换应用或玩游戏。这里，本发明的一个实施例的调制方案可以用于连续地从移动设备向电视发送消息。在一个实施例中，这些消息包括从传感器日期、控制器设备的运动或移动导出或转换的、用于与电视进行不同交互的命令。用户将预期这些命令对电视操作产生即时的影响；需要接近于与电视的实时交互。这样，消息的传输时间短。如下所述，可以通过具有短符号来实现短消息。在一个实施例中，当移动设备用作电视的输入控制器时，它可以基于由耦接到移动设备的运动传感器或各种其他类型的传感器捕获的传感器数据来检测用户手势输入。应当注意，在一个实施例中，电视不需要直接检测移动设备的移动(即，用户动作)。因此，例如，电视不需要具有相机来监测用户输入。

控制器设备以连续的方式向电视发送命令，尤其是当电视处于游戏模式时。例如，为了理解特定时间的用户交互，当用户的手在移动时，电视需要知道用户手势(例如，手指指向)和手势在三维空间中的运动这二者，其中，用户手势可以由控制器设备确定，并且手势在三维空间中的运动可以基于连续的距离测量来确定，如共同未决的美国专利申请第15/264,116号中所描述的。在一个实施例中，电视具有两个或更多个麦克风或者两个或更多个扬声器，在前一种情况下，麦克风具有由电视确定的控制器设备的x、y、z定位，在后一种情况下，在控制器设备处执行控制器设备的x、y、z定位确定。在后一种情况下，除了手势编码(如下面描述的符号表中所定义的)之外，控制器设备还可以调制包括其自身定位的消息，并且通过声学通信将调制的消息发送到电视。在一个实施例中，可以实现数据融合以使用控制器设备的附加传感器数据，从而帮助提高控制器设备的位置确定的准确性。

另一个应用涉及检测设备在一空间内(例如，在车辆中)的位置。例如，交互可以在用户设备(例如，智能电话或可穿戴设备)与汽车之间。为了安全和方便，当智能设备的用户位于汽车的驾驶员座位中并且汽车处于运动中时，使智能设备自动进入“驾驶员模式”变得越来越普遍。当汽车扬声器被通电时(通常在汽车点火器被接通时)，连续跟踪设备的位置。当在驾驶员区域中检测到设备时，设备可以提示通知，要求用户将其置于驾驶员模式，或者设备可以被配置为自动进入驾驶员模式。设备和汽车之间的消息可以包含短消息，该短消息包含汽车扬声器的标识符。在该应用中，消息通常也很短。响应时间不需要是即时的或实时的，但应当是适当响应的。

在一个实施例中，当汽车在运动中时，任何被确定在驾驶区或驾驶空间内或附近的设备都将被锁定。在共同未决的美国专利申请第15/264,116号中描述了用于确定距离的跟踪方法。在一个实施例中，诸如汽车内部之类的空间具有安装在已知位置的三个或更多个扬声器/麦克风。通过诸如三角测量的已知方法，设备能够确定其与这些扬声器/麦克风的相对位置，因此可以进一步确定其在空间(例如，汽车中的驾驶员区域)内的位置。

另一个应用是在跟踪人的背景下，例如由护理人员监视老年人或年长者的活动。这在患有老年痴呆症或阿尔茨海默症的人的情况下尤其有用。在这种情况下，老年人(或具有看护人的任何人)具有跟踪设备，例如智能手表或电话。该跟踪设备与看护人的设备(可以是PC工作站、电话、平板电脑或其他设备)配对。老年人的跟踪设备与看护人的设备持续通信。消息被调制为包含老年人设备的标识信息(例如，MAC地址)。在一个实施例中，消息还可以包含跟踪设备的位置。在另一个实施例中，可以使用在共同未决的美国专利申请第15/264,116中描述的方法来确定老年人的跟踪设备和看护人的设备之间的相对距离。以这种方式，看护人的设备可以保持跟踪老年人的位置。

如上所述，可以基于上下文或app来制作或编程消息长度以使其合适。消息的适用性基本上是消息的长度：短消息用于敏感、实时的应用(例如，与电视的交互)，而较长的消息用于没有实时交互需求的应用(例如，老年人跟踪)。在一个实施例中，有两种方法来控制设备间消息的大小。

图2是根据一个实施例的从一设备发送消息以便被另一设备接收的处理的流程图。如上所述，该设备可以是具有麦克风和扬声器的任何类型的设备。本发明的节能方面最佳地实现在具有有限电力和计算能力的设备上，例如智能手表、健身追踪器、电话和可穿戴设备。在步骤202，设备获得要发送到另一设备的消息。例如，该消息可以是用户按下电话上的按键以与电视交互的结果、用于两个设备之间的距离估计的时间信息、或者用于老年人跟踪的位置信息。消息由多个(L个)比特组成，其中L可以变化。下面描述用于确定如何确定消息中的比特的协议。

在步骤204，将消息分割为片段。在一个特定实施例中，每个片段具有log₂N比特，其中N是2的幂。在另一实施例中，存在用于符号的简单线性星座(constellation)。可以选择任何合适的各种长度的分割片段来分解消息。还可以注意到，不必首先执行在比特水平下将消息分割为片段。在其他实施例中，可以在处理中稍后执行该步骤。在步骤206，使用预定义的表将具有特定比特数的每个片段映射到符号。在一个实施例中，该表或协议是在两个设备之间预先确定的，和/或基于应用的类型。在一个实施例中，符号与持续时间(例如，5ms、10ms、20ms等)相关联。作为说明，0比特值映射到5ms符号，1比特值映射到10ms符号。在另一实施例中，00比特值映射到5ms符号，01比特值映射到15ms符号，等等。这种类型的可定制表实现了协议，并用于将每个片段(单个比特或短比特序列)映射到持续时间。该持续时间或符号是零幅度传输(即，静音)的时间长度。

在步骤208，在每个符号之间插入非零幅度分隔符信号，以创建可称为队列的内容。在步骤210，在队列的开始和结束处插入分隔符。该队列现在由初始分隔符、初始分隔符后面的由非零幅度分隔符分隔的零幅度持续时间的序列、和结尾处的最终分隔符组成。在此阶段，这样连接的队列表示要发送到另一设备的消息。在步骤212，将队列或消息传送到扬声器缓冲器，并作为输出超声波声学信号进行发送。

图3示出了根据一个实施例的分隔符104a、104b、104c的形状或波形。在一个实施例中，设备间的交互或通信是连续的，重要的是，设备的用户听不到或感知不到任何类型的声音、或者可由分隔符信号的实际传输或由扬声器产生的伪声。在一个实施例中，用于分隔符信号的频带是[17KHz到22KHz]，并且是正弦波脉冲。分隔符很短，但仍然可识别，使得连续的零幅度时间段是接收方麦克风可区分的。如果分隔符很短，则可能有累积到下个分隔符的残留功率，导致不均匀的分隔符。

为了避免来自扬声器的任何噪声，例如咔哒声，分隔符具有特定特征。在一个实施例中，它是双边带调幅信号，具有与功率集中在约10KHz的包络类似的轮廓。在包络104a、104b、104c中，使用以下等式生成分隔符d[i]的每个采样点：d[i]＝A*sin(2πf_ci/f_s)*sin(2πf_mi/f_s)。这里，A是幅度，f_c是声学信号的载波频率，而f_m是包络信号的调制频率，f_s是采样率(在所述实施例中为44.1kHz)。信号在开头处逐渐增加，并且类似地，在结尾处逐渐减小。在一个实施例中，分隔符的时间长度是10ms。这些特性减少了在较低频率处任何可听到的伪声，例如咔哒噪声。

图4是根据一个实施例的设备接收表示消息的声学信号的处理的流程图。在步骤402，接收设备处的麦克风检测输入声学信号。设备记录信号的输入/到达时间。在估计两个设备之间的距离的应用中，开始时间(到达时间)是在设备处检测到第一分隔符的时间。在步骤404，设备对输入信号应用带通滤波器，仅使当前通道的频率通过以克服背景噪声的任何影响。

在步骤406，设备执行多路径移除。声学信号可以被周围物体反射，通过多个路径到达麦克风。反射信号可以在视线信号(或最短路径信号)之后立即到达，或者可以根据反射物体的位置而延迟。移除严重衰减的信号，因为相关性小于第一输入信号。可以使用0.5*max(r)²的阈值来滤除小的相关性。

在步骤408，接收设备使用先前存储在设备上的预定参考分隔符信号来检测分隔符。在一个实施例中，通过在接收信号上滑动大小为w(设置为等于分隔符的长度)的窗口来计算检测。对于每个步长(针对一个样本滑动窗口)，设备计算以下相关性：

其中，x是参考分隔符，y是输入信号，τ是窗口的起点和输入信号的起点之间的距离。

在步骤410，记录零幅度传输(静音)的持续时间。这是针对两个分隔符的起点之间的时间减去一个分隔符长度所测量得到的距离。在步骤412，根据预定义表，将持续时间(例如，20ms)转换或映射为符号或比特序列。

图5是根据一个实施例的数据处理系统500的框图。系统500可以用于实现包括处理器和存储器并且能够执行本公开内描述的操作的各种系统和/或计算设备中的任何一个。在一个实施例中，其可以用于实现智能手表或电话。其还可以用于执行计算机指令以实现图2和图4中的逻辑流程图。设备可以是结合图1至图4描述的任何设备。

如图所示，系统500包括至少一个处理器505，其通过系统总线515或其他合适的电路(例如，输入/输出(I/O)子系统)耦接到存储器元件510。系统500将程序代码存储在存储器元件510内。处理器505执行经由系统总线515从存储器元件510访问的程序代码。存储器元件510包括一个或多个物理存储器设备，例如本地存储器520和一个或多个大容量存储设备525。本地存储器520指的是通常在程序代码的实际执行期间使用的随机存取存储器(RAM)或其他非持久存储器设备。大容量存储设备525可以实现为硬盘驱动器(HDD)、固态驱动器(SSD)或其他持久数据存储设备。系统500还可以包括一个或多个高速缓冲存储器(未示出)，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备525获取程序代码的次数。

系统500可以耦接到一个或多个I/O设备，例如屏幕535和一个或多个附加I/O设备540。本文描述的I/O设备可以直接或通过中间I/O控制器耦接到系统500。在一个方面，屏幕535可以实现为非触敏显示设备。在另一方面，屏幕535可以实现为触敏显示设备。

I/O设备540的示例可以包括但不限于：通用遥控设备、键盘、移动设备、指示设备、控制器、相机、扬声器和麦克风。在一些情况下，如在触敏显示设备(例如，触摸屏)用作屏幕535的情况下，可以组合这些I/O设备中的一个或多个。在这种情况下，屏幕535还可以实现键盘和指示设备。I/O设备540的其他示例可以包括传感器。示例性传感器可以包括但不限于：加速度计、光传感器、触摸屏传感器、一个或多个生物特征传感器、陀螺仪、罗盘等。

I/O设备540还可以包括一个或多个网络适配器。网络适配器是被配置为与其他设备建立有线和/或无线通信链路的通信电路。通信链路可以建立在网络上，或者作为对等通信链路建立。因此，网络适配器使系统500能够耦接到其他系统、计算机系统、远程打印机和/或远程存储设备，例如存储内容的远程服务器。网络适配器的示例可以包括但不限于：调制解调器、电缆调制解调器、以太网卡、无线收发器(不管短距离和/或远距离无线收发器，例如蜂窝收发器、兼容802.11x(Wi-Fi^TM)的收发器、兼容蓝牙的收发器等)。

如图5所示，存储器元件510可以存储操作系统555和一个或多个应用560，例如，用于转换符号和零幅度持续时间以及符号映射表的应用。其还可以存储用于将(要发送的)消息分割或分解为可由符号表示的片段或段的软件。在一个方面，以可执行程序代码形式实现的操作系统555和应用560由系统500执行，更具体地，由处理器505执行。这样，操作系统555和应用560可以被认为是系统500的集成部分。操作系统555、应用560以及由系统500使用、生成和/或操作的任何数据项是在用作系统500的一部分时被赋予功能的功能数据结构。

如上所述，在一个方面，系统500可以用于实现智能电话、智能手表或其他类型的可穿戴设备。在另一方面，系统500可以用于实现计算机，例如个人计算机、服务器等。移动计算设备的其他示例可以包括但不限于：平板计算机、移动媒体设备、游戏控制台、移动互联网设备(MID)、膝上型计算机、移动电器设备等。

系统500可以包括比图5所示的更少的组件或者在图5中未示出的附加组件，这取决于所实现的设备的特定类型。另外，所包括的特定操作系统和/或应用也可以根据设备类型而变化，如所包括的网络适配器的类型。此外，一个或多个说明性组件可以结合到另一个组件中，或者以其他方式形成另一个组件的一部分。例如，处理器可以包括至少一些存储器。

本文描述的各种实施例涉及不同的特征。应当理解，来自一个图或实施例的任何特征或功能可以结合到任何其他图或实施例中。

尽管仅详细描述了本发明的几个实施例，但应当理解，在不脱离本发明的精神或范围的情况下，本发明可以以许多其他形式实现。应当理解，在一些实施例中，可以修改、重新排序和/或删除方法中的一个或多个步骤。因此，这些实施例应当被视为说明性的而不是限制性的，并且本发明不限于本文给出的细节。

Claims (14)

1.一种基于声学信号在第一设备和第二设备之间传送消息的方法，包括：

将所述消息的片段映射到符号；

在符号之间插入一个或多个分隔符，每个分隔符具有非零幅度值；

在第一时间向所述第二设备发送包括第一分隔符的声学信号；并且

在第二时间向所述第二设备发送包括第二分隔符的声学信号，

其中，所述第一时间和所述第二时间之间的持续时间表示多个符号中的第一符号。

2.根据权利要求1所述的方法，其中，所述持续时间是所述第一分隔符的所述第一时间和所述第二分隔符的所述第二时间之间的时间差减去单个分隔符的时间长度。

3.根据权利要求1所述的方法，还包括：

逐渐增加分隔符的起始幅度；并且

逐渐减小分隔符的结束幅度。

4.根据权利要求1所述的方法，还包括：

在所述消息中包括发送所述消息的时间的时间戳和表示不同符号的时间差。

5.根据权利要求1所述的方法，还包括：将所述消息划分成一个或多个片段。

6.根据权利要求5所述的方法，其中，将所述消息划分成一个或多个片段进一步包括：使用对数算法，其中每个片段具有log₂N个比特。

7.根据权利要求1所述的方法，其中，所述第一时间和所述第二时间之间的持续时间长于单个分隔符的传输时间。

8.根据权利要求1所述的方法，其中，将所述消息的每个片段映射到符号进一步包括：

利用符号映射表。

9.根据权利要求1所述的方法，其中，所述多个符号表示所述消息。

10.一种用于基于声学信号进行通信的设备，包括：

扬声器；

麦克风；

至少一个处理器；

至少一个存储器组件，包括布置为存储指令的计算机可读存储介质，其中所述指令在被所述至少一个处理器执行时使得所述设备进行如下操作：

将消息的片段映射到符号，其中所述消息正被发送到接收设备；

在符号之间插入一个或多个分隔符，每个分隔符具有非零幅度值；

在第一时间向所述接收设备发送包括第一分隔符的声学信号；并且

在第二时间向所述接收设备发送包括第二分隔符的声学信号，

其中所述第一时间和所述第二时间之间的持续时间表示多个符号中的第一符号。

11.根据权利要求10所述的设备，其中，所述指令在被所述至少一个处理器执行时还使得所述设备进行如下操作：

逐渐增加分隔符的起始幅度；并且

逐渐减小分隔符的结束幅度。

12.根据权利要求10所述的设备，其中，所述指令在被所述至少一个处理器执行时还使得所述设备进行如下操作：

在所述消息中包括发送所述消息的时间的时间戳和表示不同符号的时间差。

13.根据权利要求10所述的设备，其中，所述指令在被所述至少一个处理器执行时还使得所述设备进行如下操作：

将所述消息划分成一个或多个片段。

14.根据权利要求10所述的设备，其中，所述持续时间是所述第一分隔符的所述第一时间和所述第二分隔符的所述第二时间之间的时间差减去单个分隔符的时间长度。

Images