CN118176438A - 人或对象检测 - Google Patents

Abstract

本发明涉及一种电子设备，该电子设备被配置成用于对对象进行检测，例如，所述对象为该设备附近的人。该设备包括至少一个音频信号发生器，所生成的信号通过输出接口传送至扬声器，该扬声器用于对所述经混合的信号进行传送。该设备还包括：至少一个麦克风，至少一个该麦克风被配置成接收从所述对象反射的信号；以及接收器模块，该接收器模块用于从麦克风接收信号，该接收器模块还连接至输出接口，以用于从该输出接口接收与通过扬声器传送的信号相对应的信号。

Description

人或对象检测

本发明涉及使用电子设备利用声学信号而进行的人或对象检测。

电子设备将超声波用于多种不同的目的，包括如在WO2021/045628中所讨论的接近检测、存在检测、手势等。所有这些用例都依赖于电子设备，该电子设备使用至少一个超声波发射器(即，扬声器、超声波换能器、耳机式接收器、压电元件)来发射超声波探头信号，而且对通过至少一个超声波接收器(即，麦克风、超声波传感器、超声波换能器)接收到的对应超声波回波进行处理。超声波信号可以是窄带(例如，正弦、频率步进式正弦)、宽带(例如，线性调频、任意调制)或两者的组合。这些信号类型通常基于这些信号的特定特性用在不同的用例中。

另外，如上述WO2021/045628中所讨论的，一些电子设备在发射超声波时能够运行其他音频用例，例如使用诸如耳机式接收器和扬声器之类的音频输出部件进行音频回放。这些电子设备将需要使用DAC和音频放大器来播放分别来自音频用例中的音频和来自超声波用例中的超声波的混合信号。电子设备中的一些电子设备包括简单的放大器，而另一些电子设备则使用诸如在WO2019/122864(椭圆智能PA)中所描述的智能功率放大器(SmartPA)，在WO2019/122864中还实现了设备上音频数字信号处理器(DSP)来执行必要的处理以对扬声器进行控制和保护。在某些情况下，扬声器保护算法是在片上系统(SoC)中的音频DSP上实现的。扬声器保护算法的主要目的是对扬声器进行监测，并且依靠与温度和偏移算法等相关的测量来保护扬声器，同时尽可能大声地进行播放。这些保护算法可以动态地改变输出信号的幅度以保护扬声器，同时在给定当前情况下以最大幅度播放声音。基于所用扬声器的特性，扬声器保护模块的工作方式将会在输出信号中产生失真和谐波。就像扬声器保护算法将创建扬声器行为模型以使保护算法能够在播放大声音频时保护扬声器一样，此处描述的存在检测方法可以基于扬声器输出信号创建失真和谐波的模型。这些模块可以是ML训练过程的一部分，其中来自大型声音库(例如，Spotify、Apple Music、播客等)和视频库(例如，YouTube)的一组大量输出片段可以用作输出数据。这些模型可以用于选择优选的频率范围以用于针对扬声器保护算法和对应扬声器模型的特定组合的存在检测。此处概述的方案可以用于甚至在扬声器保护机制启动(kick)之前或在扬声器不受扬声器保护算法保护的系统中在播放大声音频时容易发生破坏性互调的扬声器。

通常，无论是否使用扬声器保护算法，音频系统都会向回波消除模块提供回波参考信号，该信号基本上是发送到扬声器的信号。回波参考信号是幅度可能已被扬声器保护算法改变之后的实际混合的输出信号。在这种情况下，假设回波参考信号也可以被路由至超声波接收处理模块，从而使该超声波接收处理模块能够分析扬声器保护算法对超声波探头信号已进行的其他事情。由于回波消除是使用智能PA的系统(例如，智能手机和笔记本电脑等)的一个重要特征，因此回波参考信号通常不仅可以从SoC中音频DSP上运行的扬声器保护模块获得，还可以从使用音频接口(例如I2S、Soundwire、TDM等)的外部连接的智能PA获得。

在一些智能PA中，音频信号和超声波信号将被分开并且在扬声器上被调制出之前立即混合。仅当超声波信号是扬声器保护算法的调谐过程的部分并且不会因使用期间的偏移问题而发生任何变化时，这种做法才可行。一般来说，超声波频率太高，而不会导致扬声器保护算法要处理的偏移问题。温度变化不那么动态，并且对于超声波处理来说更容易处理，因为扬声器保护将有时间提供控制消息，该控制信息指示超声波信号需要在必要时改变。在这些智能PA中，例如如在上述WO2019/122864中所描述的，超声波信号通常不会被扬声器保护算法修改。将音频信号和超声波信号分开的主要原因通常是为了减少在超声波信号的采样率高于音频回放的标准采样率时的处理和存储器使用。在处理和存储器要求方面，以更高的采样率运行扬声器保护通常会更昂贵。即使超声波信号与并发音频用例分开，超声波处理也将受益于在对超声波的处理中接收回波参考信号和单独的超声波信号两者。

因此，本发明的目的是提供一种改进基于发射的声学信号的存在检测的解决方案，其中，所传送的声学信号可能由于信号发射之前的信号处理中的有意调整或限制而受到改变。这是如所附权利要求中所述的而提供的。

具体而言，在支持并发音频用例的超声波发射设备中，组合的经混合的信号(即，音频与超声波混合)将在音频输出路径的端部使用扬声器播放出来。如果位于超声波发射模块之后的任何软件部件或硬件部件改变了超声波信号(例如，幅度、相位等)，则所传送的超声波信号不是超声波接收处理模块所期望的。

改变超声波探头信号而使超声波接收处理模块不知道可能的变化可能会对超声波解决方案的性能产生影响。理想情况下，任何软件模块或硬件模块都应当使用设备中的音频框架向超声波接收处理模块所提供的任何消息传递机制(例如，IPC、共享内存等)来发送消息，在播放对超声波探测信号所做的任何改变之前通知超声波接收处理模块对超声波探测信号所做的任何改变。理想情况下，该消息将包括扬声器保护算法或其他改变信号的软件模块或硬件模块对超声波输入或输出信号所做的所有可能操作的概述。例如，如果系统改变传送或接收路径上的任何增益设置，则应当经由控制消息告知超声波接收处理。替代性的解决方案是在所有软件模块或硬件模块对信号进行必要的改变之后但在由位于输出路径的端部的扬声器对其进行调制之前，将组合的输出信号回送到超声波接收处理模块中。前面讨论的回波参考信号是这种信号的示例。然而，其他部件可以在类似的输出信号被扬声器调制到超声波处理模块中的至少一个超声波处理模块之前立即路由该类似的输出信号。这些模块——即输入和输出处理模块——可以被实现为单个部件或者可以被分成两个单独的通信模块。

下面将参照附图对本发明进行更详细地描述，附图通过示例来说明本发明。

图1示出了第一实施方式，该第一实施方式包括超声波信号和音频信号的软件混合以及经混合的输出信号至扬声器和超声波接收器模块的智能PA单元馈送。

图2至图7示出了本发明的不同替代性地实施方式。

参照附图，使用了以下附图标记：

1.麦克风；

2.扬声器；

3.编解码器；

4.麦克风接口；

5.编解码器接口；

6.模块：软件混合器；

7.模块：扬声器保护；

8.模块：超声波信号发生器；

9.模块：超声接收处理；

10.模块：音频用例；

11.数字信号处理器；

12.硬件混合器；

13.带DSP的智能PA；

14.放大器；

15.增益控制器；

16.智能PA；

17.回波参考；

18.混合器(硬件或软件)。

在图1中，示出了本发明的第一实施方式，在第一实施方式中，设备11包括：音频信号发射器15，该音频信号发射器15被配置成发射音频范围内的信号；以及超声波信号发射器8，该超声波信号发射器8被配置成发射超声波范围内的信号。音频发射器15可以接收来自外部源的信号。来自发射器8、15的信号通过软件混合器6而被传送至扬声器2，软件混合器6对所述信号进行组合并且将组合后的信号通过编解码器接口5传送到扬声器并且在本示例中通过具有DSP的智能PA 13或类似物生成适合于保护扬声器的组合后的信号。将超声波信号20选择成在扬声器能力范围内但在听力范围之外，因此该超声波信号20可能在20KHz以上的范围内。

至少一个麦克风1被配置成接收至少在所发射的信号的范围的部分内的声学信号22，并且将它们通过接口4传送至接收器处理模块9。优选地，麦克风1、输入接口4和接收器处理模块9至少被配置成接收所发射的超声波范围内的信号并且用于对该信号进行处理用于接近检测。

附图中所示的设备还包括用于音频接收的模块10，该模块10可以与设备中例如移动电话中的麦克风的常规使用相关。音频接收设备在一些情况下还可以连接至回波参考(未示出)，该回波参考用于使用可听信号以进行接近检测，尽管其分辨率低于超声波信号。

根据本发明，传送至扬声器2的输出还作为回波参考信号17被传送至接收器9。接收器9被配置成将所传送的信号与接收到的信号进行比较。该比较可以用于对所发射的信号20与在接收器处接收到的对应信号22之间的时移进行计算，从而提供反射所发射的信号的可能的人或对象21的指示。当对某个区域进行监测时，可以进行比较以对接收到的信号中的变化进行检测，该变化表明有人已经到达该设备附近。此外，由于传送至扬声器的信号将包括所传送的信号中的任何失真或限制(诸如由扬声器保护模块引起的改变)，并且所传送的信号中的任何失真或限制将在比较中得到补偿。

本发明的优选实施方式涉及将回波参考信号17从扬声器保护模块13、16回路到超声波接收处理模块9中。利用该解决方案，超声波接收处理9可以使用回送信号来找出生成信号之后在所有软件模块和硬件模块中对组合后的信号所做的更改。该信息可以用在接收处理中，以提高超声波传感器解决方案的性能，因为这些变化可以合并到算法中，并且可能用作可以在超声波传感器解决方案中使用的神经网络中的机器学习特征。相关信息是信号幅度变化、可能的滤波、信号渐变、相位变化、回波等。

图2示出了与图1所示的解决方案类似的解决方案，但是其中来自输出接口的信号在被智能PA 16放大之前通过编解码器3传送，来自智能PA的信号被发送至扬声器以及接收器处理器9。此外，输入音频信号由位于混合器6前面的扬声器保护模块7接收和调整。

在图3中，由扬声器保护模块7根据扬声器2的已知特性来对输入音频信号进行调整。来自保护模块7的音频信号和来自超声波发生器8的超声波信号在编解码器3中进行混合，编解码器3包括硬件混合器12。经混合的信号被通信至超声波接收处理器，并且智能功率放大器16将放大后的信号传送至扬声器。在这种情况下，回波参考将不包含由智能放大器添加的任何失真。

图4示出了输入音频信号通过编解码器接口5直接传送至编解码器3的替代方案，编解码器3包括硬件混合器12。编解码器将未放大但经混合的信号传送至扬声器2。

图5示出了输入音频信号通过编解码器接口5与外部设备的编解码器3直接传送的示例，其中，在包括DSP 13以及位于DSP 13中的超声波发生器8和硬件或软件混合器18的外部智能PA中提供混合。

图6示出了没有任何输入音频信号的图5的实施方式。因此，接近检测将基于超声波信号。作为替代方案，图6中的外部智能PA可以包括音频信号源(诸如连接至混合器18的流)。

在图7中，输入音频信号在由扬声器保护模块7调整之前在软件混合器6中与所生成的超声波信号8进行混合。调整后的信号然后通过编解码器接口传送至编解码器并且进一步传送至智能PA，从而将信号传送至超声波接收处理器9和扬声器2。

一般而言，应当注意的是，本发明可以仅包括一个麦克风1，但是如果有两个以上的麦克风可用，则接收器9可以使用它们来对经反射的信号22的方向进行检测以及在设备附近的多于一个人或对象之间进行区分。

在没有硬件混合器的系统中，并发音频信号和超声波信号的混合必须在处理元件(例如DSP或微控制器)中的软件中完成。如图1和图2所描绘的，将在软件混合11完成之后进行组合后的信号的回送17。软件混合6将在单独的混合模块中完成，如图所示。还可以在音频回放或超声波模块内部进行软件混合。图7示出了在音频回放内部进行软件混合，图7示出了如何将超声波信号馈送到音频回放路径中，音频播放路径将负责在将组合后的信号朝扬声器转发之前进行软件混合6。

一般的组合信号或者特别的超声波信号可以通过混合算法、Smart PA中的扬声器保护算法来修改，或者在音频输出路径中混合之后由模块任意修改(例如增益改变)。超声波信号通常在Smart PA或超声波TX模块本身中生成。超声波发射设备将使用输出信号来对接收处理进行调整，以在幅度和时间上匹配实际的超声波输出信号。超声波TX就可以动态地改变超声波探头信号的输出速率(例如，脉冲速率)，只要超声波RX模块通过显式消息或者通过从回送信号(例如回波参考信号)中提取超声波输出信号的改变的定时而意识到该变化即可。

在发送脉冲超声波信号的同一输出设备上同时播放音频(如果有的话)的情况下，超声波处理模块可以对音频输出信号进行分析，并且甚至可能使超声波信号生成暂时延迟其输出信号，以降低超声波输出信号发生破坏性互调的可能性。超声波输出信号的时移需要通过类似地延迟超声波接收处理来处理。该延迟可以由处理模块根据回波参考信号来检测或计算，或者信号生成模块可以发送某种消息来通知时移。

在一些音频架构中，音频输出流在被传送出到扬声器上之前就可以供超声波模块使用。在这种情况下，超声波信号发生器可以暂时降低其自身的超声波输出信号或改变超声波输出信号的类型，以防止或减少因输出分量饱和而导致的失真和扬声器保护算法为保护扬声器而采取的其他侵入动作。

在音频数据无法在音频缓冲区或类似设备中进行预处理的系统中，替代方案是基于已在扬声器上被调制出的音频信号来预测智能功率放大器中由扬声器保护算法进行混合或改变之后的音频输出。可以使用机器学习来训练神经网络，以使用扬声器上已播放的音频的部分(如果不是全部的话)来预测未来的音频输出，从而使超声波能够混合到音频输出中以降低饱和的可能性和由扬声器保护算法采取的更明确的动作。这种训练可以包括将在大型音频库中找到的不同流派的音乐馈送到深度神经网络(例如，Apple Music、Spotify、YouTube)中。如果预测失败并且发生饱和，则可以改变超声波信号(例如，减小幅度)或者甚至延迟，直到可以做出新的成功预测。该预测可以与附近其他发射设备的知识相结合，以同时都处理饱和、互调和干扰。替代性地，接收处理可以使用关于由智能PA在扬声器保护算法期间所做的实际改变的明确的信息。该信息将需要更少的数据传输，并且该信息从功耗的角度来看可能是更明智的选择。

如果扬声器保护之后的输出信号(例如，回波参考信号)可用于能够对超声波探头信号的最终变化进行分析的软件或硬件模块中的后处理，则还可以在超声波处理中进行调整并且将该信息(例如，幅度变化、互调水平、饱和等)馈送到超声波接收模块中完成的接收处理中。

在高端智能手机中，混合并发音频和超声波输出流是在音频编解码器内部的硬件混合器中完成的，如上面图3和图4所示。在这些图中，超声波输入和输出模块是两个单独的模块。这些模块当然可以放置在单个软件模块内。

将回波参考信号回送到超声波处理模块中，允许该模块对输入信号的整个频带进行分析。在电子设备连续地或脉冲式播放声音的情况下(例如，警报、视频、音乐、游戏、视频会议等)，超声波处理模块可以使用可听范围内的信号作为探头信号，而不是传送超声波处理模块自己的超声波输出信号。只要声音被播放并且该声音基于一组标准可用，就可以使用声音输出来完成超声波检测。超声波处理模块应当对回波参考信号进行分析，并且超声波处理模块可能作为一个连续的过程，在可听信号中选择可行的可识别分量作为用于处理模块的探头信号，以使回波分析或其他类型的回波信号分析更容易。

如果设备停止播放声音，则应当恢复超声波探头信号。一旦声音回放恢复，超声波探头信号可能会由于多种原因(例如，功耗、互调问题、干扰处理等)再次暂停。在回波分析中使用音频回放作为探头信号，而不是使用明确限定的超声波信号，将需要先进的处理，该处理可能包括大型神经网络。基于实际回放声音的频率分量，超声波处理模块可以从随机化的探头信号中选择来自特定频率范围的信号作为基础。优选的频带可能取决于回放声音的特性或所讨论用例的特定要求或优化。

众所周知，与可听频率相比，基于超声波的测量将提高准确性和分辨率。因此，基于利用一组超声波换能器的超声波的检测系统可以用于对靠近设备的多个对象进行检测。如果具有至少一个超声波输出换能器的电子设备发送出宽带超声波信号(例如，线性调频、随机调制、步进正弦等)，则其可以在至少一个超声波输入换能器中接收超声波信号并对目标检测区域中的多个对象进行识别。如在WO2017/137755、WO2009/122193、WO2009/115799和WO2021/045628中更详细地描述的，进行该处理的不同技术在现有技术中是已知的。

所识别的回波的分辨率取决于信号的带宽和频率范围。一些消费电子产品已经支持的更高采样率(例如，96KHz、192KHz、384KHz等)允许在高于可听频率范围的频率范围内增加信号带宽(例如，超过10KHz)。随着信号频率范围和信号带宽的增加，可以对多个用户(例如，对象)进行识别，并且为多个用户中的每个用户分开不同的身体部位，诸如手指、手、手臂、头部、躯干、腿等。

在本发明的一个实施方式中，笔记本电脑可以发送出高频、宽带信号来对用户存在进行检测。笔记本电脑还可以对用户坐在笔记本电脑前时的用户姿势和呼吸模式进行检测，无论他/她是否正在与笔记本电脑交互。回波信息可以与传感器数据(例如，铰链角度传感器、IMU传感器、光传感器、压力传感器、环境光传感器等)结合以提供与检测相关的更准确的信息。通过此处描述的提高的分辨率，也可以对在主要笔记本电脑用户的肩部上偷看的用户进行识别。

在另一实施方式中，存在检测设备可以发送出高频宽带信号来检测用户存在。由于回波的分辨率将显著提高并且可以提取更多细节，因此存在检测设备可以对用户移动进行监测并且将数据馈送到增量式设备上ML训练过程中，以创建持续更新的系统，诸如深度神经网络网络(DNN)，该系统可以用于对用户运动和步态的异常进行检测。

总之，本发明涉及一种电子设备，该电子设备被配置成用于对对象进行检测，例如，所述对象为该设备附近的人。该设备包括至少一个音频信号发生器，所生成的信号通过输出接口传送至扬声器，该扬声器用于对经混合的信号进行传送，其中，该信号可以在可听波围和/或超声波围内。该设备还包括：至少一个麦克风，至少一个该麦克风被配置成接收从所述对象反射的信号，以及接收器模块，该接收器模块用于从麦克风接收信号，该接收器模块还连接至输出接口，以用于从输出接口接收与通过扬声器传送的信号相对应的信号。接收器处理模块因此被配置成：将所传送的信号与接收到的信号进行比较，以对所传送的信号中的失真进行补偿；以及基于两个信号来对对象进行检测，例如，通过对传送与接收之间的时间经过进行检测。

至少一个信号发生器可以被配置成生成超声波范围内的信号，麦克风被配置成接收超声波范围内的信号，该设备优选地还包括音频发生器，该音频发生器生成可听范围内的第二信号，超声波信号和音频信号在混合模块中进行混合。

该设备还可以包括扬声器保护模块，该扬声器保护模块被配置成：接收来自超声波发生器和音频发生器的信号，以及根据预定特性对传送至扬声器的信号进行调整，以避免超过扬声器的规格。

扬声器保护模块可以包括在混合模块中或者可以连接至混合模块，以用于接收经混合的信号并且根据扬声器的规格对经混合的信号进行调整。

所生成的信号可以构成已知的音频信号，例如，该音频信号为一段音乐，并且接收器模块被配置成基于所传送的信号与所接收到的信号之间的比较来对所测得的经反射的信号进行分析。

接收器模块可以被配置成：基于预先存储的数据集来对所传送的信号和接收到的信号进行比较，其中，预先存储的数据集可以是基于一组先前测量结果的，所述一组先前测量结果是使用机器学习算法选择接收到的信号中指示人的存在的特性而分析得到的。

该设备基于由接收器模块接收到的信号可以用于通过与所传送的信号的比较来对经反射的信号进行分析从而对用户是否在设备附近进行检测。基于直接比较，它还能够对由靠近设备的用户做出的移动(例如手势)或用户的姿势两者进行检测。这可以使用多于一个麦克风来执行，并且优选地在可听范围和超声波范围上对用户的尺寸以及手势进行检测。它还通过以预定速率对一系列测量中的运动进行分析和通过使用高频信号来识别湍流，并且从而识别靠近对象的呼吸，从而区分被动对象和用户。仅使用麦克风，还可以使用语音识别来识别特定用户，对用户位置进行计算，从而忽略该区域中的其他用户和对象。

Claims (10)

1.一种电子设备，所述电子设备被配置成用于对对象进行检测，例如，所述对象为所述设备附近的人，所述设备包括至少一个音频信号发生器，所生成的信号通过输出接口传送至扬声器，所述扬声器用于对声学信号进行传送，

所述设备还包括至少一个麦克风，至少一个所述麦克风被配置成接收从所述对象反射的信号，以及

其中，所述设备包括接收器处理模块，所述接收器处理模块用于从所述麦克风接收信号，所述接收器处理模块还连接至所述输出接口，以用于从所述输出接口接收与通过所述扬声器传送的信号相对应的信号，所述接收器处理模块被配置成：将所传送的信号与所接收到的信号进行比较，以对所传送的信号中的失真进行补偿；以及基于补偿后的信号来对所述对象进行检测。

2.根据权利要求1所述的设备，其中，所述至少一个信号发生器被配置成生成超声波范围内的信号，所述麦克风被配置成接收所述超声波范围内的信号。

3.根据权利要求2所述的设备，其中，所述超声波发生器是单独的发生器，来自所述音频发生器和所述超声波发生器的信号在混合模块中进行混合。

4.根据权利要求3所述的设备，所述设备包括扬声器保护模块，所述扬声器保护模块被配置成：接收来自所述超声波发生器和所述音频发生器的信号；以及根据预定特性对传送至所述扬声器的信号进行调整，以避免超出所述扬声器的规格。

5.根据权利要求4所述的设备，其中，所述扬声器保护模块包括在所述混合模块中。

6.根据权利要求4所述的设备，其中，所述扬声器保护模块连接至所述混合模块，以用于接收经混合的信号并且根据所述扬声器的规格对所述经混合的信号进行调整。

7.根据权利要求1所述的设备，其中，所生成的信号在可听范围内。

8.根据权利要求7所述的设备，其中，所生成的信号构成已知的音频信号，例如，已知的所述音频信号为一段音乐，并且所述接收器模块被配置成：基于所传送的信号与所接收到的信号之间的比较来对所测得的经反射的信号进行分析。

9.根据权利要求1所述的设备，其中，所述接收器模块被配置成：基于预先存储的数据集来对所传送的信号和所接收到的信号进行比较。

10.根据权利要求9所述的设备，其中，所述预先存储的数据集是基于一组先前测量结果的，所述一组先前测量结果是使用机器学习算法选择所接收到的信号中指示人的存在的特性而分析得到的。