CN117795573A - 用于控制射频感测的装置 - Google Patents

Abstract

本发明涉及一种用于控制网络的射频感测和音频感测的装置。网络(100)包括多个网络设备(111、112、113、114)(例如智能灯)，并且适于利用网络设备中的一个或多个来执行射频感测和音频感测。上下文参数提供单元(121)提供上下文参数，其中上下文参数指示执行射频感测和音频感测的上下文。控制单元(122)基于上下文参数彼此依赖地控制网络的射频感测和音频感测。这允许改善对一个区域的监视。

Description

用于控制射频感测的装置

技术领域

本发明涉及用于控制网络的射频感测和音频感测的装置、包括该装置的网络、方法、和计算机程序产品。

背景技术

今天，在许多应用中，出于安全原因或为了控制房间功能(如照明或空调)，期望对预定区域进行监视，例如，以确定该区域中是否有人存在。此外，对一个区域的监视可以用于保健应用中，例如，当监视像呼吸或心跳这样的生理参数时。对于这些应用，例如，可以利用射频感测来监视该区域，其中射频信号用于导出指示相应感测目标的相应参数。然而，尽管射频感测允许非常精确的检测(例如非常精确地检测人的存在或人的呼吸信号)，但是用这种感测模态在该区域内精确地定位人可能是非常困难的。替代地，今天也应用音频感测，其中音频信号被用于监视目的。然而，音频感测通常难以在噪声环境中执行，并且在这样的环境中通常导致不可靠的检测结果。

因此，提供一种允许对感测区域进行改进监视的感测系统将是有利的。

US2021/150873A1公开了诸如手势、呼吸、心脏和/或全身运动的生理移动检测，其具有诸如用于相互作用式音频设备的主动声音生成。处理器可以经由耦合到相互作用式音频设备的麦克风来评估所感测的可听言语通信。处理器可以经由耦合到处理器的扬声器控制在用户附近产生声音信号。处理器可以经由耦合到处理器的麦克风控制对反射的声音信号的感测。这个反射的声音信号是从附近或用户生成的声音信号的反射。处理器可以诸如通过解调技术处理反射的声音，以导出生理移动信号。该处理器可以响应于所感测的可听言语通信，基于对所导出的生理移动信号的评估来生成输出。

发明内容

本发明的一个目的是提供一种装置、一种包括该装置的网络、一种方法、和一种计算机程序产品，其允许改善对一个区域的监视。

在本发明的第一方面中，提出了一种用于控制网络的射频感测和音频感测的装置，其中该网络包括多个网络设备，并且其中该网络适于利用网络设备中的一个或多个来执行射频感测和音频感测，其中该装置包括a)用于提供上下文参数的上下文参数提供单元，其中上下文参数指示执行射频感测和音频感测的上下文，以及b)控制单元，用于基于上下文参数彼此依赖地控制网络的射频感测和音频感测。

由于该装置适于基于指示执行射频感测和音频感测的上下文的上下文参数来彼此依赖地控制网络的射频感测和音频感测，因此取决于当前情形(例如当前监视目标和/或待监视区域的当前状态)，射频感测和音频感测可以被灵活地适配(即被控制)，以允许最佳监视。此外，由于射频感测和音频感测的控制是彼此依赖地执行的，即，由于考虑了例如射频感测和音频感测的当前设置形式的当前控制状态，因此可以控制音频感测和射频感测以最佳地一起工作，以便在当前情形下达到相应的感测目标。因此，可以改善感测区域中的监视。

该装置适于控制网络的射频感测和音频感测，其中该网络包括多个网络设备。通常，多个网络设备是指至少两个网络设备，更优选地是指至少三个网络设备。然后，通过网络设备之间的通信，由网络设备形成网络。特别地，网络设备可以利用任何已知的网络通信协议来相互通信并形成网络。优选地，网络通信是指使用射频信号并利用例如WiFi、ZigBee、蓝牙等网络通信协议的无线网络通信。在一个实施例中，网络可以是照明系统或者可以是照明系统的一部分，在这种情况下，至少一些网络设备可以是例如基于组合的射频感测和音频感测的感测结果来控制光输出的灯。然而，网络设备也可以指提供除了光功能之外的其他功能的设备。比如，网络可以是智能家居系统或者可以是智能家居系统的一部分，在这种情况下，网络设备可以是比如基于射频感测结果和音频感测结果的组合，在用户的家中或办公室中执行功能的智能家居设备。

该网络适于利用网络设备中的一个或多个来执行射频感测和音频感测。特别地，网络的至少一些网络设备适于执行射频感测，并且至少一些网络设备适于执行音频感测。优选地，适于执行射频感测的相同网络设备也适于执行音频感测。然而，执行射频感测和音频感测的网络的网络设备也可以彼此不同，或者只有参与射频感测和音频感测的一些网络设备适于执行两者。

通常，射频感测是一种基于利用射频信号(例如网络通信信号)的感测技术，该感测技术可以与网络设备的环境相互作用，以确定射频信号中的变化和/或干扰，这些变化和/或干扰可以根据预定的感测目标来解释。音频感测可以指主动或被动音频感测。主动音频感测是指参与音频感测的网络设备中的至少一个发射音频信号，该音频信号可以例如在与网络设备的环境相互作用之后被参与音频感测的网络设备接收。基于已知的发送的音频信号和接收的音频信号之间的差异，音频信号的传输路径中的变化和干扰也可以被确定，并且可以被用于导出关于相应感测目标的信息。与之相比，在被动音频感测中，省略了音频信号的主动传输，并且参与音频感测的网络设备适于接收音频信号，该音频信号可以由网络环境中的任何已知噪声源(例如，房间中存在的人、收音机、正在工作的风扇等)提供。在这种情况下，所发射信号的原始信号特性是未知的。然而，根据接收到的音频信号，比如，结合环境中音频信号的预定基线，关于网络设备的环境中的变化和干扰的信息也可以被导出并被用于确定感测目标。在优选实施例中，网络适于通过控制至少一个网络设备发射音频信号并控制参与音频感测的其他网络设备在音频信号与网络设备的环境相互作用之后接收音频信号来执行主动射频感测。因此，两种感测模态(即射频感测和音频感测)都可以用于感测感测网络环境的变化。由于网络设备的射频感测和音频感测分别利用完全不同的信号，即电磁信号和气压变化，因此这两种感测方法可以同时执行并且通常互不影响。

上下文参数提供单元适于提供上下文参数，其中上下文参数指示执行射频感测和音频感测的上下文。通常，上下文参数提供单元可以是其中已经存储了上下文参数的存储单元。然而，上下文参数提供单元也可以适于作为上下文参数接收单元，用于例如从外部存储单元或者直接从测量上下文参数的设备接收上下文参数，并且可以适于提供所接收的上下文参数。通常，射频感测和音频感测的上下文可以指执行射频感测和音频感测的任何当前感测情形，并且可以由指示当前情形的参数来表示。例如，感测区域中的物体的当前星座图可以指在该区域中执行射频感测和音频感测的当前上下文。在这种情况下，例如，上下文参数可以指该区域中对象的位置和/或取向，其中这些参数指示该区域中对象的星座图。

通常，上下文参数可以指外部网络参数和/或内部网络参数。外部网络参数指示网络自身外部的情形，例如，如上面的示例中所述的感测区域中的对象的星座图。内部网络参数指示执行射频感测和/或音频感测的网络和/或网络设备的情形。例如，内部网络参数可以指一个或多个网络设备的当前状态或设置，如当前感测频率范围、可能提供的功能、一般传输范围等。优选地，上下文参数指示当前感测情形，其涉及以下中的至少一个：一个或多个网络设备的音频信号和/或射频信号的取决于频率的传输范围，音频信号和/或射频信号的空间限制，待感测对象的至少一个物理尺寸，由一个或多个网络设备提供的可能和/或可允许的射频频率范围和/或音频频率范围，以及网络的感测区域中一个或多个对象的当前或预期存在、不存在或星座图。

例如，可以在网络的建立和配置期间测量上下文参数。此外，上下文参数也可以从网络的当前执行的射频感测和/或音频感测中导出，例如，可以指网络的射频感测和/或音频感测的结果。此外，上下文参数也可以从用户的输入中导出，例如，上下文参数提供单元可以适于提示用户测量和输入待感测对象的物理尺寸或者一个或多个对象在感测区域的环境中的位置。此外，环境的图像或LIDAR测量可以用于导出例如感测区域的当前设置和/或当前设置中的对象的材料作为上下文参数。此外，上下文参数也可以从关于一个或多个网络设备的内部设置或状态的知识中导出，例如，通过与网络设备通信并请求相应的信息。也可以利用由网络设备上的制造商提供的手册或信息来导出上下文参数。这样确定的上下文参数然后可以由上下文提供单元提供给控制单元。

控制单元适于基于上下文参数彼此依赖地控制网络的射频感测和音频感测。通常，感测模态的控制指的是引起相应感测模态的感测参数的改变或修正。在该上下文中，感测参数可以指可以在一个或多个网络设备中设置的对相应感测模态有影响的任何参数，例如，接收/发射的感测信号的频率、使用的感测算法、接收的感测信号的预处理等。特别地，彼此依赖地执行的射频感测和音频感测的控制是指基于不同感测模态(例如，音频感测、射频感测等)的感测参数的变化之间的函数关系的控制。因此，射频感测和音频感测不是彼此独立地执行的。例如，如果射频感测的感测参数被改变，则这种改变也可以直接导致网络的音频感测的感测参数的改变，例如，由于不同感测模态的感测参数之间的相应函数关系。这种彼此依赖地控制射频感测和音频感测是基于上下文参数的。例如，预定义的感测情形和各个相应的上下文参数可以与指示当相应的上下文参数指示预定的感测情形时应该如何彼此依赖地控制射频感测和音频感测的指令一起存储。然后，控制单元可以适于访问其上存储该信息的存储，并且然后可以基于上下文参数选择包括指令的相应控制策略，然后实施该相应控制策略以控制网络的射频感测和音频感测。例如，这样的指令可以包括感测模态之间的功能关系，并且例如，如果特定的预定感测情形由上下文参数指示，则使得音频感测和射频感测的特定感测参数同步。

优选地，控制单元适于应用预定指令，该预定指令基于上下文参数定义网络的射频感测和音频感测的特定协同，其中该特定协同是指对用于彼此依赖的网络的射频感测和音频感测的感测参数的特定控制。特别地，协同指的是关于射频感测和音频感测的相互关联指令的应用。这样的相互关联指令指示例如射频感测和音频感测的某些感测参数之间的控制关系，使得当这些感测参数之一被改变或适配时，同样各个相关感测参数也根据控制关系被改变或适配。感测参数可以指分别用于射频感测和/或音频感测的任何参数。例如，感测参数可以指用于射频感测或音频感测的相应感测算法，或者分别指射频感测或音频感测中的相应感测算法的设置。此外，感测参数还可以指分别针对发射或接收的射频感测信号和/或音频感测信号执行射频感测和/或音频感测的网络设备的设置。例如，感测参数可以指发射的射频信号或音频信号的频率或频率范围。其他直接信号特性(如信号强度、信号振幅、信号发射范围等)也可以是在射频感测和音频感测的协同期间可以控制的感测参数。

在优选实施例中，当上下文参数指示需要增加感测精度的预定当前感测情形时，该指令包括将用于音频感测的音频信号的波长适配为与用于射频感测的射频信号的波长相似作为特定协同。特别地，比如，当根据在网络的感测能力的相应应用期间预期的感测情形来配置网络时，用户可以定义需要增加感测精度的当前感测情形。然而，这种需要增加感测精度的当前感测情形也可以由制造商在一般感测应用上下文中预定义。例如，需要增加感测精度的相应感测情形可以指指示人可能已经发生跌倒的情形。例如，在这种情况下指示这种感测情形的上下文参数可以指指示人跌倒的射频感测和/或音频感测的检测结果。然而，在这种情况下，上下文参数也可以指由上下文参数提供单元提供的相机监视的结果或由人佩戴的设备的加速度测量的结果。在这些情况下，感测精度的增加允许确定是否确实已经发生了跌倒，以及系统是否可能有必要发出警报，例如求助或紧急呼叫。需要增加感测精度的感测情形的另一个示例是，应该被监视的人是否从容易监视的非常活跃的状态改变到不太活跃的状态，例如，改变到睡眠状态，其中由于在睡眠期间的低活动性，对人的监视需要增加感测精度。然而，这种需要增加感测精度的感测情形也可以独立于对像人这样的生物的监视，并且例如也可以指更一般的感测情形，像安全应用，其中需要在一天的某些时间期间非常精确地监视一个区域中的不想要的活动(例如入室盗窃或非法侵犯)，而在一天的其他时间中，例如在一天中由于存在多个人员，因此不期望精确的监视。因此，在该示例中，上下文参数可以指一天中的时间，并且当该天中的时间指示例如商店的关门时间时，该关门商店的当前感测情形可能需要增加感测精度来检测不想要的活动。由于针对上述情况的特定协同是指将用于音频感测的音频信号的波长适配为与用于射频感测的射频信号的波长相似，因此两种感测模态都变得可能监视相同的对象，使得一种感测模态的相应感测结果可以基于相应的另一种感测模态的结果来查看和验证。此外，重要事件不被至少一个感测模态感测的可能性变小。

在优选实施例中，当上下文参数指示需要增加感测多样性的预定当前感测情形时，该指令包括将用于音频感测的音频信号的波长适配为不同于用于射频感测的射频信号的波长的特定协同。此外，如上面已经解释的，在这种情况下，需要增加感测多样性的相应当前感测情形可以由用户预确定，或者可以由制造商预定义。这种情形例如可以指以下情形：其中应该同时监视具有非常不同的特性的对象，例如，在应该同时监视车辆和人(例如在物流环境中)的情况下，或者在期望同时监视在房间的一个角落中睡着的孩子以及监视在房间的另一个部分中的成年人情况下，等等。在这种情况下，将用于音频感测的音频信号的波长适配为不同于射频信号的波长增加了监视不同对象的精度，因为具有不同波长的信号将与不同的对象不同地相互作用。

在另外的优选实施例中，当上下文参数指示环境音频噪声和/或射频噪声高于预定阈值的预定当前感测情形时，和/或当上下文参数指示需要增加感测精度的预定当前感测情形时，该指令包括协调用于音频感测的音频信号的波长跳变与用于射频感测的射频信号的波长跳变作为特定协同。通常，波长跳变指的是感测波长的周期性变化，即用于感测的所发射信号的波长范围的周期性变化。例如，波长跳变可以指在第一时间段期间分别以第一波长发射信号(即射频信号或音频信号)，并且然后在下一时间段期间“跳变”到第二波长，并且然后再次跳变到第一波长，等等。当然，在这样的跳变循环中，也可以使用多于两个的波长或波长范围。协调由音频感测执行的和由射频感测执行的波长跳变允许定义音频感测和射频感测的特定组合，这在不同的感测情形下可能是有利的。特别地，优选的是，波长跳变的协调是指用于音频感测的音频信号的波长跳变与用于时域中的射频感测的射频信号的波长跳变的同步。特别地，在嘈杂的环境中和在需要增加感测精度的感测情形下，波长跳变的同步允许在感测区域一直用射频感测和音频感测的明确协同的波长进行监视。特别地，波长跳变的同步可以与涉及将相同或不同的波长或波长范围用于音频感测和射频感测的上述实施例中的任何一个相组合。

然而，在一个实施例中，波长跳变的协调也可以指相对于时域中用于射频感测的射频信号的波长跳变，向用于音频感测的音频信号的波长跳变提供预定的延迟。优选地，该预定延迟可以指相应利用的射频感测算法在感测区域中建立射频感测所需的时间，例如，该时间可以指0.5秒。因此，在射频感测需要再次建立精确感测的时间期间，音频感测可以用于确保对感测区域的连续监视，并且仅在射频感测之后执行下一次波长跳变，并且因而再次确保对感测区域的监视。

在一个实施例中，特定协同可以进一步包括协调用于音频感测的音频信号的波束控制和用于射频感测的射频信号的波束控制，使得射频感测和音频感测两者同时相对于相同的感测区域执行。特别地，波束控制指的是分别选择用于射频感测或音频感测的信号的发射方向和/或接收方向，使得一次仅监视潜在感测区域的特定子部分。例如，这种特定形式的协同可以与上述实施例中的任何一个相组合，以便在预定的感测情形中进一步促进相应的感测目标。

在一个实施例中，当上下文参数指示在跌倒检测的上下文中发生跌倒时，或者当上下文参数指示在手势检测的上下文中发生手势时，该指令包括以比射频感测更高的空间分辨率执行音频感测作为特定协同。在该特定实施例中，跌倒检测不仅可以通过简单地将音频感测与射频感测相组合来促进，还可以通过特别地协同射频感测和音频感测来促进，使得当感测区域中已经发生潜在跌倒时，音频感测以比射频感测更高的空间分辨率来执行。由于音频感测允许对感测区域中的事件进行更好的定位，因此音频感测的更高分辨率允许对情形进行更具体的评估，而射频感测例如可以在甚至具有更低分辨率的时间期间用于监视例如健康参数。此外，同样在手势检测的上下文中，可以执行射频感测和音频感测的协同。例如，同样在这种情况下，可以使用射频感测来确定手势可能发生的大致位置，例如通过定位房间中的人，并且然后可以基于所确定的位置来利用音频感测以对正在发生的手势进行更精确的感测。

在一个实施例中，音频感测的控制包括基于上下文参数过滤掉部分音频感测信号，其中基于过滤后的音频感测信号执行音频感测。优选地，在这种情况下，上下文参数指的是空间上下文参数，特别是指指示在音频感测期间音频感测信号不应被用于的感测区域中的特定位置的上下文参数。例如，在这种情况下，上下文参数可以指示感测区域中的噪声源(如风扇或连续工作的机器)的位置。在这种情况下，涉及噪声源位置的音频感测信号的部分可以被过滤掉，例如，通过利用飞行时间技术来确定接收到的音频信号已经可能在哪个区域中相互作用。此外，可以应用用于确定来自特定区域的音频信号的部分的其他定位技术(如例如在移动物体的情况下的多普勒定位技术)来确定要被过滤掉的音频信号的部分。这允许增加音频感测的感测精度。特别地，该实施例可以与上述协同实施例中的任何一个相组合。

在一个实施例中，控制包括基于上下文参数将射频感测和音频感测分配给不同的感测任务，并且使射频感测和音频感测适配于相应分配的任务。在一些应用中，可能期望由感测网络执行多于一个的感测任务，例如，可能期望监视房间中人的存在或不存在，同时监视房间中门或窗的打开和关闭。在这种情况下，基于上下文参数，例如，基于期望的监视对象的已知大小、网络设备的能力、关于待监视对象的表面上的材料的信息等，控制单元可以适于控制射频感测和音频感测，使得射频感测和音频感测被分配给相应的不同感测任务，例如，基于哪种感测模态更适合于相应的感测任务。这种适合性可以例如基于相应感测任务和相应感测模态之间的存储关系来确定，例如如由制造商提供。然而，也可以利用用户的输入，使得根据用户的意愿分配感测任务。此外，在一些实施例中，上下文参数可以指示例如不同的待监视对象位于不同的区域中。因此，在一个实施例中，控制包括基于上下文参数将射频感测和音频感测分配给感测区域的不同部分，并且适配射频感测和音频感测以在分配的部分中执行相应的感测。

在本发明的另外的方面中，提出了一种网络，其中该网络包括a)多个网络设备，其适于使该网络能够在感测区域中同时执行射频感测和音频感测，以及b)根据前述权利要求中任一项所述的装置。

在本发明的另外的方面中，提出了一种用于控制网络的射频感测和音频感测的方法，其中网络包括多个网络设备，并且其中网络适于利用网络设备中的一个或多个来执行射频感测和音频感测，其中该方法包括a)提供上下文参数，其中上下文参数指示执行射频感测和音频感测的上下文，以及b)基于上下文参数彼此依赖地控制网络的射频感测和音频感测。

在本发明的另外的方面中，提出了一种用于控制网络的射频感测和音频感测的计算机程序产品，其中该计算机程序产品适于当在如上所述的装置上运行时使该装置执行如上所述的方法。

应当理解，如上所述的装置、如上所述的网络、如上所述的方法和如上所述的计算机程序产品具有类似和/或相同的优选实施例，特别是如从属权利要求中所限定的。

应当理解，本发明的优选实施例也可以是从属权利要求或上述实施例与相应独立权利要求的任何组合。

参考下文描述的实施例，本发明的这些和其他方面将是清楚的并得到阐述。

附图说明

在下列附图中：

图1示意性和示例性地示出了网络的实施例，该网络包括用于控制网络的射频感测和音频感测的装置；

图2示意性和示例性地示出了用于控制网络的射频感测和音频感测的方法的实施例，以及

图3示意性和示例性地示出了网络的音频感测和射频感测的示例性配置的流程图。

具体实施方式

图1示意性和示例性地示出了网络100，在该实施例中，网络100包括用于控制网络100的射频感测和音频感测的装置120。网络100包括形成网络100的网络设备110、111、112、113。由网络设备110、111、112、113形成的网络100可以由任何已知的有线或无线网络通信协议(例如ZigBee、WiFi、蓝牙等)形成。

在这个示例中，网络设备110、111、112、113全部适于发射和接收射频信号114和音频信号115，用于执行射频感测和音频感测。例如，关于如何执行一般射频感测的更多细节可以在K.J.R.Liu等人的“Wireless AI:Wireless Sensing,Positioning,IoT andCommunications”Cambridge University Press,2019一书中找到。例如，关于如何执行一般音频感测的更多细节可以在比如A-Wang等人的文章“Contactless Infant Monitoringusing White Noise”，第25届移动计算和网络国际年会(MobiCom’19)，文章52，第1至16页(2019)中找到；或者在W.Mao等人的文章“AIM:Acoustic Imaging on a Mobile”，MobiSys’18：第16届移动系统、应用和服务国际年会论文集，第468至481页(2018)中找到。然而，在其他实施例中，也只有一部分网络设备可以适于发射和/或接收射频信号114或音频信号115。优选地，网络设备110、111、112、113中的至少一些还提供照明功能，并且因此可以被视为智能家居环境中的智能灯。

在该示例中，网络100还包括装置120，其中装置120包括上下文参数提供单元121和控制单元122。装置120适于控制网络100的射频感测和音频感测。例如，装置120可以与网络设备110、111、112、113中的一个或多个进行有线或无线通信123。然而，装置120也可以实现为网络设备110、111、112、113中的一个或多个的组成部分，其中在这种情况下，装置120可以实现为例如网络设备110、111、112、113中的一个或多个上的通用或专用硬件和/或软件。此外，装置120还可以指在专用或通用计算结构(例如个人计算机、智能手机、云等)上运行的软件。例如，如果装置120被实现为云的一部分，则装置120可以适于例如经由在与网络通信的设备上提供的相应应用，与网络设备110、111、112、113中的一个或多个间接通信。

上下文参数提供单元121适于提供上下文参数。上下文参数通常指示执行网络的射频感测和音频感测的上下文。例如，上下文参数可以指执行射频感测和音频感测的环境，其中在这种情况下，上下文参数指外部网络参数。在这种情况下，上下文参数可以指例如要被感测或监视的对象的物理尺寸、网络的射频感测和/或音频感测的限制的位置和/或特性、不同对象(如网络100的感测环境中的家具)的位置和/或特性、等等。这种外部网络参数可以例如通过用户在网络100的配置期间的输入来提供。然而，这种外部网络参数也可以是网络100的环境中的测量结果。这种测量可以例如由相机、LIDAR、或允许提供网络100的环境的指示的任何其他测量设备来执行。在优选实施例中，外部网络参数中的至少一些是从射频感测和/或音频感测本身的结果中导出的。然而，上下文参数也可以指指示网络100的网络和/或网络设备的内部情形的内部网络参数。这种内部网络参数可以指例如由一个或多个网络设备提供的一般可能和/或可允许的射频范围和/或音频范围、网络设备的通常提供的功能、一个或多个网络设备相对于彼此的位置等。此外，内部网络参数还可以指当前感测情形并且然后指示网络设备的当前设置，例如，指当前使用的射频感测参数或音频感测参数、一个或多个网络设备的当前状态(例如，它们是否处于睡眠状态、唤醒状态、感测状态等)。通常，优选的是，与上下文参数是指外部网络参数还是内部网络参数无关的上下文参数指示网络100的当前感测情形，即指网络的环境和/或内部工作的当前状态。特别地，在这种情况下，优选的是，从网络本身的射频感测和/或音频感测的结果中导出当前感测情形。

基于它们的性质，上下文参数可以比如存储在存储设备上，上下文参数提供单元121有权访问该存储设备以提供相应的上下文参数。然而，如果上下文参数被直接测量并且指代当前情形(即当前测量)，则上下文参数提供单元121也可以适于实时接收这些上下文参数，例如，在与相应感测设备的直接通信期间或者在与相应感测设备的间接通信期间。

控制单元122适于基于上下文参数彼此依赖地控制网络的射频感测和音频感测。例如，控制单元适于应用预定的指令，这些预定的指令定义了射频感测和音频感测的特定协同。在这种情况下，预定指令可以与相应的上下文参数一起存储在存储单元上，所述相应的上下文参数指示应该应用预定指令的相应的当前感测情形。因此，控制单元122可以适于直接基于上下文参数或者基于从上下文参数导出的当前感测情形来确定应该应用哪些预定指令。预定指令可以由用户预确定，例如基于经验、基于关于可以应用的相应情形的知识、基于相应的感测目标等。然而，预定指令也可以由制造商或由专业人员基于通常发生的感测情形下的最佳指令的一般知识来提供。通常，控制单元112适于彼此依赖地控制网络的射频感测和音频感测，特别是协同射频感测和音频感测。这种协同指的是在控制感测模态之一期间考虑相应的另一个感测模态的当前控制。例如，如果控制是指当前修改射频感测的感测参数，则也考虑修改音频感测的感测参数。因此，射频感测和音频感测不是彼此独立地执行的。

图2示意性和示例性地示出了用于控制网络(例如网络100)的射频感测和音频感测的方法200。方法200包括提供指示执行射频感测和音频感测的上下文的上下文参数的步骤210。例如，上下文参数可以如上文关于上下文参数提供单元121已经描述的那样来提供。此外，方法200包括基于上下文参数彼此依赖地控制网络的射频感测和音频感测的步骤220。该控制可以例如如上所述以及还在以下关于控制单元122的更详细的实施例中执行。

在下文中，将描述更详细的实施例，例如，关于感测情形的优选组合以及用于网络的射频感测和音频感测的协同的各自优选的预定指令。

通常，占用检测和活动跟踪可以利用主动声音感测来执行，该主动声音感测比如利用Amazon Alexa设备硬件来执行由主动音频感测所需的发射功能和接收功能两者的声音感测。此外，基于WiFi或基于ZigBee的射频感测实现了良好的存在检测性能，但缺乏精确定位人的能力。另一方面，音频感测能够很好地定位人，主要是因为它能够广泛地改变音频波长。例如，即使对于常见的可获得的商用扬声器/麦克风硬件，可用的音频波长范围也从20KHz音频下的1.7cm到20Hz下的1700cm。然而，音频感测相对容易受到环境中的噪声(例如HVAC噪声)的不利影响。附加地，由于从商用扬声器/麦克风硬件可获得的大多数音频波长都在人类可听见的范围内，因此这对波长选择施加了应用限制。例如，房间的当前上下文将确定可用音频感测频率的哪个特定子集被认为是终端用户当前可接受的。

在这种上下文中，发明人已经发现，射频感测和被动音频感测的融合可以提供一种有效且负担得起的方式，例如，以检测房间中人的存在、跟踪建筑物中的人、监视呼吸和/或日常活动、检测跌倒事故等。

通常，声波和射频信号是根本不同的。声波是空气的纵向压缩波，而电磁波是由电场和磁场构成的横波。然而，在无线波长和声学波长之间也存在一些相似之处，例如，如与特定的物理物体大小相比，哪个波长子集将与物体本身强烈地相互作用或者绕着物体的边缘衍射。音频信号和射频信号如何跨房间传播不仅受到房间布局的影响，而且例如受到建筑材料和所选无线电/音频频率的影响。例如，可容易获得对各种建筑材料的无线射频衰减的详细测量，以及在实践中特定建筑空间内使用的建筑材料如何强烈地确定无线电波“充满”房间的均匀程度的展示。此外，除了房间本身的构造形式之外，房间内的“杂波”(诸如家具)以及人们也可能与无线电波相互作用，例如，通常建议将这种杂波建模为散射源，即使在2.4GHz无线电频率下。此外，对于声波来说，声波传播也受到房间中的构造形式和建筑材料的影响。例如，墙壁的声音传输等级(或STC)描述了入射音频声波和发射声波之间的幅度差异。比如，房子或办公室中的支撑墙的STC为33，这意味着它可以从墙的一侧向另一侧衰减33dB。虽然一般来说，建筑材料对2.4GHz无线射频信号的信号衰减通常远小于音频感测，但实际中也存在许多例外，诸如商业建筑中常用的金属涂层玻璃表面。此外，与声音不同，隔墙的无线射频信号衰减会随着WiFi频率的提高而不成比例地增加。对于音频应用，通常使用降噪系数度量(或NRC)，其描述了对于特定建筑材料，反射声波和入射声波之间的分数比。NRC很大程度上因房间而异，例如，光滑的混凝土表面反射大部分声音能量，而吸声毡覆盖的表面具有几乎完美的吸收，并且因此会阻碍房间内多径音频感测信号的传播。例如，公知的是，声学设计者可能故意将漫射元素(例如粗糙的砖墙)添加到建筑空间，例如当为音响发烧友顾客创建家庭影院时。添加的声音漫射元素防止特定音频频率在家庭影院中形成不想要的音频驻波。然而，与百万富翁的家庭影院不同，普通的房间(例如办公室会议室)通常可能具有许多光滑的表面，诸如玻璃、光滑的墙壁、石头地板等，已知这些表面产生更多的回声和反射，并且从而在房间中产生与音频感测方向径向的驻波。由于全吸收表面的房间将不是一个声音良好的房间，因此即使是高端家庭影院也会使用漫射和吸收的平衡来实现良好的音频环境。音频感测声波在房间中表面的反射也可以导致混响，即人类感知中不希望的声音延长。现有技术教导混响发生在高度、宽度和长度尺寸大约为17米或更小的小房间中。这是由于人类大脑将声音保持在记忆中长达0.1秒，因此，如果反射的足够的声波在初始声音的0.1秒内到达耳朵，则它引起混响，因此，声音感测ping变得更加明显，并且使人耳感到厌烦。声波还经由衍射与物理物体相互作用，即当声波穿过开口或绕过其路径上的障碍物时声波的传播方向变化。衍射使声波能够绕过角落、绕过障碍物和穿过开口传播。衍射量(即物体/开口周围弯曲的锐度)取决于所选择的音频波长。已知衍射效应随着音频波长的增加而增加。如果波长变得小于障碍物或开口，则不发生明显的声波衍射。声波也经历折射效应，即波的路径弯曲。作为与物质物理相互作用的纵波，已知声波的折射比无线电波强得多，例如当声波移动穿过温度逐渐变化的不同空气层时。最著名的折射示例是声波在水上传播，因为水对空气的温度有调节作用，所以水正上方的空气往往比远高于水的空气更冷。声波在较冷的空气中比其在较热的空气中传播得更慢。由于这个原因，波前在水正上方的部分速度减慢，而波前在远高于水的部分速度加快。随后，声音在水上传播的方向改变，从而向下折射向水。在音频感测中，某些环境(诸如工业设施，例如食品加工)将在第一区域和第二区域之间具有温度梯度，从而用于不同的任务，例如烹饪与准备。

基于上述背景，如上已经描述的本发明可以利用例如已经存在的麦克风传感器以及ZigBee无线电来提供协同的混合音频感测和声音感测解决方案，例如用于更丰富的活动跟踪或跌倒检测。简单的音频扬声器可以用于音频感测，例如，作为独立的网络设备或嵌入到具有另一功能的网络设备(如灯控制器、墙壁开关、或固定装置(诸如具有Amazon Alexa的筒灯))中。

此外，基于上述背景，清楚的是，对于无线电波，通常房间的形状、其建筑材料、其环境参数、和房间中存在的物体的大小可以确定用于音频感测的最佳音频波长选择和用于射频感测的最佳无线射频信号波长选择。此外，对于第一音频感测波长和第二射频感测波长的选定组合，混合感测系统的最大可获得感测性能可以例如基于上述参数来确定。因此，在实践中，第一房间(例如起居室)可能是音频感测和射频感测“姐妹”波长的第一组合组的合适声学环境，而第二房间(例如厨房)可能需要不同组合组的波长。附加地，当然，在选择相应的感测波长时，也可以考虑预期的待检测活动。

与射频感测相比，音频感测的用途更加广泛。与射频感测不同，当已经利用音频感测时，仅使用标准低成本麦克风和扬声器硬件的最基本的音频感测系统允许在从1.7cm直到17m(即从20KHz到20Hz)的宽范围内改变音频感测波长，因此音频感测很适合用于动态频率感测，而射频感测通常不适合用于宽范围动态频率感测，因为将需要非常昂贵的硬件来在宽频率范围内改变无线载波频率。音频感测允许与WiFi相当的短波长(例如2.5cm)以及提供远超过商用无线电的能力的极长波长(比如，音频感测可能容易生成甚至类似于被跟踪人的躯干尺寸的波长)两者，因此最大化了声波与躯干的相互作用。另一方面，例如，如果这样的70cm波长应该由无线电生成，则相关联的400MHz无线频率将需要与当前普遍使用的仅2.4GHz商用WiFi/Zigbee无线电非常不同的射频前端。在一个示例中，相似波长可以包括具有相同数量级的波长，并且其中不同波长可以包括具有不同数量级的波长。附加地或替代地，如果波长(例如，音频信号和射频信号的波长)之间的差不超过阈值，则相似波长可以指是相似的，并且其中如果波长(例如，音频信号和射频信号的波长)之间的差超过阈值，则不同波长可以指是不同的。

在这种上下文中，如例如参考图1所描述的，本发明描述了高度协同的混合感测可能性，其可以利用嵌入式麦克风传感器/音频扬声器以及射频感测收发机，而音频感测模块和射频感测模块都可以嵌入优选为照明器的网络设备中。特别地，优选的是，两种模态的感测被控制为以高度协同的方式同时操作。

例如，基于ZigBee或基于WiFi的射频感测实现了良好的存在检测性能，但在给定时刻可能易于受到特定无线波长范围内的无线干扰，例如，由于5GHz视频流或2.4GHz微波炉的启动而引起的干扰。例如，如果干扰可能迫使射频感测切换到2.4GHz而不是6GHzWiFi，则新的更长的无线波长将导致准确定位人的能力丧失。另一方面，音频感测已经被示出能够良好地定位人，这主要是由于它能够广泛地改变音频波长。即使是商用音频扬声器/麦克风硬件，可用的音频波长范围也从20KHz音频音调的1.7cm到20Hz音调的1700cm。然而，音频感测可能受到环境中的环境音频噪声的不利影响。因此，如果在给定时刻某个环境噪声干扰开始出现，则它立即使某些音频波长对音频感测目的无用。由于现实生活环境中的音频噪声大多低于10kHz，尤其是较低的音频感测频率受到环境音频噪声的影响。因此，环境音频噪声的存在可以限制音频感测系统的可用带宽，并且因而限制其感测性能。附加地，现有技术的音频感测系统使用的许多音频频率都在人类可听见的范围内。这强加了“实时”应用限制，即在给定时刻，取决于房间中的上下文，哪些音频波长子集可接受以用于音频感测。

发明人在这种上下文中已经认识到射频信号和音频信号具有不同的传播机制，并且受到不同干扰源的影响。在一个实施例中，例如如上所述的控制单元因此可以利用导致控制的指令，使得音频感测使用与射频感测所使用的波长相似或非常不同的音频波长。因此，这样的指令可以指音频感测和射频感测的精心协同，特别是关于要在给定情形下应用的所使用的波长。例如，这种协同既可以最小化来自外部噪声源的干扰，又可以丰富感测信号多样性，并且从而提高混合上下文感知感测系统的精度。示例性地，这种指令可以用在期望两种感测模态之间的感测结果的双重检查的情形下，例如用于估计物体的大小，就像其必须在儿童和成人之间区分一样。

如上所述，为了取决于彼此来控制感测模态，例如，当选择涉及音频感测波长和射频感测波长的协同的指令时，可以考虑几个参数，即上下文参数。上下文参数可以指例如a)射频感测信号和音频感测信号各自的取决于频率的传输范围，b)射频感测信号和音频感测信号的相应空间限制，例如使用更短的射频波长导致感测更加定向/受限，c)当前可用/可允许的无线电和音频波长，例如由于硬件限制、音频/无线噪声干扰和其他实时应用约束，d)当前可用/可允许的无线电和音频消息传送速率，而消息速率是由无线拥塞、丢失消息率、功耗和实时应用约束(诸如在背景音乐中不突兀地嵌入音频感测信号)来确定的，e)一对网络设备的音频信号和射频信号到达角检测的精度，这对网络设备分别针对当前选择的感测波长来监视房间内的特定区域，例如，对于第一检测区，具有所选射频感测波长的到达角检测可以实现对象的不太准确的定位，而音频波束形成可以允许更精确和更快速的定位或跟踪，或者f)要被跟踪的对象的物理尺寸，例如铲车与人。

在一个实施例中，控制单元可以适于利用指令来控制射频感测和音频感测之间的协同，这些指令取决于上下文参数随时间演变。例如，房间的上下文参数，例如将房间称为医院房间，可以首先指示所使用的指令，这些所使用的指令仅允许非常低的dB音频水平信号实质上对于人类居住者是听不见的，并且因此限制了所应用的音频感测音调。这种限制将导致音频感测只能够提供相当不精确的呼吸检测。

虽然处于足够声压水平的超声波不能听到，它也可以对人类的听力造成损害。由于宠物和其他动物的扩大的听觉范围，因此即使设计为对人类安全的设备也可能对它们造成滋扰或伤害。

对于发射空气传播超声波的超声波设备，听觉和主观风险是最相关的。已经开发了安全标准和指南，其目标是保护人类免受听力损伤。音频感测将导致人类和动物暴露在超声波下的持续时间比以前认为的更长。

因此，当音频感测选择声压水平和管理音频感测声水平的持续时间长度时，期望不可听音频感测解决方案考虑可听见的声音和超声波感知以及人类和动物的安全性。具体地，用于听不见的音频感测的指令可以取决于人相对于音频感测发射机的当前位置以及房间中动物的存在和位置来限制音频感测声压。

在这种情况下，指令可以指示对感测模态的控制，使得射频感测节点(即网络设备)利用毫米波WiFi来执行呼吸和跌倒检测，尽管由于毫米波WiFi感测信号的受限性质，射频感测仅覆盖房间的一小部分，其中在同一时刻控制音频感测来选择非常适合于在整个房间水平执行粗略运动检测的音频波长，以消除由毫米波WiFi感测留下的运动检测盲点。如果过了一段时间，房间的上下文参数的变化突然允许人类可听见的音频感测，例如，因为上下文参数指示房间中的人正在听音乐，则控制单元可以调整所使用的指令，使得呼吸检测任务被分配给音频感测网络设备，并且射频感测网络设备切换到非常适合在整个房间水平执行粗略运动检测的5GHz WiFi。然后，可以控制音频感测网络设备来选择对于跟踪个人的呼吸运动而言最佳的音频感测波长。此外，在一个实施例中，控制单元可以适于利用在射频感测结果指示跌倒之后导致启动音频感测变化的指令，即暗示老年人现在可能躺在地板上。特别地，基于该结果，如由指令所指示的，可以控制音频感测系统切换到高度可听的侵入式音频感测信号，例如，在100ms内从20Hz到16KHz的发射音频的线性增加，这使得音频感测能够执行高精度呼吸检测和胸部高度的准确定位，并且从而推断出老人是否真的正躺在地板上。此外，在这样的实施例中，该装置还可以适于例如经由网络设备的音频扬声器要求用户经由由音频感测模态和/或射频感测模态感测的手势来提供反馈。在一个实施例中，指令还可以指示例如调谐感测模态，以偶尔执行精细的、部分可听的音频感测校准扫描，即使上下文参数指示人的存在，例如可听校准可以持续少于2s。例如，当房间的上下文参数指示人不会被可听见的噪声打扰时，例如当音频感测校准仅包括在经由内部通信装置的每一个公共服务通知消息结束时的几个附加的音频感测嘟嘟声时，指令可以涉及使用这种音频扫描。

在一个实施例中，上下文参数还可以指示：网络设备发生的机械振动，该网络设备例如是可以例如在风中摆动的照明器；或者环境中机械工作的影响。这种机械振动对于细粒度射频感测(例如呼吸检测)来说尤其是径向的。为了最小化振动对感测性能的负面影响，对应于由相应的上下文参数指示的这种情形的指令可以指至少一个感测模态的至少一个感测波长的切换或调整，使得更新的感测波长基本上长于网络设备的当前物理振荡。

某些无线协议(诸如BLE或WiFi)通过(比如，预定义的一组频道中的)不同的射频信道顺序跳变，以避免无线干扰。一般地，目前可用的WiFi/BLE无线电栈可以被用来允许有目的地协同跳频以优化射频感测性能。在一个实施例中，感测模态的协同因此可以指射频感测和音频感测的协调，使得音频感测的跳频和射频感测系统的跳频被有目的地协调和同步。与并行地独立运行用于射频感测和音频感测的两个独立的跳频方案相比，这种协同确保了感测模态将相比于不协调的跳频提供可再现的性能，该不协调的跳频将连续产生BLE感测波长和音频感测波长的不同排列。因此，同步所施加的相应音频波长和射频波长的时间序列将例如使得机器学习感测AI算法能够被更好地训练，并且因而改善感测系统的性能，所述机器学习感测AI算法可以用于一种或两种感测模态。在最简单的实施方式中，在该实施例中，音频感测可以被控制成故意利用与跳频射频感测模态相同的音频波长序列。例如，在一个简单的情况下，射频感测模态执行从涉及12.5cm波长的2.4GHz到涉及6cm波长的5GHz的单跳。在这种情况下，音频感测模态将被相应地控制，以从涉及12.5cm波长的第一2.8kHz音频音调跳变到涉及6cm波长的第二5.7kHz音频音调。在任何给定时刻使用相同的波长用于音频感测和射频感测两者确保了相应的音频波和射频波与相似尺寸的物体相互作用。因此，音频感测信号和无线感测信号都比如主要与仓库中待跟踪的机器人相互作用，而不与空间中也存在的其他较小物体相互作用。

在一个实施例中，指令还可以指用于动态协调两种感测模态的感测波长的协同。特别地，当上下文参数指示房间中存在大量环境噪声时，可以应用该指令。例如，在鸡尾酒会期间的会议室中，音频感测可能暂时只能够利用合理地不受音频干扰的第一音频波长，例如2.8kHz，而第二音频波长可能遭受主要的音频干扰，例如5.7kHz。然后，控制单元可以基于指令来控制射频感测，以切换到为音频感测选择的相同的新波长。

在一个实施例中，分别选择的音频感测和射频感测的协同也可以考虑音频感测信号和/或无线感测信号进入相邻房间的泄漏。例如，如果给定第一房间的当前上下文参数，利用可听音频感测频率是可接受的，则音频感测信号仍然可能通过门泄漏到第二房间，尤其是在选择低频音频信号的情况下。在这种情况下，控制单元可以适于控制音频感测以利用更短的波长，以便避免干扰第二房间。虽然衍射可能导致声音感测信号泄漏到第二房间中，但是衍射实际上可能有益于第一房间内的感测性能。例如，衍射可以使音频感测信号在拐角周围弯曲，以到达远离感测网络设备的房间的最外面的隐藏区域。因此，在一个实施例中，控制单元可以利用涉及协同的指令，该协同确定何时使用具有高度衍射能力的音频感测信号，例如，何时增加所使用的音频感测信号的波长。特别地，比房间中物体的典型尺寸更长的波长使得声音感测能够跨越更长的距离传播和/或还穿过高度混乱的空间，因为长波长感测信号能够很好地绕着其路径中的任何物理障碍物衍射。

通常，在具有“粗糙”表面的物体处反射的音频信号往往被粗糙表面反射，其中“粗糙”在本上下文中被定义为包括与入射波长具有相似尺度的结构的表面。粗糙表面上的这种漫射导致不太明显限制的音频感测区，因为进入的声音被粗糙表面在各种各样的方向上反射。在一个实施例中，控制单元因此可以适于利用基于指示房间中粗糙表面的上下文参数来确定音频感测波长的选择的指令，使得例如在工厂中的热辐射器或工业机器处与粗糙表面的相互作用被最小化。

类似地，表面的形貌确定了物体吸收多少感测信号。对于无孔表面，诸如光滑的混凝土，声能将反射离开表面，具有很小的声能损失，并且因此提供了一个能量充足的音频多径信号。然而，如果表面是多孔的(诸如纤维絮)，则声能将穿透表面并在孔之中散射，并且与纤维相互作用并反射离开纤维。纤维和孔隙之中的散射导致摩擦损失，从而导致声能转化为热量和音频感测信号的衰减。因此，每当音频感测信号的相当大的部分被多孔表面吸收时，房间中的一组特定多径就被断开。因此，优选的是，如果上下文参数指示这种情形，则控制单元适于利用允许通过控制音频感测来减轻这种影响的指令，使得利用不受吸收影响的某些音频感测波长，或者确定控制射频感测，使得对于房间的相应部分(即感测区域)，只有射频感测结果被确定为是可信的，因为无线射频信号被吸收得更少。

通常，对于更高级的感测应用，诸如定位或呼吸检测，采用主动波束控制是有利的，其优先在某些空间方向上发送感测信号。例如，音频感测可以采用例如经由定向扬声器的音频发射波束成形和/或例如经由定向麦克风阵列的音频接收波束成形两者。类似地，现代WiFi无线电能够利用天线阵列执行发射波束成形以及接收波束成形。在感测模态中使用的这种示例性硬件甚至允许射频感测和音频感测都使用跨感测区域旋转的感测波束，例如，来对空间内存在的人进行计数。因此，在一个实施例中，优选的是，控制单元适于利用指令来确定音频感测和射频感测模态之间相对于它们相应的波束控制方向以及它们相应的感测信号的所选择的相应的空间限制(例如，相对于波束截面、发散度等)的协调。这种协调可以确定对所选波长的修改，以及对相应网络设备的天线/扬声器/麦克风阵列的发射/接收特性的有意识操纵。以这种方式，射频感测和音频感测两者在任何给定时间都聚焦到感测区域中的同一点，这将改善感测的性能，因为这两种感测模态可以直接地(即1:1地)比较它们分别获得的时间序列传感器数据，因为它们在同一时刻同时观察到房间中的同一点。优选地，在这种情况下，控制单元适于控制感测模态以利用音频感测频率和射频感测频率，这导致相应感测信号的类似空间限制。

在一个实施例中，因为音频感测硬件在其音频波长的选择方面通常非常灵活，所以控制单元可以适于利用确定音频波长的指令，该音频波长与由射频感测系统所利用的WiFi/ZigBee波长有很大不同。

此外，在一个实施例中，射频感测可以适于采用感测算法，该感测算法分析例如由行走的人引起的多普勒频移以及由复杂身体生成的微多普勒频移(例如来自附着于人体躯干的复杂移动的腿和臂的微多普勒频移)的组合。在这种情况下，优选的是，感测模态的控制是基于取决于射频多普勒感测所报告的多普勒特征来确定音频感测波长的指令，其中在这种情况下，多普勒特征可以被视为上下文参数的一部分。例如，如果射频多普勒感测已经检测到指示手移动的微多普勒效应，但是其本身不能够分辨手指移动，则音频感测可以被控制为采用一组音频波长，该组音频波长包括与由射频感测使用的波长相同的第一波长以及也能够分辨微小手指移动的较短的第二音频波长两者。手指移动可以例如提供附加的上下文信息，例如，人是否正在打字以及人正在打字的速度，例如，浏览互联网还是写文章。

特别地，上述实施例示出，有目的地高度协同的射频感测和音频感测的融合将提供更有效的方式来检测人的存在、跟踪建筑物中的人、监视呼吸和日常活动、以及检测跌倒事故。在下文中，将描述上面已经描述的装置的特定应用的详细优选实施例。

老年人护理，无论是在家里还是在退休社区中，都是我们社会的当务之急。帮助老年人独立生活的技术对于以有成本效益和可靠的方式加强护理至关重要。最近的Covid-19疫情导致许多人住进了疗养院中。在这种情形下，帮助提供非接触式护理和监视对于避免接触和阻止传播至关重要。对于非居住场所来说，也期望有成本效益的、尽管足够精确的上下文感知感测。许多用于老年人护理或商业办公室COVID风险缓解系统的应用要求使用事件驱动系统实时观察环境和居民的活动。另一方面，最终用户接受当前最先进的传感器(诸如摄像机)是一场艰苦的战斗，因为老年人会容易认为相机有侵入性。类似地，在零售和酒店应用中，尤其是在美国，由于有人声称因跌倒在地而受伤的虚假诉讼，场地所有者经常面临高额费用。因此，诸如家得宝(Home Depot)的大型零售商最近在所有商店中安装了视频监控，以帮助他们在真正的跌倒事件和可疑的跌倒索赔之间区分，其确保更深入的调查。虽然这种相机对于大型零售商店来说是可以接受的，但在酒店场所(诸如餐馆)中它们肯定是不期望的。此外，流式相机的高成本让大多数小型实体零售商对其望而却步。

因此，提议利用本发明的上述原理来允许更丰富的活动跟踪以及跌倒检测。一般地，例如，通常使用的ZigBee射频感测擅长于存在检测，但是在定位人时有困难。另一方面，音频感测可以通过改变音频感测波长来定位人，但是易受源自例如HVAC、风扇等的噪声的干扰。因此，在一个实施例中，该装置与在零售/酒店/老年人护理机构的环境中提供的网络一起使用。特别地，优选的是，包括嵌入在天花板中的传感器的多个照明器被用作网络设备。例如，现代零售或办公室或老年人护理空间通常已经以照明器网络形式的大量这种照明器为特征，其中照明器的传感器可以包括无线电以及麦克风两者。这种已经存在的照明基础设施还可以用于同时执行音频感测以及射频感测，并以这种方式确保整个建筑物的无缝感测覆盖。因此，上述装置允许控制两种感测模态，这允许音频感测和射频感测之间的迭代融合。优选地，控制单元适于该应用，以利用以下指令来控制感测模态。这些指令涉及调整射频感测，使得可以例如利用2.4GHz无线电感测检测到人的存在，因为与听不见的音频信号相比，其有更大的空间覆盖。射频感测的结果然后可以由上下文参数提供单元作为上下文参数来提供。特别地，优选的是，感测结果已经指示了在感测区域中检测到的人的粗略位置。一般地，由于可调节的射频传输功率而不打扰人，射频感测与音频感测相比具有更大的感测范围。因此，一旦射频感测系统已经识别了人的行踪，并且提供了指示人所在的感测区域的一部分的结果，则控制单元优选地适于选择例如相应网络设备的音频发射机和接收机的某个子集，然后其适于执行对由射频感测系统预先识别的人的准确跟踪。音频感测系统可以例如适于从时间序列音频感测信号质量参数中提取呼吸信号。优选地，控制单元适于控制音频感测，以使用FWCW信号来本地监视活动，并通过大幅改变音频感测频率来检测事故。特别地，进一步优选的是，控制单元适于控制音频感测和射频感测，使得它们基于彼此的结果被主动“调谐”。特别是，使得两种感测模式同时工作并彼此加强。例如，取决于所选择的音频频率，音频感测信号可能或可能不被占用该空间的人感觉到突兀。如果使用人类可感知的音频信号，则优选控制音频感测，从而将可听音频感测信号嵌入到舒缓的白噪声中或音乐声景中(例如，通常在酒店或零售中使用的)。例如，近超声音频感测频率可以混合在流行音乐中，使得近超声声音感测信号与流行歌曲振幅中的尖峰对齐。此外，音频感测信号(例如ping信号)可以被有意地嵌入到主动声音掩蔽系统中，例如，用于在办公室应用中抑制可理解的语音。可选地，检测到的音频感测信息可以被馈送到所利用的无线电感测算法，用于该算法的在线训练，使得两种感测模态结果将最终汇聚有足够的数据用于存在检测。在这种情况下，优选使用音频感测结果和射频感测结果的Bayesian融合来改善感测的精度，特别是对于跌倒检测。

在一个实施例中，特别适合于这种上下文中，优选的是，控制单元适于控制音频感测，使得音频感测波长对于侵入式或非侵入式音频感测是变化的。这种音频频谱扫动使音频感测能够搜索空间中的人，并且测量距离并检测事故(如跌倒)等。可选地，该装置可以适于与具有类似布局的跨房间的其他装置共享感测知识(例如以相应指令的形式)，例如用于老年生活或疗养院。例如，可以基于结合元数据的音频感测结果来确定房间布局相似性。

通常，低波长音频信号比较高波长音频信号衰减得更慢。因此，使用具有较低波长的感测信号的音频感测具有较宽的感测范围。此外，虽然使用较高波长的音频感测只可以在直接视线中感测，并且因此可能容易被阻挡，但是具有较低波长的音频感测信号在拐角周围衍射，并且因此可以用于在阻挡物体之外感测。因此，在一个实施例中，优选的是，如果上下文参数例如基于环境的射频感测指示在感测中存在阻挡物体(例如仓库中的订单拣选机器人)，则控制单元可以适于例如基于所指示的物体的尺寸降低音频感测信号的频率，从而也感测物体的后面。

在优选实施例中，控制单元适于控制网络仅执行音频感测、仅执行无线电感测、或两者的组合，这取决于涉及例如网络环境、房间类型、干扰特性等的上下文参数，例如房间是否太嘈杂或者微波炉是否开着。

图3示出了用于存在和跌倒检测的音频感测和射频感测的控制的详细示例的示意性和示例性框图。在该方法中，在第一步骤301中，嵌入在网络设备(优选为照明器)中的射频收发机用于检测人的存在。替代地，可以使用PIR传感器来报告空间中人的存在，PIR传感器的范围大约为3-5m，这取决于传感器的高度。由于射频信号通常比音频信号具有更好的覆盖范围，因此该第一步是检测当前被人占用的那部分感测区域。作为下一步骤302，控制所报告的被占用部分中的网络设备，包括嵌入在网络设备中的扬声器和麦克风阵列，以激活音频感测。可以控制网络设备发射音频波形，并使用发射或接收波束成形来扫描被占用的部分，以检测人的数量及其位置。如果音频感测没有检测到人，但是射频感测报告了存在，则可以控制音频感测来执行该区的精细频率扫描，例如，通过将音频感测波长从20KHz下的1.7cm改变为20Hz下的17m，来为两种感测模态建立可靠的基础真值。人的数量和他们的位置的信息然后可以作为上下文参数的一部分被提供，并且然后用于进一步控制射频感测，例如，通过训练或修改射频感测算法来改进存在检测，并且甚至将射频感测算法扩展到人计数。如果在音频感测和射频感测之间的存在检测存在差异，则可以控制音频感测以使用不同的音频带来确认存在。然后，确认的结果可以再次用作上下文参数，以控制后续射频感测扫描中的射频感测，从而找到先前错过的人，并且在已经成功识别该人后更新其配置参数。例如，对于音频感测发射机，可以使用嵌入控制器(如墙壁开关或具有Amazon Alexa的筒灯)中的简单音频扬声器。如果在步骤303中已经确定没有音频噪声干扰音频感测，则在步骤304中可以控制扬声器发出白音频噪声或FMCW音频信号来检测人。音频感测可以采用可听或不可听的频率，例如17kHz，即2cm的波长，或170Hz，即2m的波长。任一波长将与ZigBee波长12.5cm(即2.4GHz)左右有很大差异。可选地，在步骤304中，可以控制定向音频扬声器，以将音频感测信号专门对准由射频感测识别的感兴趣区域，其中定向音频信号将减少房间其他区域的音频干扰。随后，在步骤305中，基于音频感测的结果，控制单元可以配置嵌入在网络设备中的麦克风阵列，以使用它们的定向麦克风仅朝向特定的占用区域进行监听，例如，如之前通过射频感测所识别的，以利用音频感测来准确跟踪人。具体地，可以控制麦克风阵列来扫描空间，以搜索具有呼吸率的信号来跟踪人。

一般地，已知人体质量吸收声音。因此，由于空间中人的存在，在人的方向上的信道状态信息(CSI)将显著改变。假设我们有M个扬声器和N个网络设备(即接收机)，信号可以如下所示用CSI{H_i,j}建模，

因此，在步骤306中，可以控制音频感测，例如，通过修改相应的感测算法来利用接收信号的CSI进行跌倒检测。

如果在步骤303中确定音频噪声太高，则在步骤308中可以确定是否还存在无线电干扰或者射频感测是否可能。如果射频感测是可能的，则可以在步骤309中控制射频感测，以利用用于跌倒检测的射频信号的CSI来执行跌倒检测。通常，如果相应模态中的噪声对于可感知的感测精度来说不是太高，则如上所述的射频感测和音频感测也可以同时执行。在这种情况下，在步骤307中，两种模态的感测结果可以被融合，例如，基于预定规则，或者使用用于每个感测结果的相应概率的Bayesian融合模型。

在步骤310中已经检测到跌倒之后，可以控制两种感测模态来执行密切监视。具体地，在步骤311中，可以控制麦克风阵列经由音频感测来检测呼吸率，以确认检测到的事故。如果在超过几分钟的时间内通常没有检测到活动或者只检测到最小的活动，则在步骤312中可以使用紧急呼叫来处置这种情形。此外，由于网络包括音频扬声器和麦克风两者，因此网络可以与护理人员“交谈”以确认例如何时检测到跌倒。

通常，在上述示例中，控制音频感测和射频感测，使得它们基于彼此的感测结果被主动调谐。因此，在上述实施例中，两种感测模态同时工作并且彼此加强。

下面描述了两种感测模态的进一步优选的细节。关于射频感测，优选的是，例如，当使用WiFi时，网络设备可以充当发射机和接收机两者。在这种情况下，优选利用多个网络设备，以便满足检测精度要求。此外，优选的是，控制音频感测以利用对人不突兀的音频信号(即频率高于16KHz的信号)，用于跟踪目的，但是利用障碍音频感测信号来确认是否检测到事故。突兀的音频信号允许音频感测使用更高的音频带宽，因而实现更高质量的检测。

在一个具体实施例中，优选地，控制音频感测以将音频感测信号嵌入到舒缓的白噪声信号中。类似地，音频感测的ping消息可以隐藏在可接受的音乐中，例如酒店或大型零售中使用的音乐声景中。音频感测ping信号也可以有意嵌入主动声音掩蔽系统中。此外，音频感测信号的一系列正交序列也可以按时间顺序使用，以提供时序信息，这也可以有助于确定房间中人的空间定位。特别地，应注意，发射音频信号的麦克风和扬声器优选地不同步，因为它们优选地不在同一位置。优选地，音频感测被控制为使用BLE、ZigBee或PoE通过网络从音频感测主网络设备发射信标信号(例如射频信号)，以同步音频感测的开始和停止。然而，由于无线或有线网络已经可以提供同步网络时钟，因此也可以利用全局时间戳来定义检测区域内所有音频感测网络设备的开始和停止时间。可选地，控制单元可以适于控制感测模态，使得感测区域被分成第一组感测区和第二组感测区，该第一组感测区可以由射频感测最佳地服务，该第二组感测区由音频感测更好地服务。特别地，可以基于上下文参数来划分和分配感测区，因为取决于其建筑材料、形状和房间大小，建筑中的每个子空间可以分别为射频感测信号和音频感测信号提供不同的挑战。因此，建筑空间也可以由控制单元划分，例如，通过使用预定的判定标准，划分为可以由射频感测最佳服务的第一组感测区和当前由音频感测更好服务的第二组感测区。在被音频感测充分覆盖的分区中，射频感测可以被控制为指代“基本”射频感测。然而，同样在这种情况下，如果例如包括任何感测模态的感测结果的上下文参数指示人的存在，则控制单元可以适于再次控制两种感测模态在人的附近共同使用。例如，如果一个区域生成大量音频环境噪声、但该区域相对小(诸如厨房)，则射频感测可能是首选，因为环境音频噪声可能影响音频感测性能。然而，在无线干扰强或无线流量多的区域中，音频感测可以是首选。对于被音频感测很好地覆盖并且甚至容忍音频感测信号的听觉妨害的分区，射频感测可以被控制成按比例缩减到基本射频感测，该基本射频感测通常消耗较少的无线带宽，并且音频感测可以被控制成执行高粒度感测。然而，如果在一个小房间(诸如在鸡尾酒会期间的会议室)中存在大量环境噪声，则可以控制射频感测作为主要检测模式，因为接收的环境音频噪声可能影响音频感测性能。此外，按比例缩减的音频感测可以被控制为仅使用那些合理地不受音频干扰的音频频率。然而，在当前正经历强无线干扰或无线流量拥塞的建筑物的另一个房间中，音频感测可能是首选。可选地，射频感测区和音频感测区可以在感测区域中半重叠/交错，以利用相同的感测模态在相邻区之间产生距离。

一般地，音频感测可以被配置为基于音频飞行时间延迟来过滤掉某些距离，例如，用于忽略到达从扬声器1.5m至3m范围之间的任何反射的音频感测信号。例如，这使得有可能将开放式办公室内的某个走廊排除在触发附近一组桌子的占用状态之外。然而，这种可能性优选地与同步网络时钟一起使用，使得通过将音频发射机和接收机都放置在相同的物理单元(即网络设备)中最容易实现。然后，通过使用具有良好自相关性的自正交波形，可以很容易地测量音频回波中的延迟。因此，控制音频感测以使用这种可能性可以补充射频感测的能力，例如，使用Zigbee，Zigbee可以基于RSSI并且因此缺乏测距能力。

一般地，如果在上述实施例中描述了如特定活动、房间使用、房间特性等情形，则这些感测情形可以从相应的上下文参数中推断出，例如，从任何一种模态的感测结果、关于房间的信息、一天中的时间、物体位置和大小等中推断出。然后，可以以对应于相应感测情形和/或上下文参数的控制指令的形式提供同时描述的控制策略。这些指令然后可以被存储在相应的存储上，并且当基于相应的上下文参数控制感测模态时由控制单元基于相应的上下文参数来使用。因此，即使没有在所有实施例中明确提及，该控制也是基于指示与用于控制的相应指令相对应的感测情形的相应上下文参数。

通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。

单个单元或设备可以实现权利要求中列举的几个项目的功能。在相互不同的从属权利要求中引用某些措施的纯粹事实不指示这些措施的组合不能被有利地使用。

由一个或几个单元或设备执行的过程(如：提供上下文参数，或控制射频感测和音频感测，等等)可以由任何其他数量的单元或设备执行。这些过程可以实现为计算机程序的程序代码工具和/或实现为专用硬件。

计算机程序可以存储/分布在合适的介质上，诸如光学存储介质或固态介质，与其他硬件一起提供或作为其他硬件的一部分提供，但是也可以以其他形式分布，诸如经由互联网、或者其他有线或无线电信系统。

权利要求中的任何附图标记不应被解释为限制范围。

本发明涉及一种用于控制网络的射频感测和音频感测的装置。该网络包括多个网络设备(例如智能灯)，并且适于利用网络设备中的一个或多个来执行射频感测和音频感测。上下文参数提供单元提供上下文参数，其中上下文参数指示执行射频感测和音频感测的上下文。控制单元基于上下文参数彼此依赖地控制网络的射频感测和音频感测。这允许改善对一个区域的监视。

Claims (15)

1.一种用于控制网络(100)的射频感测和音频感测的装置，其中所述网络(100)包括多个网络设备(111，112，113，114)，并且其中所述网络(100)适于利用网络设备(111，112，113，114)中的一个或多个来执行射频感测和音频感测，其中所述装置(120)包括：

上下文参数提供单元(121)，用于提供上下文参数，其中所述上下文参数指示执行所述射频感测和所述音频感测的上下文，以及

控制单元(122)，用于基于所述上下文参数彼此依赖地控制所述网络(100)的射频感测和音频感测，其中彼此依赖地执行的射频感测和音频感测的控制是指基于所述射频感测和所述音频感测的感测参数的变化之间的函数关系的控制。

2.根据权利要求1所述的装置，其中所述上下文参数指示当前感测情形，所述当前感测情形涉及以下中的至少一个：一个或多个网络设备(111，112，113，114)的音频信号和/或射频信号的取决于频率的传输范围，音频信号和/或射频信号的空间限制，待感测对象的至少一个物理尺寸，由网络设备(111，112，113，114)中的一个或多个提供的可能的和/或可允许的射频频率范围和/或音频频率范围，可允许的不可听见的声压剂量，以及所述网络(100)的感测区域中一个或多个对象的当前或预期的存在、不存在或星座图。

3.根据权利要求1所述的装置，其中所述控制单元(122)适于应用预定指令，所述预定指令基于所述上下文参数来定义所述网络(100)的射频感测和音频感测的特定协同，其中所述特定协同是指对用于彼此依赖的所述网络(100)的射频感测和音频感测的感测参数的特定控制，其中协同是指关于所述射频感测和所述音频感测的相互关联指令的应用。

4.根据权利要求3所述的装置，其中当所述上下文参数指示需要增加感测精度的预定当前感测情形时，所述指令包括将用于所述音频感测的音频信号的波长适配为与用于所述射频感测的射频信号的波长相似作为特定协同。

5.根据权利要求3和4中任一项所述的装置，其中当所述上下文参数指示需要增加感测多样性的预定当前感测情形时，所述指令包括将用于所述音频感测的音频信号的波长适配为不同于用于所述射频感测的射频信号的波长的特定协同。

6.根据权利要求3至5中任一项所述的装置，其中当所述上下文参数指示环境音频噪声和/或射频噪声高于预定阈值的预定当前感测情形时，和/或当所述上下文参数指示需要增加感测精度的预定当前感测情形时，所述指令包括协调用于所述音频感测的音频信号的波长跳变与用于所述射频感测的射频信号的波长跳变作为特定协同。

7.根据权利要求6所述的装置，其中所述波长跳变的协调是指用于所述音频感测的音频信号的波长跳变与用于时域中的所述射频感测的射频信号的波长跳变的同步。

8.根据权利要求3所述的装置，其中所述特定协同还可以包括协调用于所述音频感测的音频信号的波束控制和用于所述射频感测的射频信号的波束控制，使得所述射频感测和所述音频感测两者同时相对于相同的感测区域执行。

9.根据权利要求3所述的装置，其中当所述上下文参数指示在跌倒检测的上下文中发生跌倒时，或者当所述上下文参数指示在手势检测的上下文中发生手势时，所述指令包括以比所述射频感测更高的空间分辨率执行所述音频感测作为特定协同。

10.根据权利要求1所述的装置，其中所述音频感测的控制包括基于所述上下文参数过滤掉部分音频感测信号，其中基于过滤后的音频感测信号执行所述音频感测。

11.根据权利要求1所述的装置，其中所述控制包括基于所述上下文参数将所述射频感测和所述音频感测分配给不同的感测任务，并且使所述射频感测和所述音频感测适配于相应分配的任务。

12.根据权利要求1所述的装置，其中所述控制包括基于所述上下文参数将所述射频感测和所述音频感测分配给感测区域的不同部分，并且适配所述射频感测和所述音频感测以在所分配的部分中执行相应的感测。

13.一种网络(100)包括：

多个网络设备(111，112，113，114)，其适于使所述网络(100)能够在感测区域中同时执行射频感测和音频感测，

根据前述权利要求中任一项所述的装置(120)。

14.一种用于控制网络(100)的射频感测和音频感测的方法，其中所述网络(100)包括多个网络设备(111，112，113，114)，并且其中所述网络(100)适于利用网络设备(111，112，113，114)中的一个或多个来执行射频感测和音频感测，其中所述方法包括：

提供(210)上下文参数，其中所述上下文参数指示执行所述射频感测和所述音频感测的上下文，以及

基于所述上下文参数彼此依赖地控制(220)所述网络(100)的射频感测和音频感测。其中彼此依赖地执行的射频感测和音频感测的控制(220)是指基于所述射频感测和所述音频感测的感测参数的变化之间的函数关系的控制。

15.一种用于控制网络(100)的射频感测和音频感测的计算机程序产品，其中所述计算机程序产品适于当在根据权利要求1所述的装置(120)上运行时使所述装置(120)执行根据权利要求14所述的方法。