CN113655471A - 用于支持雷达的传感器融合的方法、装置和片上系统 - Google Patents

Abstract

公开了用于支持雷达的传感器融合的方法、装置和片上系统。本文档描述了用于支持雷达的传感器融合的装置和技术。在一些方面中，提供雷达场，并且接收与所述雷达场中的目标相对应的反射信号。变换所述反射信号以提供雷达数据，从所述雷达数据中提取指示所述目标的物理特性的雷达特征。基于所述雷达特征来激活传感器以提供与所述物理特性相关联的补充传感器数据。然后利用所述补充传感器数据扩充所述雷达特征以增强所述雷达特征，诸如通过增加所述雷达特征的准确度或分辨率。通过这样做，能够改进依赖于所增强的雷达特征的基于传感器的应用的性能。

Description

用于支持雷达的传感器融合的方法、装置和片上系统

本申请是分案申请，原案的申请号是201680038897.4，申请日是2016年10月6日，发明名称是“用于支持雷达的传感器融合的方法、装置和片上系统”。

相关申请的交叉引用

本申请要求于2015年10月6日提交的美国临时专利申请No.62/237,975的优先权，其公开内容通过引用整体并入本文。

技术领域

本申请涉及用于支持雷达的传感器融合的方法、装置和片上系统。

背景技术

许多计算设备和电子设备包括传感器，以基于设备的环境提供无缝和直观的用户体验。例如，响应于加速度计指示设备移动，设备可以退出休眠状态，或者响应于指示与用户的面部接近的接近度传感器，设备的触摸屏可以被禁用。然而，这些传感器中的大多数具有有限的准确度、范围或功能，并且仅能够感测到设备周围的粗糙或剧烈的变化。因此，在没有准确的传感器输入的情况下，设备通常不得不推断不同类型的用户交互或者甚至用户是否存在，这导致用户输入不正确，错误检测用户或无法检测用户，并且使用户有挫败感。

上述场境(context)下的传感器不准确性的示例包括：设备响应于加速度计感测到非用户相关移动(例如，移动的车辆)而不正确地退出休眠状态，并且响应于用户以不正确的方式握住设备并且部分地阻挡接近度传感器而禁用触摸屏。在这样的情况下，由于无意的电源状态转换，可能会耗费设备的电池，并且通过触摸屏的用户输入被中断直到用户移动他的手。这些只是传感器不准确性的一些示例，这种传感器不准确性可能会破坏用户与设备的交互体验。

发明内容

本公开描述了用于支持雷达的传感器融合的装置和技术。在一些实施例中，提供雷达场，并且接收与雷达场中的目标相对应的反射信号。反射信号被变换以提供雷达数据，从雷达数据中提取指示目标的物理特性的雷达特征。基于该雷达特征，激活传感器以提供与物理特性相关联的补充传感器数据。然后利用该补充传感器数据扩充雷达特征以增强雷达特征，诸如通过增加雷达特征的准确度或分辨率。通过这样做，可以改进依赖于增强的雷达特征的基于传感器的应用的性能。

在其它方面，设备的雷达传感器被激活以获得感兴趣空间的雷达数据。从雷达数据中提取三维(3D)雷达特征，并从传感器接收位置数据。基于该位置数据，确定3D雷达特征的空间关系以生成空间的一组3D地标。将这组3D地标与已知的3D场境模型进行比较，以识别与3D地标相匹配的3D场境模型。基于匹配的3D场境模型，检索空间的场境并用该场境来配置设备的场境设置。

提供本发明内容是为了介绍关于支持雷达的传感器融合的简化概念，其在下面的具体实施方式中进一步描述。本发明内容并非旨在确定所要求保护的主题的基本特征，也不旨在用于确定所要求保护的主题的范围。

附图说明

参照以下附图描述了支持雷达的传感器融合的实施例。各附图中使用相同的附图标记来指代相似的特征和组件:

图1图示了包括具有雷达传感器和附加传感器的计算设备的示例环境。

图2图示了图1所示的传感器的示例类型和配置。

图3图示了图1所示的雷达传感器和对应的雷达场的示例实施方式。

图4图示了图1中示出的雷达传感器的另一示例实施方式和穿透雷达场。

图5图示了能够实现支持雷达的传感器融合的组件的配置示例。

图6图示了利用补充传感器数据扩充雷达数据的示例方法。

图7图示了利用增强的雷达特征进行运动跟踪的实施方式的示例。

图8图示了根据一个或多个实施例的，用于低功率传感器融合的示例方法。

图9图示了由包括传感器融合引擎的智能电视实现的低功率传感器融合的示例。

图10图示了用于利用互补的传感器数据来验证雷达特征的示例方法。

图11图示了用于生成感兴趣空间的场境模型的示例方法。

图12图示了根据一个或多个实施例的被场境映射的房间的示例。

图13图示了用于基于与空间相关联的场境来配置场境设置的示例方法。

图14图示了响应于空间的场境的改变而改变场境设置的示例方法。

图15图示了响应于场境的变化而改变计算设备的场境设置的示例。

图16图示了可以实现支持雷达的传感器融合的技术的示例计算系统。

具体实施方式

概述

由于与给定类型的传感器相关联的固有弱点，常规的传感器技术通常是有限的并且不准确的。例如，运动可以通过由加速度计提供的数据来感测，但是加速度计数据可能对于确定运动的来源不是有用的。在其他情况下，接近度传感器可以提供足以检测与对象的接近度的数据，但是对象的身份可能无法从接近度数据确定。因此，常规的传感器具有弱点或盲点，这可能导致对设备的围绕环境包括设备与用户的关系的不准确或不完整的感测。

本文描述了实现支持雷达的传感器融合的装置和技术。在一些实施例中，传感器的相应优点与雷达组合以减轻每个传感器的相应弱点。例如，用户面部的表面雷达特征可以与红-绿-蓝(RGB)相机的影像组合，以改进面部辨识应用的准确性。在其他情况下，能够跟踪快速运动的雷达运动特征与擅长捕获空间信息的RGB传感器的影像相结合，以提供能够检测快速空间移动的应用。

在其他情况下，可以利用来自加速度计的取向或方向信息来扩充雷达表面特征以实现设备环境(例如，房间或空间)的映射。在这样的情况下，设备可以学习或检测设备正在其中操作的场境，从而启用设备的各种场境特征和设置。这些仅仅是雷达可以充分用于传感器融合或场境感测的方式的一些示例，这在本文中进行了描述。下面的讨论首先描述操作环境，然后是在这个环境中可以使用的技术，最后是示例系统。

操作环境

图1图示了可以实现支持雷达的传感器融合的计算设备。计算设备102用各种非限制性示例设备图示，智能眼镜102-1、智能手表102-2、智能电话102-3、平板计算机102-4、膝上型计算机102-5以及游戏系统102-6，但是也可以使用其他设备，诸如家庭自动化和控制系统、娱乐系统、音频系统、其他家用电器、安全系统、上网本、汽车、智能电器和电子阅读器。注意，计算设备102可以是可穿戴的，不可穿戴但是移动的，或者相对不可移动的(例如台式计算机和电器)。

计算设备102包括一个或多个计算机处理器104和计算机可读介质106，其包括存储器介质和存储介质。实施为计算机可读介质106上的计算机可读指令的应用和/或操作系统(未示出)可由计算机处理器104执行以提供本文所述的一些功能。计算机可读介质106还包括下面描述的基于传感器的应用108、传感器融合引擎110和场境管理器112。

计算设备102还可以包括用于通过有线、无线或光学网络和显示器116传送数据的一个或多个网络接口114。网络接口114可以通过局域网(LAN)、无线局域网(WLAN)、个域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等传输数据。显示器116可以与计算设备102——诸如与游戏系统102-6——集成或与其关联。

计算设备102包括一个或多个传感器118，其使得计算设备102能够感测计算设备102操作的环境的各个性质、变化、刺激或特性。例如，传感器118可以包括各种运动传感器、光传感器、声传感器和磁传感器。替选地或另外地，传感器118支持与计算设备102的用户的交互或者从计算设备102的用户接收输入。传感器118的使用和实施方式可以改变并且在下面描述。

计算设备102还可以与雷达传感器120相关联或者包括雷达传感器120。雷达传感器120表示通过射频(RF)或雷达信号的发射和接收来无线地检测目标的功能。雷达传感器120可以被实现为嵌入在计算设备102内的系统和/或支持雷达的组件，诸如片上系统(SoC)或片上传感器(chip-on-chip)。然而，应该认识到，雷达传感器120可以以任何其他合适的方式实现，诸如实现为一个或多个集成电路(IC)，实现为具有嵌入式处理器指令或者被配置为访问存储有处理器指令的存储器的处理器，实现为具有嵌入式固件的硬件，具有各种硬件组件的印刷电路板部件，或其任何组合。这里，雷达传感器120包括雷达发射元件122、天线124和数字信号处理器126，其可以一起使用来无线地检测计算设备102的环境中的各种类型的目标。

通常，雷达发射元件122被配置为提供雷达场。在一些情况下，雷达场被配置成至少部分地反射离开一个或多个目标对象。在一些情况下，目标对象包括设备用户或计算设备102的环境中存在的其他人。在其他情况下，目标对象包括用户的身体特征，诸如手部运动、呼吸速率或其他生理特征。雷达场还可以被配置为穿透织物或其他障碍物并且从人体组织反射。这些织物或障碍物可以包括木头、玻璃、塑料、棉、羊毛、尼龙和类似的纤维等，同时从人体组织如人的手部反射。

由雷达发射元件122提供的雷达场可以是小尺寸，例如零或者1毫米到1.5米，或者中等尺寸，例如1到30米。应该认识到，这些尺寸仅仅是用于讨论的目的，并且可以使用任何其它合适的雷达场的尺寸或范围。例如，当雷达场具有中等尺寸时，雷达传感器120可以被配置为接收和处理雷达场的反射，以基于由身体、手臂或腿部运动致使的来自人体组织的反射来提供大幅身体姿态。

在一些方面，雷达场可以被配置为使得雷达传感器120能够检测诸如微手势的更小和更精确的手势。示例的中等尺寸的雷达场包括用户做出手势以从沙发上控制电视、跨房间改变来自音响的歌曲或音量、关闭烤箱或烤箱定时器(近场在这里也是有用的)、打开或关闭房间中的灯等等。雷达传感器120或其发射器可被配置成发射连续调制辐射、超宽带辐射或亚毫米频率辐射。

天线124发射和接收雷达传感器120的RF信号。在一些情况下，雷达发射元件122与天线124耦合以发射雷达场。如本领域技术人员将认识到的，这是通过将电信号转换成电磁波进行传输来实现的，对于接收反之亦然。雷达传感器120可以包括具有任何合适的配置的一个天线或者任何合适数目的天线的阵列。例如，天线124中的任何一个可以被配置为偶极天线、抛物面天线、螺旋天线、平面天线、倒F天线、单极天线等等。在一些实施例中，天线124被构造或形成在芯片上(例如，作为SoC的一部分)，而在其他实施例中，天线124是附接到雷达传感器120或包括在雷达传感器120内的分开的组件、金属、电介质、硬件等。

天线124中的第一天线可以是单用途的(例如，第一天线可以用于发射信号，并且天线124中的第二天线可以用于接收信号)，或者是多用途的(例如，天线用于发射和接收信号)。因此，一些实施例利用不同的天线组合，诸如利用配置为用于发射的两个单用途天线结合配置为用于接收的四个单用途天线的实施例。如本文进一步描述的，可以选择天线124的布置、大小和/或形状以增强特定的发射模式或分集方案，诸如被设计为捕获关于环境的信息的模式或方案。

在一些情况下，天线124可以在物理上彼此分开一定距离，该距离允许雷达传感器120通过不同的信道、不同的无线电频率和不同的距离一起发射和接收针对目标对象的信号。在一些情况下，天线124在空间上分布以支持三角测量技术，而在另一些情况下，天线被并置以支持波束成形技术。虽然未图示，但是每个天线可以对应于相应的收发器路径，其物理地路由和管理用于发射的传出信号以及用于捕获和分析的传入信号。

数字信号处理器126(DSP或数字信号处理组件)通常表示与以数字方式捕获和处理信号有关的操作。例如，数字信号处理器126对由天线124接收的模拟RF信号进行采样以生成表示RF信号的雷达数据(例如，数字样本)，然后处理该雷达数据以提取关于目标对象的信息。在一些情况下，数字信号处理器126对雷达数据执行变换以提供描述目标特性、位置或动态的雷达特征。替选地或另外地，数字信号处理器126控制由雷达发射元件122和/或天线124生成和发射的信号的配置，诸如配置多个信号以形成特定的分集或波束成形方案。

在一些情况下，数字信号处理器126诸如通过基于传感器的应用108、传感器融合引擎110或场境管理器112接收控制RF信号的传输参数(例如，频率信道、功率水平等)的输入配置参数。数字信号处理器126又根据输入配置参数修改RF信号。有时，数字信号处理器126的信号处理功能被包括在也可经由基于传感器的应用108或应用编程接口(API)访问和/或配置的信号处理功能或算法库中。数字信号处理器126可以用硬件、软件、固件或其任何组合来实现。

图2图示了总体上在200处的可用于实现支持雷达的传感器融合的实施例的传感器118的示例类型和配置。这些传感器118使得计算设备102能够感测计算设备102操作的环境的各种性质、变化、刺激或特性。由传感器118提供的数据可由计算设备的其他实体——诸如传感器融合引擎110或场境管理器112——访问。尽管未示出，但是传感器118还可以包括全球定位模块、微机电系统(MEMS)、电阻式触摸传感器等等。替选地或另外地，传感器118能够实现与计算设备102的用户的交互或者从计算设备102的用户接收输入。在这样的情况下，传感器118可以包括压电传感器、触摸传感器或与硬件开关(例如，键盘、拱顶弹片(snap-dome)或拨号盘)相关联的输入感测逻辑等等。

在这个特定的示例中，传感器118包括加速度计202和陀螺仪204。诸如运动敏感MEMS或全球定位系统(GPS)(未示出)的这些和其他运动和位置传感器被配置为感测计算设备102的移动或取向。加速度计202或陀螺仪204可以以任何合适的方面——诸如以一维、二维、三维、多轴、组合多轴等——来感测设备的移动或取向。替选地或另外地，诸如GPS的位置传感器可以指示计算设备102的行进距离、行进速度、或者绝对或相对位置。在一些实施例中，加速度计202或陀螺仪204使得计算设备102能够感测当用户以特定方式移动计算设备102时所做出的姿态输入(例如，一系列位置和/或取向变化)。

计算设备102还包括霍尔效应传感器206和磁力计208。虽然未示出，但是计算设备102还可以包括磁二极管、磁晶体管、磁敏MEMS等。这些基于磁场的传感器被配置为感测计算设备102周围的磁场特性。例如，磁力计208可以感测磁场强度、磁场方向或磁场取向的变化。在一些实施例中，计算设备102基于从基于磁场的传感器接收到的输入来确定与用户或另一设备的接近度。

计算设备102的温度传感器210可以感测设备的壳体的温度或设备的环境的氛围温度。虽然未示出，但是温度传感器210也可以结合支持确定潮湿水平的湿度传感器来实现。在一些情况下，温度传感器可以感测持有、佩戴或携带计算设备102的用户的体温。替选地或另外地，计算设备可以包括红外热传感器，其可以远程地或者无需与感兴趣对象进行物理接触地感测温度。

计算设备102还包括一个或多个声传感器212。声传感器可以被实现为被配置为监视计算设备102操作的环境的声音的麦克风或声波传感器。声传感器212能够接收用户的语音输入，其然后可以由计算设备102的DSP或处理器来处理。可以分析或测量由声传感器212捕获的声音以获得诸如音高、音色、谐波、响度、节奏、包络特征(例如，起奏、持续、衰减)等任何合适的分量。在一些实施例中，计算设备102基于从声传感器212接收的数据来识别或区分用户。

电容式传感器214使得计算装置102能够感测电容的变化。在一些情况下，电容式传感器214被配置为可以接收触摸输入或者确定与用户的接近度的触摸传感器。在其它情况下，电容式传感器214被配置为感测紧邻计算设备102的壳体的材料的性质。例如，电容式传感器214可以提供指示设备相对于表面(例如台子或桌子)、用户的身体或用户的衣服(例如衣服口袋或袖子)的接近度的数据。替选地或另外地，电容式传感器可以被配置为计算设备102的通过其接收触摸输入的触摸屏或其他输入传感器。

计算设备102还可以包括感测与对象的接近度的接近度传感器216。接近度传感器可以用任何合适类型的传感器来实现，例如电容或红外(IR)传感器。在某些情况下，接近度传感器被配置为短距离IR发射器和接收器。在这样的情况下，接近度传感器可以位于计算设备102的壳体或屏幕内以检测与用户的面部或手的接近度。例如，智能电话的接近度传感器216可以使得能够诸如在语音呼叫期间检测用户的面部，以便禁用智能电话的触摸屏来防止接收无意的用户输入。

计算设备102的氛围光传感器218可以包括被配置为感测环境的光的强度、质量或变化的光电二极管或其他光学传感器。光传感器能够感测氛围光或定向光，其然后可以由计算设备102(例如，经由DSP)来处理以确定设备环境的各个方面。例如，氛围光的变化可以指示用户已经拿起了计算设备102或者从他或她的口袋中移除了计算设备102。

在该示例中，计算设备还包括红-绿-蓝传感器220(RGB传感器220)和红外传感器222。RGB传感器220可以被实现为配置为捕获图像或视频形式的影像的相机传感器。在一些情况下，RGB传感器220与在低光环境中的影像的发光二极管(LED)闪光增加光度相关联。在至少一些实施例中，RGB传感器220可以被实现为捕获与用户相关联的图像，诸如用户的面部或者其他能够识别用户的物理特征。

红外传感器222被配置为捕获红外频谱中的数据，并且可以被配置为感测热变化或者被配置为红外(IR)相机。例如，红外传感器222可以被配置为感测与设备环境中的用户或其他人相关联的热数据。替选地或另外地，红外传感器可以与IR LED相关联并且被配置为感测与对象的接近度或距离。

在一些实施例中，计算设备包括深度传感器224，该深度传感器224可以结合RGB传感器220实现以提供经过RGB增强的深度信息。深度传感器224可以被实现为单个模块或分离的组件，诸如IR发射器、IR相机和深度处理器。当分开实现时，IR发射器发射由IR相机接收的IR光，该IR相机将IR影像数据提供给深度处理器。基于诸如光速的已知变量，深度传感器224的深度处理器可以解析到目标(例如，飞行时间相机)的距离。替选地或另外地，深度传感器224可以解析对象的表面或计算设备的环境的三维深度图。

从电力消耗角度来看，每个传感器118可以在操作时消耗不同的相应电力量。例如，磁力计208或声传感器212可能消耗几十毫安以进行操作，而RGB传感器、红外传感器222或深度传感器224可能消耗数百毫安以进行操作。在一些实施例中，一个或多个传感器118的功耗是已知的或预定义的，使得可以激活较低功率传感器来代替其他传感器来获得特定类型的数据，同时节省电力。在许多情况下，雷达传感器120可连续地或间歇地操作以获得各种数据，同时消耗比传感器118更少的电力。在这样的情况下，雷达传感器120可以在全部或大部分传感器118断电的情况下操作，以节省计算设备102的电力。替选地或另外地，可以基于由雷达传感器120提供的数据来确定激活传感器118中的一个以获得额外的传感器数据。

图3总体上在300处图示了雷达传感器120的示例配置和由其提供的雷达场。在图3的场境中，图示了雷达传感器120的两个示例配置，在其中的第一示例配置中，雷达传感器302-1嵌入在游戏系统304中，在其中的第二示例配置中，雷达传感器302-2嵌入在电视306中。雷达传感器302-1和302-2可以与彼此或本文其他地方描述的雷达传感器类似或不同地实现。在第一示例中，雷达传感器302-1提供近雷达场以与游戏系统304交互，并且在第二示例中，雷达传感器302-2提供中等雷达场(例如，房间大小)以与电视306交互。这些雷达传感器302-1和302-2分别提供近雷达场308-1和中等雷达场308-2，并在下面进行描述。

游戏系统304包括雷达传感器302-1或与其相关联。这些设备一起工作以改进与游戏系统304的用户交互。例如，假定游戏系统304包括触摸屏310，通过该触摸屏310可以执行内容显示和用户交互。该触摸屏310能够向用户提出一些难题，比如需要人坐成特定的取向——诸如直立并且面向前——以能够触摸该屏幕。此外，供通过触摸屏310选择控件的大小能够使一些用户的交互变得困难和耗时。然而，考虑雷达传感器302-1，其提供近雷达场308-1，该近雷达场308-1使得用户的手能够例如用小的或大的、简单或复杂的手势——包括单手或双手的手势——并在三个维度上与台式计算机304交互。显而易见的是，用户可以通过其进行选择的大体积可以基本上更容易并且提供比诸如触摸屏310的平坦表面更好的体验。

类似地，考虑提供中等雷达场308-2的雷达传感器302-2。提供雷达场使得能够与位于电视前面的用户进行各种交互。例如，用户可以从一段距离处并且通过从手部手势到手臂手势到全身姿态的各种姿态来与电视306交互。通过这样做，可以使用户选择比平坦表面(例如，触摸屏310)、遥控器(例如，游戏或电视遥控器)以及其他常规控制机制更简单和更容易。替选地或另外地，电视306可以经由雷达传感器302-2确定用户的身份，该用户的身份可以被提供给基于传感器的应用以实现其他功能(例如，内容控制)。

图4在400处图示了雷达传感器的另一示例配置及其提供的穿透雷达场。在这个特定的示例中，雷达场施加的表面是人体组织。如图所示，手402具有表面雷达场404，其由包括在膝上型计算机406中的(图1的)雷达传感器120提供。雷达发射元件122(未示出)提供穿透椅子408并被施加到手402的表面雷达场404。在这种情况下，天线124被配置为接收由在手402的表面上的交互致使的穿透椅子408(例如，通过其反射回来)的反射。替选地，雷达传感器120可以被配置为提供和接收通过织物的反射，诸如当智能电话放在用户的口袋中时。因此，雷达传感器120可以穿过诸如织物、衣服和其他不透明材料的光学遮挡来映射或扫描空间。

在一些实施例中，数字信号处理器126被配置为处理从表面接收到的反射信号，其足以提供可用于识别手402和/或确定手做出的手势的雷达数据。注意，对于表面雷达场404，另一只手可以通过识别或交互来执行手势，诸如敲击手402上的表面，从而与表面雷达场404交互。示例手势包括单指和多指滑动、张、捏、非线性移动等等。或者手402可以简单地移动或改变形状以致使反射，从而也执行遮挡手势。

对于人体组织反射，反射雷达场可以处理这些场以确定基于人体组织反射的识别标记，并且确认该识别标记与人的记录的识别标记——例如被许可控制对应的计算设备的人的认证——相匹配。这些识别标记可以包括各种生物特征标识符，诸如人或人的一部分——诸如人的手——的大小、形状、大小比例、软骨结构和骨骼结构。这些识别标记还可以与被许可控制移动计算设备的人所佩戴的设备相关联，诸如具有独特的或难以复制的反射的设备(例如，具有14开黄金和三颗钻石的结婚戒指，其以特定的方式反射雷达)。

另外，雷达传感器系统可以被配置为使得个人可识别信息被移除。例如，可以对用户的身份进行处理，使得无法对于用户确定个人可识别信息，或者在获得位置信息的情况下可以将用户的地理位置泛化(例如到城市、邮政编码或州级)，使得用户的特定位置无法被确定。因此，用户可以控制收集关于用户的什么信息，如何使用该信息，以及向用户提供哪些信息。

图5总体上在500处图示了能够实现支持雷达的传感器融合的组件的示例配置，包括传感器融合引擎110和场境管理器112。尽管示出为分开的实体，但是雷达传感器120、传感器融合引擎110、场境管理器112和其他实体可以彼此组合，不同地组织，或者通过未示出的互连或数据总线直接或间接通信。相应地，图5中所示的传感器融合引擎110和场境管理器112的实施方式旨在提供这些实体和本文所述的其他实体可以交互以实现支持雷达的传感器融合的方式的非限制性示例。

在该示例中，传感器融合引擎包括雷达信号变换器502(下文中简称为“信号变换器502”)和雷达特征提取器504(下文中简称为“特征提取器504”)。虽然示出为在传感器融合引擎110上实施的分开的实体，但是信号变换器502和特征抽取器504也可以由雷达传感器120的数字信号处理器126实现或在其中实现。传感器融合引擎110与传感器118可通信地耦合，从其接收传感器数据506。传感器数据506可以包括任何合适类型的原始的或经过预处理的传感器数据，诸如与本文描述的任何类型的传感器相对应的数据。传感器融合引擎110还与雷达传感器120可操作地耦合，该雷达传感器120向传感器融合引擎110提供雷达数据508。替选地或另外地，由雷达传感器120提供的雷达数据508可以包括实时雷达数据，诸如表示雷达传感器120接收到的雷达场的反射信号的原始数据。

在一些实施例中，信号变换器502将表示反射信号的原始雷达数据变换成雷达数据表示。在某些情况下，这包括对原始雷达数据执行信号预处理。例如，当天线接收到反射信号时，一些实施例采样该信号以生成原始传入信号的数字表示。一旦生成了原始数据，信号变换器502就预处理该原始数据以清除信号或生成期望频带或期望数据格式的信号版本。替选地或另外地，对原始数据进行预处理可以包括对原始数据进行滤波以降低本底噪声或去除混叠，对数据进行重新采样以获得不同的采样率，生成信号的复杂表示等等。信号变换器502可以基于默认参数来预处理原始数据，而在其他情况下，预处理的类型和参数是可配置的，诸如由传感器融合引擎110或场境管理器112配置。

信号变换器502将接收到的信号数据变换成一个或多个不同的数据表示或数据变换。在一些情况下，信号变换器502组合来自多个路径和对应的天线的数据。组合的数据可以包括来自雷达传感器120的发射路径、接收路径或组合的收发器路径的各种组合的数据。可以使用任何合适类型的数据融合技术——诸如加权积分来优化启发式(例如，信噪比(SNR)比率或最小均方误差(MMSE))、波束成形、三角测量等。

信号变换器502还可以针对不同类型的特征提取生成信号数据的多个组合，和/或将信号数据变换为另一个表示作为特征提取的前趋(precursor)。举例而言，信号变换器502可处理组合信号数据以生成目标对象的三维(3D)空间轮廓。然而，可以使用任何合适类型的算法或变换来生成原始数据的视图、抽象或版本，诸如产生包含与目标对象相关的相位和幅度信息的复数矢量的I/Q变换，产生手势传感器设备的范围内的目标对象的空间表示的波束成形变换，或产生目标速度和方向的距离-多普勒算法。其他类型的算法和变换可以包括产生目标辨识信息的距离像算法，产生高分辨率目标辨识信息的微多普勒算法，以及产生对应频率的视觉表示的频谱图算法等等。

如本文所述，原始雷达数据可以以几种方式进行处理，以生成相应的变换或组合的信号数据。在某些情况下，可以用多种方式分析或变换相同的原始数据。例如，可以处理相同的原始数据捕获以生成3D轮廓、目标速度信息和目标方向移动信息。除了生成原始数据的变换之外，雷达信号变换器还可以执行目标对象的基本分类，例如识别关其存在、形状、大小、定向、随时间的速度等的信息。例如，一些实施例使用信号变换器502通过测量手上的反射能量随时间的量来识别手的基本取向。

这些变换和基本分类可以用硬件、软件、固件或任何合适的组合来执行。有时，数字信号处理器126和/或传感器融合引擎110执行变换和基本分类。在一些情况下，信号变换器502基于默认参数来变换原始雷达数据或执行基本分类，而在其他情况下，变换或分类是可配置的，诸如通过传感器融合引擎110或场境管理器112配置。

特征抽取器504从信号变换器502接收变换后的雷达数据的表示。从这些数据变换中，特征抽取器504解析、提取或识别一个或多个雷达特征510。这些雷达特征510可以指示目标的各种性质、动态或特性，并且在该示例中包括检测特征512、反射特征514、运动特征516、位置特征518和形状特征520。这些特征仅以示例的方式描述，并且不旨在限制传感器融合引擎从原始雷达数据或变换的雷达数据中提取特征或手势信息的方式。例如，雷达特征提取器504可以从由信号变换器502提供的雷达数据表示中提取替选的雷达特征，诸如距离特征或图像特征。

检测特征512可以使得传感器融合引擎110能够检测计算设备102的环境中的用户、其他人或对象的存在。在一些情况下，检测特征指示雷达场中的目标的数目或由雷达场扫掠的房间或空间中的目标的数目。反射特征514可以指示由目标反射的能量的廓线，诸如随时间变化的反射能量。这可以有效地使得能够随着时间跟踪目标运动的速度。替选地或另外地，反射特征可以指示最强分量的能量或移动目标的总能量。

运动特征516可以使得传感器融合引擎110能够跟踪目标在雷达场中或通过雷达场的移动或运动。在一些情况下，运动特征516包括一维或三维的速度质心或一维的基于相位的精细目标位移。替选地或另外地，运动特征可以包括目标速度或1D速度色散。在一些实施例中，位置特征518包括目标对象的空间2D或3D坐标。位置特征518还可以用于测距或确定到目标对象的距离。

形状特征520指示目标或表面的形状，并且可以包括空间色散。在一些情况下，传感器融合引擎110可以扫描或波束成形不同的雷达场以构建计算设备102的目标或环境的3D表示。例如，形状特征520和其他雷达特征510可由传感器融合引擎110组合以构建特定房间或空间的唯一标识符(例如，指纹)。

在一些实施例中，特征抽取器504建立在由信号变换器502识别的基本分类上以用于特征提取或抽取。考虑上述信号变换器502将目标对象分类为手的示例。特征抽取器504可以从这个基本分类构建来提取手的较低分辨率特征。换言之，如果向特征抽取器504提供将目标对象识别为手的信息，则特征抽取器504使用该信息来查找与手相关的特征(例如，手指敲击，形状手势或滑动移动)，而不是与头部相关的特征(例如，眨眼、唇动表述词或摇头移动)。

作为另一个例子，考虑一种场景，其中信号变换器502将原始雷达数据变换为随着时间变化的目标对象的速度的度量。进而，特征抽取器504使用该信息通过使用阈值将目标对象的加速度与阈值、慢敲特征等比较来识别手指快敲运动。可以使用任何合适类型的算法来提取特征，诸如由数字信号处理器126的机器学习组件(未示出)实现的机器学习算法。

在各种实施例中，传感器融合引擎110将雷达特征510与来自传感器118的传感器数据506组合或用来自传感器118的传感器数据506扩充雷达特征510。例如，传感器融合引擎110可以应用单个算法来提取、识别或分类特征，或者应用多个算法来提取单个特征或多个特征。因此，可以应用不同的算法来提取同一组数据或不同组数据上的不同类型的特征。基于雷达特征，传感器融合引擎110可以激活特定传感器以提供与雷达特征互补或补充的数据。通过这样做，可以利用传感器数据来改进雷达特征的准确度或有效性。

传感器融合引擎110将传感器数据506、雷达数据508或其各种组合提供或暴露给基于传感器的应用108和场境管理器112。例如，传感器融合引擎110可向基于传感器的应用108提供利用基于传感器数据扩充的雷达数据或基于传感器数据验证的雷达数据。基于传感器的应用108可以包括充分利用关于计算设备102的环境或与其的关系的信息或知识的任何合适的应用、功能、实用程序或算法，以便提供设备功能或改变设备操作。

在这个特定示例中，基于传感器的应用108包括接近度检测522、用户检测524和活动检测526。接近度检测应用522可以基于传感器数据或雷达数据来检测与用户或其他对象的接近度。例如，接近度检测应用522可以使用检测雷达特征512来检测正在靠近的对象，然后切换成接近度传感器数据以确认与用户的接近度。替选地或另外地，应用可以充分利用形状雷达特征520来验证正在靠近的对象是用户的面部，而不是另一个相似大小的大的大物体对象。

用户检测应用524可以基于传感器数据或雷达数据来检测用户的存在。在一些情况下，当在环境中检测到用户时，用户检测应用524还跟踪用户。例如，用户检测应用524可以基于与用户的已知3D轮廓相匹配的形状雷达特征520和检测雷达特征512来检测存在。用户检测应用524还可以通过由RGB传感器220提供的图像数据或由声传感器212提供的语音数据来验证用户的检测。

在一些实施例中，活动检测应用526使用传感器数据和雷达数据来检测计算设备102的环境中的活动。活动检测应用526可以监视雷达以发现检测特征512和运动特征516。替选地或另外地，活动检测应用526可以使用声传感器212来检测噪声，并且RGB传感器220或深度传感器224监视移动。

基于传感器的应用还包括生物特征辨识528、生理监视530和运动识别532。生物特征辨识应用528可以使用传感器数据和雷达数据来捕获或获得对于识别该用户有用的生物特征特性，以诸如实现面部辨识。例如，生物特征辨识应用528可以使用用于获得用户面部的骨骼结构的3D映射的形状雷达特征520以及来自RGB传感器220的彩色图像来确认用户的身份。因此，即使冒名顶替者能够伪造用户的外表，该冒名顶替者也将无法够复制用户的确切面部结构，从而无法通过生物特征辨识应用528的识别。

生理监视应用530可以检测或监视用户的医疗方面，诸如呼吸、心率、反射、精细动作技能等。为此，生理监视应用530可以使用雷达数据诸如以跟踪用户胸部的运动、监视动脉血流、皮下肌收缩等。生理监视应用530可以监视设备的其他传感器的补充数据，诸如声、热(例如温度)、图像(例如皮肤或眼睛颜色)和运动(例如颤抖)数据。例如，生理监视应用530可以用运动雷达特征516、由声传感器212记录的呼吸噪声以及由红外传感器222捕获的呼出空气的热特征来监视用户的呼吸模式。

运动识别应用532可以使用雷达数据和传感器数据来识别各种运动标志。在一些情况下，运动雷达特征516或其他雷达特征可以用于跟踪运动。在这样的情况下，运动可能太快而无法被RGB传感器220或深度传感器224准确捕获。通过使用能够追踪非常快的运动的雷达特征，运动识别应用532可以追踪运动并且充分利用来自RGB传感器220的图像数据来提供额外的空间信息。因此，传感器融合引擎110和运动识别应用532能够使用对应的空间信息来跟踪快速移动的对象。

基于传感器的应用108的手势检测应用534执行手势辨识和映射。例如，考虑已经提取了手指敲击动作特征的情况。手势检测应用534可使用此信息、来自声传感器212的声音数据或来自RGB传感器220的图像数据将该特征识别为双击手势。手势检测应用534可以使用基于由传感器融合引擎110提供的雷达数据和传感器数据来对于最有可能发生了哪个手势以及该信息如何与一个或多个先前学习的各种手势的特性或特征相关的概率确定。例如，可以使用机器学习算法来确定如何对各种接收到的特性进行加权以确定这些特性与特定手势(或手势的组成部分)相对应的可能性。

场境管理器112可以访问基于传感器的应用108、传感器融合引擎110的传感器数据506或雷达特征510，以实现基于雷达的场境感测。在一些实施例中，雷达数据508可以与传感器数据506组合以提供计算设备102在其中操作的空间或房间的地图。例如，可以充分利用位置和惯性传感器数据来实现用于捕获和网格化3D雷达影像的合成孔径技术。因此，随着设备在环境中移动，场境管理器112可以构造各个空间和房间的详细或高分辨率3D地图。替选地或另外地，3D影像可以通过光学遮挡来捕获，或者与传感器融合的其他技术结合使用以改进活动辨识。

在该特定示例中，场境管理器112包括场境模型536、设备场境538和场境设置540。场境模型536包括各个空间的物理模型，诸如特定房间的尺寸、几何形状或特征。换言之，场境模型可以被认为是描述特定空间的独特特性，如3D指纹。在一些情况下，构建场境模型536经由机器学习技术来实现，并且可以随设备进入或通过特定空间而被动地执行。设备场境538包括并且可以描述计算设备102可以在其中操作的多个场境。这些场境可以包括诸如“会议”、“请勿打扰”、“有空”、“安全”、“隐私”等的标准工作场境集合。例如，“会议”场境可以与正在会议室中的设备以及多个其他同事和客户相关联。替选地或另外地，设备场境538可以是用户可编程的或者自定义的，诸如房屋的不同房间的场境，其中每个场境指示与该场境相关联的相应的隐私或安全级别。

场境设置540包括基于场境或其他环境性质可配置的各种设备或系统设置。场境设置540可以包括任何合适类型的设备设置，诸如响铃音量、响铃模式、显示模式、与网络或其他设备的连接等。替选地或另外地，场境设置540可以包括任何合适类型的系统设置，诸如安全设置、隐私设置、网络或设备连接设置、远程控制特征等。例如，如果用户走进她的家庭影院，则场境管理器112可以辨识该场境(例如，“家庭影院”)并且通过将设备的提醒静音并配置设备的无线接口以控制家庭影院的音频/视频装备来配置场境设置。这仅仅是场境管理器112可以如何基于场境来确定和配置设备的一个示例。

已经描述了根据一个或多个实施例的计算设备102、传感器融合引擎110和场境管理器112的相应示例，现在考虑可以由在此描述的那些和其他实体执行以实现支持雷达的传感器融合的技术的讨论。

示例方法

图6、图8、图10、图11、图13和图14描绘了用于实现支持雷达的传感器融合和/或基于雷达的场境感测的方法。这些方法被示出为指定所执行的操作的框集合，但是不必限于示出的执行各个框的操作的顺序或组合。例如，不同方法的操作可以以任何顺序组合以实现替选方法而不背离这里描述的概念。在以下讨论的部分中，可以参考图1至图5来描述这些技术，对图1至图5的参照只是用于示例。这些技术不限于由在一个设备上操作的一个实体或多个实体或者在这些图中描述的实体执行。

图6描绘了用于利用补充传感器数据来扩充雷达数据的示例方法600，包括由雷达传感器120、传感器融合引擎110或场境管理器112执行的操作。

在602处，提供雷达场，诸如图2和图3中所示的雷达场之一。雷达场可以由雷达系统或雷达传感器提供，该雷达系统或雷达场可以与图1的雷达传感器120和雷达发射元件122类似或不同地实现。提供的雷达场可以包括宽的射束、完全连续的雷达场或定向窄射束、扫描的雷达场。在一些情况下，雷达场以约60GHz频带——诸如57-64GHz或59-61GHz——的频率提供，尽管可以使用其它频带。

作为示例，考虑图7，其中膝上型计算机102-5在700处包括雷达传感器120，并且能够实现支持雷达的传感器融合。这里，假定用户702正在使用膝上型计算机102-5的手势驱动控制菜单来玩第一人称射击(FPS)视频游戏。雷达传感器120提供雷达场704以捕获用户702的移动以实现游戏控制。

在604处，接收与雷达场中的目标相对应的一个或多个反射信号。雷达反射信号可以被接收为雷达场中的目标对象的多个点的叠加，目标对象诸如是在雷达场内或穿过雷达场的人或对象。在本示例的场境中，来自用户的手的反射信号被雷达传感器120接收。

在606，一个或多个反射信号被转换成雷达数据表示。反射信号可以使用任何合适的信号处理来进行变换，诸如通过执行距离-多普勒变换、距离像变换、微多普勒变换、I/Q变换或频谱图变换。继续正在说明的示例，雷达传感器执行距离-多普勒变换以提供用户的手的目标速度和方向信息。

在608处，从雷达数据中提取表示目标的特性的雷达特征。雷达特征可以提供目标的特性、目标的位置或目标的动态的实时测量。雷达特征可以包括任何合适类型的特征，诸如检测特征、反射特征、运动特征、位置特征或形状特征，其示例在本文中描述。在本示例的场境中，从雷达数据中提取用户手的反射雷达特征和运动雷达特征。

在610，基于雷达特征来激活传感器。传感器可被激活以提供补充数据。在一些情况下，基于雷达特征或雷达特征的类型来选择传感器以供激活。例如，可以激活RGB或红外传感器以提供表面特征或运动特征的补充传感器数据。在其他情况下，可以激活加速度计或陀螺仪以获得运动特征或位置特征的补充数据。在另外其他情况下，可以从麦克风或深度传感器接收数据以改进检测特征。继续正在说明的示例，传感器融合引擎110激活膝上型计算机102-5的RGB传感器220以捕获空间信息。

在612，用补充传感器数据扩充雷达特征。这可以包括组合或融合雷达特征和传感器数据以提供更准确或更精确的雷达特征。扩充雷达特征可以包括基于补充或者补偿传感器数据改进雷达特征的准确度或者分辨率。这种传感器融合的示例可以包括使用传感器数据来增加雷达特征的位置准确度，减轻归因于雷达特征的错误检测，增加雷达特征的空间分辨率，增加雷达特征的表面分辨率，或者改进雷达特征的分类精度。在本示例的场境中，传感器融合引擎110组合运动雷达特征516和RGB信息以提供在空间上捕获非常快的移动的传感器信息。在一些情况下，由于传感器的固有限制，RGB传感器220将无法检测或捕获这样的运动。

在614，将扩充后的雷达特征提供给基于传感器的应用。这可以有效提高基于传感器的应用的性能。在一些情况下，扩充雷达特征提高了诸如接近度检测、用户检测、活动检测、手势检测等的检测应用的准确度。在这样的情况下，可以使用传感器数据来消除错误检测，诸如通过确认或否认目标的检测。在其他情况下，扩充雷达特征可以提高应用的一致性。对本示例进行总结，融合的雷达数据特征被传递到手势检测应用534，其将手势传递给FPS视频游戏作为游戏控制输入。

图8图示了用于低功率传感器融合的示例方法，包括由雷达传感器120、传感器融合引擎110或场境管理器112执行的操作。

在802，监视设备的雷达传感器以发现雷达场的反射信号的变化。雷达传感器可以提供从其接收反射信号的连续或间歇雷达场。在一些情况下，雷达传感器是设备的更低功率传感器，其在操作时消耗的功率比设备的其他传感器少。反射信号的变化可能由设备的移动或设备环境内目标的移动致使。举例而言，考虑图9的环境900，其中在起居室中第一用户904正在观看支持雷达的电视902。这里，假定用户904开始阅读杂志并且第二用户906进入起居室。电视的雷达传感器120检测由第一用户和第二用户的这些动作致使的反射雷达信号的变化。

在804，变换反射信号以检测雷达场中的目标。在某些情况下，从变换的雷达数据中提取检测特征以确认在雷达场中检测到目标。在其他情况下，从变换的雷达数据中提取形状特征或运动特征，以识别目标的物理特性或目标在雷达场中的移动。在本示例中，从反射的雷达信号中提取第一用户和第二用户的检测雷达特征。

在806，响应于反射信号中的目标的检测，从低功率状态激活更高功率的传感器以获得与目标相关的传感器数据。例如，如果雷达检测特征指示用户在雷达场中的移动或存在，则可以激活RGB传感器以捕获用户的图像。在其他情况下，设备的GPS模块可以响应于指示设备正在移动的位置雷达特征或反射雷达特征而被激活。继续正在说明的示例，传感器融合引擎110激活电视902的RGB传感器220。RGB传感器220获得第一用户904的面部图像数据908和第二用户906的面部图像数据910。该图像数据可以是用户面部的静态图像或视频，以使得支持眼睛跟踪或其他动态面部辨识特征。

在808，将与目标有关的传感器数据传递给基于传感器的应用。基于传感器的应用可以包括任何合适的应用，例如在此描述的应用。在一些情况下，响应于检测到雷达场中的特定活动或目标，启动或恢复基于传感器的应用的执行。例如，响应于指示未经授权的人进入受控区域的感测活动特征，可以恢复监控应用。RGB传感器然后可以将图像数据传递给监控应用。在图9中的本示例的场境中，RGB传感器将面部图像数据908和面部图像数据910传递给生物特征辨识应用528。

替选地，在810，从经过变换的雷达数据提取的雷达特征被传递给基于传感器的应用。在某些情况下，雷达特征为传递到基于传感器的应用的传感器数据提供额外的场境。例如，位置雷达特征可以被传递给接收RGB影像的应用，以使得应用能够利用相应的位置信息来标示影像中的目标。

继续正在说明的示例，传感器融合引擎110将用户的面部的相应雷达表面特征传递给生物特征辨识应用528。这里，该应用可以确定第一用户904没有在观看电视(例如，眼睛跟踪)，并且确定第二用户906有兴趣观看电视902。使用面部图像数据910，传感器融合引擎110可以识别第二用户906，并且基于他的身份检索与该身份相关联的观看历史。场境管理器112充分利用该观看历史来将电视的频道改变为第二用户906上一次观看的频道。

在812，较高功率的传感器返回到低功率状态。一旦传感器数据被传递给基于传感器的应用，高功率传感器就可以返回到低功率状态，以节省设备的电力。由于雷达传感器在提供一系列能力的同时消耗相对少的功率，所以其他传感器可以处于低功率状态，直到需要获得更多的特定于传感器的数据。通过这样做，可以减少设备的功耗，这对于增加电池供电设备的运行时间是有效的。方法800可以从操作812返回到操作802，监视雷达传感器以发现监视随后的雷达场的反射信号的变化。总结本示例，在改变电视的频道之后，RGB传感器220返回到低功率状态，并且可以驻留在低功率状态中，直到雷达传感器120检测到进一步的活动。

图10图示了用于利用雷达特征增强传感器数据的示例方法，包括由雷达传感器120、传感器融合引擎110或场境管理器112执行的操作。

在1002，监视设备的传感器以发现环境变化。传感器可以包括任何合适类型的传感器，诸如参考图2和本文其他地方描述的那些传感器。传感器可以被配置为监视设备的物理状态的变化，诸如设备运动、或者远离设备的变化，诸如氛围噪声或者光。在某些情况下，传感器在设备处于低功率状态时被监视或通过设备的低功率处理器受到监视，以节省设备功率。

在1004，经由传感器检测环境变化。环境变化可以包括任何合适类型的变化，诸如用户的语音、氛围噪声、设备运动、用户接近度、温度变化、氛围光线变化等等。检测到的环境变化可以与特定的场境、活动、用户等相关联。例如，环境变化可以包括来自用户的语音命令，以将设备从休眠状态唤醒并且解锁设备以供使用。

在1006，响应于检测到环境变化，激活雷达传感器以提供雷达场。设备的雷达传感器可以被激活以提供补充或补偿由传感器提供的数据的雷达数据。在某些情况下，雷达场是基于检测环境变化的传感器的类型或表征环境变化的传感器数据来配置的。例如，如果检测到用户接近，则雷达传感器被配置为提供适合于识别用户的短距离雷达场。在其他情况下，雷达传感器可以被配置为响应于检测到氛围噪声或振动而提供扫掠远距离雷达场。在这样的情况下，远距离雷达场可以用来检测与噪声源相关联的活动或位置。

在1008，变换来自雷达场的反射信号以提供雷达数据。反射信号可以使用任何合适的信号处理来进行变换，诸如通过执行距离-多普勒变换、距离像变换、微多普勒变换、I/Q变换或频谱图变换。在某些情况下，基于检测环境变化的传感器类型或由传感器提供的数据来选择用于提供雷达数据的一种类型的变换。

在1010，从雷达数据中提取雷达特征。雷达特征可以基于环境变化来提取。在某些情况下，基于环境变化或环境变化的类型来选择一种类型的雷达特征。例如，响应于检测氛围噪声的声传感器，可以选择检测特征或运动特征。在其他情况下，雷达传感器可以响应于加速度计感测到设备的移动而提取位置特征或形状特征。

在1012，利用雷达特征扩充传感器数据以提供增强的传感器数据。这可以有效提高与传感器数据相关联的准确度或置信度。换言之，如果传感器在准确度、范围或其他量度方面有弱点，则雷达数据可以补偿这个缺点并改进传感器数据的质量。例如，用户的面部的表面特征可以确认用户的身份和接收到的用于解锁设备的语音命令的有效性。

在1014，增强的传感器数据暴露于基于传感器的应用。通过提高应用的准确性、减少应用使用的传感器数据量、扩展应用的功能等，这可以有效地提高基于传感器的应用的性能。例如，响应于移动而唤醒设备的基于运动的功率状态应用也可以基于包括运动数据和用户面部结构的表面特征的增强的传感器数据来认证用户并且解锁设备。

图11图示了用于为感兴趣空间创建3D场境模型的示例方法，包括由雷达传感器120、传感器融合引擎110或场境管理器112执行的操作。

在1102，激活设备的雷达传感器以获得感兴趣空间或区域的雷达数据。雷达传感器可以响应于设备的移动——诸如指示设备正在移入空间或区域的惯性数据或GPS数据——而被激活。在一些情况下，雷达传感器响应于检测到未知设备——例如无线接入点、无线电器、或空间中的传送可由设备的无线接口检测的数据的其他无线设备——而被激活。

举例而言，考虑图12的环境1200，其中用户1202已经将他的智能电话102-3装在口袋里进入了起居室。这里，假定用户1202之前没有来过该空间，并且因此智能电话102-2没有与该空间相关联的先前场境信息。响应于感测到开放区域或电视1204的无线数据传输，智能电话102-3的雷达传感器120开始穿过雷达能透过的口袋材料扫描房间并获得雷达数据。随着用户改变房间中的取向时，雷达传感器120继续扫描该房间以获得额外的雷达数据。

在1104，从雷达数据中提取3D雷达特征。3D雷达特征可以包括3D雷达特征或可用于构建3D雷达特征的1D和2D特征的组合。3D雷达特征可以包括捕获感兴趣空间或区域的物理方面的雷达反射特征、运动特征或形状特征。例如，3D雷达特征可以包括空间中的诸如家具、墙壁、电器、地板覆盖物、建筑特征等的目标的测距、位置、或形状信息。在本示例的场境中，场境管理器112提取房间中诸如电视1204、植物1206、门1208、灯1210、图片1212和沙发1214的目标的位置和表面雷达特征。雷达形状可以指示房间中每个目标的近似形状、表面纹理或位置(绝对的或相对于其他目标)。

在1106，从设备的传感器接收位置数据。位置数据可以包括取向数据、惯性数据、运动数据、方向数据等。在一些情况下，位置数据可以用于实现用于雷达扫描或雷达成像的合成孔径技术。替选地或另外地，设备的其他传感器可以提供指示空间的环境的数据。例如，声传感器可以提供用于识别空间中存在的氛围噪声(例如，风扇噪声或机器轰鸣)的数据。继续正在说明的示例，随着用户在整个房间中移动，智能电话102-3的加速度计202向传感器融合引擎110提供惯性和取向数据。

在1108，基于位置数据来确定3D雷达特征的空间关系。如上所述，可以充分利用位置数据来提供合成孔径，雷达传感器可以通过该合成孔径扫描感兴趣区域。换言之，随着设备在空间中的移动，雷达传感器可以捕获房间的物理特征作为多个3D雷达特征。然后可以使用从传感器接收的位置数据来确定多个3D特征之间的空间关系或者这些特征如何在3D空间中拼在一起。在本示例的场境中，场境管理器112通过使用加速度计202的惯性和取向数据来确定房间中的目标之间的空间关系。

在1110，基于3D雷达特征及其空间关系来生成3D地图的一部分。可以基于由雷达特征捕获的地标来为空间或房间的一部分生成3D地图。这些地标可以包括空间的可识别的物理特性，例如家具、空间的基本形状和几何形状、表面的反射率等。方法1100可以从操作1110返回到操作1102以生成空间的3D地图的另一部分或者继续到操作1112。继续正在说明的示例并且假定传感器融合引擎已经扫描了大部分房间，则场境管理器112基于房间中的目标1204至1214的雷达特征和/或房间的总体尺寸来生成房间的3D地图的多个部分。

在1112，组合3D地图的所述部分以创建空间的3D模型。在一些情况下，3D地图的这些部分可以通过重叠相应的边缘来组装或网格化。在其他情况下，基于先前获得的位置数据来组合3D地图的这些部分。空间的3D地图可能是完整的或部分的，取决于从雷达数据中提取的许多可行的3D雷达特征。在本示例的场境中，场境管理器112将先前生成的部分网格化以提供起居室的3D模型。

在1114，将空间的3D模型与空间的场境相关联。这可以有效地创建空间的3D场境模型。场境可以是任何合适类型的场境，诸如房间类型、安全级别、隐私级别、设备操作模式等。在一些情况下，场境是用户定义的，其可以包括提示用户从预定义的场境列表中进行选择。在其他情况下，机器学习工具可以实现映射操作并基于空间的物理特性来指派场境。继续正在说明的示例，场境管理器112基于电视1204和沙发1214的存在将“起居室”场境与该空间关联。这种情况指示该区域是私密的，安全风险低，并且电视1204支持媒体并且可以通过无线或手势驱动的控制功能来控制。例如，智能电话102-3上的媒体播放可以在进入起居室时被传输给电视1204。

在1116，设备存储空间的3D场境模型。3D场境模型可以存储到本地存储器或上传到云端以允许该设备或其他设备的访问。在一些情况下，存储3D场境模型使得随后能够经由雷达传感器识别空间。例如，设备可以维持使得设备能够学习和记忆与其相关联的空间和场境的3D场境模型的库。总结本示例，场境管理器112存储起居室的3D场境模型以实现随后的访问和设备配置，在此描述了其示例。

图13图示了用于基于3D场境模型来配置设备的场境设置的示例方法，包括由雷达传感器120、传感器融合引擎110或场境管理器112执行的操作。

在1302，激活设备的雷达传感器以获得感兴趣空间或区域的雷达数据。雷达传感器可以响应于设备的移动——诸如指示设备正在移入空间或区域的惯性数据或GPS数据——而被激活。在一些情况下，雷达传感器响应于检测到已知设备——诸如无线接入点、无线设备或空间中该设备先前已关联的其它无线设备——而被激活。

在1304，从雷达数据中提取3D雷达特征。3D雷达特征可以包括3D雷达特征或可用于构建3D雷达特征的1D和2D特征的组合。3D雷达特征可以包括雷达反射特征、运动特征或捕获感兴趣空间或区域的物理方面的形状特征。例如，3D雷达特征可以包括空间中的诸如家具、墙壁、电器、地板覆盖物、建筑特征等的目标的测距、位置、或形状信息。

在1306，从设备的传感器接收位置数据。位置数据可以包括取向数据、惯性数据、运动数据、方向数据等。在一些情况下，位置数据可以用于实现用于雷达扫描或雷达成像的合成孔径技术。替选地或另外地，设备的其他传感器可以提供指示空间的环境的数据。例如，声传感器可以提供用于识别空间中存在的氛围噪声(例如，风扇噪声或机器轰鸣)的数据。

在1308，基于传感器提供的位置数据来确定3D雷达特征的空间关系。如上所述，可以充分利用位置数据来提供合成孔径，雷达传感器可以通过该合成孔径扫描感兴趣区域。换言之，随着设备在空间中的移动，雷达传感器可以捕获房间的物理特征作为多个3D雷达特征。然后可以使用从传感器接收的位置数据来确定多个3D特征之间的空间关系或者这些特征如何在3D空间中拼在一起。

在1310，基于3D雷达特征及其空间取向来生成空间的一组3D地标。这些地标可以包括空间的可识别的物理特性，例如家具、空间的基本形状和几何形状、表面的反射率等。例如，会议室的3D地标可以包括具有特定形状的腿的桌子和安装到从天花板突出的支架上的高架投影仪。

在1312，将该组3D地标与已知的3D场境模型进行比较。这可以有效地基于已知的3D场境模型来识别设备在其中操作的空间。在一些情况下，当3D地标的集合对应于3D场境模型的那些时，确定与已知3D场境模型的匹配。为了考虑到随着时间的变化——诸如移动或更换家具，当足够的3D地标匹配以满足预定义的置信度阈值时，可以确定匹配。在这样的情况下，可能包括房间几何形状和固定架构(例如楼梯)的静态3D地标可以被更大地加权，以最小化动态地标对模型匹配率的影响。

在1314，基于匹配的3D场境模型来检索与该空间相关联的场境。一旦确定了该空间的匹配，则设备可以检索或访问要应用于设备的场境。场境可以是任何合适类型的场境，诸如隐私、会议、约会或安全场境。替选地或另外地，如果3D场境模型的场境与当前设备设置不兼容或者过时，则可以提示用户选择场境、创建场境或者更新该空间的场境。

在1316，基于与空间相关联的场境来配置场境设置。所配置的场境设置可以包括任何合适类型的设置，诸如响铃音量、响铃模式、显示模式、与网络或其他设备的连接等。此外，设备的安全设置或隐私设置可被配置为启用或限制安全或隐私内容的显示。

图14图示了用于响应于场境的变化而改变场境设置的示例方法，包括由雷达传感器120、传感器融合引擎110或场境管理器112执行的操作。

在1402，激活设备的雷达传感器以获得感兴趣区域的雷达数据。雷达传感器可以发射连续的或定向的雷达场，由该区域中的目标反射来自该雷达场的信号。该区域中的目标可以包括任何合适类型的对象，例如墙壁、家具、窗户、地板覆盖物、电器、房间几何形状等。作为示例，考虑图15的环境1500，其中用户1502正在阅读平板计算机102-4显示的数字内容。这里，场境管理器112激活平板计算机102-4的雷达传感器120，以获得台式计算机操作的房间的雷达数据。

在1404，从雷达数据中提取雷达特征。3D雷达特征可以包括3D雷达特征或可用于构建3D雷达特征的1D和2D特征的组合。3D雷达特征可以包括雷达反射特征、运动特征或捕获感兴趣空间或区域的物理方面的形状特征。例如，3D雷达特征可以包括空间中的目标的测距、位置或形状信息。在本示例的场境中，平板计算机102-4的传感器融合引擎110提取可用于识别环境1500的起居室内的目标和几何形状的雷达特征。

可选地，在1406，从设备的传感器接收数据。在某些情况下，传感器数据可以用于确定空间的场境。例如，声传感器可以提供与空间中的可识别氛围噪声相关联的数据，诸如喷泉的流水或风扇噪声的特定频率。在其他情况下，电器或电子设备可以发出特定嘎吱声、轰鸣或超声波噪声，这些声音可由声传感器检测到以提供特定空间的识别数据。

在1408，至少基于雷达特征来确定空间的场境。在某些情况下，设备的场境是基于从雷达特征导出的几何形状和占有情况来确定的。例如，场境管理器可以确定空间的大小、其他居用者的数目以及到那些居用者的距离，以便在设备周围设置隐私泡(privacybubble)。在其他情况下，将雷达特征中的一组地标与已知的3D场境模型进行比较。这可以有效地基于已知的3D场境模型来识别设备在其中操作的空间。

尽管如所描述的那样，3D场境模型还可以例如基于设备位置(例如，GPS)被访问或下载到设备。替选地或另外地，可以将其他类型的传感器数据与已知的3D场境模型进行比较。例如，可以将设备检测到的声音和无线网络与已知3D场境模型的声音和网络数据进行比较。继续正在说明的示例，平板计算机102-4的场境管理器112将环境1500的场境确定为“起居室”，即隐私的、半安全的场境。

在1410，基于所确定的场境来配置设备的场境设置。所配置的场境设置可以包括任何合适类型的设置，诸如响铃音量、响铃模式、显示模式、与网络或其他设备的连接等。此外，设备的安全设置或隐私设置可被配置为启用或限制安全或隐私内容的显示。在本示例的场境中，假设在未知人员1504进入房间之前，场境管理器112针对其中完全启用或打开这些设置的隐私场境来配置平板计算机102-4的显示、安全性和提醒设置。

在1412，经由雷达传感器监视空间以发现活动。雷达传感器可以提供从其接收反射信号的连续或间歇雷达场。在一些情况下，雷达传感器响应于反射信号的变化来检测雷达场中的活动或目标。继续正在说明的示例，雷达传感器120监视环境1500以发现可能指示场境变化的任何活动或检测事件。

在1414，从雷达数据中提取雷达特征以识别空间中的活动的来源。这可以包括提取检测、运动或形状雷达特征，以识别空间中的目标。在某些情况下，活动的来源是离开空间的目标，诸如离开房间的某人。在其他情况下，活动的来源可能包括进入空间的人或对象。在本示例的场境中，假定未知人员1504进入房间并接近用户1502。响应于此，雷达传感器120提供检测和形状雷达特征1506以促进识别未知人员1504。

在1416，确定活动的来源改变了空间的场境。在某些情况下，其他人离开空间增加了用户的隐私或降低了设备上的噪声限制，从而得到更加开放的场境。在其他情况下，人进入空间或更靠近设备可以降低用户的隐私或增加设备和用户的安全顾虑。随着隐私的降低或对安全性的需求的增加，设备的场境可以变得更加面向隐私和安全。继续正在说明的示例，形状雷达特征1506被用于经由面部辨识尝试识别未知人员1504。这里，假定面部辨识失败，并且场境管理器112确定未知实体的存在会改变关于隐私和安全的空间场境。

在1418，基于空间场境的变化来改变设备的场境设置。响应场境的变化，可以改变设备的场境设置以补偿场境变化。当设备的场境在隐私或安全性方面增加时，改变场境设置可以包括限制由设备暴露的内容，诸如通过调暗显示器，禁用特定应用，实行显示器偏光，限制设备的无线连接或者降低音频播放音量。总结本示例，响应于检测到场境的变化，场境管理器112增加平板计算机102-4的隐私和安全设置，诸如通过关闭安全应用，降低提示和设备音频的音量，或者减小显示内容的字体大小，使得未知的人无法辨别平板计算机的内容。

示例计算系统

图16图示了示例计算系统1600的各个组件，该示例计算系统1600可以被实现为如参照前面的图1至图15所描述的任何类型的客户端、服务器和/或计算设备以实现支持雷达的传感器融合。

计算系统1600包括支持设备数据1604(例如，接收到的数据、正被接收的数据、被调度用于广播的数据、数据的数据分组等等)的有线和/或无线通信的通信设备1602。设备数据1604或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的用户相关联的信息(例如，执行手势的行为者的身份)。存储在计算系统1600上的媒体内容可以包括任何类型的音频、视频和/或图像数据。计算系统1600包括一个或多个数据输入1606，经由该数据输入1606可以接收任何类型的数据、媒体内容和/或输入，诸如人类话语、与雷达场的交互、用户可选择的输入(明确的或隐含的)、消息、音乐、电视媒体内容、记录的视频内容以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。

计算系统1600还包括通信接口1608，通信接口1608可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个，以及任何其他类型的通信接口。通信接口1608提供计算系统1600和通信网络之间的连接和/或通信链路，通过该通信网络其他电子、计算和通信设备与计算系统1600传输数据。

计算系统1600包括一个或多个处理器1610(例如，微处理器、控制器等中的任何一个)，其处理各种计算机可执行指令以控制计算系统1600的操作并且实现用于支持雷达的传感器融合的技术或者可以实施雷达传感器融合的技术。替选地或者附加地，计算系统1600可以利用硬件、固件或者固定逻辑电路中的任何一个或者其组合来实现，该硬件、固件或者固定逻辑电路结合通常在1612处标识的处理和控制电路来实现。尽管未示出，计算系统1600可以包括耦合设备内的各个组件的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任一个的处理器或本地总线。

计算系统1600还包括计算机可读介质1614，诸如支持持久性和/或非暂时性数据存储的一个或多个存储器设备(即，相对于单纯的信号传输)，其示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等中的任何一个或多个)以及盘存储设备。盘存储设备可以被实现为任何类型的磁或光存储设备，诸如硬盘驱动器、可记录和/或可重写压缩光盘(CD)、任何类型的数字多功能盘(DVD)等等。计算系统1600还可以包括大容量存储介质设备(存储介质)1616。

计算机可读介质1614提供数据存储机制来存储设备数据1604以及各种设备应用1618和与计算系统1600的操作方面有关的任何其他类型的信息和/或数据。例如，操作系统1620可以作为计算机应用利用计算机可读介质1614维持并且在处理器1610上执行。设备应用1618可以包括设备管理器，诸如任何形式的控制应用、软件应用、信号处理和控制模块、对特定设备本原的代码、抽取模块或手势模块等等。设备应用1618还包括实现支持雷达的传感器融合的系统组件、引擎或管理器，诸如基于传感器的应用108、传感器融合引擎110和场境管理器112。

计算系统1600还可以包括或能访问一个或多个雷达系统或传感器，诸如具有雷达发射元件122、雷达接收元件和天线124的雷达传感器芯片1622。尽管未示出，但是传感器融合引擎110或场境管理器112的一个或多个元件可以全部或部分地通过硬件或固件实现。

结论

尽管使用特征和/或方法特有的语言描述了使用支持雷达的传感器融合的技术以及包括支持雷达的传感器融合的装置，但是应当理解，所附权利要求书的主题不一定限于所描述的特定的特征或方法。相反，具体特征和方法被公开为可以实现支持雷达的传感器融合的示例方式。

Claims (40)

1.一种装置，包括：

至少一个计算机处理器；

至少一个雷达传感器，包括：

至少一个雷达发射元件，所述至少一个雷达发射元件被配置为提供雷达场；和

至少一个雷达接收元件，所述至少一个雷达接收元件被配置为接收由所述雷达场从所述雷达场内的对象反射所导致的雷达反射信号；

多个传感器，所述传感器中的每个包括不同类型的传感器，所述不同类型的传感器被配置为感测所述装置的相应环境变化；和

存储有指令的至少一个计算机可读存储介质，所述指令响应于被所述计算机处理器的执行而使所述装置用于：

经由所述雷达发射元件提供雷达场；

经由所述雷达接收元件接收由所述雷达场从所述雷达场内的对象反射所导致的反射信号；

基于所接收的反射信号，确定下述中的至少一个：所述对象的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征；

基于所确定的所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征是第一类型的所确定的所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征，选择所述传感器中的第一传感器来提供补充传感器数据；或者

基于所确定的所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征是第二类型的所确定的所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征，选择所述传感器中的第二传感器来提供所述补充传感器数据；

从所述第一传感器或所述第二传感器接收所述补充传感器数据；

利用所述补充传感器数据来扩充所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征，以增强所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征；和

向基于传感器的应用提供所述对象的增强的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征，以有效地改进所述基于传感器的应用的性能。

2.根据权利要求1所述的装置，其中：

所述指令进一步使所述装置用于基于所述反射信号来确定对象数目、总反射能量、移动能量、一维速度、一维速度色散、三维空间坐标或一维空间色散的指示；和

选择所述第一传感器或所述第二传感器是进一步基于所述指示。

3.根据权利要求1或2所述的装置，其中：

所述指令还使所述装置用于对所述反射信号执行距离-多普勒变换、距离像变换、微多普勒变换、I/Q变换或频谱图变换；和

所述确定是进一步基于所执行的变换。

4.根据权利要求1或2所述的装置，其中，所述基于传感器的应用包括接近度检测、用户检测、用户跟踪、活动检测、面部辨识、呼吸检测或运动标志识别。

5.根据权利要求1或2所述的装置，其中，所述传感器包括下述中的两个或更多个：加速度计、陀螺仪、霍尔效应传感器、磁力计、温度传感器、麦克风、电容式传感器、接近度传感器、氛围光传感器、红绿蓝(RGB)图像传感器、红外传感器或深度传感器。

6.根据权利要求1或2所述的装置，其中，利用所述补充传感器数据来扩充所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征通过下述方式有效地增强所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征：

增加所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的位置准确度；

减轻归因于所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的误报检测；

增加所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的空间分辨率；

增加所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的表面分辨率；或者

改进所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的分类精度。

7.根据权利要求1或2所述的装置，其中：

所述雷达传感器比所述第一传感器和所述第二传感器消耗更少的功率；

所述第一传感器处于低功率状态直到所述第一传感器被选择为止；和

所述第二传感器处于低功率状态直到所述第二传感器被选择为止。

8.根据权利要求1或2所述的装置，其中，所述装置实施为智能电话、智能眼镜、智能手表、平板计算机、膝上型计算机、机顶盒、智能电器、家庭自动化控制器或电视机。

9.根据权利要求1或2所述的装置，其中：

所述雷达接收元件包括多个天线；和

所述指令进一步使装置用于使用波束成形技术经由所述天线来接收所述反射信号。

10.一种方法，包括：

经由设备的至少一个雷达发射元件提供雷达场；

经由所述设备的至少一个雷达接收元件接收由所述雷达场从所述雷达场内的对象反射所导致的反射信号；

从所述反射信号中提取指示所述对象的物理特性的雷达特征；

基于所述雷达特征是第一类型的雷达特征，选择所述设备的多个传感器中的第一传感器；或者

基于所述雷达特征是第二类型的雷达特征，选择所述设备的所述多个传感器中的第二传感器，所述第二传感器是与所述第一传感器不同类型的传感器；

从所选择的传感器接收补充传感器数据，所述补充传感器数据描述与所选择的不同类型的传感器相对应的环境变化，所述环境变化进一步指示所述对象的物理特性；

利用所述补充传感器数据来扩充所述雷达特征；和

向基于传感器的应用提供扩充的雷达特征。

11.根据权利要求10所述的方法，其中，所述第一传感器被配置为检测所述对象周围的第一环境变化，并且所述第二传感器被配置为检测所述对象周围的第二环境变化。

12.根据权利要求10或11所述的方法，其中，所述第一类型或第二类型的雷达特征的包括表面特征、运动特征、位置特征或检测特征。

13.根据权利要求10或11所述的方法，其中所述设备的所述多个传感器包括下述中的至少两个：加速度计、陀螺仪、霍尔效应传感器、磁力计、温度传感器、麦克风、电容式传感器、接近度传感器、氛围光传感器、红绿蓝(RGB)图像传感器、红外传感器或深度传感器。

14.根据权利要求10或11所述的方法，其中，所述雷达特征指示所述雷达场中的对象数目、总反射能量、移动能量、一维速度、一维速度色散、三维空间坐标或一维空间色散。

15.一种存储指令的计算机可读存储介质，所述指令当由计算机执行时使所述计算机执行操作，所述操作包括：

使至少一个雷达发射元件提供雷达场；

经由至少一个雷达接收元件接收由所述雷达场从所述雷达场内的对象反射所导致的反射信号；

将所述反射信号解析为下述中的至少一个：导致所述反射信号的所述对象的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征；

基于所述对象的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征，选择至少一个传感器来针对所述对象的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征提供补充传感器数据，所述补充传感器数据指示所述对象周围至少一个环境变化；

从所选择的传感器接收指示所述环境变化的所述补充传感器数据；

利用指示所述环境变化的所述补充传感器数据来扩充所述对象的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征，以提供所述对象的增强的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征；和

将所述对象的增强的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征暴露给基于传感器的应用，以有效地改进所述基于传感器的应用的性能。

16.根据权利要求15所述的计算机可读存储介质，其中所述操作还包括：

使所述雷达发射元件提供另一雷达场；

经由所述雷达接收元件接收由所述另一雷达场从所述另一雷达场内的所述对象或另一对象反射所导致的另一反射信号；

将所述另一反射信号解析为下述中的至少一个：导致所述另一反射信号的所述对象或所述另一对象的另一雷达检测特征、另一雷达反射特征、另一雷达运动特征、另一雷达位置特征或另一雷达形状特征；

基于所述对象或所述另一对象的所述另一雷达检测特征、另一雷达反射特征、另一雷达运动特征、另一雷达位置特征或另一雷达形状特征，选择与所述传感器不同类型的至少一个另一传感器来针对所述对象或所述另一对象的另一雷达检测特征、另一雷达反射特征、另一雷达运动特征、另一雷达位置特征或另一雷达形状特征提供另一补充传感器数据，所述另一补充传感器数据指示与所述对象或所述另一对象周围的环境变化不同的所述对象或所述另一对象周围的至少一个另一环境变化；

从所选择的另一传感器接收指示所述另一环境变化的所述另一补充传感器数据；

利用指示所述另一环境变化的所述另一补充传感器数据来扩充所述对象或另一对象的另一雷达检测特征、另一雷达反射特征、另一雷达运动特征、另一雷达位置特征或另一雷达形状特征，以提供所述对象或另一对象的另一增强的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征；和

将所述对象或另一对象的所述另一增强的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征暴露给所述基于传感器的应用或另一基于传感器的应用，以有效地改进所述基于传感器的应用或所述另一基于传感器的应用的性能。

17.根据权利要求15或16所述的计算机可读存储介质，其中所述操作还包括：基于所述反射信号来确定对象数目、总反射能量、移动能量、一维速度、一维速度色散、三维空间坐标或一维空间色散的指示；和

所述选择是进一步基于所述指示。

18.根据权利要求15或16所述的计算机可读存储介质，其中：

所述操作还包括：对所述反射信号执行距离-多普勒变换、距离像变换、微多普勒变换、I/Q变换或频谱图变换；和

所述解析是进一步基于所执行的变换。

19.根据权利要求15或16所述的计算机可读存储介质，其中，所述基于传感器的应用包括接近度检测、用户检测、用户跟踪、活动检测、面部辨识、呼吸检测或运动标志识别。

20.根据权利要求15或16所述的计算机可读存储介质，其中利用所述补充传感器数据来扩充所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征通过下述方式有效地增强所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征：

增加所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的位置准确度；

减轻归因于所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的误报检测；

增加所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的空间分辨率；

增加所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的表面分辨率；或者

改进所述对象的雷达检测特征、雷达运动特征、雷达位置特征或雷达形状特征的分类精度。

21.一种装置，包括：

至少一个计算机处理器；

至少一个雷达传感器，包括：

至少一个雷达发射元件，所述至少一个雷达发射元件被配置为提供雷达场；和

至少一个雷达接收元件，所述至少一个雷达接收元件被配置为接收由所述雷达场从所述雷达场内的对象反射所导致的雷达反射信号；

多个传感器，所述传感器中的每个包括不同类型的传感器，所述不同类型的传感器被配置为感测所述装置的不同类型的环境变化；和

存储有指令的至少一个计算机可读存储介质，所述指令响应于被所述计算机处理器的执行而使所述装置用于：

经由所述多个传感器中的传感器检测传感器数据；

基于所述传感器数据，确定所检测的不同类型的环境变化；

响应于确定所检测的不同类型的环境变化，经由所述雷达发射元件提供雷达场，基于检测到不同类型的环境变化的所述不同类型的传感器和所检测的不同类型的环境变化来配置所述雷达场；

经由所述雷达接收元件接收由所述雷达场从所述雷达场内的对象反射所导致的反射信号；

基于所接收的反射信号，确定所述对象的雷达特征，所述雷达特征包括下述中的至少一个：所述对象的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征；

利用所述雷达特征来扩充所述传感器数据，以增强所述传感器数据；和

向基于传感器的应用提供增强的传感器数据，以有效地改进基于所述传感器的应用的性能。

22.根据权利要求21所述的装置，其中：

所述指令进一步使所述装置用于基于所述反射信号来确定目标数目、总反射能量、移动能量、一维速度、一维速度色散、三维空间坐标或一维空间色散的指示；和

扩充所述传感器数据是基于所述指示。

23.根据权利要求21所述的装置，其中：

所述指令还使所述装置用于基于所述不同类型的传感器或所检测的不同类型的环境变化，对所述反射信号执行距离-多普勒变换、距离像变换、微多普勒变换、I/Q变换或频谱图变换；和

所述雷达特征的确定是进一步基于所执行的变换。

24.根据权利要求21所述的装置，其中，所述基于传感器的应用包括接近度检测、用户检测、用户跟踪、活动检测、面部辨识、呼吸检测或运动标志识别。

25.根据权利要求21所述的装置，其中，所述传感器包括下述中的两个或更多个：加速度计、陀螺仪、霍尔效应传感器、磁力计、温度传感器、麦克风、电容式传感器、接近度传感器、氛围光传感器、红绿蓝(RGB)图像传感器、红外传感器或深度传感器。

26.根据权利要求21所述的装置，其中，利用所述雷达特征来扩充所述传感器数据通过下述方式有效地增强所述传感器数据：

增加所述传感器数据的位置准确度；

减轻归因于所述传感器数据的误报检测；或者

改进所述传感器数据的分类精度。

27.根据权利要求21所述的装置，其中所述装置处于低功率状态直到检测到所述传感器数据为止。

28.根据权利要求21所述的装置，其中，所述装置实施为智能电话、智能眼镜、智能手表、平板计算机、膝上型计算机、机顶盒、智能电器、家庭自动化控制器或电视机。

29.根据权利要求21所述的装置，其中：

所述雷达接收元件包括多个天线；和

所述指令进一步使装置用于使用波束成形技术经由所述天线来接收所述反射信号。

30.一种方法，包括：

针对环境变化来监视多个传感器，所述传感器中的每个包括不同类型的传感器，所述不同类型的传感器被配置为感测不同类型的环境变化；

经由所述传感器检测传感器数据；

基于所述传感器数据确定所检测的不同类型的环境变化；

响应于确定所检测的不同类型的环境变化，经由设备的至少一个雷达发射元件提供雷达场，基于检测到所述不同类型的环境变化的所述不同类型的传感器以及所检测的不同类型的环境变化来配置所述雷达场；

经由所述设备的至少一个雷达接收元件接收由所述雷达场从所述雷达场内的目标反射所导致的反射信号；

从所述反射信号中确定指示所述目标的物理特性的雷达特征；

利用所述雷达特征来扩充所述传感器数据；和

向基于传感器的应用提供扩充的传感器数据。

31.根据权利要求30所述的方法，其中，所述不同类型的环境变化包括以下中的至少一个：所述设备的用户的语音、氛围噪声、所述设备的运动、所述用户的接近度、温度变化或氛围光线变化。

32.根据权利要求30所述的方法，其中所述雷达特征包括表面特征、运动特征、位置特征、反射特征、形状特征或检测特征。

33.根据权利要求30所述的方法，其中所述传感器包括加速度计、陀螺仪、霍尔效应传感器、磁力计、温度传感器、麦克风、电容式传感器、接近度传感器、氛围光传感器、红绿蓝(RGB)图像传感器、红外传感器或深度传感器。

34.根据权利要求30所述的方法，其中，所述雷达特征指示所述雷达场中的目标数目、总反射能量、移动能量、一维速度、一维速度色散、三维空间坐标或一维空间色散。

35.存储指令的至少一个计算机可读存储介质，所述指令当由处理系统执行时，使所述处理系统用于：

针对环境变化监视多个传感器，所述传感器中的每个包括不同类型的传感器，所述不同类型的传感器被配置为感测不同类型的环境变化；

经由所述传感器检测传感器数据；

基于所述传感器数据确定所检测的不同类型的环境变化；

响应于确定所检测的不同类型的环境变化，使至少一个雷达发射元件提供雷达场，基于检测到所述不同类型的环境变化的所述不同类型的传感器以及所检测的不同类型的环境变化来配置所述雷达场；

经由至少一个雷达接收元件接收由所述雷达场从所述雷达场内的目标反射所导致的反射信号；

将所述反射信号解析为补充雷达数据；

从所述补充雷达数据中提取所述目标的雷达特征，所述雷达特征包括下述中的至少一个：所述目标的雷达检测特征、雷达反射特征、雷达运动特征、雷达位置特征或雷达形状特征；

利用所述雷达特征来扩充所述传感器数据，以提供增强的传感器数据；和

将所述增强的传感器数据暴露给基于传感器的应用，以有效地改进所述基于传感器的应用的性能。

36.根据权利要求35所述的计算机可读存储介质，其中所述传感器包括加速度计、陀螺仪、霍尔效应传感器、磁力计、温度传感器、麦克风、电容式传感器、接近度传感器、氛围光传感器、红绿蓝(RGB)图像传感器、红外传感器或深度传感器。

37.根据权利要求35所述的计算机可读存储介质，其中，所述指令还使所述处理系统用于基于所述补充雷达数据，基于所述反射信号来确定目标数目、总反射能量、移动能量、一维速度、一维速度色散、三维空间坐标或一维空间色散的指示；和

所述扩充是基于所述指示。

38.根据权利要求35所述的计算机可读存储介质，其中：

所述指令还使所述处理系统用于基于所检测的不同类型的环境变化，对所述反射信号执行距离-多普勒变换、距离像变换、微多普勒变换、I/Q变换或频谱图变换；和

所述解析是基于所执行的变换。

39.根据权利要求35所述的计算机可读存储介质，所述基于传感器的应用包括接近度检测、用户检测、用户跟踪、活动检测、面部辨识、呼吸检测或运动标志识别。

40.根据权利要求35所述的计算机可读存储介质，利用所述雷达特征来扩充所述传感器数据通过下述方式有效地增强所述传感器数据：

增加所述传感器数据的位置准确度；

减轻归因于所述传感器数据的误报检测；或者

改进所述传感器数据的分类精度。

Images