CN115399769A - 用于生成点云并确定生命体征以定义人类心理状态的毫米波映射系统和方法 - Google Patents

Abstract

本发明公开了毫米波(mmWave)映射系统和方法，用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。基于mmWave传感器的一个或多个mmWave波形生成包括点云数据的点云，该点云数据定义在物理空间内检测到的人或对象。根据该点云数据确定该人在该物理空间的该部分内的姿势。基于该mmWave波形确定该人的一个或多个生命体征。提供了电子反馈，该电子反馈表示由该人的该点云数据和该一个或多个生命体征所定义的该人的人类心理状态。

Description

用于生成点云并确定生命体征以定义人类心理状态的毫米波 映射系统和方法

技术领域

本公开一般涉及毫米波(mmWave)映射系统和方法，并且更具体地涉及用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的mmWave映射系统和方法。

背景技术

常规监测技术(诸如睡眠监测技术)可能会侵入用户的隐私或个人可识别信息(“PII”)。通常，此类PII包括图像或视频技术，其中用户在他或她的私人住宅中被成像。虽然这种监测技术可能是有用的，例如查看在住宅的不同房间中熟睡的孩子，但是该技术有时可能过度侵入，并且在当今日益数字化连接的世界中造成个人PII的隐私和/或数据风险。

例如，如由监测设备捕获的诸如用户的图片、视频和/或声音的PII可能易受安全漏洞的影响，诸如经由监控技术所连接的计算机网络的网络攻击。这可能会给用户带来安全风险，使其无意中失去对PII的控制。此外，许多国家和/或监管机构越来越多地要求保护个人的PII和其他私人数据，而现有的监测技术不再符合这些要求。例如，欧盟(EU)的通用数据保护条例(GDPR)对位于欧洲经济区(EEA)地理区域内的用户的PII实施了规定，该地理区域包括欧洲多个国家。GDPR要求PII相关技术符合保护私人用户数据安全所需的某些技术和组织措施。美国目前正在制定类似的法律法规，例如，加州消费者隐私法案(CCPA)，该法案规定了与GDPR类似的法规。

因此，当前的监测技术为用户的数据带来了安全和PII风险，并暴露于规定旨在保护此类PII和数据的技术要求的法规。

出于前述原因，需要用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的mmWave映射系统和方法。

发明内容

本公开描述了毫米波(mmWave)技术的各个方面，包括mmWave传感器，该传感器被配置用于消除或降低用户的PII损失或不希望的暴露的风险等。本公开描述了用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的mmWave映射系统和方法，该mmWave映射系统和方法不一定依赖于常规监测技术，包括图像传感器或其他成像技术。

在各个方面，本公开描述了可被实现为独立设备或多部分系统的mmWave映射系统和方法，其中的每一者都被配置为生成很少或不生成用户的PII数据或信息。附加地或另选地，本文所公开的mmWave映射系统和方法可与现有监测技术(例如，LUMI设备)组合或与现有监测技术集成或集成到现有监测技术中，并且可由用户启用和/或禁用以提供监测，无论是否生成或跟踪PII信息诸如图片、图像和/或视频。

例如，如本文所述的mmWave映射系统和方法改进了常规监测技术，其中本公开的mmWave映射系统和方法提供了具有低或零PII影响、具有低维护要求、更耐用并且由于没有使用光学元件和/或没有存储图像所以需要更少功率和更低数据存储的技术解决方案。此外，与现有技术相比，如本文所述的mmWave映射系统和方法产生用于以更准确的方式预测人类心理状态(例如，睡眠状态)和相关事件的原始数据(例如，根据mmWave波形确定的点云数据和生命体征)的更高稳健性和保真度。在一个非限制性使用情况示例中，mmWave映射系统和方法可在婴儿监测设备或系统中实现，以检测人(例如，婴儿、儿童和/或成人)的睡眠质量。实现本文所述的系统和方法的此类婴儿监测设备或系统可在不使用成像和/或PII的情况下监测婴儿或儿童(尽管在一些方面，此类数据可用于增强如本文所述的跟踪、监测或人工智能用途)。

也设想了其他使用情况。例如，如本文所述的mmWave映射系统和方法可消除或减少PII数据丢失和/或安全问题，同时还提供关于用户习惯、行为和/或用户产品使用和/或消耗的信息。例如，mmWave映射系统和方法可用于各种使用情况，作为非限制性示例，包括任务自动化、为事件提供警报(例如，睡眠检测或跌倒检测)和/或产品补充。例如，mmWave映射系统和方法可用于检测和识别产品(例如，物理空间或容器中的尿布)并检测它们的填充水平。例如，mmWave映射系统和方法可用于检测容器或其他存储区域中的尿布的负载。在另外的示例中，mmWave映射系统和方法可用于跟踪用户并且在用户在环境或物理空间内移动的同时测量生命体征。在各个方面，mmWave映射系统和方法是自动化的，使得mmWave映射系统和方法被配置为被动地监测用户行为，而无需用户交互。

如本文所述的mmWave映射系统和方法以各种方式克服了现有技术和常规监测技术的限制。具体地，如本文所述的mmWave映射系统和方法使用点云来识别人的姿势、人的姿势变化和/或人的微观和/或宏观运动，其中的每一者需要很少或不需要PII数据。例如，在各个方面，点云数据和/或生命体征测量可包括原始数据形式，其被馈送到mmWave API和/或机器学习模型或算法中以对人类心理状态进行分类。此类人类心理状态可例如以数据抽象方式定义或表示人或用户的睡眠质量，而不会暴露PII。此外，mmWave(例如，在本文中称为“线性调频信号”的电磁波)以不同且独特的方式使用，例如，以生成和/或确定物理空间(例如，房间)的点云，并且还测量人的生命体征。此外，如本文所述的mmWave映射系统和方法在频带、扫描带宽、天线设计和/或间隔方面进行了独特配置，以便实现期望的测量和确定(例如，生命体征和点云)。

此外，如本文所述的mmWave映射系统和方法不必受制于或受限于物理空间内的任何特定位置、配置或定位(例如，定位在家具内或家具上)以便操作或起作用，例如，生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。然而，应当理解，关于本文所述的mmWave映射系统和方法，物理空间内的位置、配置或定位(例如，定位在家具内或家具上)是允许的，并且在一些使用情况下是期望的。

更具体地讲，如本文所述，公开了mmWave映射系统。在各个方面，mmWave映射系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。mmWave映射系统包括被配置为在物理空间内发射和接收一个或多个mmWave波形的mmWave传感器。mmWave映射系统还包括可交换地耦接到mmWave传感器的一个或多个处理器，其中该一个或多个处理器中的数字信号处理器被配置为分析该一个或多个mmWave波形。mmWave映射系统还包括包含一组计算指令的应用程序(app)。该组计算指令被配置用于由该一个或多个处理器执行，并且当由该一个或多个处理器执行时使该一个或多个处理器基于mmWave传感器的一个或多个mmWave波形来生成映射物理空间的至少一部分的点云。点云包括定义在物理空间内检测到的人或对象的点云数据。该组计算指令在由该一个或多个处理器执行时进一步使该一个或多个处理器基于该点云数据确定人在物理空间的该部分内的姿势。该组计算指令在由该一个或多个处理器执行时进一步使该一个或多个处理器基于mmWave传感器的该一个或多个mmWave波形来确定人的一个或多个生命体征。该组计算指令在由该一个或多个处理器执行时进一步使该一个或多个处理器确定由人的该点云数据和该一个或多个生命体征所定义的人的人类心理状态。该组计算指令在由该一个或多个处理器执行时进一步使该一个或多个处理器提供电子反馈，该电子反馈表示由人的该点云数据和该一个或多个生命体征所定义的人类心理状态。

在另外的方面，如本文所述，公开了mmWave映射方法，用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。mmWave映射方法包括基于mmWave传感器的一个或多个mmWave波形生成映射物理空间的至少一部分的点云，其中该点云包括定义在物理空间内检测到的人或对象的点云数据。mmWave映射方法还包括基于该点云数据确定人在物理空间的该部分内的姿势。mmWave映射方法还包括基于mmWave传感器的该一个或多个mmWave波形确定人的一个或多个生命体征。mmWave映射方法还包括确定由人的该点云数据和该一个或多个生命体征所定义的人的人类心理状态。mmWave映射方法还包括提供电子反馈，该电子反馈表示由人的该点云数据和该一个或多个生命体征所定义的人类心理状态。

在另外的方面，公开了一种有形的非暂态计算机可读介质，该有形的非暂态计算机可读介质存储用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的指令。这些指令在由一个或多个处理器执行时使该一个或多个处理器基于mmWave传感器的一个或多个mmWave波形生成映射物理空间的至少一部分的点云，其中该点云包括定义在物理空间内检测到的人或对象的点云数据。这些指令在由一个或多个处理器执行时进一步使该一个或多个处理器基于该点云数据确定人在物理空间的该部分内的姿势。这些指令在由一个或多个处理器执行时进一步使该一个或多个处理器基于mmWave传感器的该一个或多个mmWave波形来确定人的一个或多个生命体征。这些指令在由一个或多个处理器执行时进一步使该一个或多个处理器确定如由人的该点云数据和该一个或多个生命体征所定义的人的人类心理状态。这些指令在由一个或多个处理器执行时进一步使该一个或多个处理器提供电子反馈，该电子反馈表示由人的该点云数据和该一个或多个生命体征所定义的人类心理状态。

根据上文以及本文的公开内容，至少因为本公开描述了例如mmWave映射系统和方法被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态，本公开描述了计算机功能的改进或对其他技术或技术领域的改进。在各个方面，mmWave系统使用mmWave传感器，该mmWave传感器比使用需要基于相机的传感器的图像和视频的现有技术系统使用更少的功率并且更耐用。因此，系统能够更有效地运行，并且在一些方面，能够运行更长的时间(例如，对于电池驱动的设备)。此外，mmWave映射系统和方法生成比常规设备更高质量的数据，并且消除了用户错误，这是因为用户无法移除或阻挡加速度计/传感器(与需要视线放置或定位的基于相机的传统监视器相反)。仍进一步地，考虑到mmWave电磁波使用和相关映射，如本文所述，即使对被监测用户的视线被遮挡，mmWave映射系统和方法也可提供准确的测量。又进一步地，mmWave映射系统和方法消除或减少了为用户或由用户生成的PII，因此很少或没有PII数据能够通过网络攻击或其他方式被黑客入侵或窃取。

此外，本公开涉及至少因为本公开描述或引入了对底层计算设备的改进而对其他技术或技术领域的改进，例如在一些方面，mmWave映射系统通过用基于mmWave波形生成的生命体征数据和点云数据训练的人工智能学习模型来改进。人工智能学习模型至少因为计算设备(例如，mmWave映射系统或设备、实现或执行人工智能学习模型)能够更准确地预测事件或对由人的点云数据和一个或多个生命体征所定义的人类心理状态的表示进行分类而相对于现有技术的监测技术有所改进。此类分类和/或预测可用于监测技术和/或跟踪领域，这是该领域中先前的设备或技术迄今无法实现的。此外，人工智能学习模型被进一步配置为随着其学习或接收关于另外的人类心理状态或相关事件以及其他行为的数据而被更新和发展，从而进一步提高底层mmWave映射系统的预测能力。

本公开包括利用或通过使用特定机器，例如被配置为在物理空间内发射和接收一个或多个mmWave波形的mmWave传感器，来应用如本文所述的某些方面或特征。

此外，本公开通过添加将权利要求限制于特定有用应用的非常规步骤(例如，用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的mmWave映射系统和方法)而包括除本领域中众所周知的、常规的、常规活动之外的特定特征。

通过以举例说明的方式示出和描述的优选方面的以下描述，优点对于本领域的普通技术人员而言将变得更加显而易见。如将认识到的，本发明的方面可具有其他和不同的方面，并且它们的细节能够在各个方面进行修改。因此，附图和描述应被视为实质上是示例性的而非限制性的。

附图说明

下文所述的附图描绘了本文所公开的系统和方法的各个方面。应当理解，每个附图描绘了所公开的系统和方法的特定方面的一个方面，并且每个附图旨在与其可能的方面保持一致。此外，在可能的情况下，以下描述提及了以下附图中包括的附图标号，其中多个附图中所示的特征部用一致的附图标号进行表示。

在当前讨论的附图中示出了布置，然而，应当理解，本方面不限于所示的精确布置和工具，其中：

图1示出了根据本文公开的各个方面的示例性毫米波(mmWave)映射系统，该系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。

图2A进一步示出了根据本文公开的各个方面的图1的示例性mmWave映射系统，该系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。

图2B示出了表示图1的物理空间并映射到该物理空间的点云的示例可视化。

图2C示出了在图1的物理空间内检测到的人的示例性生命体征。

图3示出了根据本文公开的各个方面的用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的示例性mmWave映射方法。

图4示出了根据本文公开的各个方面的图1的mmWave映射系统和图3的mmWave映射方法的示例性电子反馈，其中该电子反馈包括如图形用户界面(GUI)上显示的视觉反馈。

图5进一步示出了根据本文公开的各个方面的图1的示例性mmWave映射系统，该系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。

附图仅出于说明的目的描绘了优选的方面。在不脱离本文所述的本发明的原理的情况下，可以采用本文所示的系统和方法的替代方面。

具体实施方式

图1示出了根据本文公开的各个方面的示例性毫米波(mmWave)映射系统100，该系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。

图1的示例描绘了包括第一人110p1和第二人110p2(例如，分别为母亲和她的孩子，如图所示)的物理房间或空间(例如，物理空间104)。第二人110p2(例如，孩子)被描绘为以与第一人110p1(例如，母亲)的姿势不同的姿势睡眠，但是应当理解，第一人110p1和/或第二人110p2中的每个人可位于各种另外的和/或不同的位置和/或处于各种另外的和/或不同的姿势，这些位置和/或姿势可由如本文所述的mmWave映射系统和方法确定。

图1进一步描绘了安装在房间的墙壁(例如，物理空间104)上的mmWave映射系统100的mmWave映射设备102。然而，应当理解，mmWave映射设备102可定位在房间中的其他位置处，包括但不限于桌面位置、地板位置、天花板位置、家具和/或墙壁内，和/或以其他方式定位或配置mmWave映射设备102以如本文所述发射和接收mmWave波形的其他位置。

在一些实施方案中，在物理空间内由mmWave映射系统100检测到的对象是非人对象。例如，家具121是定位在物理空间104内的非人对象的示例。如图所示，第二人110p2(例如，孩子)被描绘为在位于物理空间104内的家具121上休息或睡觉。在图1的示例中，家具121是婴儿床。

在各种实施方案中，mmWave映射系统100包括一个或多个mmWave传感器，其被配置为在物理空间(例如，物理空间104)内发射和接收一个或多个mmWave波形。在图1的示例中，mmWave映射设备102可包括一个或多个mmWave传感器。mmWave传感器包括在给定频谱中发射预定义的电磁波的雷达型传感器。mmWave传感器检测和/或感测从房间中的对象反弹或以其他方式反射的电磁波，类似于声纳技术对声波的操作方式。在各种实施方案中，mmWave映射设备102和/或mmWave映射系统100结合和/或使用如由TEXAS INSTRUMENTS制造的mmWave传感器。然而，应当理解，如由其他制造商制造或以其他方式提供的mmWave传感器可用于或结合在mmWave映射设备102和/或mmWave映射系统100中，以实现如本文所述的mmWave映射系统和方法。

由mmWave传感器发射和接收的mmWave波形的mmWave频谱可包括10GHz至300GHz的频率范围。但是应当理解，其他和/或不同范围(例如，其他高频范围)也适用于本文所述的系统和方法。此外，mmWave波形有时被称为并且在本文中可被称为“线性调频信号”。例如，毫米波(即，“线性调频”)可由被配置为mmWave映射设备102的一部分的mmWave传感器或mmWave收发器发射和接收。

在图1的示例中，发射波102wt是由mmWave映射设备102的mmWave传感器发射的电磁波(即，“线性调频”信号)。接收波102wr是由mmWave映射设备102的mmWave传感器接收的电磁波(即，“线性调频”信号)。在一些方面，接收波102wr表示在不同时间的发射波102wt，其中发射波102wt在从物理空间104中的一个或多个对象(例如，第一人110p1、第二人110p2和/或家具121)反射后在物理空间104中被反弹或以其他方式传播回来或返回(由此变成接收波102wr)。在其他方面，接收波102wr表示除发射波102wt之外并且基于另一不同发射波(未示出)的另一不同电磁波，其中该另一不同电磁波在从物理空间104中的一个或多个对象(例如，第一人110p1、第二人110p2和/或家具121)反射后在物理空间104中被反弹或以其他方式传播回来或返回(由此变成接收波102wr)。根据由mmWave传感器发射和接收的mmWave波形的这种反弹和/或反射，mmWave映射设备102可经由点云数据的生成来映射或确定物理空间104。例如，可对接收的mmWave使用数字信号处理(DSP)技术(例如，数字信号处理306)来确定点云(例如，点云308)，例如，如关于图3或本文的其他部分所述。还可根据如本文所述的mmWave波形确定人(例如，人110p1和/或人110p2)的生命体征。

在各种实施方案中，mmWave映射系统100可在频带、扫描带宽、天线设计和/或间隔方面进行独特配置，以便实现期望的测量和确定(例如，生命体征和点云)。例如，以图1为参考，在目标物理空间104中发射独特配置的电磁波102wt。在传感器处接收在与有生命对象诸如110p1和110p2以及无生命对象诸如121相互作用之后的反射波102wr。通常而非限制地，至少对于一些实施方案，生命体征计算或生成可被描述为：(1)使用数字信号处理(DSP)，其中测量到相应对象的距离；(2)从步骤(1)中测量的距离中去掉躯干位移；(3)振幅和相位的计算；以及(4)使用DSP技术来计算呼吸率和心率。

此外，通常而非限制地，至少对于一些实施方案，点云计算或生成可被描述为：(1)信号方差计算或确定；(2)使用天线(多个RX天线)的相位关系计算测量方向；以及(3)使用高级DSP技术来计算一个或多个点云。

在各种实施方案中，mmWave映射系统100包括可交换地耦接到mmWave传感器的一个或多个处理器。该一个或多个处理器中的数字信号处理器被配置为分析该一个或多个mmWave波形。例如，在图1中，mmWave映射设备102可包括可交换地耦接到mmWave传感器的一个或多个处理器，其中该一个或多个处理器包括被配置为分析如由mmWave映射设备102的mmWave映传感器所发射和接收的一个或多个mmWave波形的数字信号处理器。在一些方面，该处理器可包括基于ARM 400mz的处理器。然而，应当理解，除了基于ARM 400Mz的处理器之外或代替该处理器，还可使用其他处理器，诸如来自INTEL、NVIDIA、TEXAS INSTRUMENTS等的处理器。该一个或多个处理器可进一步例如经由电子总线通信地耦接到一个或多个存储器。该一个或多个存储器可存储用于实现如本文所述的系统和方法的计算机指令、mmWave数据、波形、信号和/或其他软件、数据或信号。

在一些方面，mmWave映射系统100的mmWave传感器、处理器和/或存储器中的每一者均可被配置在片上系统(SoC)架构上。在此类方面，mmWave传感器、处理器和/或存储器中的每一者可在SoC的电路或其他电子架构(诸如SoC的电子总线)上进行电子通信。此类SoC架构可包括在mmWave映射设备102或其他mmWave映射系统100中或至少作为其一部分。

附加地或另选地，mmWave映射系统100可包括经由计算机网络与mmWave映射设备102通信的移除服务器。例如，图5进一步示出了根据本文公开的各个方面的图1的示例性mmWave映射系统100，该系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。如图5所示，mmWave映射系统100可包括与mmWave传感器(例如，通过计算机网络诸如互联网)远程通信的处理器和/或存储器，诸如服务器或云计算平台的处理器和/或存储器。例如，在各个方面，映射系统100可包括一个或多个服务器502，该一个或多个服务器可包括作为服务器群的一部分的多个、冗余或复制的服务器。在另外的方面，此类服务器502可被实现为基于云的服务器，诸如基于云的计算平台。例如，服务器502可以是任何一个或多个基于云的平台，诸如MICROSOFT AZURE、AMAZON AWS等。服务器可包括一个或多个处理器(例如，CPU 504)以及一个或多个计算机存储器(例如，存储器506)。存储器可包括一种或多种形式的易失性和/或非易失性、固定和/或可移动存储器，诸如只读存储器(ROM)、电子可编程只读存储器(EPROM)、随机存取存储器(RAM)、可擦除电子可编程只读存储器(EEPROM)和/或其他硬盘驱动器、闪存存储器、MicroSD卡等。存储器可存储能够促进如本文所讨论的功能、应用程序、方法或其他软件的操作系统(OS)(例如，MicrosoftWindows、Linux、UNIX等)。存储器(例如，存储器506)还可存储应用程序(app)508r，该应用程序可包括如本文所述的计算指令，该计算指令用于生成一个或多个点云并确定一个或多个生命体征以定义如本文所述的人类心理状态。应用程序(app)508r可包括计算指令的至少一部分诸如远程部分，其中剩余或本地部分(例如，在移动设备400上实现的app 508)通过计算机网络520与app 508r通信执行。

服务器502还可包括通信组件，该通信组件被配置为经由一个或多个外部/网络端口将数据传送(例如，发送和接收)到一个或多个网络或本地终端诸如本文所述的计算机网络520和/或终端509(用于访问mmWave数据和/或点云数据)。在一些实施方案中，成像服务器502可包括客户端-服务器平台技术，诸如ASP.NET、Java J2EE、Ruby on Rails、Node.js、web服务或在线API，其响应于接收并响应于电子请求。服务器502可实现客户端-服务器平台技术，该技术可经由计算机总线与存储器506(包括存储在其中的应用程序、组件、API、数据等)和/或数据库505进行交互，以实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。

服务器502还可通信地耦接到数据库505，该数据库可存储mmWave数据、点云数据和/或如本文所述的其他数据。如本文所述的此类mmWave数据、点云数据和/或其他数据可在app 508和app 508r之间传输，其中app 508r可存储和/或访问来自存储器506和/或数据库505的此类信息。存储器(例如，存储器506)可存储机器可读指令，包括一个或多个应用程序(例如，包括如本文所述的一组计算指令的app 508r)、一个或多个软件组件和/或一个或多个应用程序编程接口(API)中的任一者，其可被实现以促进或执行这些特征、功能或本文所述的其他公开内容，诸如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的任何方法、过程、元件或限制。例如，应用程序、软件组件或API中的至少一些可被配置为促进本文所讨论的其各种功能。应当理解，可设想由处理器(例如，CPU 504)执行的一个或多个其他应用程序。

此外，如本文所述的一个或多个处理器(例如，CPU 504)可经由计算机总线连接到存储器(例如，存储器506)，该计算机总线负责向和从处理器和存储器发射和/或接收电子数据、数据包或其他电子信号，以便实现或执行机器可读指令、方法、过程、元件或限制，如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述。

处理器(例如，CPU 504)可包括根据IEEE标准、3GPP标准或其他标准起作用并且可用于经由连接到计算机网络520的外部/网络端口接收和传输数据的一个或多个收发器(例如，WWAN、WLAN和/或WPAN收发器)，或者与该一个或多个收发器进行交互。在一些方面，计算机网络520可包括专用网络或局域网(LAN)。附加地或另选地，计算机网络可包括公共网络，诸如互联网。

服务器502还可包括或实现操作者界面，该操作者界面被配置为向管理员或操作者呈现信息和/或从管理员或操作者接收输入。如图5所示，操作者界面可提供显示屏(例如，经由终端509)。服务器502还可提供I/O组件(例如，端口、电容式或电阻式触敏输入面板、按键、按钮、灯、LED)，该I/O组件可经由服务器502直接访问或附接到该服务器，或者可经由终端509间接访问或附接到该终端。根据一些实施方案，管理员或操作者可经由终端509访问服务器502以查看信息、做出更改、输入数据和/或执行其他功能。

如本文所述，在一些实施方案中，服务器502可执行如本文所讨论的作为“云”网络的一部分的功能，或者可以其他方式与云内的其他硬件或软件组件通信以发送、检索或以其他方式分析本文所述的数据或信息，包括app 508和app 508r之间的通信。

一般来讲，计算机程序或基于计算机的产品、应用程序(app)或代码(例如，本文所述的mmWave映射系统和/或方法或计算指令的应用程序(app))可存储在计算机可用存储介质或其中体现有此类计算机可读程序代码或计算机指令的有形非暂态性计算机可读介质(例如，随机存取存储器(RAM)、光盘、通用串行总线(USB)驱动器等)上，其中计算机可读程序代码或计算机指令可被安装或以其他方式适配成由移动设备(例如，移动设备400)的一个或多个处理器(例如，与相应操作系统结合工作的处理器)执行以促进、实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。就这一点而言，程序代码可以任何期望的程序语言实施，并且可以被实施为机器代码、汇编代码、字节代码、可解释源代码等(例如，经由Golang、Python、C、C++、C#、Objective-C、Java、Scala、ActionScript、JavaScript、HTML、CSS、XML等)。

如图5所示，服务器502经由计算机网络520经由基站511通信地连接到移动设备400。在一些实施方案中，基站511包括蜂窝基站诸如蜂窝塔，从而基于各种移动电话标准(包括NMT、GSM、CDMA、UMMTS、LTE、5G等)中的任一者或多者经由无线通信423与移动设备400进行通信。附加地或另选地，基站511可包括路由器、无线交换机或基于各种无线标准(作为非限制性示例，包括IEEE 802.11a/b/c/g(WIFI)、BLUETOOTH标准等)中的任一者或多者经由无线通信424与移动设备400进行通信的其他此类无线连接点。

移动设备400可包括用于访问服务器502和/或与之通信的移动设备和/或客户端设备。此类移动设备可包括一个或多个移动处理器。在各种实施方案中，移动设备400包括移动电话(例如，蜂窝电话)、平板设备、个人数据助理(PDA)等，作为非限制性示例，包括APPLE iPhone或iPad设备或基于GOOGLE ANDROID的移动电话或平板电脑。移动设备400可(例如，经由无线通信422，诸如WIFI或BLUETOOTH)与mmWave映射设备102直接通信。此外，mmWave映射设备102可经由无线通信424(诸如WIFI或BLUETOOTH)与基站511直接通信。以此方式，移动设备400、mmWave映射设备102和基站511之间的连接提供了mmWave映射设备102、移动设备400和服务器502之间的通信，以用于发送和接收数据诸如mmWave数据和/或点云，用于确定一个或多个生命体征以定义如本文所述的人类心理状态。

参考图1和图5，应当理解，mmWave映射系统100的mmWave传感器、处理器和/或存储器的附加或替代配置和/或位置在本文中被设想为使得根据本文公开的各个方面，这些组件被配置为和/或定位成相对于彼此电耦接和通信地耦接以生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。

例如，在一些实施方案中，mmWave传感器或一个或多个处理器(例如，mmWave映射设备102的处理器)中的至少一者可定位在物理空间内的家具内或附近。在一些示例性方面，mmWave传感器或一个或多个处理器(例如，mmWave映射设备102的处理器)中的至少一者可定位在家具121(例如，婴儿床)内或附近，如针对图1所描绘的。然而，应当理解，本文设想了其他家具或非人对象，其中例如此类家具和/或非人对象可包括桌子、床、床头柜、墙壁和/或天花板(例如，在墙壁和/或天花板内部或部分地在其内部等)等，其中mmWave传感器和/或一个或多个处理器可位于家具和/或非人对象内部(例如，完全或部分地在其内部)或附近。

图2A进一步示出了根据本文公开的各个方面的图1的示例性mmWave映射系统100，该系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态。图2A描绘了示例性mmWave映射系统100的操作的示意图或流程图。

如图2A中所描绘的，mmWave传感器202(例如，如被配置在mmWave映射设备102内或作为该mmWave映射设备的一部分)在物理空间104内发射和接收mmWave波形(例如，波102w)。波102表示电磁波(即，线性调频信号)，例如发射波102wt和/或接收波102wr，如本文针对图1所描述。如针对图2A所描绘的，并且在各个方面，可发射和/或接收波束形式(例如，目标或定向电磁波)和/或广播形式(例如，全向或球面波发射和接收)的电磁波，诸如波102w、发射波102wt和/或接收波102wr中的任一者。在一些方面，波形类型或形状(例如，无论波束和/或全向)可由用户或以其他方式设置或配置用于mmWave映射设备102和/或mmWave映射系统100。在一些实施方案中，多输入和多输出(MIMO)天线可用于发射本文所述的电磁波中的任一者或多者，包括例如波102w、发射波102wt和/或接收波102wr中的任一者。此类MIMO天线可被配置为mmWave映射设备102的一部分和/或在其内部，如图1所示。然而，应当指出的是，也可使用能够发射和接收电磁波(即，线性调频信号)的其他附加或替代天线。

例如，如针对图1所描述的，mmWave传感器202可检测或感测物理空间中的人或其他对象。在图2A的示例中，可通过mmWave传感器202在物理空间104内检测或感测第一人110p1(例如，母亲)和第二人110p2(例如，孩子)。如图2A所示，mmWave映射设备102或其他mmWave映射系统100的处理器可实现所接收波形(例如，102w和/或接收波102wr)的数字信号处理204。数字信号处理204包括执行如本文所述的计算指令，以分析mmWave波形作为原始或复杂波形102wg的数据输入。在各个方面，mmWave传感器202接收人和/或对象的反射电磁波(例如，接收波102wr)以确定在物理空间(例如，物理空间104)中的人和/或对象的范围、速度、方向和/或其他方式的检测或存在。人或其他对象的检测或感测基于由mmWave传感器202接收的原始波形(例如，波102w和/或接收波102wr中的任一者)的处理和分析。例如，由mmWave映射设备102的一个或多个处理器(例如，数字信号处理器)分析的波形的强度或值、或者强度或值随时间的变化可指示在物理空间(例如，物理空间104)内人或其他物体的检测或存在。

在一些方面，可以图形方式表示波形的强度或值、或者强度或值随时间的变化，例如，如复杂波形102wg和/或图2C所示。例如，根据由处理器分析的mmWave波形确定的随时间上升的斜率(例如，指示强度或值的激增)指示检测到人或对象、或者人或对象的一部分。在一些方面，此类检测可触发动作或指示事件。应当理解，波形(即，线性调频信号)可特定于特定的应用。例如，mmWave波形可用于检测或确定物理空间(例如，物理空间104)中人的生命体征。在其他实施方案中，mmWave波形可用于生成或确定点云和/或点云数据。如检测到的此类mmWave波形可以是各种使用情况的触发器，例如，检测房间中的人或对象，或者检测空间中产品的存在或不存在(例如，容器或其他存储位置中尿布的存在或不存在)。

在一些方面，mmWave波形(即，线性调频信号)的数字信号处理204产生输出。例如，数字信号处理204可由mmWave映射设备102或其他mmWave映射系统100的处理器实现，以生成或输出具有对应点云数据的点云206。

通常，如本文所述，点云可包括二维(2D)点云、三维(3D)点云或四维(4D)点云。4D点云包括空间维度和时间值。在各个方面，点云和/或其相应点云数据可由mmWave映射系统100的处理器使用，以测量或确定人在物理空间中的姿势诸如睡眠姿势。点云和相关数据也可用于确定、检测或跟踪物理空间中的人，这可包括例如跟踪房间(例如，物理空间104)中的一个或多个人。

点云可由mmWave映射设备102或其他mmWave映射系统100的处理器基于mmWave波形的数字信号处理204生成。具体地，根据mmWave波形确定的范围、速度、方向可由处理器(例如，数字信号处理器)使用以生成物理空间内的人或对象的点云。点云定义2D(例如，x和y坐标)和/或3D空间(例如，x、y和z坐标)中的一组坐标，并且可进一步定义该2D和/或3D空间内的人或对象的轮廓或其他方式的存在。4D检测增加了在2D和/或3D空间内出现此类检测或轮廓时的时间值。虽然2D和/或3D空间内人或对象的轮廓或存在允许mmWave映射系统100确定检测到人，因为轮廓或存在不能提供足够的信息来允许识别所检测的人，故mmWave映射系统100使所检测到的人的PII保持受到保护，所以这样的轮廓或存在是安全的，但是同时也允许分析和确定在2D、3D和/或4D空间中人或对象的定位和/或其他方式的存在。

参考图2A，点云206被描绘为3D点云。如图所示，轮廓110p1c在点云206内定义如点云空间104c所表示的物理空间104内的人100p1(例如，母亲)的表示。类似地，轮廓110p2c在点云206内定义如点云空间104c所表示的物理空间104内的人100p2(例如，孩子)的表示。仍进一步地，轮廓121c在点云206内定义如点云空间104c所表示的物理空间104内的非人对象(例如，家具121或其部分)的表示。轮廓110p1c、轮廓110p2c和轮廓121c中的每一者由分析mmWave波形(例如，线性调频信号)的处理器(例如，数字信号处理器、微控制器、微处理器等)生成，该mmWave波形由如本文所述的mmWave传感器202发射和接收。此外，如图所示，轮廓110p1c、轮廓110p2c和轮廓121c中的每一者都表示基于非PII的点云，其安全性表示人100p1和人110p2的相应PII。

图2B示出了表示图1的物理空间104并映射到该物理空间的点云250的示例可视化。具体地，图2B表示图2A的点云206的2D表示。在一些方面，点云250是点云206的自上而下的表示，其可进一步模糊在由点云空间104c表示的物理空间104中检测到的人100p1(例如，母亲)和人110p2(例如，孩子)的PII。

在一些方面，呈2D、3D或4D形式的图2A的点云206和/或图2B的点云250可呈现在显示器或GUI上，例如，如本文针对图4所描述的。

如本文所述，mmWave波形也可用于确定或检测人的生命体征。例如，此类生命体征可包括但不限于心率、呼吸率等。可通过对mmWave波形进行分析以检测或确定人的姿势、人的姿势变化和/或人的移动(例如，人的身体部位或部分的微观和/或宏观移动)来测量此类生命体征。

图2C示出了在图1的物理空间内检测到的人的示例性生命体征275(例如，呼吸模式)。生命体征275以图形方式描绘为具有时间测量值279和胸部位移测量值277。时间测量值279可以但不限于以秒、毫秒等单位来记录。胸部位移测量值277可以强度值、振幅、距离测量值(例如，从mmWave传感器202到人或对象的距离)或者如本文所述的其他方式来测量。例如，可实现数字信号处理204以计算针对图2C描绘的胸部位移或其他生命信号，包括例如但不限于呼吸率和/或心率。例如，在一些方面，一组计算指令在由一个或多个处理器(例如，数字信号处理器、微控制器、微处理器等)执行时可使该一个或多个处理器基于人的点云数据或生命体征中的至少一者确定人的胸部位移。在特定方面，该组计算指令在由该一个或多个处理器执行时进一步使该一个或多个处理器基于胸部位移(例如，人的胸部位移的测量值和/或定位的差异)来确定呼吸率或心率。

如图2C的示例所示，记录随时间推移的振幅280，示出了人(例如，人110p1即母亲，或人110p2即孩子)的呼吸模式。以此方式，可由mmWave映射系统100检测和/或记录生命体征(例如，呼吸模式)。

在一些方面，生命体征275可包括图形电子反馈，该图形电子反馈可呈现在显示器或GUI上，例如，如本文针对图4所描述的。

图2A还示出了图形描绘208，其表示人110p1(例如，母亲)和人110p2(例如，孩子)的高级抽象以及他们在如图形物理空间104g所表示的物理空间104中的相关位置。例如，图形描绘208示出了表示人110p1(例如，母亲)的图形110p1g和表示人110p2(例如，孩子)的图形110p2g。图形110p1g和图形110p2g可被呈现或表示为图形物理空间104g中的图标或其他图形，其类似于物理空间104中的真实或自然的人或对象。在另外的方面，人或对象的图形或图标可在图形物理空间104g内被呈现或描绘为具有特定定位、位置、姿势、指示或其他图形，以表示或对应于物理空间104中真实的特定定位、位置、姿势、指示。

例如，如图2A所示，图形110p1g被呈现为成人大小的人的图标，该人具有面向图形物理空间104g内的给定方向(例如，向东)侧卧睡觉的姿势，该姿势反映或对应于如由mmWave传感器202或其他mmWave映射系统100检测到的人110p1(例如，母亲)在物理空间104内的真实位置和/或姿势。

作为另一示例，如图2A所示，图形110p2g被呈现为孩子大小的人的图标，该人具有面向图形物理空间104g内的给定方向(向上)仰卧睡觉的姿势，该姿势反映或对应于如由mmWave传感器202或其他mmWave映射系统100检测到的人110p2(例如，孩子)在物理空间104内的真实位置和/或姿势。

通常，图形描绘208表示在物理空间104内的人(例如，人110p1和110p2)的高级图形图示，其准确地描绘姿势和位置，同时安全地提供这样的信息且加以保护而不会损害人的PII，这是因为图形或图标是信息的高级表示。

在一些方面，包括表示人类生理状态的电子反馈的图形描绘208可呈现在显示器或GUI上，例如，如本文针对图4所描述的。

图3示出了根据本文公开的各个方面的用于生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态的示例性mmWave映射方法300。在一些方面，mmWave映射方法300可用一个或多个人工智能(AI)模型来实现，包括例如如下所述的睡眠分类模型。例如，可针对mmWave波形(例如，表示生命体征或点云数据)以及其他数据(例如，房间中人的身体质量指数(BMI)、年龄和/或高度等，如由用户经由图形用户界面输入的，诸如针对图3(框352)和/或图4所述的)来训练一个或多个AI模型，以确定或检测物理空间内的人或对象和/或其属性(例如，房间中人的身体质量指数(BMI))，和/或生成生命体征或指示本文所述的事件或分类(例如，睡眠质量)。在其他方面，mmWave映射方法300可经由不使用AI模型的数字信号处理来实现。

mmWave映射方法300可被实现为包括一组计算指令的应用程序(app)的一部分，该组计算指令被配置用于由一个或多个处理器(例如，mmWave映射设备102或其他mmWave映射系统100的一个或多个处理器)执行。该一个或多个处理器在一些方面可为移动设备(诸如APPLE IPHONE或GOOGLE ANDROID设备)(例如，图4的移动设备400)的一个或多个处理器，其中app是以天然编程语言(例如，Objective-C、SWIFT或JAVA)实现计算指令的移动app。在其他方面，该一个或多个处理器可以是mmWave映射设备102和/或通信地耦接到mmWave映射设备102的服务器和/或如本文针对图4所描述的移动设备的一个或多个处理器。

在框302处，mmWave波形可由处理器(例如，数字信号处理器)接收并且在mmWave映射方法300的各个框(例如，框302-352)处处理。

在框304处，mmWave映射方法300可包括确定是否将处理mmWave波形(即，线性调频信号)来确定生命体征和/或点云。以此方式，mmWave映射方法300可针对生命体征测量和点云测量中的每一者使用或定义不同的线性调频信号类别。

在框306处，mmWave映射方法300包括在一个或多个处理器上或由该一个或多个处理器实现或执行该组计算指令，以使该一个或多个处理器在框308处基于mmWave传感器的一个或多个mmWave波形生成映射物理空间(例如，物理空间104)的至少一部分的点云(例如，点云206和/或250)。点云(例如，点云206和/或250)包括定义在物理空间(例如，物理空间104)内检测到的人或对象(例如，人110p1、人110p2和/或另外的121)的点云数据。也可检测其他非人物体，诸如风扇等。更一般地，点云数据可包括或用于检测或确定包括人类或无生命对象的独特对象，以跟踪物理空间(例如，物理空间104)内的运动，识别行为(例如，姿势或生命体征活动，诸如呼吸)、跟踪产品消耗(例如，尿布使用)和/或识别物理空间(例如，物理空间104)内的事件(诸如人跌落等)。

mmWave映射方法300包括计算指令，这些计算指令在由该一个或多个处理器执行时进一步使该一个或多个处理器确定人的姿势的类型、人的体积大小(例如，人的高度和/或宽度)、人的区域或人的当前姿势的表示中的至少一者。例如，在框306和308处，mmWave映射方法300可包括基于点云数据确定人在物理空间的该部分内的姿势。如针对图2A所描述的，可根据2D、3D和/或4D点云测量检测或确定物理空间(例如，物理空间104)内人的姿势、人的姿势变化和/或人的微观和/或宏观运动。

在一些方面，在框310处，mmWave映射方法300包括AI模型或算法的实现，包括机器学习和预处理以确定或检测物理空间104内的人或对象。例如，框310包括点云分割310的AI预处理步骤，以确定如关于框306和308所确定的一组点云数据内的形状。此类AI预处理还可包括，在框310v处，体素3D到2D图像的转换(在涉及2D点云数据的方面，例如如针对图2A和图2B所描述的)，其中3D点云(例如，点云206)中的3D点被转换成2D点云(例如，点云250)中的2D点。在框310i处，点云空间(例如，图2A或图2B的点云空间104c)内的2D图像可被分割并识别为轮廓图像或图形(例如，点云空间104c中的轮廓110p1c、轮廓110p2c和轮廓121c中的任一者或多者)。此外，在框310e处，如针对图像分割数据训练的经训练的机器学习模型(例如，点云空间104c中的轮廓110p1c、轮廓110p2c和/或轮廓121c)和/或点云分割数据可用于确定、预测和/或分类用户在物理空间(例如，由点云空间104c表示的物理空间104)内的姿势、姿态和/或位置。例如，模型的输出可包括定义的轮廓图像或图形(例如，点云空间104c中的轮廓110p1c、轮廓110p2c和轮廓121c中的任一者或多者)，其可被提供或输出到框340以用于如本文所述的进一步分析和实现。

在框320-330处，mmWave映射方法300包括基于mmWave传感器的一个或多个mmWave波形来确定人(例如，人110p1或人110p2)的一个或多个生命体征。例如，框320、324和328中的每一者包括用于确定胸部位移(在框322处)、呼吸波形(框326)和相关心率(框330)的计算指令。可例如如针对图2A和2C或本文的其他部分所述确定此类处理和确定。在一些实施方案中，例如，可基于用户的BMI信息(例如，来自用户提供的数据，例如，如针对图3、框352和/或图4所描述的)连同对应于用户的当前胸部位移(框322)和呼吸率、振幅和/或强度的mmWave数据一起确定或外推出心率(框330)，如针对图2A和2C或本文的其他部分所述。然而，应当理解，在各种实施方案中，单独的mmWave数据(无用户提供的数据)可用于确定心率和/或呼吸率。

在框340处，mmWave映射方法300包括确定由人的该点云数据和该一个或多个生命体征所定义的人的人类心理状态。在一些方面，附加传感器和相关数据可用于确定人(例如，人110p1)的人类心理状态(例如，睡眠阶段分类)。例如，在一些方面，第二传感器可通信地耦接到一个或多个处理器(例如，mmWave映射设备102的处理器)，这些处理器被配置为分析由第二传感器生成的第二数据集。第二数据集可包括物理空间104的环境数据，该环境数据包括温度数据(例如，经由温度计传感器的框342)、声音(例如，经由麦克风)、光(例如，经由光电单元或相机)、湿度(例如，经由相对湿度传感器的框344)、运动(例如，经由运动传感器)和/或视频(例如，经由摄像机)。在此类方面，mmWave映射系统100还可包括：环境传感器，该环境传感器被配置为生成温度数据、声音数据或光数据中的一者或多者；运动传感器，该运动传感器被配置为生成运动数据；相机，该相机被配置为生成数字图像的像素数据；或视频传感器，该视频传感器被配置为生成包括一个或多个图像帧的像素数据。仍进一步地，在此类方面，计算指令在由一个或多个处理器(例如，mmWave映射系统100的一个或多个处理器)执行时进一步使得该一个或多个处理器进一步基于第二数据(例如，环境数据)确定在物理空间(例如，物理空间104)内检测到的人的人类心理。

在一些方面，生命体征和/或点云数据的生成、确定和分析可依赖于数字信号处理而无需机器学习，其中测量各种信号和信号强度，并且将相关值与阈值水平进行比较以确定事件、生命体征等的检测或测量。此类实施方案可使用或实现计算指令，包括为mmWave传感器(例如，mmWave传感器202)提供的应用程序编程接口(API)，其可包括例如API或开源库或为由TEXAS INSTRUMENTS提供的mmWave传感器提供的API，尽管也可使用与其他mmWave传感器一起提供的其他此类API。

在其他方面，人工智能(AI)，包括经训练的AI模型，可用于确定生命体征，生成点云或相关信息，或者生成或确定睡眠阶段分类。可使用监督或无监督机器学习程序或算法训练AI模型，包括例如框340的睡眠分类模型。机器学习程序或算法可采用神经网络，该神经网络可以是卷积神经网络、深度学习神经网络、或组合学习模块或程序，其学习在特定感兴趣区域中的两个或更多个特征或特征数据集(例如，mmWave波形信号或包括根据波形信号可确定的生命体征数据和/或点云数据的数据)。机器学习程序或算法还可包括自然语言处理、语义分析、自动推理、回归分析、支持向量机(SVM)分析、决策树分析、随机森林分析、K最近邻分析、朴素初贝叶斯分析、聚类、增强学习和/或其他机器学习算法和/或技术。在一些方面，基于人工智能和/或机器学习的算法可被包括为在服务器502上执行的库或分组。例如，库可包括基于GOOGLE TENSORFLOW的库、PYTORCH库和/或SCIKIT-LEARN Python库。

机器学习可涉及识别和辨认现有数据中的模式(例如，mmWave波形信号或包括可根据波形信号确定并从多个类似处境的用户收集的生命体征数据和/或点云数据的数据)，以便于对后续数据进行预测、分类和/或识别(例如，对特定人诸如人110p1或人110p2使用AI模型，以便确定或生成用于检测睡眠分类、产品分类或与之相关联的分类或预测，确定触发、事件，或如本文以其他方式描述的)。

可基于示例性数据输入(例如，包括原始mmWave波形的“训练数据”和/或过程mmWave波形，包括如本文所述的生命体征数据和点云数据)创建和训练机器学习模型，诸如本文针对一些方面所述的AI模型(例如，框340的AI模型)，这些数据输入可被称为“特征”和“标签”，以便对新输入(诸如测试水平或生产水平数据或输入)进行有效且可靠的预测。在监督机器学习中，在服务器、移动设备或另外的处理器上操作的机器学习程序可被设置有示例性输入(例如，“特征”)及其相关联的或观察到的输出(例如，“标签”)，以便例如通过跨各种特征类别确定权重或其他度量和/或将权重或其他度量分配给模型来使机器学习程序或算法确定或发现将此类输入(例如，“特征”)映射到输出(例如，“标签”)的规则、关系、模式或另外的机器学习“模型”。然后，此类规则、关系或另外的模型可被提供作为后续输入以便使在服务器(例如，云平台的服务器)、移动设备或另外的处理器(例如，mmWave映射设备102的处理器)上执行的模型基于所发现的规则、关系或模型来预测预期输出。

在无监督机器学习中，可能要求服务器、移动设备或另外的处理器在未标记的示例性输入中找到其自身的结构，其中例如多个训练迭代由服务器、移动设备或另外的处理器执行以训练多个模型生成，直到生成了令人满意的模型，例如在被给予测试水平或生产水平数据或输入时提供足够预测准确度的模型。

监督学习和/或无监督机器学习还可包括重新训练模型、重新学习模型、或通过新的或不同的信息以其他方式更新模型，该信息可包括随时间推移接收、摄入、生成或以其他方式使用的信息。本文的公开内容可使用此类监督或无监督机器学习技术中的一者或两者。

例如，在框340处，在各个方面，利用基于mmWave波形生成的训练点云数据中的每个训练点云数据来训练人工智能(AI)模型(例如，如针对框306、308和/或310、和/或本文其他地方所描述的)和基于mmWave波形确定的生命体征数据(例如，如针对框320-330和/或本文其他地方所描述的)。在一些方面，AI模型(例如，睡眠分类模型)进一步利用如由第二传感器(例如，如针对框342和344所描述的传感器)生成的第二训练数据集(例如，环境数据集)来训练，其中AI模型被配置为接收由第二传感器生成的新的第二数据集(例如，环境信号或数据，诸如房间湿度和室温作为输入)作为输入并且进一步被配置为进一步基于新的第二数据集输出睡眠阶段分类。

AI模型被配置为接收人(例如，人110p2即孩子)的点云数据和人(例如，人110p2)的一个或多个生命体征作为输入。如针对框340所示，AI模型被进一步配置为输出与由人的点云数据和人的一个或多个生命体征以及在一些方面所述的环境数据所定义的人类心理状态对应的睡眠阶段分类。

在一些方面，利用定义相应用户的睡眠质量的多个用户反馈响应进一步训练AI模型。在此类方面，AI模型被配置为接收人(例如，人110p2、母亲)的一个或多个反馈响应作为输入并且进一步基于人的一个或多个反馈响应输出睡眠质量分类。以此方式，人(例如，人110p2)可提供睡眠质量的用户反馈作为输入，以影响睡眠质量分类的生成或修改。

在框350处，AI模型(例如，睡眠分类模型)被进一步配置为输出睡眠质量分类。睡眠质量分类基于在第一时间确定的睡眠阶段分类和由AI模型在第二时间确定的第二睡眠阶段分类。以此方式，AI模型(例如，在框310和340处)确定随时间推移的睡眠阶段，以预测或分类睡眠质量或如本文所述的其他睡眠度量。

在一些方面，一组计算指令在由一个或多个处理器(例如，mmWave映射设备102)执行时可使该一个或多个处理器基于在第一时间确定的睡眠阶段分类和在第二时间确定的第二睡眠阶段分类来生成睡眠偏差值。可通过比较一段时间(几天、几周)内的睡眠质量来确定睡眠偏差值，以提供指定人的睡眠质量偏差。

例如，进一步地在框350处，睡眠阶段分类和/或睡眠质量分类或AI模型的其他输出，可包括可用作输出或基础的分类或信息，以提供关于人的睡眠质量、生命体征和/或姿势或如本文所述的其他指标的电子反馈。在一些方面，例如，输出可包括基于睡眠指标、生命体征、姿势的睡眠质量(例如，电子反馈可向用户指示该用户(例如，人110p2)具有不安宁的睡眠质量(例如，20％最佳睡眠)或良好的睡眠质量(例如，90％最佳睡眠)。

在框352处，用户可提供反馈或其他数据以与mmWave映射系统100和/或mmWave映射方法300交互。此类反馈或数据可包括关于用户感知的睡眠质量的用户输入。附加地或另选地，此类反馈或数据可包括诸如房间中人的身体质量指数(BMI)、年龄和/或高度等数据。此类反馈或数据可由用户经由显示器或GUI提供，例如，如本文针对图4所描述的。此类反馈或数据可用于当前迭代或用于mmWave映射方法300的进一步或未来迭代，或如本文针对mmWave映射系统100和/或mmWave映射方法300所述的其他迭代，其中此类数据与mmWave数据和/或点云数据一起使用以增强或至少增加输出，诸如睡眠阶段分类或如本文所述的其他输出。

在一些方面，一组计算指令在由一个或多个处理器(例如，mmWave映射设备102、移动设备400和/或mmWave映射系统100的一个或多个处理器)执行时可进一步使该一个或多个处理器基于睡眠质量分类生成用户特定的睡眠推荐。例如，用户特定的睡眠推荐可包括告知人(例如，人110p2、母亲)仰卧睡觉以便体验更安宁的睡眠。更一般地，mmWave映射方法300可使用姿势信息和睡眠质量预测来获得良好睡眠的学习，并且推荐用于睡眠的最佳姿势作为个性化反馈给用户(例如，人110p2)以实现最佳睡眠质量。

在一些方面，一组计算指令在由一个或多个处理器(例如，mmWave映射设备102、移动设备400和/或mmWave映射系统100的一个或多个处理器)执行时可使该一个或多个处理器基于睡眠质量分类来更新通信地耦接到该一个或多个处理器的设备(例如，mmWave映射设备102)的状态。例如，更新设备(例如，mmWave映射设备102)的状态可包括启动或停用该设备、改变该设备的颜色或光(例如，通过更新该设备的LED)，和/或如果检测到低睡眠质量则播放音频(例如，放松的音乐)以使用户(例如，人110p2)平静。

在其他方面，mmWave映射方法300可包括测量人随时间推移的心理状态以提供关于状态变化的反馈。例如，在一些方面，一组计算指令在由一个或多个处理器(例如，mmWave映射设备102、移动设备400和/或mmWave映射系统100的一个或多个处理器)执行时进一步使该一个或多个处理器生成映射物理空间(例如，物理空间104)的至少一部分的第二点云(例如，点云206的第二版本或迭代)。第二点云可包括定义物理空间内检测到的人或对象(例如，人110p1、人110p2、家具121等)的第二点云数据，其中基于mmWave传感器(例如，mmWave传感器202)的第二一个或多个mmWave波形在第二时间段生成第二点云。计算指令在由一个或多个处理器执行时可进一步使该一个或多个处理器基于第二点云数据确定人在物理空间的该部分内的第二姿势。计算指令在由一个或多个处理器执行时可进一步使该一个或多个处理器基于mmWave传感器的第二一个或多个mmWave波形来确定人的第二一个或多个生命体征，并且进一步确定如由人的第二点云数据和第二一个或多个生命体征进一步定义的人类心理状态。计算指令在由一个或多个处理器执行时可进一步使该一个或多个处理器提供第二电子反馈，该第二电子反馈表示由人的在第二时间段的第二点云数据和第二一个或多个生命体征所定义的人类心理状态。在一些方面，计算指令在由一个或多个处理器执行时进一步使该一个或多个处理器生成状态测量值，该状态测量值测量第一时间段与第二时间段之间的人类心理状态的质量或数量之间的差异。

在各个方面，mmWave映射方法300包括提供电子反馈，例如，如针对图4所描述的，该电子反馈表示由人的点云数据和一个或多个生命体征所定义的人类心理状态。在一些方面，电子反馈包括视觉反馈。附加地或另选地，电子反馈可包括音频反馈。

图4示出了根据本文公开的各个方面的图1和图2A的mmWave映射系统和图3的mmWave映射方法的示例性电子反馈，其中该电子反馈包括如图形用户界面(GUI)上显示的视觉反馈。在图4的示例中，GUI 402被呈现或显示在移动设备(例如，移动设备400)的屏幕上。移动设备400可实现或执行操作系统(OS)或移动平台，诸如Apple的iOS和/或Google的Android操作系统。移动设备400可包括用于存储、实现或执行计算指令的一个或多个处理器和/或一个或多个存储器，例如包括一个或多个移动app。例如，一组移动app指令可本地存储在用户移动设备(例如，移动设备400)的存储器上。在各个方面，移动设备400的移动app的移动app指令可包括以用于底层移动设备的操作系统(OS)的编程语言编程的计算app代码或app，该编程语言可包括用于基于APPLE iOS的设备的Objective-C和/或SWIFT、用于GOOGLE ANDROID设备的Java等。

移动设备400的移动app可包括mmWave映射系统和方法的应用程序(app)的一部分，如本文针对图1、图2A、图2B、图2C和图3所描述的。具体地，在各个方面，移动设备400经由电子通信422(例如，无线地经由BLUETOOTH或WIFI(802.11)或有线地经由USB或其他方式)通信地耦接到mmWave映射设备102。附加地或另选地，在一些实施方案中，移动设备400经由计算机网络520连接到服务器502，如本文针对图5所描述的。在各个方面，移动app包括可在移动设备400的一个或多个处理器上执行的计算指令，用于接收数据和信息，包括生命体征数据、点云数据和/或如本文针对图1、图2A、图2B、图2C和/或图3所描述的其他数据和/或输出，并且可使数据或其表示呈现在GUI 402上。移动设备400的移动app可从应用商店(例如，APPLE APP STORE和/或GOOGLE PLAY)下载并安装在移动设备400上。

附加地或另选地，GUI 402可经由web接口来实现或呈现，诸如经由web浏览器应用程序，例如Safari和/或Google Chrome app，或其他此类web浏览器等。

在一些方面，如本文针对图1、图2A、图2B、图2C和/或图3中任一项所述的计算指令可完全或至少部分地在设备400的移动app上实现或由其实现。附加地或另选地，如本文针对图1、图2A、图2B、图2C和/或图3中的任一者所述的计算指令可完全或至少部分地在mmWave映射设备102上实现或由其实现，并且/或者更一般地，在mmWave映射系统100(包括服务器，诸如本文所述的云平台(例如，MICROSOFT AZURE平台)的一个或多个服务器)上实现或由其实现。应当理解，如本文所述，计算指令可位于移动设备400、mmWave映射设备102和/或更一般地mmWave映射系统100(诸如云平台的服务器)的移动app中的任一者或多者处并在其上实现和/或以其他方式作为其一部分，其中设想了跨这些系统和设备的计算指令的各种具体实施。计算指令可被配置为跨计算机和/或无线网络通信，以便传输数据，包括生命体征、点云数据、mmWave信号数据或如本文所述的其他数据，从而实现流程图、算法、AI模型的使用或训练、或如本文所述的其他方式中的任一者。例如，在一些方面，移动设备400经由基站和计算机网络通信地耦接。基站可包括蜂窝基站诸如蜂窝塔，从而基于各种移动电话标准(包括NMT、GSM、CDMA、UMMTS、LTE、5G等)中的任一者或多者经由无线通信与移动设备400进行通信。附加地或另选地，基站可包括路由器、无线交换机或基于各种无线标准(作为非限制性示例，包括IEEE 802.11a/b/c/g(WIFI)、BLUETOOTH标准等)中的任一者或多者与移动设备400进行通信的其他此类无线连接点。

如图4的示例所示，移动app被配置为在显示屏401上显示图1和图2A的mmWave映射系统和图3的mmWave映射方法的示例性电子反馈，其中该电子反馈包括如GUI 402上显示的视觉反馈。如图4所示，图形物理空间104g呈现在GUI 402上，其描绘了分别对应于物理空间104内的人110p1和人110p2的图形110p1g和图形110p2g中的每一者。

此外，如图4所示，经由文本区域406提供由图形物理空间104g表示的人的人类心理状态404。人类心理状态可包括以下中的一者或多者：睡眠状态、安宁状态、不安状态、压力状态、悲伤状态或快乐状态。更一般地，人类心理状态由mmWave映射系统100输出，该mmWave映射系统表达mmWave映射系统100测量和反馈不同睡眠状态和/或阶段的能力。人类心理状态可以是睡眠状态(例如，定义各种状态、压力、悲伤、快乐)。

在另外的方面，该组计算指令在由一个或多个处理器(例如，移动设备400、mmWave映射设备102或其他mmWave映射系统100的处理器)执行时进一步使该一个或多个处理器生成用户特定分数(例如，人的睡眠分数或睡眠质量分数)，该用户特定分数定义由人的点云数据或一个或多个生命体征中的一者或多者所定义的人类心理状态的质量或数量。在一些方面，在GUI(例如，GUI 402)上呈现用户特定分数，其中电子反馈包括如GUI 400显示的视觉反馈。

例如，在图4中，mmWave映射系统100已检测到，并且如文本区域406中所示，基于如本文所述的mmWave波形、生命体征和/或点云数据，人100p1(例如，母亲)当前处于不安状态(用户特定分数为55％不安)并且还处于压力状态(用户特定分数为35％压力)。

作为另一示例，mmWave映射系统100已检测到，并且如文本区域406中所示，基于如本文所述的mmWave波形、生命体征和/或点云数据，人100p2(例如，孩子)当前处于安宁状态(用户特定分数为90％不安)并且还处于睡眠状态(用户特定分数为95％睡眠)。

如本文所示，在一些方面，电子反馈可包括被配置用于在GUI(例如，GUI 402)上显示的视觉反馈。附加地或另选地，电子反馈可包括音频反馈。音频反馈可被配置用于音频设备(例如，ALEXA或GOOGLE设备或LUMI设备)上的音频输出，该音频设备包括一个或多个扬声器。

在一些方面，该组计算指令在由一个或多个处理器(例如，移动设备400、mmWave映射设备102或其他mmWave映射系统100的处理器)执行时进一步使该一个或多个处理器接收指定对电子反馈的控制的输入，其中该输入引起该电子反馈的开始或停止、该电子反馈的频率或者提供或显示该电子反馈的模式中的一者或多者。例如，在各个方面，可控制mmWave映射系统100以开始或停止响应输出、增加或减少响应输出、指定响应频率和/或指定响应模式。在一些方面，更新按钮410可使mmWave映射系统100基于如本文所述的附加mmWave处理和检测来生成响应或更新或图形物理空间104g和/或文本区域。在其他方面，此类更新是自动的，并且不需要与按钮的交互。

本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。

除非明确排除或以其它方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。

虽然已经举例说明和描述了本发明的具体方面，但是对于本领域的技术人员来说显而易见的是，在不背离本发明的实质和范围的情况下可以做出各种其它改变和变型。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。

Claims (18)

1.一种毫米波(mmWave)映射系统，所述系统被配置为生成一个或多个点云并确定一个或多个生命体征以定义人类心理状态，所述mmWave映射系统包括：mmWave传感器，所述mmWave传感器被配置为在物理空间内发射和接收一个或多个mmWave波形；一个或多个处理器，所述一个或多个处理器可交换地耦接到所述mmWave传感器，其中所述一个或多个处理器中的数字信号处理器被配置为分析所述一个或多个mmWave波形；和应用程序(app)，所述应用程序包括一组计算指令，所述一组计算指令被配置用于由所述一个或多个处理器执行，并且所述一组计算指令在由所述一个或多个处理器执行时使所述一个或多个处理器：基于所述mmWave传感器的一个或多个mmWave波形生成映射所述物理空间的至少一部分的点云，其中所述点云包括定义在所述物理空间内检测到的人或对象的点云数据；基于所述点云数据确定所述人在所述物理空间的所述部分内的姿势；基于所述mmWave传感器的所述一个或多个mmWave波形确定所述人的一个或多个生命体征；确定由所述人的所述点云数据和所述一个或多个生命体征所定义的所述人的人类心理状态；以及提供电子反馈，所述电子反馈表示由所述人的所述点云数据和所述一个或多个生命体征所定义的所述人类心理状态。

2.根据权利要求1所述的mmWave映射系统，其中所述点云包括二维(2D)点云、三维(3D)点云或四维(4D)点云，其中所述4D点云包括空间维度和时间值。

3.根据权利要求1至2中任一项所述的mmWave映射系统，其中所述人类心理状态包括以下中的一者或多者：睡眠状态、安宁状态、不安状态、压力状态、悲伤状态或快乐状态。

4.根据权利要求1至3中任一项所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：生成用户特定分数，所述用户特定分数定义由以下中的一者或多者所定义的所述人类心理状态的质量或数量：所述人的所述点云数据或所述一个或多个生命体征。

5.根据权利要求4所述的mmWave映射系统，其中在图形用户界面(GUI)上呈现所述用户特定分数，并且其中所述电子反馈包括如所述GUI显示的视觉反馈。

6.根据权利要求1至4中任一项所述的mmWave映射系统，其中所述电子反馈包括视觉反馈，并且其中所述视觉反馈被配置用于在图形用户界面(GUI)上显示。

7.根据权利要求1至6中任一项所述的mmWave映射系统，其中所述电子反馈包括音频反馈，并且其中所述音频反馈被配置用于音频设备上的音频输出，所述音频设备包括一个或多个扬声器。

8.根据权利要求1至7中任一项所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：生成映射所述物理空间的至少一部分的第二点云，其中所述第二点云包括定义在所述物理空间内检测到的所述人或所述对象的第二点云数据，并且其中基于所述mmWave传感器的第二一个或多个mmWave波形在第二时间段生成所述第二点云；基于所述第二点云数据确定所述人在所述物理空间的所述部分内的第二姿势；基于所述mmWave传感器的所述第二一个或多个mmWave波形确定所述人的第二一个或多个生命体征；确定由所述人的所述第二点云数据和所述第二一个或多个生命体征所进一步定义的所述人类心理状态；以及提供第二电子反馈，所述第二电子反馈表示由所述人的在所述第二时间段的所述第二点云数据和所述第二一个或多个生命体征所定义的所述人类心理状态。

9.根据权利要求8所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：生成状态测量值，所述状态测量值测量在第一时间段与所述第二时间段之间的所述人类心理状态的质量或数量之间的差异。

10.根据权利要求1至9中任一项所述的mmWave映射系统，所述系统还包括通信地耦接到所述一个或多个处理器的第二传感器，其中所述一个或多个处理器被配置为分析由所述第二传感器生成的第二数据集，并且其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：进一步基于所述第二数据集确定在所述物理空间内检测到的所述人的所述人类心理。

11.根据权利要求10所述的mmWave映射系统，其中所述第二传感器包括以下中的一者或多者：环境传感器，所述环境传感器被配置为生成温度数据、声音数据或光数据中的一者或多者；运动传感器，所述运动传感器被配置为生成运动数据；相机，所述相机被配置为生成数字图像的像素数据；或视频传感器，所述视频传感器被配置为生成包括一个或多个图像帧的像素数据。

12.根据权利要求1至11中任一项所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：基于所述人的所述生命体征确定所述人的胸部位移。

13.根据权利要求12所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：基于所述胸部位移确定呼吸率或心率。

14.根据权利要求1至13中任一项所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：确定以下中的至少一者：所述人的所述姿势的类型、所述人的体积大小、所述人的区域或所述人的当前姿势的表示。

15.根据权利要求1至14中任一项所述的mmWave映射系统，所述系统还包括人工智能(AI)模型，其中利用基于mmWave波形生成的训练点云数据和基于mmWave波形确定的生命体征数据中的每一者来训练所述AI模型，并且其中所述AI模型被配置为接收所述人的所述点云数据和所述人的所述一个或多个生命体征作为输入，并且被进一步配置为输出与由所述人的所述点云数据和所述人的所述一个或多个生命体征所定义的所述人类心理状态对应的睡眠阶段分类。

16.根据权利要求1至15中任一项所述的mmWave映射系统，其中所述一组计算指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：接收指定对所述电子反馈的控制的输入，其中所述输入引起以下中的一者或多者：所述电子反馈的开始或停止、所述电子反馈的频率或者提供或显示所述电子反馈的模式。

17.根据权利要求1至16中任一项所述的mmWave映射系统，其中在所述物理空间内检测到的所述对象是非人对象。

18.根据权利要求1至17中任一项所述的mmWave映射系统，其中所述mmWave传感器或所述一个或多个处理器中的至少一者定位在所述物理空间内的家具内或附近，并且优选地所述家具是婴儿床。

Images