CN116400313A - 基于毫米波雷达多域数据融合的行为检测方法及装置 - Google Patents

Abstract

本申请的实施例提供了一种基于毫米波雷达多域数据融合的行为检测方法及装置。该方法包括：根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离‑速度谱；根据距离‑速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号，并确定待检测空间对应的点云数据；根据微多普勒信号若确定动作发生，则获取与动作相对应的待检测数据，并确定其对应的微多普勒特征和点云特征；将微多普勒特征和点云特征输入至预先训练完成的帧特征融合网络，以使帧特征融合网络输出对应的动作分类结果。本申请技术方案可以降低行为检测的误报率，同时融合检测网络可提高行为识别准确率保证系统检测效果。

Description

基于毫米波雷达多域数据融合的行为检测方法及装置

技术领域

本申请涉及毫米波雷达技术领域，具体而言，涉及一种基于毫米波雷达多域数据融合的行为检测方法及装置。

背景技术

当前我国人口老龄化趋势逐渐加剧，因此越来越多的老人存在照护的需求。常采用的行为检测技术有基于视觉与基于佩戴式传感器的行为监护系统，但以上两个主流技术在实际部署的过程中需要考虑室内居家监护的特殊应用背景。例如，为保护隐私，采用视觉进行行为检测的方案无法部署在诸如卧室、卫生间等私密场所；采用佩戴式设备在某些场景下不便携带与设备需要频繁充电的问题。而毫米波雷达在这类隐私敏感场景上有着特殊的优势，并且得益于毫米波的穿透性，可以做到在遮蔽情况下正常识别，但是基于毫米波雷达常出现系统误识别的问题。因此，如何降低行为检测的误报率，保证其检测效果成为了亟待解决的技术问题。

发明内容

本申请的实施例提供了一种基于毫米波雷达多域数据融合的行为检测方法、装置，进而至少在一定程度上可以降低行为检测的误报率，保证其检测效果。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种基于毫米波雷达多域数据融合的行为检测方法，该方法包括：

根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据帧与所述微多普勒信号在时间上相对应；

根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

根据本申请实施例的一个方面，提供了一种基于毫米波雷达多域数据融合的行为检测装置，该装置包括：

第一确定模块，用于根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

第二确定模块，用于根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

第三确定模块，用于基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；

获取模块，用于根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

提取模块，用于分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

处理模块，用于将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于毫米波雷达多域数据融合的行为检测方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于毫米波雷达多域数据融合的行为检测方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的基于毫米波雷达多域数据融合的行为检测方法。

在本申请的一些实施例所提供的技术方案中，通过根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱，并根据该距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号，基于多根天线对应的距离-速度谱，确定待检测空间对应的点云数据，该点云数据与微多普勒信号在时间上相对应，再根据该微多普勒信号确定是否有动作发生，若确定动作发生，则获取与该动作相对应的待检测数据，该待检测数据包括若干帧微多普勒信号及其对应的点云数据，分别对待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，以确定其对应的微多普勒特征和点云特征，再将微多普勒特征和点云特征输入至预先训练完成的帧特征融合网络，使其输出对应的动作分类结果。由此，通过提取待检测空间中人体的运动速度特征与空间位置特征，将两种特征相结合从而输出对应的行为检测结果，降低了行为检测的误报率，保证了其检测效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测方法的流程示意图；

图2示出了根据本申请的一个实施例的生成微多普勒信号的流程示意图；

图3示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测方法中动作检测的流程示意图；

图4示出了根据本申请的一个实施例的时间点云特征提取网络的架构示意图；

图5示出了根据本申请的一个实施例的帧特征融合网络的架构示意图；

图6示出了可以应用本申请实施例的技术方案的应用场景示意图；

图7示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测装置的框图；

图8示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测方法的流程示意图。参照图1所示，该方法至少包括步骤S110至步骤S160，详细介绍如下：

在步骤S110中，根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱。

在该实施例中，基于对老年人的照护需求，毫米波雷达可以实时对待检测空间(例如卧室、客厅、洗手间中的一个或多个)发送电磁波以感知周围环境，雷达可以接收对应的回波信号。

在一示例中，毫米波雷达传感器是多天线阵列的，发射电磁波长度1-10mm的毫米波雷达传感器。并能通过计算获取外界环境信息的传感器。包括专用毫米波雷达传感器，或是工作在毫米波长度范围内的通信设备如毫米波无线网发射器，等等。

如图2所示，当接收到对应的回波信号后，可以进而确定其对应的距离-速度谱。具体地，可以先将回波信号送入混频器中与发射信号进行混频以得到中频信号，再将中频信号送入ADC中进行采样。由此，针对采样信号，进行距离维FFT，得到距离-强度谱。并且，在室内环境下，静态物体反射的电磁波严重干扰人体的监测，所以，可以对信号进行静态除杂，以消除静态墙面信号。再执行速度维FFT，得到距离-速度谱。

在步骤S120中，根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号。

在该实施例中，如图2所示，将各距离上的每一个相同速度格点相加，也就是rangeBins的值相加即可得到单帧的微多普勒信号，前后帧信号连接在一起即可得到如图2中最后所示的包含动作速度与时间信息的矩阵。

在步骤S130中，基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应。

在一示例中，可以基于多根天线对应的距离-速度谱进行FFT算法，确定待检测空间对应的点云数据，应该理解的，该点云数据与微多普勒信号在时间上存在对应关系，即根据时间顺序，一帧微多普勒信号对应一帧的点云数据。

在另一示例中，也可以基于多根天线对应的距离-强度谱，对其执行MUSIC估计算法获取角度信息，从而确定对应的点云数据，该方法具备超分辨的特性，但计算量较大。

需要说明的，本领域技术人员可以根据实际实现需要确定对应的点云数据确定方法，对此不作特殊限定。

在步骤S140中，根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据。

在该实施例中，由于微多普勒信号的特性，可以基于获取到的微多普勒信号确定是否有动作发生，若确定有动作发生，则可以获取与所发生的动作相对应的待检测数据，该待检测数据包括若干帧微多普勒信号及其对应的点云数据。从而可以在后续对待检测数据进行精确识别，保证后续识别的准确性。

在步骤S150中，分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征。

在该实施例中，分别对待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，从而得到对应的微多普勒特征和点云特征。由此，可以获取待检测空间中人体的运动速度特征与空间位置特征。

在步骤S160中，将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

在该实施例中，本领域技术人员可以预先构建并训练帧特征融合网络，在实际使用过程中，可以将所提取到的微多普勒特征和对应的点云特征输入至该帧特征融合网络中，以使该帧特征融合网络能够输出对应的动作分类结果，例如行走、跌倒、坐下、跳跃、站起、跑步等等。

由此，在图1所示的实施例中，通过根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱，并根据该距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号，基于多根天线对应的距离-速度谱，确定待检测空间对应的点云数据，该点云数据与微多普勒信号在时间上相对应，再根据该微多普勒信号确定是否有动作发生，若确定动作发生，则获取与该动作相对应的待检测数据，该待检测数据包括若干帧微多普勒信号及其对应的点云数据，分别对待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，以确定其对应的微多普勒特征和点云特征，再将微多普勒特征和点云特征输入至预先训练完成的帧特征融合网络，使其输出对应的动作分类结果。由此，通过提取待检测空间中人体的运动速度特征与空间位置特征，将两种特征相结合从而输出对应的行为检测结果，降低了行为检测的误报率，保证了其检测效果。

基于图1所示的实施例，在本申请的一个实施例中，根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，包括：

当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；

采用动作检测算法对切分后的所述微多普勒信号进行动作相关性计算，以确定是否有动作发生；

若确定有动作发生，则复制并获取所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。

在该实施例中，应该理解的，动作是连续的过程，因此预定条件可以是由本领域技术人员根据在先经验预先确定的检测触发条件，例如预定条件可以是固定时间间隔、能量阈值判断或者掩码卷积切分算法(请参考下文)等，当满足预定条件，例如达到固定时间间隔，则可以获取预定时间长度(例如2s、5s等)对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并采用激活函数将微多普勒信号中有速度能量格点和无速度能量格点进行切分。应该理解的，当有反射运动时，反映在微多普勒中该位置能量幅值会变大，对应的速度格点数值会增大。由此，通过切分，可以准确的定位出动作实际发生的片段，屏蔽前后动作的干扰，并且在后续不检测无动作发生的片段，提供系统识别的准确率与效率。

再采用动作检测算法对切分后的微多普勒信号进行动作相关性计算，从而确定是否有动作发生。例如可以采用能量峰值检测或者固定阈值判断等方式进行动作检测，当确定存在动作发生后，则可以复制所发生的动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。例如可以复制所发生的动作的相关性峰值点前后20帧的微多普勒信号以及点云数据以作为待检测数据等。

在本申请的一个实施例中，采用掩码卷积-峰值检测方法进行动作检测，具体地，请参考图3，掩码片段为长度为m包含人体运动速度特征的特殊片段，在某些实例中可以通过将待测人体运动典型微多普勒片段加权获得。掩码片段以每次一个或是多个步进，对预定时间长度对应的多帧微多普勒信号进行卷积操作，掩码片段对处在片段窗口内的n帧微多普勒信号进行池化，并输出结果即W(其中W＝n-m/detha)帧掩码卷积结果，该输出的结果就包含着此片段窗口内运动数据对于典型运动数据的相关性。在完成一帧操作掩码后向后移动一帧继续重复操作，直到得出n帧(即预定时间长度对应的帧数)微多普勒数据，卷积得出的相关性数据长度为W。

此时，运用峰值检测算法，检测W帧掩码卷积结果中是否存在相关性极大值点，如有进行极大值点运动置信度计算，该置信度可以用于表示该位置真实发生运动的可能性，可以理解的，人体略微的动作例如挪腿甚至是写字等微弱动作都有可能产生峰值，因此，可以利用n阶马尔科夫模型将极值的大小与极值前后运动相关性数据联合进行计算(以作为置信度)并进行判断，若置信度超过阈值，则通过确定动作发生过程中置信度最高的位置从而确定动作位置，在确定动作位置之后，则切去动作发生前后多余的微多普勒信号，即保留相关性峰值点前后预定范围内的微多普勒信号。由此可以以较小的时延确定动作发生情况，从而提高时间灵敏度，可以较为及时的确定用户动作，并降低系统误报。

应该理解的，本领域技术人员也可以采用其他信号处理的方式对用户行为动作片段进行切分，此时，若不满足用户动作发生判定条件，则识别为无动作发生，返回继续接收并监听数据，当满足动作发生判定条件时，则复制所发生的动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。

在本申请的一个实施例中，分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征，包括：

针对所述待检测数据中包含的若干帧微多普勒信号，采用预先训练的CNN网络或者RNN网络对其进行特征提取；

将所述待检测数据中包含的若干帧点云数据及其对应的时间维度信息输入至预先训练的点云特征提取网络，以使所述点云特征提取网络输出对应的点云特征。

在该实施例中，微多普勒信号中横坐标为时间(s)，纵坐标为速度V(m/s)，微多普勒信号以X帧/秒的速率进行采集，以T帧作为一个识别片段，每一帧有C个特征，特征的对应数值大小可以反映人体运动速度的反射强度。由此可以得知对应的微多普勒图具有明显的图像特征，也具有明显的时间特征，基于以上两个特征，对微多普勒图的特征提取既可以采用CNN网络也可采用RNN网络。在其他示例中，也可以是其他的神经网络处理手段进行特征提取，对此不作特殊限定。

另外，针对于点云数据，每一个点有四个参数确定，分别为x、y、z和t，其中x、y和z表示空间坐标，t表示时间，由于每一帧的点云数量不是一个固定值，所以采集到的识别片段中的点云数量也不是一个固定值，这导致点云数据无法像图像数据一样直接采用CNN网络进行特征提取，通常称该问题为非规则化点云数据特征提取问题。由于人体行为数据在时间维度上存在明显特征，所以在规则化的同时还需要保留点云信息的时间特征。

为在实现非规则点云数据的特征提取的同时考虑时间变化对特征的影响，本申请还提供了一种PointTimeNet(PTN)时间点云特征提取网络。如图4所示，其中，inputtransform为时空点云旋转模块，T-Net用于计算旋转矩阵，计算结果与时空点云相乘，得出时空旋转之后的点云，这一步的作用是在时间空间维度上进行点云变换，尽可能的使不同点云旋转至一个统一的角度；mlp功能为维度变换，将点云特征从4变换为C；frame count用于计算每一帧点云数量；frame pool通过frame count的计算结果对每一帧点云特征进行池化，得到帧特征；帧特征通过mlp转化最终k分类结果。

基于上述时间点云特征提取网络，其针对时间的提取进行了优化，具体如下：

优化一：引入时间维度信息，将点云的输入格式从n*(x,y,z)改为n*(x,y,z,t)，在PTN网络的framecount层通过引入的时间信息计算每一帧点云的个数并保留这个信息。

优化二：点云旋转矩阵优化，PointNet的点云旋转矩阵是针对空间点云进行的旋转，矩阵参数为3*3，引入时间之后，PTN网络对时空进行旋转，时空旋转矩阵参数为4*4。

优化三：根据优化一得到的每一帧点云个数信息，将PointNet的全局池化操作改为PTN中的帧池化操作，最终得到每一帧的特征，数据格式为T*C，为后续的帧特征融合做好准备。

优化四：由于点云数据通过毫米波雷达采集，并采用静差消除算法对静态点云去除，无法保证每一帧都有点云存在，这导致当有一帧数据不存在点云时，PTN网络无法对点云数据进行特征提取，为解决这个问题，可以采用全局补零操作，即每一帧点云都补上一个不存在的(0,0,0,t)点，从而保证PTN网络运行。

优化五：结合本申请采集点云数据的方式，可以进一步优化旋转矩阵，采集的点云数据大部分是基于水平地面进行采集的，所以无需针对x和y轴进行旋转，因此旋转矩阵退化为针对绕z轴旋转，旋转矩阵需要确定的参数矩阵大小从3*3退化为2*2，再与优化二进行结合，只需确定2*2的矩阵外加时间伸缩参数共计5个未知参数。

在本申请的一个实施例中，所述帧特征提取网络包括相连接的循环神经网络以及多层感知器。

在该实施例中，为最大限度提升预测准确率，将微多普勒特征与点云特征进行融合，从两种不同数据中提取特征，将微多普勒在速度检测上的优势与点云数据在时间和空间上的优势进行互补，在提升算法鲁棒性的同时，提升算法准确度。图5为根据本申请的一个实施例的帧特征融合网络的架构示意图，对微多普勒数据采用CNN网络进行特征提取，对点云数据采用PTN网络进行特征提取，提取到两者的特征数据，再通过特征连接将特征进行融合，由于数据具有时间特性，采用RNN(即循环神经网络)作为自注意力模块进一步提取特征，最后经过mlp(即多层感知器)得到分类结果。

基于上述实施例的技术方案，以下介绍本申请实施例的一个具体应用场景：

图6示出了可以应用本申请实施例的技术方案的应用场景示意图，如图6所示，在卫生间场景下，毫米波雷达智能照护终端202安装位置可以布置在如图6位置201所示靠近室内中心位置203处天花板吊顶灯罩上，也可以根据安装环境安装在考进室内空间中心位置，或者安装在周围，或是布置在需要进行行为监护的热点关注区域附近。

照护系统中的毫米波雷达通过发送波长在1-10mm的线性调频电磁波对环境进行感知。遇到可透波障碍物，最终照射到待追踪的目标人体并发射。电磁波反射回去被接收，并与发射的回波进行混频相乘并通过低通滤波器可以得到包含目标与目标人体、家具及墙面反射的中频信号。雷达数据通过数据处理芯片对信号进行后续处理。通过对中频信号进行距离维FFT提取距离-反射强度信息。

由于室内空间较少，雷达检测到的信号大部分都为地面或墙面等静态物体反射的回波信号，提取出距离信息后需要对雷达进行静态除杂，以滤除由墙面、地面造成的静态反射噪声。提取出有用的人体运动信息。再将信号进行速度维FFT，得到距离-速度信息，最后将信号在距离维度求和，最终得到微多普勒信号。对距离维FFT所得到的每个天线的信号执行到到达角估计算法(到达角估计算法包含MUSIC、CAPON等)或是对速度维FFT结果执行CFAR恒虚警算法，对存在目标速度的格点执行角度维FFT，得到目标点云数据。

毫米波雷达将每一帧经过以上处理得到的数据(即包含微多普勒信号和目标点云数据的数据)发送回嵌入式设备。毫米波雷达前端发送数据完成后进入下一帧电磁波发送工作状态，以重复上述流程。

嵌入式设备可以对数据进行缓存，并采用微多普勒信号对人体行为进行识别，对于人体行为而言，动作是一连续的过程，采用卷积神经网络通过微多普勒进行识别从而得到用户行为，因此对于本系统需要对动作的起始点做出准确的定位，若不对用户动作做出准确定位，则容易造成前一动作与后一动作混淆导致网络识别动作错误。

在一实施例中，当满足条件时动作检测线程将被激活，动作检测线程会从接收缓冲区中一定时间内的n帧微多普勒数据，采用动作检测算法，检测动作的发生并做出精准的切分。特别地，在一些实例中，动作检测与切分可以采用掩码卷积——峰值检测算法，本申请在此不再赘述。

当确定发生动作后，动作识别线程将缓冲区中带有用户动作的微多普勒数据与点云数据拷贝提取出，并同时对微多普勒数据进行归一化处理。

特别地，将经过准确运动裁切的微多普勒谱图送入多域特征融合神经进行识别，得出动作类型。若动作正常则划归为正常活动，对被监护人的生活习惯与健康状况展开统计。智能照护系统通过物联网模块及时上报系统，并同时返回监听步骤，系统继续正常运行。同时后台服务器统计用户生活习惯并提供远程健康服务。

在一些实施例中，若有后续动作并且对于语音询问有后续反应则判定为跌倒摔伤，若有后续动在当摔倒能量过大则判定为严重摔伤，一些情况下若长时间无应答，则判定被监护者严重摔伤导致昏迷。

当系统确认跌倒行为发生，系统将会发生报警提示，并通过网络通知远端服务器与计算机系统，远端服务系统计算报警位置附近可部署医疗资源与后勤资源。

特别的，本申请所述计算设备是带有存储介质可以处理数据并对神经网络进行运算的设备。也可以以嵌入式系统实现。

网络可以是可通过其传输和共享数据的任何通信网络。例如，网络可以是局域网(LAN)或广域网(WAN)，诸如互联网。又如，网络可以是物联网或是蜂窝通信网。网络可使用各种网络接口实现，例如无线网络接口(诸如Wi-Fi、蓝牙或红外)或有线网络接口(诸如以太网或串行连接)。网络还可包括多于一个网络的组合，并且可使用一个或多个网络接口来实现。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于毫米波雷达多域数据融合的行为检测方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的基于毫米波雷达多域数据融合的行为检测方法的实施例。

图7示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测装置的框图。

参照图7所示，根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测装置，包括：

第一确定模块710，用于根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

第二确定模块720，用于根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

第三确定模块730，用于基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；

获取模块740，用于根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

提取模块750，用于分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

处理模块760，用于将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

在本申请的一个实施例中，所述获取模块740用于：当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；采用动作检测算法对切分后的所述微多普勒信号进行动作相关性计算，以确定是否有动作发生；若确定有动作发生，则复制并获取所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。

在本申请的一个实施例中，所述提取模块750用于：针对所述待检测数据中包含的若干帧微多普勒信号，采用预先训练的CNN网络或者RNN网络对其进行特征提取；将所述待检测数据中包含的若干帧点云数据及其对应的时间维度信息输入至预先训练的点云特征提取网络，以使所述点云特征提取网络输出对应的点云特征。

在本申请的一个实施例中，所述帧特征提取网络包括相连接的循环神经网络以及多层感知器。

图8示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图8示出的电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)801，其可以根据存储在只读存储器(Read-Only Memory，ROM)802中的程序或者从储存部分808加载到随机访问存储器(Random Access Memory，RAM)803中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(Input/Output，I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分807；包括硬盘等的储存部分808；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入储存部分808。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于毫米波雷达多域数据融合的行为检测方法，其特征在于，包括：

根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；

根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

2.根据权利要求1所述的方法，其特征在于，根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，包括：

当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；

采用动作检测算法对切分后的所述微多普勒信号进行动作相关性计算，以确定是否有动作发生；

若确定有动作发生，则复制所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。

3.根据权利要求2所述的方法，其特征在于，分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征，包括：

针对所述待检测数据中包含的若干帧微多普勒信号，采用预先训练的CNN网络或者RNN网络对其进行特征提取；

将所述待检测数据中包含的若干帧点云数据及其对应的时间维度信息输入至预先训练的点云特征提取网络，以使所述点云特征提取网络输出对应的点云特征。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述帧特征提取网络包括相连接的循环神经网络以及多层感知器。

5.一种基于毫米波雷达多域数据融合的行为检测装置，其特征在于，包括：

第一确定模块，用于根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离-速度谱；

第二确定模块，用于根据所述距离-速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；

第三确定模块，用于基于多根天线对应的所述距离-速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；

获取模块，用于根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；

提取模块，用于分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；

处理模块，用于将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。

6.根据权利要求5所述的装置，其特征在于，所述获取模块用于：

当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；

采用动作检测算法对切分后的所述微多普勒信号进行动作检测，以确定是否有动作发生；

若确定有动作发生，则复制并获取所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。

7.根据权利要求6所述的装置，其特征在于，所述提取模块用于：

针对所述待检测数据中包含的若干帧微多普勒信号，采用预先训练的CNN网络或者RNN网络对其进行特征提取；

将所述待检测数据中包含的若干帧点云数据及其对应的时间维度信息输入至预先训练的点云特征提取网络，以使所述点云特征提取网络输出对应的点云特征。

8.根据权利要求5-7中任一项所述的装置，其特征在于，所述帧特征提取网络包括相连接的循环神经网络以及多层感知器。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的基于毫米波雷达多域数据融合的行为检测方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的基于毫米波雷达多域数据融合的行为检测方法。

Images