CN117017276B - 一种基于毫米波雷达的实时人体紧密边界检测方法 - Google Patents

一种基于毫米波雷达的实时人体紧密边界检测方法 Download PDF

Info

Publication number
CN117017276B
CN117017276B CN202311291492.XA CN202311291492A CN117017276B CN 117017276 B CN117017276 B CN 117017276B CN 202311291492 A CN202311291492 A CN 202311291492A CN 117017276 B CN117017276 B CN 117017276B
Authority
CN
China
Prior art keywords
human body
body frame
frame
representing
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311291492.XA
Other languages
English (en)
Other versions
CN117017276A (zh
Inventor
陈彦
李文轩
张东恒
胡洋
孙启彬
赵泽鹏
赵玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiyangwuyou Technology Co ltd
University of Science and Technology of China USTC
Original Assignee
Beijing Xiyangwuyou Technology Co ltd
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiyangwuyou Technology Co ltd, University of Science and Technology of China USTC filed Critical Beijing Xiyangwuyou Technology Co ltd
Priority to CN202311291492.XA priority Critical patent/CN117017276B/zh
Publication of CN117017276A publication Critical patent/CN117017276A/zh
Application granted granted Critical
Publication of CN117017276B publication Critical patent/CN117017276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于毫米波雷达的实时人体紧密边界检测方法。该方法包括：利用多发多收毫米波雷达实时向待检测目标人物发射雷达信号，收集待检测目标人物反射回来的时域信号，并根据预设的信号时空转换规则，将时域信号对应到空间维度，得到具有距离信息、角度信息和信号强度信息的二维热图；利用与多发多收毫米波雷达时间同步的图像采集系统获取待检测目标人物的人体边框；利用带有真值标签的二维热图样本和带有真值标签的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型；根据预设判定条件，利用训练完成的跌倒检测模型处理具有距离信息、角度信息和信号强度信息的二维热图和人体边框，得到待检测目标人物的跌倒检测结果。

Description

一种基于毫米波雷达的实时人体紧密边界检测方法
技术领域
本发明涉及无线人体智能感知领域，特别涉及一种基于毫米波雷达的实时人体紧密边界检测方法、电子设备以及存储介质。
背景技术
随着社会的发展，老年人等人群的医疗保健问题越来越受到关注。其中，意外摔倒成为老年人安全的主要威胁。现有的基于可穿戴设备与摄像头的系统跌倒检测系统存在以下一个或多个技术问题：频繁更换电池、佩戴者不适、成本高、设置复杂、家具遮挡、隐私泄露等。同时，其他基于无线技术的跌倒检测方法无法对目标人物做出实时状态的检测，对动作判断的精细度较低，同时由于技术方案复杂也妨碍了在现实场景中的部署。
发明内容
鉴于上述问题，本发明提供了一种基于毫米波雷达的实时人体紧密边界检测方法，以期至少能够解决上述问题之一。
根据本发明的第一个方面，提供了一种基于毫米波雷达的实时人体紧密边界检测方法，包括：
利用多发多收毫米波雷达实时向待检测目标人物发射雷达信号，收集待检测目标人物反射回来的时域信号，并根据预设的信号时空转换规则，将时域信号对应到空间维度，得到具有距离信息、角度信息和信号强度信息的二维热图；
利用与多发多收毫米波雷达时间同步的图像采集系统获取待检测目标人物的人体边框，其中，每时刻的人体边框与每帧二维热图相对应并表示待检测目标人物的紧密边界；
利用带有真值标签的二维热图样本和带有真值标签的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型；
根据预设判定条件，利用训练完成的跌倒检测模型处理具有距离信息、角度信息和信号强度信息的二维热图和人体边框，得到待检测目标人物的跌倒检测结果。
根据本发明的实施例，上述预设的信号时空转换规则由公式（1）表示：
（1），
其中，表示待检测目标人物的三维坐标，/>表示二维热图，/>代表多发多收毫米波雷达在第/>根虚拟天线的第/>个扫描在时间/>的信号，/>是第/>个信号的波长，/>表示信号的往返距离。
根据本发明的实施例，上述利用多发多收毫米波雷达所获取的二维热图样本以及与多发多收毫米波雷达时间同步的图像采集系统所获取的带有真值的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型包括：
利用多发多收毫米波雷达实时向样本人体发射雷达信号，收集样本人体反射回来的时域信号，并将时域信号对应到空间维度，得到具有真值标签的二维热图样本；
利用与多发多收毫米波雷达时间同步的图像采集系统获取样本人体的带有真值标签的人体边框以表示样本人体的紧密边界；
利用跌倒检测模型处理二维热图样本和人体边框，得到模型的输出结果；
利用预设的损失函数处理模型的输出结果、二维热图的真值标签以及人体边框的真值标签，得到损失值；
根据损失值，对跌倒检测模型进行参数优化和更新，并迭代进行模型处理操作、损失值计算操作以及模型参数优化和更新操作，直到满足预设训练条件，得到训练完成的跌倒检测模型。
根据本发明的实施例，上述跌倒检测模型包括由多层卷积神经网络构成的编码器和由多层全连接层构成的解码器。
根据本发明的实施例，上述预设的损失函数包括基于三维的完全交并比损失函数、绝对位置损失函数以及长宽高比例损失函数。
根据本发明的实施例，上述预设的损失函数由公式（2）表示：
（2），
其中，表示人体边框的中心点，/>表示长宽比的反正切值，/>表示预设的平衡参数，/>表示人体边框的中心点，/>表示欧几里得距离，/>表示预测的人体边框与人体边框的最小围框的对角线长度。
根据本发明的实施例，上述长宽比的反正切值由公式（3）表示：
（3），
其中，表示预测的人体边框的边框长度，/>表示预测的人体边框的边框长宽度，表示预测的人体边框的边框高度，/>表示人体边框的边框长度，/>表示人体边框的边框长宽度，/>表示人体边框的边框高度。
根据本发明的实施例，上述预设判定条件包括基于人体边框的高度信息、人体边框的变化速度信息以及人体边框的边长比值进行判断。
根据本发明的第二个方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行基于毫米波雷达的实时人体紧密边界检测方法。
根据本发明的第三个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行基于毫米波雷达的实时人体紧密边界检测方法。
本发明提供的上述基于毫米波雷达的实时人体紧密边界检测方法，通过将多发多收毫米波雷达与图像采集系统相结合，实时获取待检测目标人物的空间姿态信息，并利用基于深度学习神经网络的跌倒检测模型对实时获取的待检测目标人物的空间姿态信息进行处理，可以实时对待检测目标人物进行跌倒检测，大大提高了跌倒检测的精准度，并降低了跌倒检测的复杂度。
附图说明
图1是根据本发明实施例的基于毫米波雷达的实时人体紧密边界检测方法的流程图；
图2是根据本发明实施例的得到训练完成的跌倒检测模型的流程图；
图3（a）是根据本发明实施例的损失函数的图形化示意图；
图3（b）是根据发明实施例的交并比计算示意图；
图4是根据本发明实施例的待检测目标人物处于站立状态下的实验示意图；
图5是本发明实施例的在待检测目标人物处于站立状态下时人体边框真值和其所对应的二维热图；
图6是根据本发明实施例的待检测目标人物处于跌倒状态下的实验示意图；
图7是本发明实施例的在待检测目标人物处于跌倒状态下时人体边框真值和其所对应的二维热图；
图8是根据本发明实施例的在跌倒检测过程中人体边框高度、人体边框边长比以及人体边框变化速度的时序变化图；
图9示意性示出了根据本发明实施例的适于实现基于毫米波雷达的实时人体紧密边界检测方法的电子设备的方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
为了解决现有人体跌倒检测技术方案存在的诸多技术问题，本发明通过深度学习雷达信号获得与人体的紧密边框，并通过人体的紧密边框判断跌倒的发生，达到细粒度，高精度，低复杂度的检测目的。并且可以对人体的位置与边框进行实时的追踪，获得人体持续的状态序列。
需要特别说的是，在本发明所公开的技术方案，所涉及的人体数据的获取得到了相关当事方的授权，并在相关当事方的许可下，对上述数据进行处理、应用和存储，相关过程符合法律法规的规定，采取了必要和可靠的保密措施，符合公序良俗的要求。
图1是根据本发明实施例的基于毫米波雷达的实时人体紧密边界检测方法的流程图。
如图1所示，上述基于毫米波雷达的实时人体紧密边界检测方法包括操作S110~操作S140。
在操作S110，利用多发多收毫米波雷达实时向待检测目标人物发射雷达信号，收集待检测目标人物反射回来的时域信号，并根据预设的信号时空转换规则，将时域信号对应到空间维度，得到具有距离信息、角度信息和信号强度信息的二维热图。
多发多收毫米波雷达首先向待检测的目标人物实时发送毫米波雷达信号，并实时接收待检测人物的雷达回波信号，即上述时域信号。
根据本发明的实施例，上述预设的信号时空转换规则由公式（1）表示：
（1），
其中，表示待检测目标人物的三维坐标，/>表示二维热图，代表多发多收毫米波雷达在第/>根虚拟天线的第/>个扫描在时间/>的信号，/>是第个信号的波长，/>表示信号的往返距离。
在操作S120，利用与多发多收毫米波雷达时间同步的图像采集系统获取待检测目标人物的人体边框，其中，每时刻的人体边框与每帧二维热图相对应并表示待检测目标人物的紧密边界。
上述图像采集系统可以使用具有高分辨率和高灵敏度图像传感器获取待检测目标人物的实时图像，也可以使用家用摄像头实时获取图像。
上述图像采集系统应当与多发多收毫米波雷达在时间上同步，以便每一帧的待检测人物的图像与时域信号相对应。
在操作S130，利用带有真值标签的二维热图样本和带有真值标签的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型。
图2是根据本发明实施例的得到训练完成的跌倒检测模型的流程图。
如图2所示，上述利用多发多收毫米波雷达所获取的二维热图样本以及与多发多收毫米波雷达时间同步的图像采集系统所获取的带有真值的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型包括操作S210~操作S250。
在操作S210，利用多发多收毫米波雷达实时向样本人体发射雷达信号，收集样本人体反射回来的时域信号，并将时域信号对应到空间维度，得到具有真值标签的二维热图样本。
在操作S220，利用与多发多收毫米波雷达时间同步的图像采集系统获取样本人体的带有真值标签的人体边框以表示样本人体的紧密边界。
人体边框的真值标签表示在三维空间坐标系中，每个维度上的最大值和最小值。
在操作S230，利用跌倒检测模型处理二维热图样本和人体边框，得到模型的输出结果。
根据本发明的实施例，上述跌倒检测模型包括由多层卷积神经网络构成的编码器和由多层全连接层构成的解码器。
在操作S240，利用预设的损失函数处理模型的输出结果、二维热图的真值标签以及人体边框的真值标签，得到损失值。
根据本发明的实施例，上述预设的损失函数包括基于三维的完全交并比损失函数、绝对位置损失函数以及长宽高比例损失函数。
根据本发明的实施例，上述预设的损失函数由公式（2）表示：
（2），
其中，表示人体边框的中心点，/>表示长宽比的反正切值，/>表示预设的平衡参数，/>表示人体边框的中心点，/>表示欧几里得距离，/>表示预测的人体边框与人体边框的最小围框的对角线长度。
为了更好地说明本发明所提供的上述损失函数的优点，下面结合附图对上述损失做进一步详细地说明。
图3（a）是根据本发明实施例的损失函数的图形化示意图。
图3（b）是根据发明实施例的交并比计算示意图。
图3（a）中的IoU（Intersection Over Union）等于“预测的边框”和“真实的边框”之间交集和并集的比值，即图3（b）所示的交并比的具体计算方式。上述损失函数包括交并比损失函数、中心点距离以及人体边框长宽比，其中，交并比损失函数根据图3（a）所示包括两个人体边框的共有部分所构成的交集以及两个人体边框全部部分所构成的并集。
在具体计算IoU过程中，假设两个边框A和B，其边框坐标分别为和，当两个3D边框存在交界时，其交集可通过方程组（I）计算：
（I），
并集由方程组（II）表示：
（II）。
根据本发明的实施例，上述长宽比的反正切值由公式（3）表示：
（3），
其中，表示预测的人体边框的边框长度，/>表示预测的人体边框的边框长宽度，表示预测的人体边框的边框高度，/>表示人体边框的边框长度，/>表示人体边框的边框长宽度，/>表示人体边框的边框高度。
根据本发明的实施例，上述预设判定条件包括基于人体边框的高度信息、人体边框的变化速度信息以及人体边框的边长比值进行判断。
在操作S250，根据损失值，对跌倒检测模型进行参数优化和更新，并迭代进行模型处理操作、损失值计算操作以及模型参数优化和更新操作，直到满足预设训练条件，得到训练完成的跌倒检测模型。
通过上述操作S210~操作S250，可以训练得到基于人体边框的跌倒检测模型，使得模型的检测准确度大大提高。
在操作S140，根据预设判定条件，利用训练完成的跌倒检测模型处理具有距离信息、角度信息和信号强度信息的二维热图和人体边框，得到待检测目标人物的跌倒检测结果。
通过获取高精度的人体边框，本发明可以利用三个跌倒检测量来确定待检测目标人物是否跌倒，即人体边框的高度、人体边框的变化速度以及人体边框的边长比值。首先通过人体边框的高度作为一级判断，当人体边框的变化速度阈值于人体边框比较大时，可以认为人体以一个较高的速度到达了仰卧的姿态，判定为跌倒。当人体维持这样的较低的仰卧态时，可以认为跌倒较为严重，需要救助。
本发明提供的上述基于毫米波雷达的实时人体紧密边界检测方法通过将多发多收毫米波雷达与图像采集系统相结合，实时获取待检测目标人物的空间姿态信息，并利用基于深度学习神经网络的跌倒检测模型对实时获取的待检测目标人物的空间姿态信息进行处理，可以实时对待检测目标人物进行跌倒检测，大大提高了跌倒检测的精准度，并降低了跌倒检测的复杂度。
下面通过具体实施方式并结合附图来进一步说明本发明所提供的上述方法的有效性和优点。
本公开使用多发多收的毫米波雷达，生成包含三维信息的二维热图，覆盖范围达到8米*10米，通过热图生成人体紧密边框并通过边框监测人体状态。
首先将多发多收（MIMO）毫米波雷达固定于距离地面一米高处，天线阵列水平于地面采集数据，同时使用摄像头系统采集视频数据作为真值。
在数据处理模块，将收集到的时域信号对应到空间维度，作为后续操作的输入。
在人体边框生成模块，通过摄像头的系统生成人体边框的真值，表示为在三个维度上的最大值和最小值，并且将数据处理模块生成的热图作为神经网络的输入进行训练，每一帧的热图对应着该时刻的人体边框。在训练过程中使用5层卷积的编码器与4层全连接的解码器作为网络结构，并使用三维的完全交并比损失作为损失函数，其中损失函数包括交并比损失，绝对位置损失与长宽高比例损失。
在跌倒检测模块，在人体边框生成模块中，本发明已经获得了高精度的人体边框，而在本模块中需要判定哪些边框序列属于跌倒。通过人体边框，我们可以得到三个常用于跌倒检测的量：人体边框高度，人体边框变化速度，人体边框边长比值，首先通过边框高度作为一级判断，当速度阈值于边框比较大时，可以认为人体以一个较高的速度到达了仰卧的姿态，判定为跌倒。当人体维持这样的较低的仰卧态时，可以认为跌倒较为严重，需要救助。
图4是根据本发明实施例的待检测目标人物处于站立状态下的实验示意图。
图5是本发明实施例的在待检测目标人物处于站立状态下时人体边框真值和其所对应的二维热图。
如图4是本发明待检测目标人物处于站立状态下的实验场景，本实验通过alphapose框架预测每一帧的人体骨架，并将12个同步的相机系统结合起来得到可靠的3d人体骨架以及边界。此时图5所示通过两个人体边框（RFbbox-pred、RFbbox-gt）以不同视角来表示处于站立状态下的待检测目标人物，同时图5显示了与该状态下待检测目标人物的二维人体。经过神经网络的训练，预测值与真值的损失函数可以收敛在0.2，在图上可以看到两个边界框的位置与形状基本一致，预测值由二维热图输入神经网络即可得到
图6是根据本发明实施例的待检测目标人物处于跌倒状态下的实验示意图。
图7是本发明实施例的在待检测目标人物处于跌倒状态下时人体边框真值和其所对应的二维热图。
如图6是本发明待检测目标人物处于站立状态下的实验场景，同样地通过Alphonse框架得到人体的二维骨架。此时图7所示通过两个人体边框（RFbbox-pred、RFbbox-gt）以不同视角来表示处于跌倒状态下的待检测目标人物，同时图7显示了与该状态下待检测目标人物的二维人体。
图8是根据本发明实施例的在跌倒检测过程中人体边框高度、人体边框边长比以及人体边框变化速度的时序变化图。
利用本发明提供的上述跌倒检测方法，可有有效地对待检测目标人物是否跌倒进行检测，通过图8可以看出，利用人体边框高度、人体边框边长比以及人体边框变化速度的时序变化图可有效刻画待检测目标人物的实时状态。
图9示意性示出了根据本发明实施例的适于实现基于毫米波雷达的实时人体紧密边界检测方法的电子设备的方框图。
如图9所示，根据本发明实施例的电子设备900包括处理器901，其可以根据存储在只读存储器（ROM）902中的程序或者从存储部分908加载到随机访问存储器（RAM）903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器 901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备900还可以包括输入/输出（I/O）接口905，输入/输出（I/O）接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于毫米波雷达的实时人体紧密边界检测方法，其特征在于，包括：
利用多发多收毫米波雷达实时向待检测目标人物发射雷达信号，收集所述待检测目标人物反射回来的时域信号，并根据预设的信号时空转换规则，将所述时域信号对应到空间维度，得到具有距离信息、角度信息和信号强度信息的二维热图；
利用与所述多发多收毫米波雷达时间同步的图像采集系统获取所述待检测目标人物的人体边框，其中，每时刻的所述人体边框是三维立体的且与每帧所述二维热图相对应并表示所述待检测目标人物的紧密边界；
利用带有真值标签的二维热图样本和带有真值标签的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型；
根据预设判定条件，利用所述训练完成的跌倒检测模型处理所述具有距离信息、角度信息和信号强度信息的二维热图和所述人体边框，得到所述待检测目标人物的跌倒检测结果；
其中，利用所述多发多收毫米波雷达所获取的二维热图样本以及与所述多发多收毫米波雷达时间同步的图像采集系统所获取的带有真值的人体边框样本训练跌倒检测模型，得到训练完成的跌倒检测模型包括：
利用多发多收毫米波雷达实时向样本人体发射雷达信号，收集所述样本人体反射回来的时域信号，并将所述时域信号对应到空间维度，得到具有真值标签的二维热图样本；
利用与所述多发多收毫米波雷达时间同步的图像采集系统获取所述样本人体的带有真值标签的人体边框以表示所述样本人体的紧密边界；
利用跌倒检测模型处理所述二维热图样本和所述人体边框，得到模型的输出结果；
利用预设的损失函数处理所述模型的输出结果、所述二维热图的真值标签以及所述人体边框的真值标签，得到损失值；
根据损失值，对所述跌倒检测模型进行参数优化和更新，并迭代进行模型处理操作、损失值计算操作以及模型参数优化和更新操作，直到满足预设训练条件，得到所述训练完成的跌倒检测模型；
其中，所述预设的损失函数包括基于三维的完全交并比损失函数、绝对位置损失函数以及长宽高比例损失函数；
其中，所述预设的损失函数由公式（2）表示：
（2），
其中，表示预测的人体边框的中心点，/>表示长宽比的反正切值，/>表示预设的平衡参数，/>表示所述人体边框的中心点，/>表示欧几里得距离，/>表示所述预测的人体边框与所述人体边框的最小围框的对角线长度；
其中，所述长宽比的反正切值由公式（3）表示：
（3），
其中，表示所述预测的人体边框的边框长度，/>表示所述预测的人体边框的边框长宽度，/>表示所述预测的人体边框的边框高度，/>表示所述人体边框的边框长度，/>表示所述人体边框的边框长宽度，/>表示所述人体边框的边框高度。
2.根据权利要求1所述的方法，其特征在于，所述预设的信号时空转换规则由公式（1）表示：
（1），
其中，表示所述待检测目标人物的三维坐标，/>表示所述二维热图，/>代表所述多发多收毫米波雷达在第/>根虚拟天线的第/>个扫描在时间/>的信号，/>是第/>个信号的波长，/>表示信号的往返距离。
3.根据权利要求1所述的方法，其特征在于，所述跌倒检测模型包括由多层卷积神经网络构成的编码器和由多层全连接层构成的解码器。
4.根据权利要求1所述的方法，其特征在于，所述预设判定条件包括基于所述人体边框的高度信息、所述人体边框的变化速度信息以及所述人体边框的边长比值进行判断。
5.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1~4中任一项所述的方法。
6.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~4中任一项所述的方法。
CN202311291492.XA 2023-10-08 2023-10-08 一种基于毫米波雷达的实时人体紧密边界检测方法 Active CN117017276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311291492.XA CN117017276B (zh) 2023-10-08 2023-10-08 一种基于毫米波雷达的实时人体紧密边界检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311291492.XA CN117017276B (zh) 2023-10-08 2023-10-08 一种基于毫米波雷达的实时人体紧密边界检测方法

Publications (2)

Publication Number Publication Date
CN117017276A CN117017276A (zh) 2023-11-10
CN117017276B true CN117017276B (zh) 2024-01-12

Family

ID=88632226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311291492.XA Active CN117017276B (zh) 2023-10-08 2023-10-08 一种基于毫米波雷达的实时人体紧密边界检测方法

Country Status (1)

Country Link
CN (1) CN117017276B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188599A (zh) * 2019-04-12 2019-08-30 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能分析识别方法
CN113267779A (zh) * 2021-05-17 2021-08-17 南京师范大学 一种基于雷达与图像数据融合的目标检测方法及系统
CN113392681A (zh) * 2020-03-13 2021-09-14 深圳云天励飞技术有限公司 人体跌倒检测方法、装置及终端设备
CN113963442A (zh) * 2021-10-25 2022-01-21 重庆科技学院 一种基于体态综合特征的跌倒行为识别方法
CN113989718A (zh) * 2021-10-29 2022-01-28 南京邮电大学 面向雷达信号热图的人体目标检测方法
WO2022104774A1 (zh) * 2020-11-23 2022-05-27 华为技术有限公司 目标检测方法和装置
CN114814832A (zh) * 2022-04-13 2022-07-29 西安理工大学 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
TWI778872B (zh) * 2021-11-18 2022-09-21 大陸商業成科技（成都）有限公司 人員狀況偵測的感測器融合方法
CN115327535A (zh) * 2022-07-08 2022-11-11 苏州逻辑猫科技有限公司 基于神经网络的毫米波雷达跌倒检测方法及系统
CN115661943A (zh) * 2022-12-22 2023-01-31 电子科技大学 一种基于轻量级姿态评估网络的跌倒检测方法
CN115690401A (zh) * 2022-11-10 2023-02-03 福州大学 一种融合ciou自适应样本分配的改进旋转框目标检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11397258B2 (en) * 2015-07-17 2022-07-26 Origin Wireless, Inc. Method, apparatus, and system for outdoor target tracking
US11836852B2 (en) * 2019-12-20 2023-12-05 Board Of Trustees Of The University Of Illinois Neural network-based millimeter-wave imaging system
CN111753638A (zh) * 2020-05-03 2020-10-09 深圳奥比中光科技有限公司 一种基于rgbd图像的行人跟踪方法及系统
CN115690146A (zh) * 2021-07-29 2023-02-03 北京图森智途科技有限公司 一种多目标跟踪方法、装置、计算设备和存储介质
CN114565900A (zh) * 2022-01-18 2022-05-31 广州软件应用技术研究院 基于改进YOLOv5和双目立体视觉的目标检测方法
CN115272416A (zh) * 2022-08-16 2022-11-01 太原理工大学 基于多源传感器融合的车辆和行人检测跟踪方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188599A (zh) * 2019-04-12 2019-08-30 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能分析识别方法
CN113392681A (zh) * 2020-03-13 2021-09-14 深圳云天励飞技术有限公司 人体跌倒检测方法、装置及终端设备
WO2022104774A1 (zh) * 2020-11-23 2022-05-27 华为技术有限公司 目标检测方法和装置
CN113267779A (zh) * 2021-05-17 2021-08-17 南京师范大学 一种基于雷达与图像数据融合的目标检测方法及系统
CN113963442A (zh) * 2021-10-25 2022-01-21 重庆科技学院 一种基于体态综合特征的跌倒行为识别方法
CN113989718A (zh) * 2021-10-29 2022-01-28 南京邮电大学 面向雷达信号热图的人体目标检测方法
TWI778872B (zh) * 2021-11-18 2022-09-21 大陸商業成科技（成都）有限公司 人員狀況偵測的感測器融合方法
CN114814832A (zh) * 2022-04-13 2022-07-29 西安理工大学 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN115327535A (zh) * 2022-07-08 2022-11-11 苏州逻辑猫科技有限公司 基于神经网络的毫米波雷达跌倒检测方法及系统
CN115690401A (zh) * 2022-11-10 2023-02-03 福州大学 一种融合ciou自适应样本分配的改进旋转框目标检测方法
CN115661943A (zh) * 2022-12-22 2023-01-31 电子科技大学 一种基于轻量级姿态评估网络的跌倒检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Transformer Based Complex-YOLOv4-Trans for 3D Point Cloud Object Detection on Embedded Device;Jingfeng Zhang，等;2nd International Conference on Electrical Engineering and Computer Technology (ICEECT 2022);1-9 *
An Improved Combination of Faster R-CNN and U-Net Network for Accurate Multi-Modality Whole Heart Segmentation;Hengfei Cui，等;IEEE Journal of Biomedical and Health Informatics;3408 - 3419 *
Using Efficient IoU loss function in PointPillars Network For Detecting 3D Object;Sazan Mohammed，等;2022 Iraqi International Conference on Communication & Information Technologies ( IICCIT-2022);361-366 *
Zhaohui Zheng,等.Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression.Proceedings of the AAAI conference on artificial intelligence.2019,1-8. *
基于改进的YOLOv3与EPnP算法的几何体位姿估计;郭雨，等;佳木斯大学学报（自然科学版）;第40卷(第6期);11-16 *
基于深度学习的老年人跌倒检测算法与实现;李娇;中国优秀硕士学位论文全文数据库医药卫生科技辑;35 *

Also Published As

Publication number Publication date
CN117017276A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
Dong et al. Structural displacement monitoring using deep learning-based full field optical flow methods
US10257499B2 (en) Motion sensor
GB2546140B (en) UAV detection
CN108805946B (zh) 用于为二维超声图像绘阴影的方法和系统
CN106156758B (zh) 一种sar海岸图像中海岸线提取方法
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN107710091A (zh) 用于选择移动平台的操作模式的系统和方法
Kong et al. Lightweight algorithm for multi-scale ship detection based on high-resolution SAR images
CN103885036A (zh) 显示有源雷达图像的方法以及手持筛分设备
Byeong-Ho A Review on Image and Video processing
US20170285218A1 (en) Method and device for operating ct-based three-dimensional image used for security inspection
Wu et al. HeightFormer: Explicit Height Modeling without Extra Data for Camera-only 3D Object Detection in Bird's Eye View
CN117017276B (zh) 一种基于毫米波雷达的实时人体紧密边界检测方法
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN106908782B (zh) 基于水面状态连续成像系统的波浪传播方向的提取方法
CN107038706B (zh) 基于自适应网格的红外图像置信度评估装置及方法
US20170169576A1 (en) Crowd intelligence on flow velocity measurement
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
CN114943809A (zh) 一种地图模型的生成方法、装置及存储介质
CN115187854A (zh) 一种面向水下地形局部变化的监测方法和系统
CN114384486A (zh) 一种数据处理方法及装置
CN106970373B (zh) 基于水面状态连续成像系统的小波浪浪高提取方法
CN114767074B (zh) 一种生命体征测量方法、设备及存储介质
CN113486772B (zh) 人体姿态估计模型训练方法、估计方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant