CN116027324A - 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 - Google Patents

基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 Download PDF

Info

Publication number
CN116027324A
CN116027324A CN202310296796.9A CN202310296796A CN116027324A CN 116027324 A CN116027324 A CN 116027324A CN 202310296796 A CN202310296796 A CN 202310296796A CN 116027324 A CN116027324 A CN 116027324A
Authority
CN
China
Prior art keywords
information
gait
falling
preset
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310296796.9A
Other languages
English (en)
Other versions
CN116027324B (zh
Inventor
杨绍分
赵寿林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dexin Intelligent Technology Changzhou Co ltd
Original Assignee
Dexin Intelligent Technology Changzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dexin Intelligent Technology Changzhou Co ltd filed Critical Dexin Intelligent Technology Changzhou Co ltd
Priority to CN202310296796.9A priority Critical patent/CN116027324B/zh
Publication of CN116027324A publication Critical patent/CN116027324A/zh
Application granted granted Critical
Publication of CN116027324B publication Critical patent/CN116027324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开提供一种基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备,包括基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息;通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。本公开的方法能够有效判断跌倒风险值,并根据跌倒类别进行报警。

Description

基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
技术领域
本公开涉及定位技术领域,尤其涉及一种基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备。
背景技术
目前,针对老年人跌倒风险评估的研究集中于步态分析和姿态检测,获取了大量的风险评估模型。然而,绝大多数风险评估模型的构建缺乏真实场景下的日常生活数据,无法对老年人的身体状态进行有效的评估,风险评估模型缺乏有效性。此外,大多数研究利用单一设备感知老年人的身体状态,噪音和遮挡问题是单一感知评估模型无法克服的困难。同时,感知设备的侵入性带来了老年人下意识抗拒和数据可信度问题。
公开号CN112346055A,基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备的专利公开了:获取目标人员的毫米波反射信号;对所述毫米波反射信号进行处理,得到目标人员的点云信息;根据所述目标人员的点云信息建立空间坐标系,并确定每一个目标点的空间位置;根据每个目标点的空间位置的运动状态判断目标人员的姿态;当判断目标人员出现跌倒状态时,发出报警信号。
虽然已有专利公开了基于毫米波雷达的跌倒检测方法,但是已有专利是根据目标人员的点云信息建立空间坐标系,而在实际应用中,人员容易因为障碍物的遮挡,甚至是多个人员在空间上重叠导致点云信息缺失或者不准确,从而导致空间位置定位不准,最终导致对目标人员的姿态判断不准确。
公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本公开实施例提供一种基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备,能够至少解决现有技术中的部分问题。
本公开实施例的第一方面,
提供一种基于毫米波雷达的跌倒检测方法,包括:
基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息,其中,所述特征提取模型基于第一网络模型和第二网络模型构建,所述第一网络模型用于提取所述雷达回波信息的多普勒热图,所述第二网络模型用于提取所述多普勒热图中的运动特征信息;
通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;
根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。
在一种可选的实施方式中,
所述基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息包括:
基于所述第一网络模型将所述雷达回波信息与所述毫米波雷达的发射信息进行混频处理,对所述混频处理得到的中频信号的多个采样点数据进行快速傅里叶变换得到多普勒热图;
根据所述多普勒热图基于所述第二网络模型确定所述多普勒热图中每个图像像素点对应高度方向的第一梯度值和对应宽度方向的第二梯度值;
基于所述第一梯度值和所述第二梯度值,以及所述每个图像像素点提取所述多普勒热图的轮廓信息;
按照预设分割比例将所述轮廓信息进行切分,遍历对所述轮廓信息进行切分后得到的图像块的局部特征,将所述局部特征进行归一化后得到所述目标对象的运动特征信息。
在一种可选的实施方式中,
所述确定所述多普勒热图中每个图像像素点对应高度方向的第一梯度值和对应宽度方向的第二梯度值如下公式所示:
其中,Th、TL分别表示第一梯度值和第二梯度值,P(x,y)表示像素点(x,y)坐标位置的像素值。
在一种可选的实施方式中,
所述通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息包括:
基于所述点云数据以及预先构建的所述目标区域的环境信息,确定所述点云数据的动点集合,遍历所述动点集合中每一点与其相邻点的距离值,若所述距离值大于预设密度阈值,则将该点加入步态集合,若所述距离值小于预设密度阈值,则将该点删除,直至所述动点集合为空,所述动点集合用于指示所述点云数据中相对于所述环境信息移动的点云的集合;
基于所述步态集合的中心点,以及与所述中心点距离最远且方向相反的两个点确定步态步长;根据所述步态集合中边缘点的平均弧度确定步态弧度;
根据所述步态步长、所述步态弧度,通过所述分类算法确定所述步态集合对应的步态类别。
在一种可选的实施方式中,
所述根据所述步态步长、所述步态弧度,通过所述分类算法确定所述步态集合对应的步态类别包括:
分别为所述步态步长分配第一状态转移矩阵、为所述步态弧度分配第二状态转移矩阵;
根据所述步态步长、所述步态弧度以及所述第一状态转移矩阵、所述第二状态转移矩阵,结合预设的初始误差对应的协方差和卡尔曼增益,通过随机森林算法确定所述步态集合对应的预测步态类别。
在一种可选的实施方式中,
所述根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值包括:
将所述运动特征信息和所述步态信息进行融合得到融合特征信息,将所述融合特征信息输入所述跌倒检测模型,根据所述跌倒检测模型中隐藏层对应的第一激活函数以及相邻密集连接块的权重值和偏置参数,确定当前密集连接块对应的局部特征值;
将所述当前密集连接块对应的局部特征值,与连续内存中存储的密集特征值进行融合,得到综合特征值,其中,所述密集特征值用于指示在所述当前密集连接块之前所有的密集连接块对应的局部特征值;
根据所述综合特征值通过所述跌倒检测模型的输出层对应的第二激活函数,确定所述目标对象的跌倒风险值。
在一种可选的实施方式中,
所述运动特征信息包括所述目标对象在高度方向的第一运动速度以及在水平方向的第二运动速度,
所述在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别包括:
若所述第一运动速度在预设周期内曲率变化率小于零,且所述第二运动速度在预设周期内曲率变化率等于零,则确定所述目标对象的跌倒类别为蹲下时跌倒;
若所述第一运动速度在预设周期内曲率变化率小于零,且所述第二运动速度在预设周期内曲率变化率大于零,则确定所述目标对象的跌倒类别为起身时跌倒;
若所述第一运动速度在预设周期内曲率变化率大于零,且所述第二运动速度在预设周期内曲率变化率大于零,则确定所述目标对象的跌倒类别为行走时跌倒。
本公开实施例的第二方面,
提供一种基于毫米波雷达的跌倒检测装置,包括:
第一单元,用于基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息,其中,所述特征提取模型基于第一网络模型和第二网络模型构建,所述第一网络模型用于提取所述雷达回波信息的多普勒热图,所述第二网络模型用于提取所述多普勒热图中的运动特征信息;
第二单元,用于通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;
第三单元,用于根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。
本公开实施例的第三方面,
提供一种毫米波雷达设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
本公开实施例的第四方面,
提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
本公开实施例方法对应的有益效果可参考实施例中相应位置的描述,在此不再赘述。
附图说明
图1为本公开实施例基于毫米波雷达的跌倒检测方法的流程示意图;
图2为本公开实施例基于毫米波雷达的跌倒检测装置的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解,在本公开的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
应当理解,在本公开中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本公开中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解,在本公开中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本公开实施例基于毫米波雷达的跌倒检测方法的流程示意图,如图1所示,所述基于毫米波雷达的跌倒检测方法包括:
S101. 基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息;
示例性地,所述特征提取模型基于第一网络模型和第二网络模型构建,所述第一网络模型用于提取所述雷达回波信息的多普勒热图,所述第二网络模型用于提取所述多普勒热图中的运动特征信息;
示例性地,本申请的雷达回波信息可以包括毫米波雷达采用调频连续波,一个调频周期内发射信号,经过目标对象和环境反射后,接收天线得到回波信息。
在一种可选的实施方式中,
所述基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息包括:
基于所述第一网络模型将所述雷达回波信息与所述毫米波雷达的发射信息进行混频处理,对所述混频处理得到的中频信号的多个采样点数据进行快速傅里叶变换得到多普勒热图;
示例性地,对发射信号与回波信号混频处理并低通滤波得到中频信号,对一帧内N个信号调频周期的M个中频信号采样点数据进行快速傅里叶变换,即可得到目标场景的一帧距离多普勒分布热图,其中,确定中频信号的方法如下公式所示:
其中,表示中频信号,表示发射信号的幅度,t表示时间,B表示带宽,表示时延,表示信号调频周期,表示多普勒频移,其中,,c表示光速,表示中频信号的频率。
根据所述多普勒热图基于所述第二网络模型确定所述多普勒热图中每个图像像素点对应高度方向的第一梯度值和对应宽度方向的第二梯度值;
基于所述第一梯度值和所述第二梯度值,以及所述每个图像像素点提取所述多普勒热图的轮廓信息;
按照预设分割比例将所述轮廓信息进行切分,遍历对所述轮廓信息进行切分后得到的图像块的局部特征,将所述局部特征进行归一化后得到所述目标对象的运动特征信息。
在一种可选的实施方式中,
所述确定所述多普勒热图中每个图像像素点对应高度方向的第一梯度值和对应宽度方向的第二梯度值如下公式所示:
其中,Th、TL分别表示第一梯度值和第二梯度值,P(x,y)表示像素点(x,y)坐标位置的像素值。
可选地,可以利用图像像素点梯度方向及幅度提取图像的轮廓信息:
采用无向梯度即0~180°范围,且将方向范围平均划分为9个段,因此产生9 个梯度方向的直方图通道。将图像以8×8像素大小划分成细胞单元,将细胞单元内所有像素的梯度幅值按照方向投影到9个通道中,然后对所有像素的梯度方向通道进行叠加形成一个细胞级的9通道梯度方向特征,其可以如下公式所示:
其中,表示细胞级的9通道梯度方向特征,表示直方图通道的方向,k表示通道的数量,n表示方向的数量。
通过如上方法可以组合相邻的多个细胞单元形成细胞块,用以获得图像局部整体特征,且能维持局部相邻区域特征的相关性。
示例性地,本公开实施例的预设分割比例可以包括5-5或者4-6,本申请实施例对分割比例并不进行限定。遍历对所述轮廓信息进行切分后得到的图像块的局部特征,通过L2范数进行归一化得到所述目标对象的运动特征信息。
S102. 通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;
示例性地,本申请的预设转变坐标系可以用于将雷达回波信息转换为点云数据,雷达回波信息反映的是当前时刻前方物体与雷达之间的角度与距离,该原始数据无法直接使用。通过坐标转换将雷达的距离与角度数据转化为点云数据,在点云数据中不会随着时间发生变化表现为静止点,这些点即为雷达扫描到的周围环境,与之相对应的为动点,这些点为行走时随着动作发生改变的脚步。
可以理解的是,跌倒是指受到内在或外来的不平衡因素的影响,导致人体活动姿态改变的突发事件。机体衰退带来的平衡功能下降、肌肉力量下降和步态不稳是跌倒的主要原因。在众多跌倒事件中,在行走过程中发生跌倒是最为常见的。因此针对行走过程中的稳定性分析对于跌倒风险评估是非常重要且必要的。基于步态分析的行走稳定性分析通过采集日常行走的数据,通过步态分析的方法,计算得到行走过程中的步态特征,结合运动特征信息进行跌倒综合分析。
在一种可选的实施方式中,
所述通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息包括:
基于所述点云数据以及预先构建的所述目标区域的环境信息,确定所述点云数据的动点集合,遍历所述动点集合中每一点与其相邻点的距离值,若所述距离值大于预设密度阈值,则将该点加入步态集合,若所述距离值小于预设密度阈值,则将该点删除,直至所述动点集合为空,所述动点集合用于指示所述点云数据中相对于所述环境信息移动的点云的集合;
基于所述步态集合的中心点,以及与所述中心点距离最远且方向相反的两个点确定步态步长;根据所述步态集合中边缘点的平均弧度确定步态弧度;
根据所述步态步长、所述步态弧度,通过所述分类算法确定所述步态集合对应的步态类别。
示例性地,基于所述点云数据以及预先构建的所述目标区域的环境信息,确定所述点云数据的动点集合可以包括:
初始化目标区域的环境地图,读取夜间无人数据构建初始环境地图;读取连续n帧点云数据,通过帧差分法计算两帧之间对应角度的距离差的均值,判断当前环境是否存在运动的物体,若存在运动的物体,则提取动点数据构建动点集合;若无运动物体则判断当前卡尔曼滤波算法中的行人跟踪轨道是否存在,若轨道存在说明当前环境中存在目标对象长时间静止不动的情形,若轨道不存在,则当前环境均为环境点,从而计算n帧数据均值更新环境地图。
通过将新扫描到的数据与环境地图进行对比,得到运动物体的点云数据。
原始数据无法描述运动物体的特征,对分散杂乱的点进行聚类处理是进行后续处理的必要手段。
所述动点集合用于指示所述点云数据中相对于所述环境信息移动的点云的集合,读取点云数据的动点集合,遍历动点集合中未标记的点将其标记并添加到新的聚类集合C中,使用如下公式计算其他未标记的相邻点与动点集合的距离:
其中,Dis表示其他未标记的相邻点与动点集合的距离,表示雷达扫描周期内第k个新的扫描点的位置,表示第i个点集合中第j个扫描点。
若所述距离值大于预设密度阈值,则将该点加入步态集合,若所述距离值小于预设密度阈值,则将该点删除,直至所述动点集合为空;
基于所述步态集合的中心点,以及与所述中心点距离最远且方向相反的两个点确定步态步长,其中,与中心点距离最远且方向相反的两个点为步态中脚的两端,由此可以确定步态步长;
示例性地,根据所述步态集合中边缘点的平均弧度确定步态弧度可以如下公式所示:
其中,表示步态弧度,n表示步态集合中边缘点的数量,表示步态集合的中心点,分别表示步态集合中相邻的边缘点。
在一种可选的实施方式中,
所述根据所述步态步长、所述步态弧度,通过所述分类算法确定所述步态集合对应的步态类别包括:
分别为所述步态步长分配第一状态转移矩阵、为所述步态弧度分配第二状态转移矩阵;
根据所述步态步长、所述步态弧度以及所述第一状态转移矩阵、所述第二状态转移矩阵,结合预设的初始误差对应的协方差和卡尔曼增益,通过随机森林算法确定所述步态集合对应的预测步态类别。
步态类别主要是从运动的物体中区分出步态, 由于日常生活中非步态的物体种类众多,无法对其所有进行训练,而随机森林算法在处理分类任务中特征选择具有随机性,抗干扰的能力较强,更适合于步态识别。
分别为步态步长分配第一状态转移矩阵、为步态弧度分配第二状态转移矩阵,其中,状态转移矩阵可以表示为:
其中,表示状态转移矩阵,表示控制输入矩阵,表示控制输入值,表示系统噪声,其中,控制输入值可以包括步态步长和步态弧度对应的向量值。
随机森林由多个决策树构成,使用基尼指数作为特征选择的准则,表示随机选中的样本被分错的概率,基尼指数越小分类也准确,以此为标准进行分类,最后通过多个决策树进行投票决定出最优的分类。
其中,预设的初始误差对应的协方差如下所示:
其中,表示t-1时刻的协方差,表示t时刻的协方差,L表示观测误差对应的矩阵;
其中,确定预测步态类别的方法可以如下公式所示:
其中,表示步态类别对应的概率值,K表示类别数,表示步长,表示卡尔曼增益。
S103. 根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。
示例性地,本申请的跌倒检测模型是多维数据融合分析模型,多维数据融合是指使用多种数据的融合或者集成,充分利用多源数据的互补性,利用其数据维度多、结构各异的特点更加全面的对数据进行挖掘分析。其中,跌倒检测模型可以将运动特征信息和所述步态信息进行融合,并对融合后的信息进行处理确定目标对象的跌倒风险值。
在一种可选的实施方式中,
所述根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值包括:
将所述运动特征信息和所述步态信息进行融合得到融合特征信息,将所述融合特征信息输入所述跌倒检测模型,根据所述跌倒检测模型中隐藏层对应的第一激活函数以及相邻密集连接块的权重值和偏置参数,确定当前密集连接块对应的局部特征值;
将所述当前密集连接块对应的局部特征值,与连续内存中存储的密集特征值进行融合,得到综合特征值,其中,所述密集特征值用于指示在所述当前密集连接块之前所有的密集连接块对应的局部特征值;
根据所述综合特征值通过所述跌倒检测模型的输出层对应的第二激活函数,确定所述目标对象的跌倒风险值。
示例性地,将所述运动特征信息和所述步态信息进行融合可以包括分别将运动特征信息和步态信息输入循环神经网络,并在循环神经网络中加入注意力机制,最终由循环神经网络输出融合特征信息;
本公开实施例中跌倒检测模型可以由多个残差网络和多个密集连接块构建,其中,残差网络可以由卷积层构成,密集连接块主要着重于抓获多通道特征属性,将所有层相互连接以保证网络层级之间的最大信息流,能够有效的抑制梯度消失问题,通过特征重用机制极大的降低了模型的参数量。
具体地,
其中,表示当前密集连接块对应的局部特征值,分别表示相邻密集连接块的权重值,表示ReLU激活函数,b表示偏置参数,x表示融合特征信息;
本申请的跌倒检测模型通过密集连接的方式提取卷积层中包含的局部特性信息,且当前跌倒检测模型的输入连接到当前的块的所有层形成了连续内存机制,使网络能习得更高效率的局部特征以及提高网络稳定性。
获取残差密集块中所有的局部特征后,将其与密集残差块的输入的全局特征进行融合形成跌倒检测模型的输出。
局部特征融合层将当前跌倒检测模型的所有处理层与上一个跌倒检测模型的输出连接起来, 融合连续内存机制所提取的局部特征。若第d个密集连接块的输入为Fd−1, 那么跌倒检测模型中的第c个卷积层的输出可以表示为:
其中,表示跌倒检测模型中的第c个卷积层的输出,表示综合特征值,表示输出层对应的第二激活函数,表示连续内存中存储的密集特征值。
在一种可选的实施方式中,
所述运动特征信息包括所述目标对象在高度方向的第一运动速度以及在水平方向的第二运动速度,
所述在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别包括:
若所述第一运动速度在预设周期内曲率变化率小于零,且所述第二运动速度在预设周期内曲率变化率等于零,则确定所述目标对象的跌倒类别为蹲下时跌倒;
若所述第一运动速度在预设周期内曲率变化率小于零,且所述第二运动速度在预设周期内曲率变化率大于零,则确定所述目标对象的跌倒类别为起身时跌倒;
若所述第一运动速度在预设周期内曲率变化率大于零,且所述第二运动速度在预设周期内曲率变化率大于零,则确定所述目标对象的跌倒类别为行走时跌倒。
示例性地,第一运动速度和第二运动速度在预设周期内的曲率变化率可以用于指示目标对象在对应方向上速度的变化率,示例性地,跌倒行为检测:若高度、水平方向的平均速度均超过阈值则判定为跌倒;若其中任意一个方向的平均速度未超出阈值则判定为非跌倒,同时利用水平距离变化量区分蹲下、躺下、趴下行为。
跌倒方式识别:在检测跌倒行为后,若位置变化阶段内出现高度方向的平均速度小于零,水平方向的平均速度约等于零,则判定为蹲下时跌倒;若整个位置的变化阶段中高度方向的平均速度均小于零,水平方向平均速度均大于零,则判定为起身时跌倒;若高度方向的平均速度超出阈值,则判定为行走时跌倒。
本公开实施例的第二方面,
提供一种基于毫米波雷达的跌倒检测装置,图2为本公开实施例基于毫米波雷达的跌倒检测装置的结构示意图,包括:
第一单元,用于基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息,其中,所述特征提取模型基于第一网络模型和第二网络模型构建,所述第一网络模型用于提取所述雷达回波信息的多普勒热图,所述第二网络模型用于提取所述多普勒热图中的运动特征信息;
第二单元,用于通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;
第三单元,用于根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。
本公开实施例的第三方面,
提供一种毫米波雷达设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
本公开实施例的第四方面,
提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
注意,除非另有直接说明,否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此,除非另有明确说明,否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (10)

1.一种基于毫米波雷达的跌倒检测方法,其特征在于,包括:
基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息,其中,所述特征提取模型基于第一网络模型和第二网络模型构建,所述第一网络模型用于提取所述雷达回波信息的多普勒热图,所述第二网络模型用于提取所述多普勒热图中的运动特征信息;
通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;
根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。
2.根据权利要求1所述的方法,其特征在于,所述基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息包括:
基于所述第一网络模型将所述雷达回波信息与所述毫米波雷达的发射信息进行混频处理,对所述混频处理得到的中频信号的多个采样点数据进行快速傅里叶变换得到多普勒热图;
根据所述多普勒热图基于所述第二网络模型确定所述多普勒热图中每个图像像素点对应高度方向的第一梯度值和对应宽度方向的第二梯度值;
基于所述第一梯度值和所述第二梯度值,以及所述每个图像像素点提取所述多普勒热图的轮廓信息;
按照预设分割比例将所述轮廓信息进行切分,遍历对所述轮廓信息进行切分后得到的图像块的局部特征,将所述局部特征进行归一化后得到所述目标对象的运动特征信息。
3.根据权利要求1所述的方法,其特征在于,
所述确定所述多普勒热图中每个图像像素点对应高度方向的第一梯度值和对应宽度方向的第二梯度值如下公式所示:
其中,Th、TL分别表示第一梯度值和第二梯度值,P(x,y)表示像素点(x,y)坐标位置的像素值。
4.根据权利要求1所述的方法,其特征在于,所述通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息包括:
基于所述点云数据以及预先构建的所述目标区域的环境信息,确定所述点云数据的动点集合,遍历所述动点集合中每一点与其相邻点的距离值,若所述距离值大于预设密度阈值,则将该点加入步态集合,若所述距离值小于预设密度阈值,则将该点删除,直至所述动点集合为空,所述动点集合用于指示所述点云数据中相对于所述环境信息移动的点云的集合;
基于所述步态集合的中心点,以及与所述中心点距离最远且方向相反的两个点确定步态步长;根据所述步态集合中边缘点的平均弧度确定步态弧度;
根据所述步态步长、所述步态弧度,通过所述分类算法确定所述步态集合对应的步态类别。
5.根据权利要求4所述的方法,其特征在于,所述根据所述步态步长、所述步态弧度,通过所述分类算法确定所述步态集合对应的步态类别包括:
分别为所述步态步长分配第一状态转移矩阵、为所述步态弧度分配第二状态转移矩阵;
根据所述步态步长、所述步态弧度以及所述第一状态转移矩阵、所述第二状态转移矩阵,结合预设的初始误差对应的协方差和卡尔曼增益,通过随机森林算法确定所述步态集合对应的预测步态类别。
6.根据权利要求1所述的方法,其特征在于,
所述根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值包括:
将所述运动特征信息和所述步态信息进行融合得到融合特征信息,将所述融合特征信息输入所述跌倒检测模型,根据所述跌倒检测模型中隐藏层对应的第一激活函数以及相邻密集连接块的权重值和偏置参数,确定当前密集连接块对应的局部特征值;
将所述当前密集连接块对应的局部特征值,与连续内存中存储的密集特征值进行融合,得到综合特征值,其中,所述密集特征值用于指示在所述当前密集连接块之前所有的密集连接块对应的局部特征值;
根据所述综合特征值通过所述跌倒检测模型的输出层对应的第二激活函数,确定所述目标对象的跌倒风险值。
7.根据权利要求1所述的方法,其特征在于,所述运动特征信息包括所述目标对象在高度方向的第一运动速度以及在水平方向的第二运动速度,
所述在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别包括:
若所述第一运动速度在预设周期内曲率变化率小于零,且所述第二运动速度在预设周期内曲率变化率等于零,则确定所述目标对象的跌倒类别为蹲下时跌倒;
若所述第一运动速度在预设周期内曲率变化率小于零,且所述第二运动速度在预设周期内曲率变化率大于零,则确定所述目标对象的跌倒类别为起身时跌倒;
若所述第一运动速度在预设周期内曲率变化率大于零,且所述第二运动速度在预设周期内曲率变化率大于零,则确定所述目标对象的跌倒类别为行走时跌倒。
8.一种基于毫米波雷达的跌倒检测装置,其特征在于,包括:
第一单元,用于基于毫米波雷达获取目标区域中目标对象的雷达回波信息,通过预设特征提取模型从所述雷达回波信息中提取所述目标对象的运动特征信息,其中,所述特征提取模型基于第一网络模型和第二网络模型构建,所述第一网络模型用于提取所述雷达回波信息的多普勒热图,所述第二网络模型用于提取所述多普勒热图中的运动特征信息;
第二单元,用于通过预设转换坐标系将所述雷达回波信息转换为点云数据,根据预设聚类算法和分类算法确定所述点云数据中目标对象的步态信息;
第三单元,用于根据所述运动特征信息和所述步态信息通过预设的跌倒检测模型,确定所述目标对象的跌倒风险值,在所述跌倒风险值超过预设跌倒阈值时,基于所述运动特征信息根据所述跌倒检测模型确定所述目标对象的跌倒类别,并根据所述跌倒类别进行报警。
9.一种毫米波雷达设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN202310296796.9A 2023-03-24 2023-03-24 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 Active CN116027324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310296796.9A CN116027324B (zh) 2023-03-24 2023-03-24 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310296796.9A CN116027324B (zh) 2023-03-24 2023-03-24 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备

Publications (2)

Publication Number Publication Date
CN116027324A true CN116027324A (zh) 2023-04-28
CN116027324B CN116027324B (zh) 2023-06-16

Family

ID=86076206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310296796.9A Active CN116027324B (zh) 2023-03-24 2023-03-24 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备

Country Status (1)

Country Link
CN (1) CN116027324B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079416A (zh) * 2023-10-16 2023-11-17 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统
CN117331047A (zh) * 2023-12-01 2024-01-02 德心智能科技(常州)有限公司 基于毫米波雷达的人体行为数据分析方法及系统
CN117636404A (zh) * 2024-01-26 2024-03-01 贵州信邦富顿科技有限公司 基于非穿戴式设备的跌倒检测方法及系统
CN117831224A (zh) * 2024-02-29 2024-04-05 深圳市迈远科技有限公司 基于毫米雷达的跌倒报警方法、装置、设备及介质
CN118068318A (zh) * 2024-04-17 2024-05-24 德心智能科技(常州)有限公司 基于毫米波雷达和环境传感器的多模态感知方法及系统
CN118759489A (zh) * 2024-09-09 2024-10-11 山东矩阵软件工程股份有限公司 一种目标对象的跟踪方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
CN112346050A (zh) * 2020-10-23 2021-02-09 清华大学 基于Wi-Fi设备的跌倒检测方法及系统
CN112346055A (zh) * 2020-10-23 2021-02-09 无锡威孚高科技集团股份有限公司 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
US20210304007A1 (en) * 2020-03-25 2021-09-30 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
CN113589276A (zh) * 2021-07-05 2021-11-02 镇江同润智能科技有限公司 一种基于毫米波雷达的摔倒检测方法
CN114495267A (zh) * 2022-01-04 2022-05-13 哈尔滨工业大学(威海) 基于多维数据融合的老人跌倒风险评估方法
CN114676956A (zh) * 2022-01-04 2022-06-28 哈尔滨工业大学(威海) 基于多维数据融合的老人跌倒风险预警系统
US20230014948A1 (en) * 2020-03-03 2023-01-19 Metis Ip (Suzhou) Llc Microwave identification method and system
CN115792897A (zh) * 2022-12-19 2023-03-14 南京邮电大学 一种基于fmcw雷达的低复杂度多手势识别方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722715A (zh) * 2012-05-21 2012-10-10 华南理工大学 一种基于人体姿势状态判决的跌倒检测方法
US20230014948A1 (en) * 2020-03-03 2023-01-19 Metis Ip (Suzhou) Llc Microwave identification method and system
US20210304007A1 (en) * 2020-03-25 2021-09-30 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
CN112346050A (zh) * 2020-10-23 2021-02-09 清华大学 基于Wi-Fi设备的跌倒检测方法及系统
CN112346055A (zh) * 2020-10-23 2021-02-09 无锡威孚高科技集团股份有限公司 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN113589276A (zh) * 2021-07-05 2021-11-02 镇江同润智能科技有限公司 一种基于毫米波雷达的摔倒检测方法
CN114495267A (zh) * 2022-01-04 2022-05-13 哈尔滨工业大学(威海) 基于多维数据融合的老人跌倒风险评估方法
CN114676956A (zh) * 2022-01-04 2022-06-28 哈尔滨工业大学(威海) 基于多维数据融合的老人跌倒风险预警系统
CN115792897A (zh) * 2022-12-19 2023-03-14 南京邮电大学 一种基于fmcw雷达的低复杂度多手势识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许志猛;尹辉斌;林佳慧;: "基于空间聚类的FMCW雷达双人行为识别方法", 福州大学学报(自然科学版), no. 04 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079416A (zh) * 2023-10-16 2023-11-17 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统
CN117079416B (zh) * 2023-10-16 2023-12-26 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统
CN117331047A (zh) * 2023-12-01 2024-01-02 德心智能科技(常州)有限公司 基于毫米波雷达的人体行为数据分析方法及系统
CN117636404A (zh) * 2024-01-26 2024-03-01 贵州信邦富顿科技有限公司 基于非穿戴式设备的跌倒检测方法及系统
CN117636404B (zh) * 2024-01-26 2024-04-16 贵州信邦富顿科技有限公司 基于非穿戴式设备的跌倒检测方法及系统
CN117831224A (zh) * 2024-02-29 2024-04-05 深圳市迈远科技有限公司 基于毫米雷达的跌倒报警方法、装置、设备及介质
CN117831224B (zh) * 2024-02-29 2024-05-24 深圳市迈远科技有限公司 基于毫米雷达的跌倒报警方法、装置、设备及介质
CN118068318A (zh) * 2024-04-17 2024-05-24 德心智能科技(常州)有限公司 基于毫米波雷达和环境传感器的多模态感知方法及系统
CN118759489A (zh) * 2024-09-09 2024-10-11 山东矩阵软件工程股份有限公司 一种目标对象的跟踪方法及装置

Also Published As

Publication number Publication date
CN116027324B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN116027324B (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
US10706285B2 (en) Automatic ship tracking method and system based on deep learning network and mean shift
EP3997616B1 (en) Object-based change detection using a neural network
CN111427979B (zh) 基于激光雷达的动态地图构建方法、系统及介质
CN112418117A (zh) 一种基于无人机图像的小目标检测方法
US11995766B2 (en) Centralized tracking system with distributed fixed sensors
CN115542308B (zh) 基于毫米波雷达的室内人员探测方法、装置、设备及介质
CN110956137A (zh) 点云数据的目标检测方法、系统及介质
CN110717918B (zh) 行人检测方法和装置
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
CN110717496A (zh) 基于神经网络的复杂场景树木检测方法
CN115393681A (zh) 一种目标融合方法、装置、电子设备及存储介质
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN115424233A (zh) 基于信息融合的目标检测方法以及目标检测装置
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
Vu et al. Detecting and tracking sinkholes using multi-level convolutional neural networks and data association
CN111538918B (zh) 一种推荐方法、装置、电子设备及存储介质
Wu et al. A Dense Litchi Target Recognition Algorithm for Large Scenes
Lee et al. An incremental nonparametric Bayesian clustering-based traversable region detection method
Rocha et al. Beyond Land: A Review of Benchmarking Datasets, Algorithms, and Metrics for Visual-Based Ship Tracking
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
CN113221709B (zh) 用于识别用户运动的方法、装置及热水器
CN114998387A (zh) 一种物体距离监测方法、装置、电子设备和存储介质
CN115131756A (zh) 一种目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant