CN117647788B - 一种基于人体3d点云的危险行为识别方法及设备 - Google Patents
一种基于人体3d点云的危险行为识别方法及设备 Download PDFInfo
- Publication number
- CN117647788B CN117647788B CN202410121205.9A CN202410121205A CN117647788B CN 117647788 B CN117647788 B CN 117647788B CN 202410121205 A CN202410121205 A CN 202410121205A CN 117647788 B CN117647788 B CN 117647788B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- human body
- target
- moving
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006399 behavior Effects 0.000 claims abstract description 31
- 238000009826 distribution Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 210000003414 extremity Anatomy 0.000 description 86
- 230000009471 action Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 210000002310 elbow joint Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 210000000323 shoulder joint Anatomy 0.000 description 5
- 210000003857 wrist joint Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 102220638514 E3 ubiquitin-protein ligase RFWD3_S74A_mutation Human genes 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 102220622101 Collagen alpha-1(XXII) chain_S72A_mutation Human genes 0.000 description 2
- 102220622104 Collagen alpha-1(XXII) chain_S73A_mutation Human genes 0.000 description 2
- 102220638050 E3 ubiquitin-protein ligase RFWD3_S51A_mutation Human genes 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102220638048 E3 ubiquitin-protein ligase RFWD3_S71A_mutation Human genes 0.000 description 1
- 102220536512 THAP domain-containing protein 1_S52A_mutation Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及雷达成像技术领域,具体涉及一种基于人体3D点云的危险行为识别方法及设备,该方法包括:根据收集的原始雷达回波信号提取运动目标的点云,并计算运动目标点云的物理坐标、运动速度;根据运动目标点云的物理坐标分布,提取点云分布中心点,并根据所述点云分布中心点的变化情况确定运动目标的运动方向;根据所述物理坐标、运动速度、运动方向将运动目标点云分割为不同的目标肢体;提取各个目标肢体的特征中心,并根据各个特征中心生成运动目标的整合人体特征;判断所述整合人体特征是否需要被修正;若所述整合人体特征需要被修正,则利用前一时刻的人体特征对所述整合人体特征进行修正;根据修正后的整合人体特征识别危险行为。
Description
技术领域
本发明涉及雷达成像技术领域,具体涉及一种基于人体3D点云的危险行为识别方法及设备。
背景技术
近年来,人口老龄化趋势不断加剧,独居老人的群体数量持续增加,由于老年人身体机能的下降,会使得人体出现反应迟钝、行动迟缓、平衡能力下降等负面状态,这会导致跌倒等意外情况发生的概率增加,同时,由于人体器官的衰老,肌体抵抗能力的下降,心脑血管等疾病发生的概率增加,突发性的休克、晕倒、心梗等情况产生的概率大大增加,严重威胁老人的生命安全。
现有的基于雷达传感器的人体识别方法,包括激光雷达传感器,利用激光雷达传感器采集数据,通过深度神经网络对收集到的3D点云信号进行处理,实现人体行为动作识别,但是激光雷达传感器是光学传感器,容易受到环境的影响,探测范围会大幅度降低。专利文件CN116580460A公开了一种基于雷达的端到端神经网络人体行为识别方法,利用雷达采集目标数据,通过深度学习方法实现人体行为识别,但此方法对相近动作的区分能力较差,无法准确反映测试者的实际动作情况。
发明内容
有鉴于此,本发明一方面提供了一种基于人体3D点云的危险行为识别方法,该方法包括:
根据收集的原始雷达回波信号提取运动目标的点云,并计算运动目标点云的物理坐标、运动速度;
根据运动目标点云的物理坐标分布,提取点云分布中心点,并根据所述点云分布中心点的变化情况确定运动目标的运动方向;
根据所述物理坐标、运动速度、运动方向将运动目标点云分割为不同的目标肢体;
提取各个目标肢体的特征中心,并根据各个特征中心生成运动目标的整合人体特征;
判断所述整合人体特征是否需要被修正;
若所述整合人体特征需要被修正,则利用前一时刻的人体特征对所述整合人体特征进行修正;
根据修正后的整合人体特征识别危险行为。
可选地,判断所述整合人体特征是否需要被修正,包括:
判断所述整合人体特征是否完整;
若所述整合人体特征不完整,则判定所述整合人体特征需要被修正。
可选地,利用前一时刻的人体特征对所述整合人体特征进行修正,包括:
利用前一时刻的人体特征对当前时刻的整合人体特征进行补齐;
判断补齐后的整合人体特征是否符合运动特点;
若补齐后的整合人体特征不符合运动特点,则利用前一时刻的人体特征中的肢体替换当前时刻不符合运动特点的目标肢体;
对替换后的特征进行坐标调整。
可选地,判断所述整合人体特征是否需要被修正,包括:
判断所述整合人体特征是否符合运动特点;
若所述整合人体特征不符合运动特点,则判定所述整合人体特征需要被修正。
可选地,利用前一时刻的人体特征对所述整合人体特征进行修正,包括:
利用前一时刻的人体特征中的肢体替换当前时刻不符合运动特点的目标肢体;
对替换后的特征进行坐标调整。
可选地,根据所述物理坐标、运动速度、运动方向将运动目标点云分割为不同的目标肢体,包括:
根据所述物理坐标确定运动目标点云的高度;
根据所述运动速度、运动方向、高度将所述运动目标点云分割为不同的目标肢体。
可选地,提取各个目标肢体的特征中心点,并根据各个特征中心点生成运动目标的整合人体特征,包括:
利用ransac算法提取各个目标肢体的点云分布方向作为对应的目标肢体主体;
对杂散点进行消除;
根据点云的物理坐标将经过处理的各个目标肢体的点云分别进行区域划分,并计算每一区域的特征中心点;
根据各个特征中心点生成运动目标的整合人体特征。
可选地,判断所述整合人体特征是否完整,包括:
获取当前时刻的所述整合人体特征中各个目标肢体的实际特征中心点数量;
将各个目标肢体的实际特征中心点数量分别与理论特征中心点数量进行比较,若实际特征中心点数量等于理论特征中心点数量,则判断目标肢体的特征完整。
可选地,判断所述整合人体特征是否符合运动特点,包括:
计算当前时刻的所述整合人体特征中各个目标肢体的特征中心点间的角度;
将当前时刻的各个特征中心点间的角度分别与对应的角度范围进行比较,若当前时刻的各个特征中心点间的角度在角度范围内,则判断当前时刻的目标肢体的符合运动特点。
可选地,所述方法还包括:根据所述整合人体特征,调整目标肢体的特征中心点位置。
可选地,根据收集的原始雷达回波信号提取运动目标的点云,并计算运动目标点云的物理坐标、运动速度,包括:
对接收到的原始雷达回波信号提取距离维复信号;
对所述距离维复信号在慢时间维度上提取运动目标的距离多普勒图;
利用恒虚警检测对所述距离多普勒图进行提取运动目标点云;
对所述运动目标点云进行空间谱估计,得到运动目标点云的物理坐标、运动速度,并根据点云的物理坐标分布情况,对点云进行去噪处理。
可选地,根据运动目标点云的物理坐标分布,提取点云分布中心点,并根据所述点云分布中心点的变化情况确定运动目标的运动方向,包括:
根据所述运动目标点云的物理坐标确定点云中心点;
根据所述运动目标点云在水平平面上的点云中心点的运动轨迹确定运动目标的运动方向。
本发明第三方面,还提供了一种人体3D点云成像及危险行为识别设备,该设备包括:处理器以及与所述处理器连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行上述的基于人体3D点云的危险行为识别方法。
根据本发明提供的一种基于人体3D点云的危险行为识别方法及设备,利用阵列雷达的方式获取运动目标点云,进而对运动目标点云划分各个肢体部分,通过3D点云成像方法对运动目标的肢体和实际动作情况进行准确清晰的呈现,可以准确真实的反映测试者的实际情况,并将残缺或不符合运动特点的肢体进行修正,提高了人体特征的准确程度,并对完整的整合人体特征进行危险行为识别,提高了危险行为的识别准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的使用场景示意图;
图2为本发明实施例提供的一种基于人体3D点云的危险行为识别方法的流程示意图;
图3为本发明实施例提供的利用前一时刻的人体特征对整合人体特征进行修正的流程示意图;
图4为本发明实施例生成的运动目标的整合人体特征结果示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1输出了本发明实施例中的使用场景示意图,毫米波雷达天线阵列被安装在场景的墙壁上,使雷达天线正对测试场景,收集使用场景内的数据,进行运动目标的人体行为检测。雷达的天线数目为T发R收,等效虚拟天线阵列为M×N,采用时分复用(TDM)的方式交替发射调频连续波(FMCW)信号,一个周期内的FMCW信号为一个Chirp信号,信号调制方式为锯齿波,Chirp信号的周期为,所有发射天线交替发射的/>组Chirp信号组成一帧,帧周期为/>。雷达接收到的回波信号与发射信号混频得到差频信号,后经高通滤波、低噪声放大、ADC采样得到数字化的回波信号。
如图2所示为本发明的一个实施例,提供了一种基于人体3D点云的危险行为识别方法,该方法由计算机或服务器等电子设备执行,包括如下操作:
S1,根据收集的原始雷达回波信号提取运动目标的点云,并计算运动目标点云的物理坐标、运动速度;
S2,根据运动目标点云的物理坐标分布,提取点云分布中心点,并根据点云分布中心点的变化情况确定运动目标的运动方向。
S3,根据物理坐标、运动速度、运动方向将运动目标点云分割为不同的目标肢体。目标肢体可分为身体躯干、左臂、右臂、左腿、右腿。
S4,提取各个目标肢体的特征中心,并根据各个特征中心生成运动目标的整合人体特征。特征中心为各个肢体的重要关节点,如手臂的肩关节、肘关节、腕关节等。
S5,判断整合人体特征是否需要被修正。需要被修正的情况包括但不限于肢体不全(与预设数量不符)、肢体明显不符合运动特点(比如肢体角度不符合人体结构规律)等各种不能反映人体真实姿态的情况。若整合人体特征不需要被修正,则执行步骤S6;若整合人体特征需要被修正,则执行步骤S7。
S6,根据整合人体特征识别危险行为。具体可以根据预期需要识别的动作详情选取合适的方法实现人体行为的识别,其中,包括但不限于特征工程、机器学习、深度学习等方式。例如,可以根据点云的位置、速度和方向识别跌倒、登高等危险动作;对于跌倒动作,根据不同姿态可以详细识别出全身着地式跌倒、下半身着地式跌倒。在此基础上,可以根据使用者的实际需要使用场景不同,设置不同的动作进行识别。
S7,利用前一时刻的人体特征对整合人体特征进行修正。比如对于肢体数量不齐全的情况,利用前一时刻对应的肢体特征将缺失的肢体补齐;对于肢体不符合运动特点的情况,将不符合运动特点的肢体部分进行替换,并调整目标肢体的中心点位置。图4展示了对整合人体特征进行修正后得到的人体运动特征结果图样例,经过修正后的整合人体特征肢体数量齐全、且符合人体运动特点。
S8,根据修正后的整合人体特征识别危险行为。可以根据预期需要识别的动作详情选取合适的方法实现人体行为的识别,其中,包括但不限于特征工程、机器学习、深度学习等方式。主要可以识别跌倒、登高等危险动作,对于跌倒动作,根据不同姿态可以详细识别出全身着地式跌倒、下半身着地式跌倒。在此基础上,可以根据使用者的实际需要使用场景不同,设置不同的动作进行识别。
本实施例利用阵列雷达的方式获取运动目标点云,进而对运动目标点云划分各个肢体部分,通过3D点云成像方法对运动目标的肢体和实际动作情况进行准确清晰的呈现,可以准确真实的反映测试者的实际情况,并将残缺或不符合运动特点的肢体进行修正,提高了人体特征的准确程度,并对完整的整合人体特征进行危险行为识别,提高了危险行为的识别准确性。
在一个实施例中,上述步骤S5具体包括:
S51A,判断整合人体特征是否完整。
S52A,若整合人体特征不完整,则判定整合人体特征需要被修正。
如图3所示上述步骤S7具体包括:
S71A,利用前一时刻的人体特征对当前时刻的整合人体特征进行补齐。具体地,根据当前时刻运动目标的运动方向建立运动目标坐标系,并将当前时刻的特征中心点由雷达坐标系转换到与运动方向一致的运动目标坐标系,然后将上一时刻的特征中心点补充到当前时刻。例如,当前时刻的左臂特征不完整,缺少腕关节的特征中心点,则获取前一时刻的左臂特征中腕关节的特征中心点补充到当前时刻。另一种补齐方式可以是将前一时刻左臂特征的所有特征中心点全部补充到当前时刻,即替换掉当前时刻左臂已有的特征中心点,或者是跳过当前时刻,等到下一时刻再进行判断是否补齐。由于补齐后所有的肢体齐全,基于此处理结果判断危险行为可以提高准确性。
更进一步地,还可以执行如下操作:
S72A,判断补齐后的整合人体特征是否符合运动特点。若补齐后的整合人体特征不符合运动特点,则执行步骤S73A;若补齐后的整合人体特征符合运动特点,则执行S74A。
S73A,利用前一时刻的人体特征中的肢体替换当前时刻不符合运动特点的目标肢体。
S74A,对替换后的特征进行坐标调整。对肢体特征进行替换后,为了使替换后的点云位置更加准确,需对其进行坐标调整,在符合运动特点情况下,需将补齐的整合人体特征进行坐标调整。例如,由于运动目标可能在运动中,补齐得到的当前时刻的腕关节特征中心点的位置与前一时刻不同,则可以根据左臂的特征中心点的分布特点对新补充的特征中心点进行坐标调整,使左臂的所有特征点符合角度、距离等特点。
由于毫米波雷达提取到的点云数据并不稳定,在某些角度无法提取到足够点云,例如,可能在人体的手臂或者腿等RCS较小的部位,没有足够的点云支撑生成合理的人体肢体运动特征,因此,需要通过后处理的方式,根据上一时刻的运动情况对缺损点进行补充,由于时间不同,补充的特征中心点与当前时刻已有的特征中心点可能会不匹配,需进一步进行坐标调整,最后得到的修正后的整合人体特征保证了人体各肢体完整和符合人体运动特点,且又进行了坐标调整,进一步提高了人体特征的合理性和准确性。
上述步骤S51A具体包括:
S51A1,获取当前时刻的整合人体特征中各个目标肢体的实际特征中心点数量。
S51A2,将各个目标肢体的实际特征中心点数量分别与理论特征中心点数量进行比较,若实际特征中心点数量等于理论特征中心点数量,则判断目标肢体的特征完整。由于每个目标肢体理论的特征中心点是固定的,只有实际特征中心点数量等于理论特征中心点数量,则目标肢体是完整的。通过判断目标肢体是否完整,进而及时对其进行调整,提高整合人体特征的准确性。
上述步骤S72A具体包括:
计算当前时刻的整合人体特征中各个目标肢体的特征中心点间的角度。
将当前时刻的各个特征中心点间的角度分别与对应的角度范围进行比较,若当前时刻的各个特征中心点间的角度在角度范围内,则判断当前时刻的目标肢体符合运动特点。例如,左臂的肘关节处和肩关节处容易发生反转,则计算这两处的角度,进而判断左臂是否符合运动特点,提高人体特征的准确性。
在另一个实施例中,步骤S5具体包括:
S51B,判断整合人体特征是否符合运动特点。
S52B,若整合人体特征不符合运动特点,则判定整合人体特征需要被修正。该判断步骤可以默认整合人体特征是完整情况下只根据运动特点判断人体特征是否需要被修正。
进一步地,在整合人体特征不符合运动特点,判定整合人体特征需要被修正时,步骤S7具体包括:
S71B,利用前一时刻的人体特征中的肢体替换当前时刻不符合运动特点的目标肢体。具体地,根据当前时刻运动目标的运动方向建立运动目标坐标系,并将当前时刻的特征中心点由雷达坐标系转换到与运动方向一致的运动目标坐标系,然后将上一时刻的全部特征中心点替换当前时刻的特征中心点。例如,当前时刻的左臂的各个关节角度不对,如胳膊反转,则直接将前一时刻的左臂特征中全部特征中心点替换当前时刻的特征中心点。
S72B,对替换后的特征进行坐标调整。坐标调整和步骤S74A相同,在此不再赘述。
在一个实施例中,上述步骤S3具体包括:
S31,根据物理坐标确定运动目标点云的高度。将纵坐标作为运动目标点云的高度。
S32,根据运动速度、运动方向、高度将运动目标点云分割为不同的目标肢体。具体地,可以利用深度学习网络根据不同肢体的速度、方向和高度对运动目标点云进行分割,还可以只根据点云的物理坐标对点云进行形状分析,利用形状和形状间的连接来区分各个肢体部分。由于不同的运动姿态,可能无法明确分割点云,如手臂运动不明显的姿态下,可能无法在此时明确的分割出两个手臂,此时只计算能够分割出来的部分。
本实施例通过点云的物理坐标分布情况,可以将人体点云划分为多个部分用于对应人体的不同肢体。由于不同肢体会有不同的速度、方向以及形状特点,可以根据具体的运动姿态将不同的点云部分与各个人体肢体相对应,这样可以分别对每一部分肢体产生的点云分别根据各个肢体的实际特点进行处理,提高了点云特征的合理性和准确性。
在一个实施例中,上述步骤S4具体包括:
S41,利用ransac算法提取各个目标肢体的点云分布方向作为对应的目标肢体主体。点云分布方向可以是目标肢体的几何形状。
S42,对杂散点进行消除。如手臂的形状为长方形,则将位于该长方形外的点云进行去除,然后可以重新提取各个目标肢体的点云分布方向,根据目标肢体进行点云去除,直到没有去除的点云为止。目标肢体主体提取以及杂散点消除步骤交替迭代,提高了肢体特征的准确性。
S43,根据点云的物理坐标将经过处理的各个目标肢体的点云分别进行区域划分,并计算每一区域的特征中心点。具体地,根据目标肢体的物理坐标和目标肢体的关节比例将目标肢体内的点云进行划分,如将手臂划分为三部分,如手臂的肩关节部分、肘关节部分、腕关节部分,然后计算每一部分的中心点云作为该目标肢体的特征中心点,特征中心点就是目标肢体的重要关节点,如手臂的肩关节、肘关节、腕关节。
S44,根据各个特征中心点生成运动目标的整合人体特征。将各个目标肢体的重要关节点进行整合形成运动目标的整体的人体特征。
本实施例利用ransac算法能够在存在噪声和离群点的情况下,对点云进行拟合,拟合出肢体的形状,进而将拟合的肢体形状外的杂散点进行去除,然后通过整合各部分点云提取得到的特征中心点,可以生成人体整体的肢体运动特征,通过交替跌倒的方式,逐步更新提取得到的肢体形状和进行噪声消除,可以使得提取得到的肢体运动特征更加准确,这些特征可以直观的体现人体姿态和行为。
进一步地,在上述步骤S4后还可以执行如下操作:根据整合人体特征,调整目标肢体的特征中心点位置。
具体地,根据当前时刻运动目标的运动方向建立运动目标坐标系,并将整合人体特征的特征中心点由雷达坐标系转换到与运动方向一致的运动目标坐标系,在转换完坐标系后,将左臂、右臂、左腿、右腿与身体躯干进行匹配,即分析手臂、腿部与身体躯干连接部位是否匹配,具体根据匹配结果和身体躯干的位置对手臂和腿部的特征中心点进行位置和坐标调整。
由于得到的运动目标点云数据会受到运动姿态、照射角度、衣服材质等影响,在空间坐标上的分布并不会十分的准确,而且若对人体特征进行过补齐,则可能出现四肢与人体躯干不匹配、不连接的情况,通过调整点云坐标,将四肢与躯干连接起来,形成完整的人体特征,进而提高行为识别的准确性。
在一个实施例中,上述步骤S1具体包括:
S11,对接收到的雷达回波信号提取距离维复信号。由于天线数目为T发R收,因此共有个通道的接收信号,分别对每个通道中每个Chirp信号进行去直流、加窗、快速傅里叶变换等处理,得到第一距离维复信号,然后分别对每个通道内的每帧内的/>个第一距离维复信号进行慢时间去直流处理,得到第二距离维复信号。
S12,对距离维复信号在慢时间维度上提取运动目标的距离多普勒图。具体地,对第二距离维复信号在慢时间维度上加窗、快速傅里叶变换,并求取绝对值,提取得到每个通道的距离多普勒图,然后对每个通道提取得到的距离多普勒图进行非相参积累,得到累积的距离多普勒图/>。
S13,利用恒虚警检测对距离多普勒图进行运动目标点云提取。具体地,利用恒虚警检测器(CFAR)采用滑窗的方式对距离多普勒图进行处理,确认检测阈值,遍历滑动窗口内的点云,提取大于检测阈值的运动目标点云。
S14,对运动目标点云进行空间谱估计,得到运动目标点云的物理坐标、运动速度,并根据点云的物理坐标分布情况,对点云进行去噪处理。具体地,在提取运动目标点云后,将提取到的每一个运动目标点云的个通道在相同坐标上的复数据,按照天线的分布方式排列,可以得到虚拟天线矩阵阵列,对该矩阵阵列进行补零后,进行2DFFT,得到空间谱,提取空间谱中高能量主瓣峰值点的位置,根据峰值点的位置,计算其在方位上相对于雷达的角度,根据每一个峰值点的角度以及由距离多普勒图/>提取到的该峰值点到雷达的距离,计算该峰值点的物理坐标,可以得到每一个点云的物理坐标、运动速度。然后,利用交替迭代的方式消除运动目标点云中的杂散噪声点:首先,计算点云分布中心,点云分布中心为点云密度较高或分布集中的区域,可以包括多个分布中心;然后计算点云与分布中心的距离,可以计算每个点云到分布中心的中心点的距离,根据距离分布情况,计算点云去噪阈值;最后消除不满足阈值的点,上述三个步骤重复进行,直到没有点需要消除时停止。其中,点云与分布中心的距离包括但不限于欧氏距离、相关度、曼哈顿距离、切比雪夫距离等。通过重复消除位于密集点云之外的噪点,提取精确的点云。
本实施例通过雷达回波信号提取运动目标点云,利用恒虚警检测将真正的目标点与杂散点进行区分,将真实目标点提取出来,然后通过空间谱估计的方法,可以确定点云的物理坐标,并进一步分析点云的运动速度,是后续进行肢体分割和整合人体特征的基础。
在一个实施例中,上述步骤S2具体包括:
根据运动目标点云的物理坐标确定点云中心点,根据运动目标点云在水平平面上的点云中心点的运动轨迹确定运动目标的运动方向。由于雷达对于径向方向上的运动较为敏感,因此,根据目标的运动方向,可以将当前时刻的运动分为相对于雷达径向方向上的运动以及相对于雷达切向方向上的运动,根据运动目标点云的物理坐标进行求和并计算平均值,得到点云中心点,根据上一时刻的点云中心点和当前时刻的点云中心点的运动轨迹,进而确定运动目标相对于雷达的径向方向和切向方向的运动方向。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种基于人体3D点云的危险行为识别方法,其特征在于,包括:
根据收集的原始雷达回波信号提取运动目标的点云,并计算运动目标点云的物理坐标、运动速度;
根据运动目标点云的物理坐标分布,提取点云分布中心点,并根据所述点云分布中心点的变化情况确定运动目标的运动方向;
根据所述物理坐标、运动速度、运动方向将运动目标点云分割为不同的目标肢体;
提取各个目标肢体的特征中心,并根据各个特征中心生成运动目标的整合人体特征;
判断所述整合人体特征是否完整;
若所述整合人体特征不完整,则利用前一时刻的人体特征对当前时刻的整合人体特征进行补齐;
判断补齐后的整合人体特征是否符合运动特点;
若补齐后的整合人体特征不符合运动特点,则利用前一时刻的人体特征中的肢体替换当前时刻不符合运动特点的目标肢体;
对替换后的特征进行坐标调整;
根据修正后的整合人体特征识别危险行为。
2.根据权利要求1所述的方法,其特征在于,根据所述物理坐标、运动速度、运动方向将运动目标点云分割为不同的目标肢体,包括:
根据所述物理坐标确定运动目标点云的高度;
根据所述运动速度、运动方向、高度将所述运动目标点云分割为不同的目标肢体。
3.根据权利要求1所述的方法,其特征在于,提取各个目标肢体的特征中心点,并根据各个特征中心点生成运动目标的整合人体特征,包括:
利用ransac算法提取各个目标肢体的点云分布方向作为对应的目标肢体主体;
对杂散点进行消除;
根据点云的物理坐标将经过处理的各个目标肢体的点云分别进行区域划分,并计算每一区域的特征中心点;
根据各个特征中心点生成运动目标的整合人体特征。
4.根据权利要求1所述的方法,其特征在于,判断所述整合人体特征是否完整,包括:
获取当前时刻的所述整合人体特征中各个目标肢体的实际特征中心点数量;
将各个目标肢体的实际特征中心点数量分别与理论特征中心点数量进行比较,若实际特征中心点数量等于理论特征中心点数量,则判断目标肢体的特征完整。
5.根据权利要求1所述的方法,其特征在于,判断所述整合人体特征是否符合运动特点,包括:
计算当前时刻的所述整合人体特征中各个目标肢体的特征中心点间的角度;
将当前时刻的各个特征中心点间的角度分别与对应的角度范围进行比较,若当前时刻的各个特征中心点间的角度在角度范围内,则判断当前时刻的目标肢体的符合运动特点。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述整合人体特征,调整目标肢体的特征中心点位置。
7.根据权利要求1所述的方法,其特征在于,根据收集的原始雷达回波信号提取运动目标的点云,并计算运动目标点云的物理坐标、运动速度,包括:
对接收到的原始雷达回波信号提取距离维复信号;
对所述距离维复信号在慢时间维度上提取运动目标的距离多普勒图;
利用恒虚警检测对所述距离多普勒图进行提取运动目标点云;
对所述运动目标点云进行空间谱估计,得到运动目标点云的物理坐标、运动速度,并根据点云的物理坐标分布情况,对点云进行去噪处理。
8.根据权利要求1所述的方法,其特征在于,根据运动目标点云的物理坐标分布,提取点云分布中心点,并根据所述点云分布中心点的变化情况确定运动目标的运动方向,包括:
根据所述运动目标点云的物理坐标确定点云中心点;
根据所述运动目标点云在水平平面上的点云中心点的运动轨迹确定运动目标的运动方向。
9.一种人体3D点云成像及危险行为识别设备,其特征在于,包括:处理器以及与所述处理器连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行如权利要求1-8中任意一项所述的基于人体3D点云的危险行为识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121205.9A CN117647788B (zh) | 2024-01-29 | 2024-01-29 | 一种基于人体3d点云的危险行为识别方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121205.9A CN117647788B (zh) | 2024-01-29 | 2024-01-29 | 一种基于人体3d点云的危险行为识别方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117647788A CN117647788A (zh) | 2024-03-05 |
CN117647788B true CN117647788B (zh) | 2024-04-26 |
Family
ID=90046344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410121205.9A Active CN117647788B (zh) | 2024-01-29 | 2024-01-29 | 一种基于人体3d点云的危险行为识别方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117647788B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229920A (zh) * | 2017-06-08 | 2017-10-03 | 重庆大学 | 基于整合深度典型时间规整及相关修正的行为识别方法 |
KR20170135003A (ko) * | 2016-05-30 | 2017-12-08 | 재단법인 아산사회복지재단 | 실시간 상지 관절 운동 추적 장치 및 방법 |
CN109949347A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
CN113538667A (zh) * | 2021-09-17 | 2021-10-22 | 清华大学 | 动态场景光场重建方法及装置 |
CN113808256A (zh) * | 2021-09-15 | 2021-12-17 | 天津大学 | 一种结合身份识别的高精度全息人体重建方法 |
CN114580471A (zh) * | 2022-02-28 | 2022-06-03 | 上海体育学院 | 人体动作识别方法和系统 |
CN115128990A (zh) * | 2022-07-04 | 2022-09-30 | 福建远恩智能技术有限公司 | 一种泵房运维人员的安全预警方法 |
CN115204221A (zh) * | 2022-06-28 | 2022-10-18 | 深圳市华屹医疗科技有限公司 | 生理参数的检测方法、设备及存储介质 |
CN115220007A (zh) * | 2022-07-26 | 2022-10-21 | 浙江大学 | 一种针对姿态识别的雷达点云数据增强方法 |
CN117152844A (zh) * | 2023-09-25 | 2023-12-01 | 同济大学 | 基于计算机视觉的高完整性工人施工姿态检测方法及系统 |
WO2023236989A1 (zh) * | 2022-06-10 | 2023-12-14 | 长沙莫之比智能科技有限公司 | 对象跌倒检测方法、装置、毫米波雷达和存储介质 |
-
2024
- 2024-01-29 CN CN202410121205.9A patent/CN117647788B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170135003A (ko) * | 2016-05-30 | 2017-12-08 | 재단법인 아산사회복지재단 | 실시간 상지 관절 운동 추적 장치 및 방법 |
CN107229920A (zh) * | 2017-06-08 | 2017-10-03 | 重庆大学 | 基于整合深度典型时间规整及相关修正的行为识别方法 |
CN109949347A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
CN113808256A (zh) * | 2021-09-15 | 2021-12-17 | 天津大学 | 一种结合身份识别的高精度全息人体重建方法 |
CN113538667A (zh) * | 2021-09-17 | 2021-10-22 | 清华大学 | 动态场景光场重建方法及装置 |
CN114580471A (zh) * | 2022-02-28 | 2022-06-03 | 上海体育学院 | 人体动作识别方法和系统 |
WO2023236989A1 (zh) * | 2022-06-10 | 2023-12-14 | 长沙莫之比智能科技有限公司 | 对象跌倒检测方法、装置、毫米波雷达和存储介质 |
CN115204221A (zh) * | 2022-06-28 | 2022-10-18 | 深圳市华屹医疗科技有限公司 | 生理参数的检测方法、设备及存储介质 |
CN115128990A (zh) * | 2022-07-04 | 2022-09-30 | 福建远恩智能技术有限公司 | 一种泵房运维人员的安全预警方法 |
CN115220007A (zh) * | 2022-07-26 | 2022-10-21 | 浙江大学 | 一种针对姿态识别的雷达点云数据增强方法 |
CN117152844A (zh) * | 2023-09-25 | 2023-12-01 | 同济大学 | 基于计算机视觉的高完整性工人施工姿态检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117647788A (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110609281B (zh) | 一种区域检测方法及装置 | |
CN112401856B (zh) | 一种基于毫米波雷达的疗养院监护方法及系统 | |
US9658314B2 (en) | System and method for geo-locating and detecting source of electromagnetic emissions | |
CN111045008B (zh) | 基于展宽计算的车载毫米波雷达目标识别方法 | |
CN110738095A (zh) | 一种行为分析方法及装置 | |
CN110837079B (zh) | 一种基于雷达的目标检测方法及装置 | |
JP2017156219A (ja) | 追尾装置、追尾方法およびプログラム | |
CN113393497B (zh) | 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备 | |
CN108872977B (zh) | 基于单通道超宽带雷达的生命体双站协同探测方法 | |
CN114814832A (zh) | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 | |
KR20210001575A (ko) | 잡음 환경 내 실시간 심장 박동수 탐지 장치 및 그 방법 | |
US11754704B2 (en) | Synthetic-aperture-radar image processing device and image processing method | |
CN111323757A (zh) | 一种航海雷达目标检测方法及装置 | |
CN106605153A (zh) | 轴偏移诊断装置 | |
CN117647788B (zh) | 一种基于人体3d点云的危险行为识别方法及设备 | |
CN101149803A (zh) | 点源目标检测的小虚警率的试验估计方法 | |
CN106772357B (zh) | 信噪比未知条件下的ai-phd滤波器多目标跟踪方法 | |
CN107578036A (zh) | 一种基于小波矩的深度图像跌倒识别算法 | |
CN113608190B (zh) | 基于奇异空间三特征的海面目标检测方法及系统 | |
CN115204221B (zh) | 生理参数的检测方法、设备及存储介质 | |
US11835619B2 (en) | Synthetic aperture radar signal analysis device, synthetic aperture radar signal analysis method, and synthetic aperture radar signal analysis program | |
CN114355329A (zh) | 一种调频连续波雷达生命体征距离检测的方法 | |
CN114903469A (zh) | 生命体征监测方法及装置 | |
US11846702B2 (en) | Image processing device and image processing method | |
CN111505645A (zh) | 雷达云图数据的显示方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |