CN112327286B - 低复杂度下日常活动分类方法、装置、设备及存储介质 - Google Patents
低复杂度下日常活动分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112327286B CN112327286B CN202011090199.3A CN202011090199A CN112327286B CN 112327286 B CN112327286 B CN 112327286B CN 202011090199 A CN202011090199 A CN 202011090199A CN 112327286 B CN112327286 B CN 112327286B
- Authority
- CN
- China
- Prior art keywords
- radar time
- graph
- low complexity
- radar
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 abstract description 24
- 238000004364 calculation method Methods 0.000 abstract description 17
- 230000015654 memory Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000009982 effect on human Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明实施例公开了一种低复杂度下日常活动分类方法、装置、设备及存储介质,该方法包括:获取室内活动的雷达时距图;对所述雷达时距图进行目标检测和特征提取以获取运动目标;通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
Description
技术领域
本发明实施例涉及目标检测技术,尤其涉及一种低复杂度下日常活动分类方法、装置、设备及存储介质。
背景技术
近年来,随着智能物联网应用的飞速发展,各类基于人体体征的研究成为一大热点。在日常生活中,人体的各种体征,如人脸信息、虹膜信息、语音信息、手势信息、动作信息等,都蕴含大量信息,可应用于识别、定位、交互等。其中,动作信息是本发明研究的重点。人体的日常动作能够在特定场合直观地传递丰富信息,在安防监控、医疗监护、人机交互等领域中扮演者重要的角色。
在各类传感器中,雷达传感器以其特有的优势得到了广泛的应用。对比其他传感器,雷达传感器有着保护隐私、全天候工作、不受光线和水雾影响等优点。因此,越来越多的研究者采用雷达对人体进行探测识别。雷达传感器的工作原理是雷达主动发射电磁波,研究者通过分析雷达回波进行识别人体目标。
随着深度学习的发展,各类基于深度学习方法的识别技术也不断涌现,对于雷达传感器而言亦是如此。在样本充足和计算资源丰富的情况下,基于深度学习的方法确实在一定程度上得到了较高的人体活动识别精度。然而,在智能物联网应用中,这种需要消耗较大的计算资源的方法,并不一定能够保证实时性的计算结果。一种解决方法是将数据传输至云端进行算法计算,但是云端计算在传输和延时方面是比不上边缘计算的。因此,提供一种低复杂度、计算需求小的活动分类方法,在一定程度上能够完成物联网终端边缘计算的目标。
发明内容
本发明提供一种低复杂度下日常活动分类方法,以实现在日常活动检测中低复杂度、计算需求小的效果。
第一方面,本发明实施例提供了一种低复杂度下日常活动分类方法,包括:
获取室内活动的雷达时距图;
对所述雷达时距图进行目标检测和特征提取以获取运动目标;
通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。
可选的,所述对所述雷达时距图进行目标检测和特征提取以获取运动目标包括:
通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息;
对所述雷达时距图提取微多普勒特征以获取运动目标。
可选的,所述通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息包括:
对所述雷达时距图的每一帧多个距离单元的幅度进行排序,求二阶导后获取拐点并将所述拐点对应的幅度提取出来;
根据所述幅度以滑窗的形式统计所述幅度的概率分布,为高斯分布;
对所述雷达时距图的每一帧多个距离单元进行判断是否符合条件,若符合条件则为有效距离单元点以消除误差。
可选的,所述条件包括:
log10(x(n,k))-μ>Th*σ2
其中,x(n,k)为雷达时距图,n为帧序列,k为距离单元序列,Th为预先设定门限值,μ为统计的高斯分布的均值,σ2为统计的方差。
可选的,所述对所述雷达时距图提取微多普勒特征以获取运动目标包括:
对所述雷达时距图提取微多普勒特征以获取微多普勒谱图;
根据所述微多普勒谱图提取多个特征进行动静粗分类以获取运动目标。
可选的,所述提取多个特征包括:躯干多普勒频率、高频信息量和多普勒能量值。
可选的,所述对所述雷达时距图进行目标检测和特征提取以获取运动目标之后还包括:
通过5-折交叉验证方法训练神经网络模型以获取训练好的神经网络。
第二方面,本发明实施例还提供了一种低复杂度下日常活动分类装置,该装置包括:
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述任一所述的低复杂度下日常活动分类方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序包括程序指令,该程序指令被处理器执行时实现如上述任一所述的低复杂度下日常活动分类方法。
本发明实施例公开了一种低复杂度下日常活动分类方法、装置、设备及存储介质,该方法包括:获取室内活动的雷达时距图;对所述雷达时距图进行目标检测和特征提取以获取运动目标;通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
附图说明
图1为本发明实施例一提供的一种低复杂度下日常活动分类方法的流程示意图;
图2为本发明实施例一提供的另一种低复杂度下日常活动分类方法的流程示意图;
图3为本发明实施例一提供的另一种低复杂度下日常活动分类方法的流程示意图;
图4为本发明实施例二提供的一种低复杂度下日常活动分类方法的流程示意图;
图5为本发明实施例三提供的一种低复杂度下日常活动分类装置的结构示意图;
图6为本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外,术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等,但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一模块为第二模块,且类似地,可将第二模块称为第一模块。第一模块和第二模块两者都是模块,但其不是同一模块。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
实施例一
图1为本发明实施例提供的一种低复杂度下日常活动分类方法的流程示意图,本实施例提供的一种低复杂度下日常活动分类方法适用于检测室内人类活动的情况,该方法可以由电子设备执行,具体地,本实施例提供的一种低复杂度下日常活动分类方法,包括以下步骤:
步骤100、获取室内活动的雷达时距图。
在本实施例中,为室内环境下对人体活动进行测试,可以根据实际情况选择不同信号的雷达进行测试,在本实施例中,以Novelda公司生产的X4M03雷达为例。X4M03雷达模块是发射高斯包络的脉冲多普勒雷达。发射信号模型如下:
其中,V是电压值,t是快时间,ωc是载频,τ由雷达带宽fb决定,表示为:
对于回波信号,首先硬件对回波进行采样得到射频信号。接着对射频信号进行移动平均杂波抑制、数字混频,得到慢时间-距离图,该慢时间-距离图称为雷达时距图。在本实施例中,通过对测试室内返回的回波进行采样得到射频信号生成雷达时距图进行分析。
步骤110、对所述雷达时距图进行目标检测和特征提取以获取运动目标。
在本实施例中,将获取到的雷达时距图通过目标检测方法和特征提取方法来初步判断室内多个人类是否处于运动状态。
步骤110包括步骤111和步骤112,具体地:
步骤111、通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息。
在本实施例中,图2为本实施例中步骤111包括的详细步骤,具体地,包括:
步骤1111、对所述雷达时距图的每一帧多个距离单元的幅度进行排序,求二阶导后获取拐点并将所述拐点对应的幅度提取出来。
在本实施例中,在室内环境中不仅会有很多强的静止杂波,还会有大量多径效应存在,多径效应指电磁波经不同路径传播后,各分量场到达接收端时间不同,按各自相位相互叠加而造成干扰,使得原来的信号失真,或者产生错误。比如电磁波沿不同的两条路径传播,而两条路径的长度正好相差半个波长,那么两路信号到达终点时正好相互抵消了(波峰与波谷重合)。将对识别产生强干扰。为了去除杂波信息和避免雷达多径效应对人体微多普勒信息的干扰,这里利用幅度拐点的对数排序统计恒虚警检测器(OS-CFAR)检测器对雷达时距图进行目标检测。对雷达时距图每一帧多个距离单元的幅度进行排序,求排序后的二阶导数,进而得到拐点。将拐点对应的幅度提取出来。如果排序后没有拐点,则说明该帧很大概率没有目标信息,此时取最大幅度代替拐点幅度。
步骤1112、根据所述幅度以滑窗的形式统计所述幅度的值。
在本实施例中,以滑窗的形式,每窗积累Fc帧数据统计幅度的值。对于杂波数据,观察统计的幅度,取对数之后可以近似认为服从均值为μ,方差为σ^2的高斯分布。
步骤1113、对所述雷达时距图的每一帧多个距离单元进行判断是否符合条件,若符合条件则为有效距离单元点以消除杂波和多径信息。
在本实施例中,得到杂波的分布后,设定一个门限值Th,对每一帧下的距离单元进行判定,若满足如下条件,则认为是有效距离单元点:
log10(x(n,k))-μ>Th*σ2#
其中,x(n,k)为雷达时距图,n为帧序列,k为距离单元序列。同时,选取每一帧最靠近雷达的Ne个有效距离单元点为有效目标点。通过检测器后可以明显消除和避免雷达多径效应和杂波影响,提高了检测的准确率。
步骤112、对所述雷达时距图提取微多普勒特征以获取运动目标。
在本实施例中,图3为本实施例中步骤112包括的详细步骤,具体地,包括:
步骤1121、对所述雷达时距图提取微多普勒特征以获取微多普勒谱图。
在本实施例中,在除去噪声和多径效应后,对时距图提取微多普勒特征,可以得到更加干净的谱图,后续可以采用较低复杂度的分类器进行分类。微多普勒谱图是通过短时傅里叶变换得到的,变换如下:
其中,x(n,k)为雷达时距图,n为帧序列,k为距离单元序列,ω为变换频率,w(n)为高斯窗函数。
步骤1122、根据所述微多普勒谱图提取多个特征进行动静粗分类以获取运动目标。
在本实施例中,对变换后的时频图提取了多个特征,利用多个特征可以对目标进行动静粗分类。具体地,该多个特征包括:躯干多普勒频率、高频信息量和多普勒能量值。
在本实施例中,躯干多普勒频率(速度)提取公式如下:
其中,F为短时傅里叶变换的点数。
高频信息量,公式如下:
其中,表示f包含所有频率。
多普勒能量值,公式如下:
按T秒进行滑窗,窗的长度为Tw秒,分别对Tw秒内的三个特征值求平均,得到该时刻下的特征值。对于每一个特征值均设定一个区分运动和静止的门限值,超过某一门限值则判定为运动。若三个特征有超过两个判定运动(或者静止),则认为目标在运动。在某些特殊情况下,有一个特征判定运动也有可能目标在运动,根据概率进行验证一般认为超过两个判定运动较为准确。
步骤120、通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。
在本实施例中,利用长短期记忆神经网络(LSTM)网络进行细分类。设雷达的帧数设定为fm帧,短时傅里叶变换的点数为F点。首先,需要将由运动到静止和由静止到运动两种状态找出来,提取这种短时间内状态转换的时频图作为样本。选取该时刻前后一共kfm秒的时间为样本的序列长度。因此,样本为kfm*F的矩阵图。为了降低计算复杂度和充分利用时频矩阵的时序性,这里采用两个细胞单元的LSTM网络进行训练,LSTM层后面通过Softmax层进行三分类。每个LSTM层有N个神经元。通过神经网络对运动目标进行详细识别,准确获取目标是否在走动、坐下和起立三种运动情况。
本发明实施例公开了一种低复杂度下日常活动分类方法,包括:获取室内活动的雷达时距图;对所述雷达时距图进行目标检测和特征提取以获取运动目标;通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
实施例二
图4为本发明实施例提供的一种低复杂度下日常活动分类方法的流程示意图,本实施例提供的一种低复杂度下日常活动分类方法适用于检测室内人类活动的情况,该方法可以由电子设备执行,具体地,本实施例提供的一种低复杂度下日常活动分类方法,包括以下步骤:
步骤200、获取室内活动的雷达时距图。
在本实施例中,为室内环境下对人体活动进行测试,可以根据实际情况选择不同信号的雷达进行测试,在本实施例中,以Novelda公司生产的X4M03雷达为例。X4M03雷达模块是发射高斯包络的脉冲多普勒雷达。发射信号模型如下:
其中,V是电压值,t是快时间,ωc是载频,τ由雷达带宽fb决定,表示为:
对于回波信号,首先硬件对回波进行采样得到射频信号。接着对射频信号进行移动平均杂波抑制、数字混频,得到慢时间-距离图,该慢时间-距离图称为雷达时距图。在本实施例中,通过对测试室内返回的回波进行采样得到射频信号生成雷达时距图进行分析。
步骤210、对所述雷达时距图进行目标检测和特征提取以获取运动目标。
在本实施例中,将获取到的雷达时距图通过目标检测方法和特征提取方法来初步判断室内多个人类是否处于运动状态。
步骤220、通过5-折交叉验证方法训练神经网络模型以获取训练好的神经网络。
在本实施例中,将预先设置好的神经网络模型进行训练以获取训练好的神经网络对运动目标进行分类识别,获取每个运动目标具体运动类型。本实验采用5-折交叉验证的方法说明算法精度。5-折交叉验证是将所有样本分为5堆样本集,依次提取5堆样本中的其中一堆作为测试集,其他4堆作为训练集进行网络训练。因此,一共进行五次训练,取测试集精度的平均值作为最终的训练效果。每次实验迭代次数为500次。经过交叉验证,最终的测试准确率有91.22%,达到了训练好模型的效果,使得分类结果更加准确。
步骤230、通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。
在本实施例中,利用长短期记忆神经网络(LSTM)网络进行细分类。设雷达的帧数设定为fm帧,短时傅里叶变换的点数为F点。首先,需要将由运动到静止和由静止到运动两种状态找出来,提取这种短时间内状态转换的时频图作为样本。选取该时刻前后一共kfm秒的时间为样本的序列长度。因此,样本为kfm*F的矩阵图。为了降低计算复杂度和充分利用时频矩阵的时序性,这里采用两个细胞单元的LSTM网络进行训练,LSTM层后面通过Softmax层进行三分类。每个LSTM层有N个神经元。通过神经网络对运动目标进行详细识别,准确获取目标是否在走动、坐下和起立三种运动情况。
本发明实施例公开了一种低复杂度下日常活动分类方法,包括:获取室内活动的雷达时距图;对所述雷达时距图进行目标检测和特征提取以获取运动目标;通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
实施例三
本发明实施例的低复杂度下日常活动分类装置可以实行本发明任意实施例所提供的低复杂度下日常活动分类方法,具备执行方法相应的功能模块和有益效果。图5是本发明实施例中的一种低复杂度下日常活动分类装置300的结构示意图。参照图5,本发明实施例提供的低复杂度下日常活动分类装置300具体可以包括:
获取模块310,用于获取室内活动的雷达时距图;
提取模块320,用于对所述雷达时距图进行目标检测和特征提取以获取运动目标;
分类模块330,用于通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。
可选的,所述对所述雷达时距图进行目标检测和特征提取以获取运动目标包括:
通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息;
对所述雷达时距图提取微多普勒特征以获取运动目标。
可选的,所述通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息包括:
对所述雷达时距图的每一帧多个距离单元的幅度进行排序,求二阶导后获取拐点并将所述拐点对应的幅度提取出来;
根据所述幅度以滑窗的形式统计所述幅度的概率分布,为高斯分布;
对所述雷达时距图的每一帧多个距离单元进行判断是否符合条件,若符合条件则为有效距离单元点以消除杂波和多径信息。
可选的,所述条件包括:
log10(x(n,k))-μ>Th*σ2
其中,x(n,k)为雷达时距图,n为帧序列,k为距离单元序列,Th为预先设定门限值,μ为统计的高斯分布的均值,σ2为统计的方差。
可选的,所述对所述雷达时距图提取微多普勒特征以获取运动目标包括:
对所述雷达时距图提取微多普勒特征以获取微多普勒谱图;
根据所述微多普勒谱图提取多个特征进行动静粗分类以获取运动目标。
可选的,所述提取多个特征包括:躯干多普勒频率、高频信息量和多普勒能量值。
可选的,所述对所述雷达时距图进行目标检测和特征提取以获取运动目标之后还包括:
通过5-折交叉验证方法训练神经网络模型以获取训练好的神经网络。
本发明实施例公开了一种低复杂度下日常活动分类装置,包括:获取模块,用于获取室内活动的雷达时距图;提取模块,用于对所述雷达时距图进行目标检测和特征提取以获取运动目标;分类模块,用于通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
实施例四
图6为本发明实施例提供的一种计算机服务器的结构示意图,如图4所示,该计算机服务器包括存储器410、处理器420,计算机服务器中处理器420的数量可以是一个或多个,图6中以一个处理器420为例;服务器中的存储器410、处理器420可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器410作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的低复杂度下日常活动分类方法对应的程序指令/模块(例如,低复杂度下日常活动分类装置300中获取模块310、提取模块320、分类模块330)处理器420通过运行存储在存储器410中的软件程序、指令以及模块,从而执行服务器/终端/服务器的各种功能应用以及数据处理,即实现上述的低复杂度下日常活动分类方法。
其中,处理器420用于运行存储在存储器410中的计算机程序,实现如下步骤:
获取室内活动的雷达时距图;
对所述雷达时距图进行目标检测和特征提取以获取运动目标;
通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。
在其中一个实施例中,本发明实施例所提供的一种计算机服务器,其计算机程序不限于如上的方法操作,还可以执行本发明任意实施例所提供的低复杂度下日常活动分类方法中的相关操作。
存储器410可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器410可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器410可进一步包括相对于处理器420远程设置的存储器,这些远程存储器可以通过网络连接至服务器/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例公开了一种低复杂度下日常活动分类设备,用于执行以下方法,包括:获取室内活动的雷达时距图;对所述雷达时距图进行目标检测和特征提取以获取运动目标;通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种低复杂度下日常活动分类方法,该方法包括:
获取室内活动的雷达时距图;
对所述雷达时距图进行目标检测和特征提取以获取运动目标;
通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的一种低复杂度下日常活动分类方法中的相关操作。
本发明实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例公开了一种低复杂度下日常活动分类存储介质,用于执行以下方法,包括:获取室内活动的雷达时距图;对所述雷达时距图进行目标检测和特征提取以获取运动目标;通过训练好的神经网络对所述运行目标进行分类获取所述运动目标的运动状态。本发明实施例提供的一种低复杂度下日常活动分类方法通过使用目标检测、特征提取、轻量级神经网络的办法实现了人体活动识别,解决了现有技术中对于人体活动识别消耗计算资源过大和不具备实时性的问题,实现了在日常活动检测中低复杂度、计算需求小的效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种低复杂度下日常活动分类方法,其特征在于,包括:
获取室内活动的雷达时距图;
对所述雷达时距图进行目标检测和特征提取以获取运动目标;
通过训练好的神经网络对所述运动目标进行分类获取所述运动目标的运动状态;
所述对所述雷达时距图进行目标检测和特征提取以获取运动目标包括:
通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息;
对所述雷达时距图提取微多普勒特征以获取运动目标;
所述通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息包括:
对所述雷达时距图的每一帧多个距离单元的幅度进行排序,求二阶导后获取拐点并将所述拐点对应的幅度提取出来;
根据所述幅度以滑窗的形式统计所述幅度的概率分布,为高斯分布;
对所述雷达时距图的每一帧多个距离单元进行判断是否符合条件,若符合条件则为有效距离单元点。
2.根据权利要求1中所述的低复杂度下日常活动分类方法,其特征在于,所述条件包括:
log10(x(n,k))-μ>Th*σ2
其中,x(n,k)为雷达时距图,n为帧序列,k为距离单元序列,Th为预先设定门限值,μ为统计的高斯分布的均值,σ2为统计的方差。
3.根据权利要求1中所述的低复杂度下日常活动分类方法,其特征在于,所述对所述雷达时距图提取微多普勒特征以获取运动目标包括:
对所述雷达时距图提取微多普勒特征以获取微多普勒谱图;
根据所述微多普勒谱图提取多个特征进行动静粗分类以获取运动目标。
4.根据权利要求3中所述的低复杂度下日常活动分类方法,其特征在于,所述多个特征包括:躯干多普勒频率、高频信息量和多普勒能量值。
5.根据权利要求1中所述的低复杂度下日常活动分类方法,其特征在于,所述对所述雷达时距图进行目标检测和特征提取以获取运动目标之后还包括:
通过5-折交叉验证方法训练神经网络模型以获取训练好的神经网络。
6.一种低复杂度下日常活动分类装置,其特征在于,包括:
获取模块,用于获取室内活动的雷达时距图;
提取模块,用于对所述雷达时距图进行目标检测和特征提取以获取运动目标;
分类模块,用于通过训练好的神经网络对所述运动目标进行分类获取所述运动目标的运动状态;
所述对所述雷达时距图进行目标检测和特征提取以获取运动目标包括:
通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息;
对所述雷达时距图提取微多普勒特征以获取运动目标;
所述通过检测器对所述雷达时距图进行目标检测以消除杂波和多径信息包括:
对所述雷达时距图的每一帧多个距离单元的幅度进行排序,求二阶导后获取拐点并将所述拐点对应的幅度提取出来;
根据所述幅度以滑窗的形式统计所述幅度的概率分布,为高斯分布;
对所述雷达时距图的每一帧多个距离单元进行判断是否符合条件,若符合条件则为有效距离单元点以消除杂波和多径信息。
7.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的低复杂度下日常活动分类方法。
8.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序包括程序指令,其特征在于,该程序指令被处理器执行时实现如权利要求1-5中任一所述的低复杂度下日常活动分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011090199.3A CN112327286B (zh) | 2020-10-13 | 2020-10-13 | 低复杂度下日常活动分类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011090199.3A CN112327286B (zh) | 2020-10-13 | 2020-10-13 | 低复杂度下日常活动分类方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112327286A CN112327286A (zh) | 2021-02-05 |
CN112327286B true CN112327286B (zh) | 2023-10-20 |
Family
ID=74313126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011090199.3A Active CN112327286B (zh) | 2020-10-13 | 2020-10-13 | 低复杂度下日常活动分类方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112327286B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113311405B (zh) * | 2021-05-27 | 2023-06-20 | 深圳大学 | 一种区域人数统计方法、装置、计算机设备及存储介质 |
CN116449330B (zh) * | 2023-06-20 | 2023-10-13 | 精华隆智慧感知科技(深圳)股份有限公司 | 一种室内人数的估计方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106291524A (zh) * | 2016-08-05 | 2017-01-04 | 南京理工大学 | 基于人体模型的lfmcw雷达探测运动人体目标的方法 |
CN108459311A (zh) * | 2018-03-22 | 2018-08-28 | 三明学院 | 基于Hough变换的卷积神经网络下微多普勒目标分类方法 |
CN110703239A (zh) * | 2019-09-23 | 2020-01-17 | 上海广电通信技术有限公司 | 基于多普勒处理的相参航海雷达目标增强技术 |
CN111178331A (zh) * | 2020-01-20 | 2020-05-19 | 深圳大学 | 雷达图像识别系统、方法、设备及计算机可读存储介质 |
CN111399642A (zh) * | 2020-03-09 | 2020-07-10 | 深圳大学 | 手势的识别方法、装置、移动终端和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9915726B2 (en) * | 2012-03-16 | 2018-03-13 | Continental Advanced Lidar Solutions Us, Llc | Personal LADAR sensor |
-
2020
- 2020-10-13 CN CN202011090199.3A patent/CN112327286B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106291524A (zh) * | 2016-08-05 | 2017-01-04 | 南京理工大学 | 基于人体模型的lfmcw雷达探测运动人体目标的方法 |
CN108459311A (zh) * | 2018-03-22 | 2018-08-28 | 三明学院 | 基于Hough变换的卷积神经网络下微多普勒目标分类方法 |
CN110703239A (zh) * | 2019-09-23 | 2020-01-17 | 上海广电通信技术有限公司 | 基于多普勒处理的相参航海雷达目标增强技术 |
CN111178331A (zh) * | 2020-01-20 | 2020-05-19 | 深圳大学 | 雷达图像识别系统、方法、设备及计算机可读存储介质 |
CN111399642A (zh) * | 2020-03-09 | 2020-07-10 | 深圳大学 | 手势的识别方法、装置、移动终端和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于卷积神经网络的雷达人体动作识别方法;蒋留兵等;《计算机应用与软件》;第36卷(第11期);第168-172、174页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112327286A (zh) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111399642B (zh) | 手势的识别方法、装置、移动终端和存储介质 | |
Wang et al. | Deep learning-based UAV detection in pulse-Doppler radar | |
WO2021004299A1 (zh) | 人员检测方法、装置、电子设备及存储介质 | |
CN107290741B (zh) | 基于加权联合距离时频变换的室内人体姿态识别方法 | |
CN112327286B (zh) | 低复杂度下日常活动分类方法、装置、设备及存储介质 | |
CN113447905A (zh) | 双毫米波雷达人体跌倒检测装置及检测方法 | |
CN105259540B (zh) | 一种多站雷达抗有源欺骗式干扰的优化方法 | |
CN105259541A (zh) | 一种多站雷达抗有源欺骗式干扰的方法 | |
CN112612365B (zh) | 手势识别方法、装置、电子设备和存储介质 | |
CN113341392B (zh) | 一种基于多站雷达微多普勒运动测向的人体行为分类方法 | |
CN115422962A (zh) | 一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置 | |
CN115047419A (zh) | 一种毫米波雷达恒虚警率检测方法及装置 | |
Xie et al. | Radar target detection using convolutional neutral network in clutter | |
CN118151119A (zh) | 一种面向检索任务的毫米波雷达开集步态识别方法 | |
CN117233706B (zh) | 一种基于多层通道注意力机制的雷达有源干扰识别方法 | |
CN113608193A (zh) | 一种基于UNet的雷达多目标距离和速度估计方法 | |
Pérez et al. | Range detection on time-domain FMCW radar signals with a deep neural network | |
McDonald | Discrimination of human targets for radar surveillance via micro‐Doppler characteristics | |
Liu et al. | UWB vital sign signal recognition method based on SVM | |
Sardjono et al. | Human Motion Change Detection Based On FMCW Radar | |
CN111339816B (zh) | 基于小波神经网络的多无人机射频信号识别方法 | |
Li et al. | Dynamic gesture recognition method based on millimeter-wave radar | |
Ge et al. | Multi-radar hybrid detection algorithm based on information entropy | |
Quan et al. | A miss-detection probability based thresholding algorithm for an IR-UWB radar sensor | |
Mendez et al. | On TinyML WiFi Fingerprinting-Based Indoor Localization: Comparing RSSI vs. CSI Utilization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240613 Address after: 200331, Room 107, 1st Floor, No. 6, Lane 111, Qilianshan Road, Putuo District, Shanghai Patentee after: Shanghai Tianhe Smart Elderly Care Service Co.,Ltd. Country or region after: China Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District Patentee before: SHENZHEN University Country or region before: China |