CN111507361B - 基于微波雷达的动作识别装置、方法及系统 - Google Patents

基于微波雷达的动作识别装置、方法及系统 Download PDF

Info

Publication number
CN111507361B
CN111507361B CN201910090460.0A CN201910090460A CN111507361B CN 111507361 B CN111507361 B CN 111507361B CN 201910090460 A CN201910090460 A CN 201910090460A CN 111507361 B CN111507361 B CN 111507361B
Authority
CN
China
Prior art keywords
classification
recognition model
unit
detection object
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910090460.0A
Other languages
English (en)
Other versions
CN111507361A (zh
Inventor
丁根明
田军
李红春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910090460.0A priority Critical patent/CN111507361B/zh
Publication of CN111507361A publication Critical patent/CN111507361A/zh
Application granted granted Critical
Publication of CN111507361B publication Critical patent/CN111507361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems

Abstract

本发明实施例提供一种基于微波雷达的动作识别装置、方法及系统,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。

Description

基于微波雷达的动作识别装置、方法及系统
技术领域
本发明涉及信息技术领域,尤其涉及一种基于微波雷达的动作识别装置、方法及系统。
背景技术
近年来,动作识别在各个领域应用广泛。例如,人体动作识别在医疗健康、智能看护、动作捕捉等领域具有广泛的应用。当前社会老龄化趋势加剧,独居老人数量急剧增加,为老人提供危险动作识别服务能够在危险发生时及时告警并提供救助,因此具有重要的意义。
人体动作识别可基于视频影像或基于集成了惯性传感单元(IMU,Inertialmeasurement unit)的可穿戴设备收集的信息来进行,但是,基于视频影像的人体动作识别容易侵犯检测对象的家居隐私,而基于可穿戴设备的人体动作识别需要检测对象一直穿戴该设备,使用不便且识别精度不高。
为了解决上述问题,出现了基于微波雷达的人体动作识别方法,该方法通过微波雷达收集检测对象反射的微波信号进行动作的识别。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现,现有的基于微波雷达的动作识别方法存在以下的问题:首先,利用微波雷达进行动作识别,受限于天线阵列、信号处理能力等问题,对人体反射信号进行动作描述不如视觉方式那么清晰直观,各动作之间的信号特征容易混淆,导致误识别率较高;另外,不同类型的动作在利用微波雷达信号特征进行描述时,某些类的动作产生的信号特征非常相似,因此,进行监督学习训练模型时,损失值变化不稳定且模型训练不稳定,导致训练困难且训练出的模型识别精度较低。
本发明实施例提供一种基于微波雷达的动作识别装置及方法、电子设备,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
根据本发明实施例的第一方面,提供一种基于微波雷达的动作识别装置,所述装置包括:特征提取单元,其用于对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;分类单元,其用于将所述特征输入到基于深度学习的三分类识别模型中,输出所述三分类的分类结果,所述三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及确定单元,其用于根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒。
根据本发明实施例的第二方面,提供一种动作识别系统,包括:微波雷达,其具有信号发射部和信号接收部,所述信号发射部向检测对象所在的空间发射微波信号,所述信号接收部接收由包含所述检测对象的物体反射的反射信号,得到反射点的信息;以及根据本发明实施例的第一方面所述的装置,其根据所述反射点的信息进行所述检测对象的动作识别。
根据本发明实施例的第三方面,提供一种基于微波雷达的动作识别方法,所述方法包括:对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;将所述特征输入到基于深度学习的三分类识别模型中,输出所述三分类的分类结果,所述三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒。
本发明的有益效果在于:通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解,其构成了说明书的一部分,用于例示本发明的实施方式,并与文字描述一起来阐释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明实施例1的基于微波雷达的动作识别装置的一示意图;
图2是本发明实施例1的确定单元103的一示意图;
图3是本发明实施例1的第一确定单元201的一示意图;
图4是本发明实施例1的第二确定单元202的一示意图;
图5是本发明实施例2的电子设备的一示意图;
图6是本发明实施例2的电子设备的系统构成的一示意框图;
图7是本发明实施例3的动作识别系统的一示意图;
图8是本发明实施例4的基于微波雷达的动作识别方法的一示意图。
具体实施方式
参照附图,通过下面的说明书,本发明的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用本发明的原则的部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
本实施例提供一种基于微波雷达的动作识别装置,图1是本发明实施例1的基于微波雷达的动作识别装置的一示意图。如图1所示,基于微波雷达的动作识别装置100包括:
特征提取单元101,其用于对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;
分类单元102,其用于将该特征输入到基于深度学习的三分类识别模型1021中,输出三分类的分类结果,该三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及
确定单元103,其用于根据该三分类识别模型1021在时间上连续输出的分类结果,确定该检测对象是否发生了摔倒。
由上述实施例可知,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
在本实施例中,该基于微波雷达的动作识别装置可以用于各种检测对象的动作识别。在本实例中,以人体作为检测对象为例进行示例性的说明。
在本实施例中,该微波雷达能够获得检测对象的高度信息,例如,该微波雷达是具有三维天线阵列的微波雷达。
微波雷达在对检测对象进行检测时,其向检测对象所在的空间发出微波信号,部分微波信号被检测对象以及其他物体反射,反射微波信号的点被称为反射点。
在本实施例中,反射点的信息可以以该反射点的三维坐标位置来表示,例如,反射点的三维坐标位置可以表示为:
l=[x,y,z]=[rcos(θ)cos(α),rcos(θ)sin(α),rsin(θ)] (1)
其中,[x,y,z]表示该反射点的三维坐标,θ表示该反射点的垂直方位角,α表示该反射点的水平方位角,r表示该反射点到微波雷达的距离。
在本实施例中,特征提取单元101对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征。
在本实施例中,该预设时间可以根据实际需要而设置,例如,该预设时间是6秒的时间。例如,微波雷达的一帧时间是50ms,则该预设时间内包含了120帧数据。
例如,特征提取单元101对预设时间内的所有反射点的信息进行处理,获得该预设时间内的所有反射点的三维坐标位置。然后,对所有反射点的三维坐标位置采用具有噪声的且基于密度的聚类算法(Density-based Spatial Clustering of Applications withNoise,DBSCAN)进行处理,获得属于检测对象(例如人体)的反射点的聚类结果,即得到属于检测对象的所有反射点的信息。接着,对该预设时间内的属于检测对象的所有反射点的三维坐标位置进行统计,得到检测对象在预设时间内的反射点的特征。
在本实施例中,该检测对象在预设时间内的反射点的特征可以包括:该预设时间内的高度信息、平均速度信息、反射点分布信息以及反射点数量信息。
例如,该高度信息是反射点相对于微波雷达的高度;
例如,该平均速度信息是反射点在单位时间内的移动速度的平均值;
例如,该反射点分布信息是平均反射点分布大小,反射点分布大小可以通过反射点之间的最大距离值进行度量;
在本实施例中,特征提取单元101提取的是预设时间内的特征,而由于在各个帧内,反射点的数量可能是不同的,通过提取该预设时间内的各个帧的特征统计信息用于动作识别,能够提高数据的准确性,从而提高识别精度。
在本实施例中,当某一帧物体静止而导致没有反射点时,例如,可以将该帧的高度信息保持与前一帧的高度一致,将移动速度置为零,将反射点分布大小置为零,并将反射点个数置为零。另外,还可以通过中值滤波或均值滤波等滤波方法对特征进行处理。
在本实施例中,如图1所示,该装置100还可以包括:
归一化单元104,其用于对获得的该特征进行归一化处理;以及
激活单元105,其用于对归一化处理后的特征使用激活函数进行高维特征抽象处理,
并且,该分类单元102将经过高维特征抽象处理后的特征输入到该三分类识别模型中。
在本实施例中,归一化单元104和激活单元105是可选部件,在图1中用虚线框表示。
例如,归一化单元104通过最小最大标准化(Min-max normalization)方法进行归一化处理,例如,通过以下的公式(2)对每个特征进行归一化处理:
其中,表示归一化之后的特征,t表示预定时间内的时间序号,xt表示当前的特征,xmin表示所有特征中的最小值,xmax表示所有特征中的最大值。
又例如,归一化单元104通过标准差标准化(Z-score normalization)方法进行归一化处理,例如,通过以下的公式(3)对每个特征进行归一化处理:
其中,表示归一化之后的特征,t表示预定时间内的时间序号,xt表示当前的特征,μ表示所有特征的平均值,σ表示所有特征的标准差。
在归一化单元104进行归一化处理后,激活单元105对归一化处理后的特征使用激活函数进行高维特征抽象处理。
通过上述高维特征抽象处理,使得特征的维数增加,从而输入到三分类识别模型中的特征数量增加,因此能够进一步提高识别精度,另外,在训练该模型的过程中通过上述处理,能够便于梯度计算并避免梯度的消失或爆炸。
例如,激活单元105使用Relu激活函数并基于以下的公式(4)进行处理:
其中,表示经过高维特征抽象处理后的特征,/>表示归一化之后的特征,t表示预定时间内的时间序号,win为Nt*Nin维的变量,bin为1*Nin维的变量,Nt为特征的种类数量,Nin为三分类识别模型具有的递归神经网络中长短期记忆层的隐藏单元个数。
例如,特征提取单元101获得的特征包括该预设时间内的高度信息、平均速度信息、反射点分布信息以及反射点数量信息这4种特征,即Nt为4,例如该预设时间为6秒,共包含120帧数据,每帧的特征为4个,即每种特征各1个,则特征提取单元101获得了4×120个特征;这4×120个特征分别经过归一化之后,激活单元105使用Relu的全连接层对经过归一化的4×120个特征进行高维特征抽象处理,得到Nin×4×120个特征,以输入到三分类识别模型中。
在使用激活单元105进行高维特征抽象处理的情况下,该分类单元102将经过高维特征抽象处理后的特征输入到该三分类识别模型中。
在本实施例中,该三分类识别模型可以包含在该分类单元102中,也可以作为独立的模块单元而设置在该装置100中。
在本实施例中,该三分类识别模型1021例如包含递归神经网络。
在本实施例中,该递归神经网络可以使用现有的网络结构,例如,该递归神经网络包含至少两个长短期记忆(LSTM,Long Short-Term Memory)层。
在本实施例中以包含两个LSTM层为例进行说明,如图1所示,该三分类识别模型1021包含两个LSTM层1022和1023,但是,本发明实施例不对LSTM层的层数进行限制。
其中,各个LSTM层也可以使用现有结构,各个LSTM层的结构可以相同,也可以不同,其隐藏单元的个数例如是32。
例如,对于从120帧数据提取出的并经过归一化以及高维特征抽象处理后的Nin×4×120个特征,按照时序,每一次都输入对应于一帧数据的Nin×4个特征至该三分类识别模型,经过循环120次后,输出分类结果。
在本实施例中,该三分类的分类结果包括正常动作、摔倒或疑似摔倒。例如,该三分类识别模型输出为“0”时,表示分类结果为“正常动作”,输出为“1”时,表示分类结果为“摔倒”,输出为“2”时,表示分类结果为“疑似摔倒”。
在本实施例中,摔倒是指检测对象发生了真实的摔倒动作;疑似摔倒是指与真实的摔倒动作在某部位产生的特征或局部时间窗口内产生的特征的相似性很强的动作,例如,抖腿、动物跳跃、下蹲、躺床或者坐等动作;正常动作是指检测对象正常的动作,例如,行走、跑动或者站立等。
在对该三分类识别模型1021进行训练时,可以将满足第一条件的特征标定为正常动作且输出为0,将满足第二条件的特征标定为摔倒且输出为1,将满足第三条件的特征标定为疑似摔倒且输出为2。
在本实施例中,该第一条件、第二条件以及第三条件可以根据实际需要而设置。例如,
该第一条件可以是:在该预设时间内的高度大概率(比如30%以上)的维持在较高的位置,例如,相对地面高度0.6m以上;
该第二条件可以是:在该预设时间内高度与移动速度具有一次明显的下降过程,下降之后高度维持在接近地面的高度,且移动速度近似为零;
该第三条件可以是:在该预设时间内高度一直维持在接近地面的水平,或者,由于噪声或干扰导致的高度瞬间下降到接近地面的水平。
这样,在对该模型1021进行训练时,由于使用三分类的方式进行标定和训练,使得损失值平稳下降,从而训练得到稳定性高的模型,且能够达到很高的测试精度和训练精度。
在本实施例中,确定单元103根据该三分类识别模型1021在时间上连续输出的分类结果,确定该检测对象是否发生了摔倒。
例如,该三分类识别模型1021每隔一个单位时间输出一次分类结果,或者,第一确定单元201每隔一个单位时间采集一次三分类识别模型1021输出的分类结果。
在本实施例中,该单位时间可以根据实际需要而设置,例如,该单位时间为0.5秒。
那么,该三分类识别模型1021在时间上连续输出的分类结果序列可以表示为
以下对确定单元103如何确定该检测对象是否发生了摔倒的方法进行示例性的说明。
图2是本发明实施例1的确定单元103的一示意图。如图2所示,确定单元103包括:
第一确定单元201,其根据该三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于该累积危险系数进行该检测对象是否发生了摔倒的判定;或者
第二确定单元202,其将该三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行该检测对象是否发生了摔倒的判定。
首先,对第一确定单元201的判定方法进行说明。
图3是本发明实施例1的第一确定单元201的一示意图。如图3所示,第一确定单元201包括:
计算单元301,其根据前一个累积危险系数计算当前的累积危险系数,各个累积危险系数依次对应于该三分类识别模型在时间上连续输出的各个分类结果;以及
第一判定单元302,其在当前的累积危险系数大于预设阈值的情况下,判定该检测对象发生了摔倒。
例如,计算单元301可以根据以下的公式(5)和(6)计算当前的累积危险系数:
fi(ai)=fi-1(ai-1)*γ(ai) (5)
其中,fi(ai)表示当前的累积危险系数,fi-1(ai-1)表示前一个累积危险系数,ai表示该三分类识别模型当前输出的分类结果,ai∈{0,1,2},i≥1,当γ(ai)取值大于1时,其取值例如为1.1,当γ(ai)小于1时,其取值例如为0.98。
第一判定单元302在当前的累积危险系数fi(ai)大于预设阈值的情况下,判定该检测对象发生了摔倒。该预设阈值可以根据实际需要而设置,例如,该预设阈值为1.2。
也就是说,当fi(ai)>1.2时,判定为该检测对象发生了摔倒。
例如,在判定为检测对象发生了摔倒的情况下,还可以进行报警处理。
下面,对第二确定单元202的判定方法进行说明。
图4是本发明实施例1的第二确定单元202的一示意图。如图4所示,第二确定单元202包括:
输入单元401,其将该三分类识别模型在时间上连续输出的分类结果输入到二分类神经网络中;以及
第二判定单元402,其根据该二分类神经网络的输出结果判定该检测对象是否发生了摔倒。
在本实施例中,该二分类神经网络可以包括在第二确定单元202中,也可以作为单独的模块单元设置在该装置100中。
在本实施例中,该二分类神经网络可以采用现有的神经网络,例如,采用基于传统神经网络的监督学习方法,将该三分类识别模型1021在时间上连续输出的分类结果序列a作为该二分类神经网络的输入,神经元激活函数可采用Sigmoid或tanh等函数,对其使用现有的训练方法进行训练。
例如,该二分类神经网络输出为1时,第二判定单元402判定为检测对象发生了摔倒,该二分类神经网络输出为0时,第二判定单元402判定为检测对象没有发生摔倒。
例如,在判定为检测对象发生了摔倒的情况下,还可以进行报警处理。
由上述实施例可知,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
实施例2
本发明实施例还提供了一种电子设备,图5是本发明实施例2的电子设备的一示意图。如图5所示,电子设备500包括基于微波雷达的动作识别装置501,其中,基于微波雷达的动作识别装置501的结构和功能与实施例1中的记载相同,此处不再赘述。
图6是本发明实施例2的电子设备的系统构成的一示意框图。如图6所示,电子设备600可以包括中央处理器601和存储器602;存储器602耦合到中央处理器601。该图是示例性的;还可以使用其它类型的结构,来补充或代替该结构,以实现电信功能或其它功能。
如图6所示,该电子设备600还可以包括:输入单元603、显示器604、电源605。
在一个实施方式中,实施例1所述的基于微波雷达的动作识别装置的功能可以被集成到中央处理器601中。其中,中央处理器601可以被配置为:对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;将该特征输入到基于深度学习的三分类识别模型中,输出三分类的分类结果,该三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及根据该三分类识别模型在时间上连续输出的分类结果,确定该检测对象是否发生了摔倒。
例如,中央处理器601还可以被配置为:对获得的该特征进行归一化处理;以及对归一化处理后的特征使用激活函数进行高维特征抽象处理,并且,将经过高维特征抽象处理后的特征输入到该三分类识别模型中。
例如,该三分类识别模型具有递归神经网络。
例如,该根据该三分类识别模型在时间上连续输出的分类结果,确定该检测对象是否发生了摔倒,包括:根据该三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于该累积危险系数进行该检测对象是否发生了摔倒的判定;或者将该三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行该检测对象是否发生了摔倒的判定。
例如,该根据该三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于该累积危险系数进行该检测对象是否发生了摔倒的判定,包括:根据前一个累积危险系数计算当前的累积危险系数,各个累积危险系数依次对应于该三分类识别模型在时间上连续输出的各个分类结果;以及在当前的累积危险系数大于预设阈值的情况下,判定该检测对象发生了摔倒。
例如,该将该三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行该检测对象是否发生了摔倒的判定,包括:将该三分类识别模型在时间上连续输出的分类结果输入到二分类神经网络中;以及根据该二分类神经网络的输出结果判定该检测对象是否发生了摔倒。
例如,在对该三分类识别模型进行训练时,将满足第一条件的特征标定为正常动作且输出为0,将满足第二条件的特征标定为摔倒且输出为1,将满足第三条件的特征标定为疑似摔倒且输出为2。
在另一个实施方式中,实施例1所述的基于微波雷达的动作识别装置可以与中央处理器601分开配置,例如可以将该基于微波雷达的动作识别装置为与中央处理器601连接的芯片,通过中央处理器601的控制来实现该基于微波雷达的动作识别装置的功能。
在本实施例中电子设备600也并不是必须要包括图6中所示的所有部件。
如图6所示,中央处理器601有时也称为控制器或操作控件,可以包括微处理器或其它处理器装置和/或逻辑装置,中央处理器601接收输入并控制电子设备600的各个部件的操作。
存储器602,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且中央处理器601可执行该存储器602存储的该程序,以实现信息存储或处理等。其它部件的功能与现有类似,此处不再赘述。电子设备600的各部件可以通过专用硬件、固件、软件或其结合来实现,而不偏离本发明的范围。
由上述实施例可知,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
实施例3
本发明实施例还提供一种动作识别系统,其包括微波雷达以及基于微波雷达的动作识别装置,该动作识别装置的结构和功能与实施例1中的记载相同,具体的内容不再重复说明。
图7是本发明实施例3的动作识别系统的一示意图,如图7所示,动作识别系统700包括:
微波雷达710,其具有信号发射部711和信号接收部712,该信号发射部711向检测对象所在的空间发射微波信号,该信号接收部接收由包含该检测对象的物体反射的反射信号,得到反射点的信息;以及
动作识别装置720,其根据该反射点的信息进行该检测对象的动作识别。
在本实施例中,该微波雷达710能够获得检测对象的高度信息,例如,该微波雷达710是具有三维天线阵列的微波雷达。该微波雷达710信号发射部711和信号接收部712的具体结构和功能可以参考现有技术。
在本实施例中,动作识别装置720的结构和功能与实施例1中的记载相同,具体的内容不再重复说明。
由上述实施例可知,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
实施例4
本发明实施例还提供一种基于微波雷达的动作识别方法,其对应于实施例1的基于微波雷达的动作识别装置。图8是本发明实施例4的基于微波雷达的动作识别方法的一示意图。如图8所示,该方法包括:
步骤801:对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;
步骤802:将该特征输入到基于深度学习的三分类识别模型中,输出三分类的分类结果,该三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及
步骤803:根据该三分类识别模型在时间上连续输出的分类结果,确定该检测对象是否发生了摔倒。
在本实施例中,上述各个步骤中的具体实现方法与实施例1中的记载相同,此处不再赘述。
由上述实施例可知,通过使用分类结果包含摔倒、疑似摔倒和正常动作的三分类识别模型且根据该三分类识别模型的连续输出结果进一步判定检测对象的动作,能够提高识别精度,降低误识别率,另外,该三分类识别模型由于区分了摔倒和疑似摔倒的分类,易于完成训练且训练得到的模型稳定性较高。
本发明实施例还提供一种计算机可读程序,其中当在基于微波雷达的动作识别装置或电子设备中执行所述程序时,所述程序使得计算机在所述基于微波雷达的动作识别装置或电子设备中执行实施例4所述的基于微波雷达的动作识别方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得计算机在基于微波雷达的动作识别装置或电子设备中执行实施例4所述的基于微波雷达的动作识别方法。
结合本发明实施例描述的在基于微波雷达的动作识别装置或电子设备中执行基于微波雷达的动作识别方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如,图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合,既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块。这些软件模块,可以分别对应于图8所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中,也可以存储在可插入移动终端的存储卡中。例如,若设备(例如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置,则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合,可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合,还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述,但本领域技术人员应该清楚,这些描述都是示例性的,并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改,这些变型和修改也在本发明的范围内。
关于包括以上实施例的实施方式,还公开下述的附记:
1、一种基于微波雷达的动作识别装置,所述装置包括:
特征提取单元,其用于对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;
分类单元,其用于将所述特征输入到基于深度学习的三分类识别模型中,输出三分类的分类结果,所述三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及
确定单元,其用于根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒。
2、根据附记1所述的装置,其中,所述装置还包括:
归一化单元,其用于对获得的所述特征进行归一化处理;以及
激活单元,其用于对归一化处理后的特征使用激活函数进行高维特征抽象处理,
并且,所述分类单元将经过高维特征抽象处理后的特征输入到所述三分类识别模型中。
3、根据附记1所述的装置,其中,
所述三分类识别模型具有递归神经网络。
4、根据附记3所述的装置,其中,
所述递归神经网络包括至少两个长短期记忆层。
5、根据附记1所述的装置,其中,所述确定单元包括:
第一确定单元,其根据所述三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于所述累积危险系数进行所述检测对象是否发生了摔倒的判定;或者
第二确定单元,其将所述三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行所述检测对象是否发生了摔倒的判定。
6、根据附记5所述的装置,其中,所述第一确定单元包括:
计算单元,其根据前一个累积危险系数计算当前的累积危险系数,各个累积危险系数依次对应于所述三分类识别模型在时间上连续输出的各个分类结果;以及
第一判定单元,其在当前的累积危险系数大于预设阈值的情况下,判定所述检测对象发生了摔倒。
7、根据附记5所述的装置,其中,所述第二确定单元包括:
输入单元,其将所述三分类识别模型在时间上连续输出的分类结果输入到二分类神经网络中;以及
第二判定单元,其根据所述二分类神经网络的输出结果判定所述检测对象是否发生了摔倒。
8、根据附记1所述的装置,其中,
在对所述三分类识别模型进行训练时,将满足第一条件的特征标定为正常动作且输出为0,将满足第二条件的特征标定为摔倒且输出为1,将满足第三条件的特征标定为疑似摔倒且输出为2。
9、一种电子设备,其包括根据附记1-8中的任一项所述的装置。
10、一种动作识别系统,所述动作识别系统包括:
微波雷达,其具有信号发射部和信号接收部,所述信号发射部向检测对象所在的空间发射微波信号,所述信号接收部接收由包含所述检测对象的物体反射的反射信号,得到反射点的信息;以及
根据附记1-8中的任一项所述的基于微波雷达的动作识别装置,其根据所述反射点的信息进行所述检测对象的动作识别。
11、一种基于微波雷达的动作识别方法,所述方法包括:
对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;
将所述特征输入到基于深度学习的三分类识别模型中,输出三分类的分类结果,所述三分类的分类结果包括正常动作、摔倒或疑似摔倒;以及
根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒。
12、根据附记11所述的方法,其中,所述方法还包括:
对获得的所述特征进行归一化处理;以及
对归一化处理后的特征使用激活函数进行高维特征抽象处理,
并且,将经过高维特征抽象处理后的特征输入到所述三分类识别模型中。
13、根据附记11所述的方法,其中,
所述三分类识别模型具有递归神经网络。
14、根据附记13所述的方法,其中,
所述递归神经网络包括至少两个长短期记忆层。
15、根据附记11所述的方法,其中,所述根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒,包括:
根据所述三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于所述累积危险系数进行所述检测对象是否发生了摔倒的判定;或者
将所述三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行所述检测对象是否发生了摔倒的判定。
16、根据附记15所述的方法,其中,所述根据所述三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于所述累积危险系数进行所述检测对象是否发生了摔倒的判定,包括:
根据前一个累积危险系数计算当前的累积危险系数,各个累积危险系数依次对应于所述三分类识别模型在时间上连续输出的各个分类结果;以及
在当前的累积危险系数大于预设阈值的情况下,判定所述检测对象发生了摔倒。
17、根据附记15所述的方法,其中,所述将所述三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行所述检测对象是否发生了摔倒的判定,包括:
将所述三分类识别模型在时间上连续输出的分类结果输入到二分类神经网络中;以及
根据所述二分类神经网络的输出结果判定所述检测对象是否发生了摔倒。
18、根据附记11所述的方法,其中,
在对所述三分类识别模型进行训练时,将满足第一条件的特征标定为正常动作且输出为0,将满足第二条件的特征标定为摔倒且输出为1,将满足第三条件的特征标定为疑似摔倒且输出为2。

Claims (9)

1.一种基于微波雷达的动作识别装置,所述装置包括:
特征提取单元,其用于对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;
分类单元,其用于将所述特征输入到基于深度学习的三分类识别模型中,输出三分类的分类结果,所述三分类的分类结果包括正常动作、摔倒和疑似摔倒;以及
确定单元,其用于根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒。
2.根据权利要求1所述的装置,其中,所述装置还包括:
归一化单元,其用于对获得的所述特征进行归一化处理;以及
激活单元,其用于对归一化处理后的特征使用激活函数进行高维特征抽象处理,
并且,所述分类单元将经过高维特征抽象处理后的特征输入到所述三分类识别模型中。
3.根据权利要求1所述的装置,其中,
所述三分类识别模型具有递归神经网络。
4.根据权利要求3所述的装置,其中,
所述递归神经网络包括至少两个长短期记忆层。
5.根据权利要求1所述的装置,其中,所述确定单元包括:
第一确定单元,其根据所述三分类识别模型在时间上连续输出的分类结果计算累积危险系数,并基于所述累积危险系数进行所述检测对象是否发生了摔倒的判定;或者
第二确定单元,其将所述三分类识别模型在时间上连续输出的分类结果输入到神经网络中进行所述检测对象是否发生了摔倒的判定,
所述第一确定单元包括:
计算单元,其根据前一个累积危险系数计算当前的累积危险系数,各个累积危险系数依次对应于所述三分类识别模型在时间上连续输出的各个分类结果;以及
第一判定单元,其在当前的累积危险系数大于预设阈值的情况下,判定所述检测对象发生了摔倒,
所述计算单元根据以下的公式计算所述累积危险系数:
fi(ai)=fi-1(ai-1)*γ(ai)
其中,fi(ai)表示当前的累积危险系数,fi-1(ai-1)表示前一个累积危险系数,ai表示所述三分类识别模型当前输出的分类结果,ai∈{0,1,2},i≥1。
6.根据权利要求5所述的装置,其中,所述第二确定单元包括:
输入单元,其将所述三分类识别模型在时间上连续输出的分类结果输入到二分类神经网络中;以及
第二判定单元,其根据所述二分类神经网络的输出结果判定所述检测对象是否发生了摔倒。
7.根据权利要求1所述的装置,其中,
在对所述三分类识别模型进行训练时,将满足第一条件的特征标定为正常动作且输出为0,将满足第二条件的特征标定为摔倒且输出为1,将满足第三条件的特征标定为疑似摔倒且输出为2。
8.一种动作识别系统,所述动作识别系统包括:
微波雷达,其具有信号发射部和信号接收部,所述信号发射部向检测对象所在的空间发射微波信号,所述信号接收部接收由包含所述检测对象的物体反射的反射信号,得到反射点的信息;以及
根据权利要求1所述的基于微波雷达的动作识别装置,其根据所述反射点的信息进行所述检测对象的动作识别。
9.一种基于微波雷达的动作识别方法,所述方法包括:
对预设时间内的微波雷达的所有反射点的信息进行处理,获得属于检测对象的反射点的特征;
将所述特征输入到基于深度学习的三分类识别模型中,输出三分类的分类结果,所述三分类的分类结果包括正常动作、摔倒和疑似摔倒;以及
根据所述三分类识别模型在时间上连续输出的分类结果,确定所述检测对象是否发生了摔倒。
CN201910090460.0A 2019-01-30 2019-01-30 基于微波雷达的动作识别装置、方法及系统 Active CN111507361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910090460.0A CN111507361B (zh) 2019-01-30 2019-01-30 基于微波雷达的动作识别装置、方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910090460.0A CN111507361B (zh) 2019-01-30 2019-01-30 基于微波雷达的动作识别装置、方法及系统

Publications (2)

Publication Number Publication Date
CN111507361A CN111507361A (zh) 2020-08-07
CN111507361B true CN111507361B (zh) 2023-11-21

Family

ID=71875698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910090460.0A Active CN111507361B (zh) 2019-01-30 2019-01-30 基于微波雷达的动作识别装置、方法及系统

Country Status (1)

Country Link
CN (1) CN111507361B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112327288B (zh) * 2020-10-29 2023-07-25 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
CN112971769A (zh) * 2021-02-04 2021-06-18 杭州慧光健康科技有限公司 一种基于生物雷达的居家人员摔倒检测系统和方法
CN117315886B (zh) * 2023-09-07 2024-04-12 安徽建筑大学 一种基于uwb雷达的人员即将跌倒检测方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104237890A (zh) * 2014-09-03 2014-12-24 天津大学 一种由“列车效应”引起的暴雨识别及预报方法
CN104473648A (zh) * 2014-09-24 2015-04-01 上海大学 一种结合生理参数监测的人体摔倒预警和检测方法
CN105310696A (zh) * 2015-11-06 2016-02-10 中国科学院计算技术研究所 一种跌倒检测模型构建方法及相应的跌倒检测方法和装置
EP2559462A4 (en) * 2010-04-14 2017-05-31 Samsung Electronics Co., Ltd. Device and method for processing virtual worlds
CN107239755A (zh) * 2017-05-23 2017-10-10 国家地理空间信息中心 基于高分卫星遥感数据的海上油气平台提取系统
CN107430443A (zh) * 2015-04-30 2017-12-01 谷歌公司 基于宽场雷达的手势识别
CN107527092A (zh) * 2016-06-15 2017-12-29 福特全球技术公司 使用听觉数据训练用于碰撞躲避的算法
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN107578632A (zh) * 2016-07-05 2018-01-12 奥迪股份公司 交通密度检测系统、交通工具及方法
WO2018151503A2 (ko) * 2017-02-16 2018-08-23 (주)더블유알티랩 제스처 인식 방법 및 장치
CN108470139A (zh) * 2018-01-25 2018-08-31 天津大学 一种基于数据增强的小样本雷达图像人体动作分类方法
CN108520199A (zh) * 2018-03-04 2018-09-11 天津大学 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108805112A (zh) * 2018-09-18 2018-11-13 深圳大学 一种基于机器学习和雷达结合的动作识别系统
CN108845321A (zh) * 2018-04-19 2018-11-20 北京三快在线科技有限公司 目标对象的识别方法、装置及无人驾驶智能设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2559462A4 (en) * 2010-04-14 2017-05-31 Samsung Electronics Co., Ltd. Device and method for processing virtual worlds
CN104237890A (zh) * 2014-09-03 2014-12-24 天津大学 一种由“列车效应”引起的暴雨识别及预报方法
CN104473648A (zh) * 2014-09-24 2015-04-01 上海大学 一种结合生理参数监测的人体摔倒预警和检测方法
CN107430443A (zh) * 2015-04-30 2017-12-01 谷歌公司 基于宽场雷达的手势识别
CN105310696A (zh) * 2015-11-06 2016-02-10 中国科学院计算技术研究所 一种跌倒检测模型构建方法及相应的跌倒检测方法和装置
CN107527092A (zh) * 2016-06-15 2017-12-29 福特全球技术公司 使用听觉数据训练用于碰撞躲避的算法
CN107578632A (zh) * 2016-07-05 2018-01-12 奥迪股份公司 交通密度检测系统、交通工具及方法
WO2018151503A2 (ko) * 2017-02-16 2018-08-23 (주)더블유알티랩 제스처 인식 방법 및 장치
CN107239755A (zh) * 2017-05-23 2017-10-10 国家地理空间信息中心 基于高分卫星遥感数据的海上油气平台提取系统
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN108470139A (zh) * 2018-01-25 2018-08-31 天津大学 一种基于数据增强的小样本雷达图像人体动作分类方法
CN108520199A (zh) * 2018-03-04 2018-09-11 天津大学 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108845321A (zh) * 2018-04-19 2018-11-20 北京三快在线科技有限公司 目标对象的识别方法、装置及无人驾驶智能设备
CN108805112A (zh) * 2018-09-18 2018-11-13 深圳大学 一种基于机器学习和雷达结合的动作识别系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
无人驾驶汽车动态障碍物避撞关键技术研究;黄如林;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;全文 *
聚类分析和模糊逻辑在驾驶行为辨识中的应用;孟妮;韩丹;;计算机与数字工程(第07期);全文 *

Also Published As

Publication number Publication date
CN111507361A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN110895671B (zh) 跌倒检测方法以及使用此方法的电子系统
CN111507361B (zh) 基于微波雷达的动作识别装置、方法及系统
US8611604B2 (en) Object detection device
CN114942434B (zh) 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
CN108021888B (zh) 一种跌倒检测方法
CN112668359A (zh) 动作识别方法、动作识别装置和电子设备
CN112926541B (zh) 一种睡岗检测方法、装置及相关设备
CN110456320A (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN113963192A (zh) 跌倒检测方法、装置和电子设备
CN112418135A (zh) 人体行为识别方法、装置、计算机设备及可读存储介质
CN107657244A (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN111505632A (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
SG188111A1 (en) Condition detection methods and condition detection devices
Ding et al. Energy efficient human activity recognition using wearable sensors
CN108647597A (zh) 一种手腕识别方法、手势识别方法、装置和电子设备
Jiang et al. A real-time fall detection system based on HMM and RVM
CN112395920B (zh) 基于雷达的姿态识别装置、方法以及电子设备
US20230184924A1 (en) Device for characterising the actimetry of a subject in real time
CN112257567B (zh) 行为识别网络的训练、行为识别方法及相关设备
Liu et al. Human body fall detection based on the Kinect sensor
CN110850404B (zh) 基于微波雷达的动作识别装置及方法、电子设备
Bohme et al. Head tracking with combined face and nose detection
CN117173793B (zh) 目标姿态检测方法、计算机设备及存储介质
CN115049039B (zh) 基于神经网络的状态识别方法、神经网络训练方法、装置
Jang et al. Harmful content detection based on cascaded adaptive boosting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant