CN112241001A - 雷达人体动作识别方法、装置、电子设备和存储介质 - Google Patents

雷达人体动作识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112241001A
CN112241001A CN202011079655.4A CN202011079655A CN112241001A CN 112241001 A CN112241001 A CN 112241001A CN 202011079655 A CN202011079655 A CN 202011079655A CN 112241001 A CN112241001 A CN 112241001A
Authority
CN
China
Prior art keywords
human body
data
human
radar
radar echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011079655.4A
Other languages
English (en)
Other versions
CN112241001B (zh
Inventor
阳召成
赖佳磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011079655.4A priority Critical patent/CN112241001B/zh
Publication of CN112241001A publication Critical patent/CN112241001A/zh
Application granted granted Critical
Publication of CN112241001B publication Critical patent/CN112241001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例公开了一种雷达人体动作识别方法、装置、电子设备和存储介质。该雷达人体动作识别方法包括：对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。减少了目标识别模型所需雷达回波数据的样本量，一定程度上缓解雷达回波数据量不足的问题，并且提高了基于雷达数据对人体动作进行识别的准确度和适用性。

Description

雷达人体动作识别方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及人体动作识别技术领域，尤其涉及一种雷达人体动作识别方法、装置、电子设备和存储介质。
背景技术
近年来，随着信息技术的飞速发展，各类基于人体特征的智能识别在展开研究中。人体的姿态动作也是人体特征重要的一部分，能够在一定场景之下直观有效地传递人们想要表达的信息。人体动作种类丰富，具有特定意义，将在行为异常检测、体感游戏交互、特殊人员监护等应用中发挥巨大的作用。目前，常用的人体动作识别技术包括基于可穿戴设备的识别技术、基于视觉传感器的识别技术以及基于雷达传感器的识别技术。但是基于可穿戴设备的识别技术需要人员佩戴多个传感器，容易引起用户不适感，体验感不佳，并且可穿戴设备只能识别特定人员的动作，无法应用至公共场合的安防监测等。基于视觉传感器的识别技术极易受到光线影响，在恶劣天气或者衣物遮挡环境下，识别效果大打折扣；另一方面由于人员暴露在摄像头下，容易泄露隐私。而基于雷达传感器的识别技术，由于雷达具有隐私保护性、全天候工作、不受衣物遮挡等优势，在未来有着广阔的应用。然而现阶段由于雷达技术受到缺乏大数据样本和标注困难的问题，并未得到广泛应用。
发明内容
本发明实施例提供一种雷达人体动作识别方法、装置、电子设备和存储介质，以提高基于雷达数据对人体动作进行识别的准确度和适用性。
第一方面，本发明实施例提供了一种雷达人体动作识别方法，包括：
对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
第二方面，本发明实施例还提供了一种雷达人体动作识别装置，包括：
模拟雷达数据确定模块，用于对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
预训练模块，用于基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
优化训练模块，用于基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的雷达人体动作识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的雷达人体动作识别方法。
本发明实施例基于对人体骨架数据进行模拟，得到模拟雷达回波数据，并将模拟雷达回波数据作为神经网络的迁移知识进行预训练，最后通过真实雷达回波数据对神经网络进行优化训练，以得到目标识别模型，实现对人体动作的识别。由于人体骨架数据的易获取性，实现在一定程度上缓解了雷达回波数据量不足的问题，提高了基于雷达数据对人体动作进行识别的准确度和适用性。
附图说明
图1是本发明实施例一中的雷达人体动作识别方法的流程图；
图2是本发明实施例二中的雷达人体动作识别方法的流程图；
图3是双分支DenseNet神经网络的结构示意图；
图4是DenseBlock层和传输层的具体结构示意图；
图5是人体动作的数据采集实验场景图；
图6是未做迁移学习的迭代训练次数与测试准确率的折线图；
图7是未做迁移学习的迭代训练次数与网络损失值的折线图；
图8是进行迁移学习的迭代训练次数与测试准确率的折线图；
图9是进行迁移学习的迭代训练次数与网络损失值的折线图；
图10是本发明实施例三中的雷达人体动作识别装置的结构示意图；
图11是本发明实施例四中的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的雷达人体动作识别方法的流程图，本实施例可适用于基于雷达回波数据对人体动作进行识别的情况。该方法可以由雷达人体动作识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在电子设备中，例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法具体包括：
步骤101、对获取的人体骨架数据进行模拟，得到模拟雷达回波数据。
其中，人体骨架数据包括人体各部位关键点在人体执行各动作时的三维坐标信息。示例性的，人体各部位关键点包含17个点：头部、中肩、左肩、右肩、左肘、右肘、左手、右手、中臀、左臀、右臀、左膝、右膝、左踝、右踝、左脚、右脚。
在一个可行的实施例中，人体骨架数据包括人体至少两个部位关键点的三维坐标信息随时间变化的数据。示例性的，人体骨架数据本质上是一组随时间不断变化的坐标信息，该信息是三维空间信息。例如人体骨架数据中包括人体坐下时各部位关键点随着坐下动作的进行而变化的坐标数据。
示例性的，人体骨架数据可以通过网络数据库或者Kinect传感器进行获取。对于网络数据库，属于开源数据库，测试人员佩戴大量传感器执行各动作时对人体各部位关键点的坐标信息进行采集，因此从网络数据库中获取到的人体骨架数据能够较为真实地反应人的活动状态。而对于带有一个摄像头和一个深度传感器的Kinect传感器，可以实现对人体执行不同动作时的各部位关键点坐标信息的测量。
但是，由于Kinect传感器获取人体骨架信息时，会有较大的抖动和起伏。因此需要对Kinect传感器获取到的人体骨架数据进行抖动消除。具体的，人体骨架数据反映的是人体各部位关键点的三维坐标信息，由于三维空间的坐标是相互正交的，因此可以分别在每一维度下做滤波，达到减缓抖动和起伏的干扰，让骨架数据更接近人的真实运动状态。本发明实施例中通过利用时域的高斯平滑滤波器，对Kinect传感器获取的原始骨架信息进行滤波，进而得到较为平整的人体骨架数据。时域的高斯平滑滤波器可以表示为如下公式：
Figure BDA0002717760410000051
其中，xori(n)为原始信号，n是人体骨架数据的采集时间点，gauss(m)为高斯窗，m是高斯核的大小。
由于雷达回波数据样本采集困难，并且后续对样本的标注也存在较大的工作量。因此若仅仅依靠真实雷达回波数据进行训练，会给训练带来较大的工作量。在本发明实施例中，通过引入人体骨架数据，实现对雷达回波数据样本的增加。但是由于人体骨架数据反映的是人体部分关键点的三维坐标信息，因此需要将三维坐标信息变化情况转换为雷达回波数据，即对人体骨架数据进行模拟，得到雷达回波形式的人体骨架数据，作为模拟雷达回波数据。由于人体骨架数据的易获取性，因此对于扩充雷达回波样本集具有很好的效果。
在一个可行的实施例中，在步骤101之前，还包括：
对人体骨架数据进行扩充，得到扩充后的大样本人体骨架数据。
由于人体骨架数据获取也存在一定的限制，因此可以对人体骨架数据进行扩充，扩大人体骨架数据的数量，从而提高训练的样本即数量，提高网络训练的准确度。示例性的，可以通过多方面对人体骨架数据进行扩充，例如对每一组人体骨架数据进行扩充，每组人体骨架数据反映了一个实验对象执行一次动作时的各部位关键点的坐标信息。
在原始人体骨架数据的基础上，扩充了大量实验样本，并且采用一种高斯滤波的方式，一定程度上去除了从Kinect获取的骨架数据带来的抖动和起伏，使得模拟雷达回波更加接近于真实雷达回波。
在一个可行的实施例中，采用如下至少一种扩充方式对人体骨架数据进行扩充：修改人体骨架数据中的人体骨骼高度信息，修改人体骨架数据中的人体运动速度信息以及修改对人体骨架数据进行拟合后的参数。
具体的，修改人体骨架数据中的人体骨骼高度信息是指按照人体标准放大或者缩小每组人体骨架数据中的各个关键点的高度，得到多种人体骨架数据，相当于增加了实验人数。
修改人体骨架数据中的人体运动速度信息是指按照人体运动学原理加快或者放慢各个动作的速度，相当于增加了实验次数。示例性的，通过对每组人体骨架数据中的数据密度进行修改实现对人体运动速度信息的修改，例如，通过对人体骨架数据进行插值，放慢人体部位关键点移动速度；或者对人体骨架数据中的数据进行筛选，提高人体关键移动速度。
由于人体各部位关键点的三维坐标数据是随时间变化的，因此人体骨架数据本质上来说是一组信号数据。修改对人体骨架数据进行拟合后的参数是指通过拟合信号数据，并在此基础上修改拟合参数，可以产生大量与原始信号同分布的扩充数据。示例性的，拟合参数的方法有多项式拟合、线性插值、傅里叶级数等，在此并不作限制。
在一个可行的实施例中，采用修改对人体骨架数据进行拟合后的参数的扩充方式，对人体骨架数据进行扩充，包括：
对人体骨架数据进行周期延拓；
对进行周期延拓后的人体骨架数据进行拟合，得到拟合参数；
对拟合参数进行修改，得到修改后的人体骨架数据；
采用拟合优化算法对修改后的人体骨架数据进行优化，将优化后的人体骨架数据作为对人体骨架数据进行扩充的结果。
周期延拓是指将一个区间上的函数扩展到整个区间上。由于获取到的一组人体骨架数据的维持时间有限，因此在对数据进行拟合前，需要对每组人体骨架数据进行周期延拓，对进行周期延拓后的人体骨架数据进行拟合，得到拟合参数。示例性的，采用傅里叶级数对人体骨架数据进行拟合，得到傅里叶级数的参数，例如(an，bn)表示傅里叶级数的拟合参数。
对拟合参数进行修改，可以对其中至少一个参数进行修改，在此并不作限制，例如依次对每组拟合参数(an，bn)进行修改，修改后的人体骨架数据会与原始的人体骨架数据存在偏差，为了避免偏差过大，需要采用拟合优化算法对修改后的人体骨架数据进行优化。以此，经过对拟合参数的多次修改并优化，可以得到大量的人体骨架数据，进而实现对人体骨架数据的扩充。其中，拟合优化算法包括梯度下降法、高斯牛顿法、Levenberg-Marquardt等，在此并不作限制。
示例性的，采用傅里叶级数对人体骨架数据进行拟合，得到多组傅里叶级数参数(a1，b1)，(a2，b2)，……，(an，bn)，对其中任一组参数(a1，b1)进行修改后并固定，根据修改后的傅里叶参数得到傅里叶曲线，通过曲线拟合优化算法实现对其余组傅里叶参数(a2，b2)，……，(an，bn)的优化，避免修改后的曲线与原曲线偏离程度过大导致数据不准确，影响后续训练效果。例如以Levenberg-Marquardt为拟合优化算法，优化过程可以描述为：
Figure BDA0002717760410000081
其中，(an，bn)为傅里叶级数的参数，f(x，an，bn)为待优化的修改后的人体骨架数据。
示例性的，以跳跃时Kinect传感器获取的头部运动的三维坐标数据为例，通过对头部高度的修改、对运动速度的修改以及对傅里叶级数拟合后的参数修改得到不同的头部运动轨迹曲线图，从而实现对原始人体骨架数据的扩充。
步骤102、基于神经网络模型对模拟雷达回波数据进行预训练，得到预训练模型参数。
通过预先构建神经网络模型对模拟雷达回波数据中的人体动作特征进行学习，得到预训练模型。示例性的，对模拟雷达回波数据进行人工标注，并将标注后的数据输入到网络中进行训练，得到预训练模型参数。
步骤103、基于预训练模型参数和神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
基于预训练模型参数和神经网络模型，将通过模拟雷达回波数据训练好的信息迁移到真实雷达回波数据中，即通过真实的雷达回波数据优化神经网络模型，最后得到目标识别模型，完成人体动作的识别输出。
其中，真实雷达回波数据是指采用雷达对试验人员进行真实采集得到的数据。由于模拟雷达回波数据是根据人体骨架数据以及雷达采集的数据特征进行获取的，其在一定程度上可以代表雷达采集的回波数据，但是与真实雷达回波数据存在一定的偏差。因此本发明实施例通过模拟雷达回波数据先进行预训练，再通过真实雷达回波数据对模型参数进行修正优化，既保证了目标识别模型的识别准确率，同时避免了需要大量真实雷达回波数据的麻烦，减少了样本采集工作量。
本发明实施例基于对人体骨架数据进行模拟，得到模拟雷达回波数据，并将模拟雷达回波数据作为神经网络的迁移知识进行预训练，最后通过真实雷达回波数据对神经网络进行优化训练，以得到目标识别模型，实现对人体动作的识别。由于人体骨架数据的易获取性，实现在一定程度上缓解了雷达回波数据量不足的问题，提高了基于雷达数据对人体动作进行识别的准确度和适用性。
实施例二
图2是本发明实施例二中的雷达人体动作识别方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图2所示，所述方法包括：
步骤201、对人体骨架数据进行插值，得到目标数量的人体骨架数据；其中，目标数据根据真实雷达回波数据的慢时间采集频率确定。
为了避免雷达的盲速和频闪效应，需要将人体骨架数据进行插值，例如采用三次样条插值方法对人体骨架数据进行插值，得到fm帧的数据。其中fm帧是指真实雷达回波数据是雷达使用fm帧采集得到的。通过插值使得人体骨架数据可以和雷达的慢时间采集频率相匹配。
步骤202、对目标数量的人体骨架数据进行雷达坐标转换，以得到目标数量的人体骨架数据中每个人体骨架数据代表的人体部位关键点到模拟雷达的距离，确定模拟雷达回波数据。
其中，雷达坐标转换是指将每个人体骨架数据转换为雷达采集的每一帧下，每个人体部位关键点到模拟雷达的距离。示例性的，最终模拟的雷达回波数据可以通过时距图进行表示：
Figure BDA0002717760410000101
其中，n表示帧数序列，c是光速，K是人体部位关键点的总数，fc是载频，σi为第i个人体部位关键点对应的雷达截面积(设为常数)，A是模拟回波电压值也设为常数，u(n，t)为加性白噪声。
步骤203、基于神经网络模型对模拟雷达回波数据进行预训练，得到预训练模型参数。
利用雷达的微多普勒效应，将模拟雷达回波数据进行短时傅里叶变换，将得到的时频特征图作为神经网络模型的预训练样本，短时傅里叶变换的公式为：
Figure BDA0002717760410000102
其中，w(m)为高斯窗。
在一个可行的实施例中，神经网络模型为双分支DenseNet神经网络，其中，每个分支DenseNet神经网络包括至少一个卷积层、至少两个DenseBlock层以及至少两个传输层，将两个分支神经网络的输出结果进行拼接后输入至softmax层进行分类。
本发明实施例搭建了一个双分支的小型密集型(DenseNet)神经网络进行训练。其中，由于双分支DenseNet神经网络具有双输入通道，因此在对人体骨架数据进行雷达坐标转换时，按照正向雷达坐标转换和侧向雷达坐标转换两种方式，得到人体骨架数据对应的模拟正向雷达回波数据和模拟侧向雷达回波数据。模拟正向雷达是指模拟安装在试验人员正前方的采集雷达，模拟侧向雷达是指模拟安装在试验人员侧方的采集雷达，这是为了避免人体身体的遮挡，导致对动作数据采集不完整的情况。
示例性的，对模拟正向雷达回波数据和模拟侧向雷达回波数据进行傅里叶变换，得到对应的时频特征图，并对时频特征图进行双三次插值下采样，得到预设大小的图片，并对时频特征图进行人工标注，并将模拟正向雷达时频特征图和模拟侧向雷达时频特征图分别输入到两个通道中进行预训练。由于双输入通道的神经网络可以同时学习到正向雷达的特征和侧向雷达的特征，因此可以提高神经网络训练的准确度。
双分支DenseNet神经网络的结构含有两个分支的DenseNet神经网络和最后的Softmax层，每个卷积层包含批量正则化层(BN)、Dropout层和二维卷积。每个DenseBlock的生长率为k。由于有两个雷达方向的时频特征图，因此两个分支的神经网络能够充分学习到不同特征图的信息。同时，这种密集块(DenseBlock)的网络连接层为模拟数据的迁移学习提供了稳定可靠的模型。示例性的，双分支DenseNet神经网络的结构图如图3所示，为了降低计算复杂度，每个分支网络仅用一个二维卷积层、三个DenseBlock层和两个传输层进行特征提取，每个分支最后通过平均池化和拼接，输入softmax层进行13类的分类。其中，十三类动作分别是：前跳、步行、迈步、坐下、高尔夫、捡起、拳击、投篮、弓步、喝水、前踢、前推、挥手。其中，DenseBlock层和传输层的具体结构如图4所示。
步骤204、基于预训练模型参数和神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
基于双分支DenseNet神经网络的训练特点，本发明实施例在采集人体动作的真实雷达回波数据时，设置一个正向雷达和一个侧向雷达，同时采集人体动作的真实雷达回波数据。
具体的，对于采集真实雷达回波数据的雷达，使用fm帧采集实验数据，再通过杂波抑制、数字混频和低通滤波，得到真实的雷达回波数据。并对真实正向雷达回波数据和真实侧向雷达回波数据进行短时傅里叶变换，得到对应的时频特征图，并对时频特征图进行双三次插值下采样，得到预设大小的图片，并对时频特征图进行人工标注，并将真实正向雷达时频特征图和真实侧向雷达时频特征图分别输入到两个通道中进行优化训练，实现对预训练得到的模型参数的优化。可选的，在对人体动作的真实雷达回波数据进行采集时，可以在采集现场设置Kinect传感器，在完成真实雷达回波数据采集的同时也完成了人体骨架数据的采集，提高样本的丰富性和真实性。人体动作的数据采集实验场景图如图5所示。
将预训练好的模拟雷达信息迁移至真实雷达信息中，即通过真实雷达信息优化神经网络，最后输出动作识别。提高最终训练完成的目标识别模型对雷达回波数据表征动作的识别准确度。
本发明实施例利用了迁移学习的思想，搭建了一种双分支密集型神经网络。双输入通道的网络能够提高识别准确率，密集块的网络能够更好地提取特征，为模拟雷达回波数据的知识迁移提供了稳定可靠的模型。该神经网络能够准确地学习雷达回波数据分布特征，并将模拟雷达回波数据迁移至真实雷达回波数据中，提高了对人体动作的识别准确率。
本发明实施例提供将模拟雷达回波数据作为训练样本，真实雷达回波数据作为测试样本的训练结果，即未做迁移学习的训练结果图如图6和图7所示。图6为未做迁移学习的迭代训练次数与测试准确率的折线图，可以看到在80次迭代训练之后准确率稳定在82％～88％左右；图7为未做迁移学习的迭代训练次数与网络损失值的折线图，可以看到在50次以后网络得到了收敛。图6和图7验证了模拟雷达回波数据能够作为大样本训练的可行性。表1是在训练完毕后，准确率为86.62％下的混淆矩阵。
表1未做迁移学习的识别混淆矩阵
Figure BDA0002717760410000131
本发明实施例还提供将模拟雷达回波数据作为预训练样本，真实雷达回波数据进一步优化神经网络，即进行迁移学习的训练结果图如图8和图9所示。图8为进行迁移学习的迭代训练次数与测试准确率的折线图；图9为进行迁移学习的迭代训练次数与网络损失值的折线图，可以看出在原有的准确率下，通过迁移学习进一步提高了准确率，并且稳定在96％～98％左右，最高准确率有98.40％。表2是在迁移学习后最高准确率下的混淆矩阵。
表2迁移学习的识别混淆矩阵
Figure BDA0002717760410000141
由上述分析可以得到，将模拟雷达数据作为神经网络的迁移知识进行预训练，最后通过雷达数据优化网络，可以提高各种人体动作的识别准确率。
实施例三
图10是本发明实施例三中的雷达人体动作识别装置的结构示意图，本实施例可适用于基于雷达回波数据对人体动作进行识别的情况。如图10所示，该装置包括：
模拟雷达数据确定模块310，用于对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
预训练模块320，用于基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
优化训练模块330，用于基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
本发明实施例基于对人体骨架数据进行模拟，得到模拟雷达回波数据，并将模拟雷达回波数据作为神经网络的迁移知识进行预训练，最后通过真实雷达回波数据对神经网络进行优化训练，以得到目标识别模型，实现对人体动作的识别。由于人体骨架数据的易获取性，实现在一定程度上缓解了雷达回波数据量不足的问题，提高了基于雷达数据对人体动作进行识别的准确度和适用性。
可选的，所述人体骨架数据包括人体至少两个部位关键点的三维坐标信息随时间变化的数据。
可选的，所述装置还包括数据扩充模块，用于：
在所述对获取的人体骨架数据进行模拟，得到模拟雷达回波数据之前，对所述人体骨架数据进行扩充，得到扩充后的大样本人体骨架数据。
可选的，采用如下至少一种扩充方式对所述人体骨架数据进行扩充：修改所述人体骨架数据中的人体骨骼高度信息，修改所述人体骨架数据中的人体运动速度信息以及修改对人体骨架数据进行拟合后的参数。
可选的，所述数据扩充模块包括第一数据扩充单元，用于采用所述修改对人体骨架数据进行拟合后的参数的扩充方式，对所述人体骨架数据进行扩充。
所述第一数据扩充单元，具体用于：
对所述人体骨架数据进行周期延拓；
对进行周期延拓后的人体骨架数据进行拟合，得到拟合参数；
对拟合参数进行修改，得到修改后的人体骨架数据；
采用拟合优化算法对所述修改后的人体骨架数据进行优化，将优化后的人体骨架数据作为对人体骨架数据进行扩充的结果。
可选的，模拟雷达数据确定模块310，具体用于：
对所述人体骨架数据进行插值，得到目标数量的人体骨架数据；其中，所述目标数据根据所述真实雷达回波数据的慢时间采集频率确定；
对所述目标数量的人体骨架数据进行雷达坐标转换，以得到所述目标数量的人体骨架数据中每个人体骨架数据代表的人体部位关键点到模拟雷达的距离，确定模拟雷达回波数据。
可选的，所述神经网络模型为双分支DenseNet神经网络，其中，每个分支DenseNet神经网络包括至少一个卷积层、至少两个DenseBlock层以及至少两个传输层，将两个分支神经网络的输出结果进行拼接后输入至softmax层进行分类。
本发明实施例所提供的雷达人体动作识别装置可执行本发明任意实施例所提供的雷达人体动作识别方法，具备执行雷达人体动作识别方法相应的功能模块和有益效果。
实施例四
图11是本发明实施例四提供的一种电子设备的结构示意图。图11示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图11显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图11所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图11中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的雷达人体动作识别方法，包括：
对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的雷达人体动作识别方法，包括：
对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种雷达人体动作识别方法，其特征在于，包括：
对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
2.根据权利要求1所述的方法，其特征在于，所述人体骨架数据包括人体至少两个部位关键点的三维坐标信息随时间变化的数据。
3.根据权利要求1所述的方法，其特征在于，在所述对获取的人体骨架数据进行模拟，得到模拟雷达回波数据之前，还包括：
对所述人体骨架数据进行扩充，得到扩充后的大样本人体骨架数据。
4.根据权利要求3所述的方法，其特征在于，采用如下至少一种扩充方式对所述人体骨架数据进行扩充：修改所述人体骨架数据中的人体骨骼高度信息，修改所述人体骨架数据中的人体运动速度信息以及修改对人体骨架数据进行拟合后的参数。
5.根据权利要求4所述的方法，其特征在于，采用所述修改对人体骨架数据进行拟合后的参数的扩充方式，对所述人体骨架数据进行扩充，包括：
对所述人体骨架数据进行周期延拓；
对进行周期延拓后的人体骨架数据进行拟合，得到拟合参数；
对拟合参数进行修改，得到修改后的人体骨架数据；
采用拟合优化算法对所述修改后的人体骨架数据进行优化，将优化后的人体骨架数据作为对人体骨架数据进行扩充的结果。
6.根据权利要求1所述的方法，其特征在于，所述对获取的人体骨架数据进行模拟，得到模拟雷达回波数据，包括：
对所述人体骨架数据进行插值，得到目标数量的人体骨架数据；其中，所述目标数据根据所述真实雷达回波数据的慢时间采集频率确定；
对所述目标数量的人体骨架数据进行雷达坐标转换，以得到所述目标数量的人体骨架数据中每个人体骨架数据代表的人体部位关键点到模拟雷达的距离，确定模拟雷达回波数据。
7.根据权利要求1所述的方法，其特征在于，所述神经网络模型为双分支DenseNet神经网络，其中，每个分支DenseNet神经网络包括至少一个卷积层、至少两个DenseBlock层以及至少两个传输层，将两个分支神经网络的输出结果进行拼接后输入至softmax层进行分类。
8.一种雷达人体动作识别装置，其特征在于，包括：
模拟雷达数据确定模块，用于对获取的人体骨架数据进行模拟，得到模拟雷达回波数据；
预训练模块，用于基于神经网络模型对所述模拟雷达回波数据进行预训练，得到预训练模型参数；
优化训练模块，用于基于所述预训练模型参数和所述神经网络模型，对人体动作的真实雷达回波数据进行优化训练，得到目标识别模型；其中，所述目标识别模型用于对待识别的雷达回波数据进行识别，得到人体动作识别结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的雷达人体动作识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的雷达人体动作识别方法。
CN202011079655.4A 2020-10-10 2020-10-10 雷达人体动作识别方法、装置、电子设备和存储介质 Active CN112241001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011079655.4A CN112241001B (zh) 2020-10-10 2020-10-10 雷达人体动作识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011079655.4A CN112241001B (zh) 2020-10-10 2020-10-10 雷达人体动作识别方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112241001A true CN112241001A (zh) 2021-01-19
CN112241001B CN112241001B (zh) 2023-06-23

Family

ID=74168562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011079655.4A Active CN112241001B (zh) 2020-10-10 2020-10-10 雷达人体动作识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112241001B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610023A (zh) * 2021-08-12 2021-11-05 珠海格力电器股份有限公司 设备控制方法、装置、设备及存储介质
CN116059600A (zh) * 2022-11-25 2023-05-05 佛山市银河兰晶科技股份有限公司 一种基于互动投影的康复训练装置、训练方法及评估系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN108459311A (zh) * 2018-03-22 2018-08-28 三明学院 基于Hough变换的卷积神经网络下微多普勒目标分类方法
CN108664894A (zh) * 2018-04-10 2018-10-16 天津大学 基于深度卷积对抗神经网络的人体动作雷达图像分类方法
CN108872984A (zh) * 2018-03-15 2018-11-23 清华大学 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
WO2019006473A1 (en) * 2017-06-30 2019-01-03 The Johns Hopkins University ACTION RECOGNITION SYSTEMS AND METHOD USING MICRO-DOPPLER SIGNATURES AND RECURRING NEURAL NETWORKS
CN109948532A (zh) * 2019-03-19 2019-06-28 桂林电子科技大学 基于深度卷积神经网络的超宽带雷达人体动作识别方法
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法
CN111368930A (zh) * 2020-03-09 2020-07-03 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN111401180A (zh) * 2020-03-09 2020-07-10 深圳大学 神经网络识别模型训练方法、装置、服务器及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
WO2019006473A1 (en) * 2017-06-30 2019-01-03 The Johns Hopkins University ACTION RECOGNITION SYSTEMS AND METHOD USING MICRO-DOPPLER SIGNATURES AND RECURRING NEURAL NETWORKS
CN108872984A (zh) * 2018-03-15 2018-11-23 清华大学 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN108459311A (zh) * 2018-03-22 2018-08-28 三明学院 基于Hough变换的卷积神经网络下微多普勒目标分类方法
CN108664894A (zh) * 2018-04-10 2018-10-16 天津大学 基于深度卷积对抗神经网络的人体动作雷达图像分类方法
CN109948532A (zh) * 2019-03-19 2019-06-28 桂林电子科技大学 基于深度卷积神经网络的超宽带雷达人体动作识别方法
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法
CN111368930A (zh) * 2020-03-09 2020-07-03 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN111401180A (zh) * 2020-03-09 2020-07-10 深圳大学 神经网络识别模型训练方法、装置、服务器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贺峰;黄晓涛;刘承兰;李欣;周智敏;: "行进人体目标雷达瞬时多普勒特征分析", 信号处理, no. 09, pages 1281 - 1288 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610023A (zh) * 2021-08-12 2021-11-05 珠海格力电器股份有限公司 设备控制方法、装置、设备及存储介质
CN116059600A (zh) * 2022-11-25 2023-05-05 佛山市银河兰晶科技股份有限公司 一种基于互动投影的康复训练装置、训练方法及评估系统
CN116059600B (zh) * 2022-11-25 2023-10-20 佛山市银河兰晶科技股份有限公司 一种基于互动投影的康复训练装置、训练方法及评估系统

Also Published As

Publication number Publication date
CN112241001B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110458107B (zh) 用于图像识别的方法和装置
CN109902659B (zh) 用于处理人体图像的方法和装置
CN110348288B (zh) 一种基于77GHz毫米波雷达信号的手势识别方法
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN112241001B (zh) 雷达人体动作识别方法、装置、电子设备和存储介质
CN111368668B (zh) 三维手部识别方法、装置、电子设备及存储介质
CN112529149B (zh) 一种数据处理方法及相关装置
CN111401180B (zh) 神经网络识别模型训练方法、装置、服务器及存储介质
Fei et al. Flow-pose Net: An effective two-stream network for fall detection
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN117058597B (zh) 一种基于音视频的维度情感识别方法、系统、设备及介质
CN112884062A (zh) 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统
CN113516000A (zh) 波形图像的处理方法、装置、设备及存储介质
Wang et al. Swimmer’s posture recognition and correction method based on embedded depth image skeleton tracking
CN110889393A (zh) 人体姿态估计方法及设备
CN110728732A (zh) 一种图像重建方法、装置、设备及介质
Wang Data feature extraction method of wearable sensor based on convolutional neural network
CN110633630A (zh) 一种行为识别方法、装置及终端设备
CN112053386B (zh) 基于深度卷积特征自适应集成的目标跟踪方法
CN115048954A (zh) 一种仿视网膜的目标检测方法、装置、存储介质及终端
Weibel et al. Hands that speak: An integrated approach to studying complex human communicative body movements
CN112507940A (zh) 一种基于差分指导表示学习网络的骨骼动作识别方法
Stanski et al. Flower detection using object analysis: new ways to quantify plant phenology in a warming tundra biome
Guo et al. Aided image acquisition system for aerobics training based on motion recognition technology
Pan et al. Transactions on Edutainment XVI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant