CN116027325B - 基于智能可穿戴设备的人体动作识别方法、装置 - Google Patents
基于智能可穿戴设备的人体动作识别方法、装置 Download PDFInfo
- Publication number
- CN116027325B CN116027325B CN202310335209.2A CN202310335209A CN116027325B CN 116027325 B CN116027325 B CN 116027325B CN 202310335209 A CN202310335209 A CN 202310335209A CN 116027325 B CN116027325 B CN 116027325B
- Authority
- CN
- China
- Prior art keywords
- radar
- image
- fusion
- radar image
- intelligent wearable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及人工智能技术,揭露了一种基于智能可穿戴设备的人体动作识别方法,包括:利用智能可穿戴设备中的FMCW雷达发送发射波,并通过智能可穿戴设备中的信号接收器获取FMCW雷达接收的入射波,计算发射波与入射波的差拍信号;对差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像;将测距雷达图像与测速雷达图像进行特征融合,得到雷达融合图像;利用卷积神经网络模型雷达融合图像对应的动作标签,将动作标签确定为识别到的人体动作。本发明还提出一种基于智能可穿戴设备的人体动作识别装置。本发明可以解决基于智能可穿戴设备的人体动作识别方法不够准确的问题。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于智能可穿戴设备的人体动作识别方法、装置。
背景技术
随着人工智能领域的不断发展以及智能可穿戴设备的不断普及,人体动作识别成了新型的热门研究领域。为了提升智能可穿戴设备度人体动作识别的准确性,可以利用智能可穿戴设备中的FMCW雷达进行发射波与入射波的差拍信号计算,从而对目标人物的动作进行识别。
传统的人体动作识别方法通过对人体图片的识别进行特征提取,再通过分类器进行图像识别。实际应用中,获取照片需要所述智能可穿戴设备配置拍摄系统,且对所述智能可穿戴设备的佩戴部位有严格的要求。容易使人体照片的获取不够全面,从而对动作的分类不够细致,从而导致动作识别错误。
发明内容
本发明提供一种基于智能可穿戴设备的人体动作识别方法、装置,其主要目的在于解决基于智能可穿戴设备的人体动作识别不够准确的问题。
为实现上述目的,本发明提供的一种基于智能可穿戴设备的人体动作识别方法,包括:
利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号;
对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像, 其中,利用如下变换公式对所述差拍信号进行距离维快速傅里叶变换进行计算:其中,为测距雷达图像,/>为第/>个差拍信号,/>表示所述差拍信号中第/>个坐标和第个坐标之间的欧几里得距离,/>为所述差拍信号的信号长度;
将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像;
利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作。
可选地,所述计算所述发射波与入射波的差拍信号,包括:
利用如下差拍公式计算所述发射波与入射波的差拍信号:其中,为所述差拍信号,/>是目标人物相对于雷达的最大速度,/>为所述FMCW雷达的工作波长。可选地,所述对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像,包括:
利用如下时间变换公式对所述测距雷达图像进行时间维快速傅里叶变换:其中,/>是测速雷达图像,/>为测距雷达图像对应的时域信号,/>是预设额定频率,/>是虚数单位,/>表示所述测距雷达图像中的时间信号。可选地,所述将所述测距雷达图像与所述测速雷达图像进行特征融合,包括:
计算所述测距雷达图像的测距特征权重;
计算所述测速雷达图像的测速特征权重;
将所述测距特征权重与所述测速特征权重进行加权求和,确定所述加权求和的结果作为特征融合的结果。
可选地,所述获取预设的三维训练坐标以及对应的训练投影对预设的空白神经网络模型进行训练,得到投影神经网络模型,包括:
通过所述空白神经网络模型获取所述三维训练坐标对应的预测投影;
计算所述预测投影与所述训练投影之间的损失值;
根据所述损失值对所述空白神经网络模型进行参数调整,直至所述损失值在预设的损失阈值范围内,得到投影神经网络模型。
可选地,所述计算所述测距雷达图像的测距特征权重,包括:
利用如下权重公式计算所述测距雷达图像的测距特征权重:其中,/>表示所述测距特征权重,/>测距雷达图像第/>个特征向量,/>表示所述测距雷达图像中第/>的特征向量的协方差,/>表示预设的空间滤波函数。可选地,所述将所述测距特征权重与所述测速特征权重进行加权求和,确定所述加权求和的结果作为特征融合的结果,包括:
利用如下加权求和公式计算所述测距特征权重与所述测速特征权重加权求和的结果:其中,/>加权求和的结果,/>表示所述测距特征权重,/>表示所述测距雷达图像,/>表示所述测速特征权重,/>表示所述测速雷达图像,表示所述距特征权重的总个数。可选地,所述利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,包括:
获取预设的训练图像以及训练标签对所述卷积神经网络模型进行训练;
计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值;
根据所述损失值对所述卷积神经网络模型进行参数调整,直至所述损失值在预设的损失阈值内,将参数调整的完毕的卷积神经网络模型确定为动作识别模型;
通过所述动作识别模型获取所述雷达融合图像对应的动作标签。
可选地,所述计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值,包括:
利用如下损失值函数计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值:其中,/>为所述损失值,表示第/>个训练标签,/>表示第/>个预测标签,/>表示所述训练标签的总个数。为了解决上述问题,本发明还提供一种基于智能可穿戴设备的人体动作识别装置,所述装置包括:
差拍信号模块:利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号,其中,利用如下变换公式对所述差拍信号进行距离维快速傅里叶变换进行计算:其中,/>为测距雷达图像,/>为第/>个差拍信号,/>表示所述差拍信号中第/>个坐标和第/>个坐标之间的欧几里得距离,/>为所述差拍信号的信号长度;
傅里叶变换模块:对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像;
雷达图像融合模块:将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像;
动作识别模块:利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作。
本发明实施例通过利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号,差拍信号可以用来提取信号中的特定频率成分或者消除杂音,本发明实施例中使用FMCW雷达时计算发射波和入射波的差拍信号的目的是为了便于确定后续目标人物到所述智能可穿戴设备的距离;对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像;将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像,减少过度拟合数据的风险,便于后续对雷达融合图像进行计算,得到准确的识别结,卷积神经网络模型所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作,减少人工干预,节省成本,减少人力和时间的投入,最终使得模型能够快速、准确地进行预测。因此本发明提出的基于智能可穿戴设备的人体动作识别方法、装置,可以解决智能可穿戴设备对人体动作识别不够准确问题。
附图说明
图1为本发明一实施例提供的基于智能可穿戴设备的人体动作识别方法的流程示意图;
图2为本发明一实施例提供的进行特征融合的流程示意图;
图3为本发明一实施例提供的获取动作标签的流程示意图;
图4为本发明一实施例提供的基于智能可穿戴设备的人体动作识别装置的功能模块图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种基于智能可穿戴设备的人体动作识别方法。所述基于智能可穿戴设备的人体动作识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述基于智能可穿戴设备的人体动作识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示,为本发明一实施例提供的基于智能可穿戴设备的人体动作识别方法的流程示意图。在本实施例中,所述基于智能可穿戴设备的人体动作识别方法包括:
S1、利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号;
本发明实施例中,所述智能可穿戴设备包括但不限于智能手表、智能眼镜、智能手环、智能服装、智能耳机、智能眼球等。
由于普通雷达易受干扰且产生的电磁波辐射容易对人体产生危害,因此使用FMCW雷达不仅能够保证高精度地测量,抗干扰能力也较强,同时还能避免对人体产生危害,因此本发明实施例中选用FMCW雷达。
本发明实施例中,所述利用预设的智能可穿戴设备中的FMCW雷达发送发射波,其中,所述FMCW雷达是一种连续波雷达信号,FMCW雷达在发送端将发射波进行发射,当遇到障碍物时,发射波被反射回来形成入射波被所述FMCW雷达进行接收。
详细地,由于所述FMCW雷达是通过周期性地改变发射信号频率来探测目标物体,并根据回波信号与发射信号之间的频率差异来计算目标物体的距离和速度信息,因此本发明实施例中,需要计算所述发射波与入射波的差拍信号,根据差拍信号来获取对应的信息。
本发明实施例中,所述计算所述发射波与入射波的差拍信号,包括:
利用如下差拍公式计算所述发射波与入射波的差拍信号:其中,为所述差拍信号,/>是目标人物相对于雷达的最大速度,/>为所述FMCW雷达的工作波长。进一步地,计算差拍信号可以用来提取信号中的特定频率成分或者消除杂音,本发明实施例中使用FMCW雷达时计算发射波和入射波的差拍信号的目的是为了便于确定后续目标人物到所述智能可穿戴设备的距离。
S2、对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像;
本发明实施例中,所述距离维快速傅里叶变换又称为DFT,通常广泛应用于信号处理、图像处理、数值分析、密码学等领域,成为实现多种信号处理算法的基础。
其中,所述对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,利用如下距离变换公式进行计算:其中,/>为测距雷达图像,/>为第/>个差拍信号,/>表示所述差拍信号中第/>个坐标和第/>个坐标之间的欧几里得距离,/>为所述差拍信号的信号长度。详细地,所述欧几里得距离是指在二维或三维笛卡尔空间中,两点之间的直线距离,可以通过勾股定理计算得出。在更高维度的空间中,欧几里得距离的定义被推广为每个坐标差的平方和的平方根。
本发明实施例中,所述对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像,包括:
利用如下时间变换公式对所述测距雷达图像进行时间维快速傅里叶变换:其中,/>是测速雷达图像,/>为测距雷达图像对应的时域信号,/>是预设额定频率,/>是虚数单位,/>表示所述测距雷达图像中的时间信号。具体地,所述时间维快速傅里叶变换又称为FFT,与直接计算傅里叶变换相比,FFT算法具有更快的计算速度,可以极大的减少计算时间。同时,时间维快速傅里叶变换能够在较短的时间内计算出大量数据的频谱信息。
详细地,所述时间维快速傅里叶变换与距离维快速傅里叶变换是两种不同的信号处理方式,DFT用于分析一维或多维、空间域或频率域中的信号,通常包括距离或空间域中的信号。它将信号转换为频域中的复数值,便于在频域中进行分析和处理。TFT用于分析时间域中的信号,通常是一维信号。它将信号转换为频域中的复数值,使得信号的振幅和相位可以在频域中被精确测量和操纵。
S3、将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像;
本发明实施例中,所述特征融合是将来自不同数据源或不同特征提取方法的特征进行组合,通常是用于模型预测的准备工作中。本发明实施例中,将所述测距雷达图像与所述测速雷达图像进行特征融合,是为了便于后续对融合结果进行模型预测。
本发明实施例中,参照图2所示,所述将所述测距雷达图像与所述测速雷达图像进行特征融合,包括:
S21、计算所述测距雷达图像的测距特征权重;
S22、计算所述测速雷达图像的测速特征权重;
S23、将所述测距特征权重与所述测速特征权重进行加权求和,确定所述加权求和的结果作为特征融合的结果。
本发明实施例中,所述计算所述测距雷达图像的测距特征权重,包括:
利用如下权重公式计算所述测距雷达图像的测距特征权重:其中,/>表示所述测距特征权重,/>测距雷达图像第/>个特征向量,/>表示所述测距雷达图像中第/>的特征向量的协方差,/>表示预设的空间滤波函数。类似地,所述计算所述测距雷达图像的测距特征权重与所述计算所述测距雷达图像的测距特征权重步骤类似,再此不作赘述。
进一步地,将所述测距特征权重与所述测速特征权重进行加权求和,确定所述加权求和的结果作为特征融合的结果,包括:
利用如下加权求和公式计算所述测距特征权重与所述测速特征权重加权求和的结果:其中,/>加权求和的结果,/>表示所述测距特征权重,/>表示所述测距雷达图像,/>表示所述测速特征权重,/>表示所述测速雷达图像,表示所述距特征权重的总个数。详细地,所述将所述测距雷达图像与所述测速雷达图像进行特征融合能够更加全面的描述数据,减少过度拟合数据的风险,便于后续对雷达融合图像进行计算,得到准确的识别结果。
具体地,将所述测距特征权重与所述测速特征权重进行加权求和可以更准确地表示出所述测距雷达图像与所述测速雷达图像的不同重要性,通过赋予不同的权重,可以使得具有更高权重的图像对整个融合结果的影响更大,更准确的反应出他们的作用。
S4、利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作。
本发明实施例中,所述卷积神经网络是一种深度学习算法,可以用于图像识别,例如识别动物、植物,还能进行目标检测。本发明实施例中,通过所述卷积神经网络获取所述雷达融合图像对象的动作标签也是卷积神经网络功能的一部分。
本发明实施例中,参照图3所示,所述利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,包括:
S31、获取预设的训练图像以及训练标签对所述卷积神经网络模型进行训练;
S32、计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值;
S33、根据所述损失值对所述卷积神经网络模型进行参数调整,直至所述损失值在预设的损失阈值内,将参数调整的完毕的卷积神经网络模型确定为动作识别模型;
S34、通过所述动作识别模型获取所述雷达融合图像对应的动作标签。
详细地,所述计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值,包括:
利用如下损失值函数计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值:其中,/>为所述损失值,表示第/>个训练标签,/>表示第/>个预测标签,/>表示所述训练标签的总个数。详细地,所述损失值函数用来计算模型预测结果与真实标签之间的差异或误差,通过改变损失函数的形式或超参数,可以调整模型的偏置和方差,进而平衡预测精度和泛化能力,是模型训练必不可少的一步。
本发明实施例中,所述通过所述动作识别模型获取所述雷达融合图像对应的动作标签,包括:
利用动作识别模型对所述雷达融合图像进行交叉卷积、池化处理,得到所述雷达融合图像的低维特征信息;
将所述低维特征信息映射至预先构建的高维空间,得到高维特征信息;
利用预设的激活函数对所述高维特征信息进行筛选,得到动作标签。
具体地,可利用预设的映射函数将低维特征信息映射至预先构建的高维空间,所述映射函数包括MATLAB库中的Gaussian Radial Basis Function函数、高斯函数等。
详细地,所述利用动作识别模型对所述雷达融合图像进行交叉卷积、池化处理,得到所述雷达融合图像的低维特征信息,包括:
将所述雷达融合图像转化成雷达融合矩阵;
预设不同尺寸的卷积核,将所述卷积核逐一对所述雷达融合矩阵进行卷积,得到卷积矩阵;
根据预设的池化窗口利用最大值或者最小值方法对所述雷达融合矩阵进行池化,得到所述雷达融合图像的低维特征信息。
详细地,所述不同尺寸的卷积核之间有预设的尺寸差,例如某一卷积核定位3*3的矩阵,预设的卷积核尺寸差为3,则所述卷积核对的尺寸分别为3*3以及6*6。设置一定的尺寸差能够保证得到的卷积矩阵在保留最大特征的前提下,最大程度的进行降维操作。
具体地,由于卷积核尺寸大的能够保留的数据特征也就越大,卷积核尺寸小的能够快速降维,简化计算。为了方便后续的计算过程,一般会牺牲一定的矩阵特征来简化矩阵计算,也就是选取尺寸的卷积核进行卷积操作,而使用具有一定卷积核尺寸差的卷积核对分别对所述雷达融合图像进行卷积操作不仅能够保存雷达融合图像的特征,还能够简化后续操作,一举多得。
进一步地,所述获取预设的训练图像以及训练标签对所述卷积神经网络模型进行训练能够提高模型预测的准确率,减少人工干预,节省成本,减少人力和时间的投入,最终使得模型能够快速、准确地进行预测。
如图4所示,是本发明一实施例提供的基于智能可穿戴设备的人体动作识别装置的功能模块图。
本发明所述基于智能可穿戴设备的人体动作识别装置100可以安装于电子设备中。根据实现的功能,所述基于智能可穿戴设备的人体动作识别装置100可以包括获取差拍信号模块101、傅里叶变换模块102、雷达图像融合模块103及动作识别模块104。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述差拍信号模块101:利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号;
所述傅里叶变换模块102:对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像, 其中,利用如下变换公式对所述差拍信号进行距离维快速傅里叶变换进行计算:其中,/>为测距雷达图像,/>为第/>个差拍信号,表示所述差拍信号中第/>个坐标和第/>个坐标之间的欧几里得距离,/>为所述差拍信号的信号长度;
所述雷达图像融合模块103:将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像;
所述动作识别模块104:利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作。
详细地,本发明实施例中所述基于智能可穿戴设备的人体动作识别装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于智能可穿戴设备的人体动作识别方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统实施例中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (6)
1.一种基于智能可穿戴设备的人体动作识别方法,其特征在于,所述方法包括:
利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号;
所述计算所述发射波与入射波的差拍信号,包括:
利用如下差拍公式计算所述发射波与入射波的差拍信号:其中,/>为所述差拍信号,/>是目标人物相对于雷达的最大速度,/>为所述FMCW雷达的工作波长;
对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像,其中,利用如下变换公式对所述差拍信号进行距离维快速傅里叶变换进行计算:其中,/>为测距雷达图像,/>为第/>个差拍信号,/>表示所述差拍信号中第/>个坐标和第/>个坐标之间的欧几里得距离,/>为所述差拍信号的信号长度;
所述对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像,包括:
利用如下时间变换公式对所述测距雷达图像进行时间维快速傅里叶变换:
其中,/>是测速雷达图像,/>为测距雷达图像对应的时域信号,/>是预设额定频率,/>是虚数单位,/>表示所述测距雷达图像中的时间信号;
将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像;
利用预设的卷积神经网络模型获取所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作;
所述利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,包括:
获取预设的训练图像以及训练标签对所述卷积神经网络模型进行训练;
计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值;
根据所述损失值对所述卷积神经网络模型进行参数调整,直至所述损失值在预设的损失阈值内,将参数调整的完毕的卷积神经网络模型确定为动作识别模型;
通过所述动作识别模型获取所述雷达融合图像对应的动作标签;
所述通过所述动作识别模型获取所述雷达融合图像对应的动作标签,包括:
利用动作识别模型对所述雷达融合图像进行交叉卷积、池化处理,得到所述雷达融合图像的低维特征信息;
将所述低维特征信息映射至预先构建的高维空间,得到高维特征信息;
利用预设的激活函数对所述高维特征信息进行筛选,得到动作标签;
所述利用动作识别模型对所述雷达融合图像进行交叉卷积、池化处理得到所述雷达融合图像的低维特征信息包括:将所述雷达融合图像转化成雷达融合矩阵;预设不同尺寸的卷积核,将卷积核逐一对雷达融合矩阵进行卷积得到卷积矩阵;根据预设的池化窗口利用最大值或者最小值方法对所述雷达融合矩阵进行池化得到所述雷达融合图像的低维特征信息。
2.如权利要求1所述的基于智能可穿戴设备的人体动作识别方法,其特征在于,所述将所述测距雷达图像与所述测速雷达图像进行特征融合,包括:
计算所述测距雷达图像的测距特征权重;
计算所述测速雷达图像的测速特征权重;
将所述测距特征权重与所述测速特征权重进行加权求和,确定所述加权求和的结果作为特征融合的结果。
3.如权利要求2所述的基于智能可穿戴设备的人体动作识别方法,其特征在于, 所述计算所述测距雷达图像的测距特征权重,包括:
利用如下权重公式计算所述测距雷达图像的测距特征权重:
其中,/>表示所述测距特征权重,/>测距雷达图像第r个特征向量,/>表示所述测距雷达图像中第r的特征向量的协方差,/>表示预设的空间滤波函数。
4.如权利要求2所述的基于智能可穿戴设备的人体动作识别方法,其特征在于,所述将所述测距特征权重与所述测速特征权重进行加权求和,确定所述加权求和的结果作为特征融合的结果,包括:
利用如下加权求和公式计算所述测距特征权重与所述测速特征权重加权求和的结果:其中,/>加权求和的结果,/>表示所述测距特征权重,表示所述测距雷达图像,/>表示所述测速特征权重,/>表示所述测速雷达图像,/>表示所述距特征权重的总个数。
5.如权利要求4中所述的基于智能可穿戴设备的人体动作识别方法,其特征在于,所述计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值,包括:
利用如下损失值函数计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值:其中,/>为所述损失值,/>表示第/>个训练标签,/>表示第/>个预测标签,/>表示所述训练标签的总个数。
6.一种基于智能可穿戴设备的人体动作识别装置,其特征在于,所述装置包括:
差拍信号模块:利用预设的智能可穿戴设备中的FMCW雷达发送发射波,并通过所述智能可穿戴设备中的信号接收器获取所述FMCW雷达接收的入射波,计算所述发射波与入射波的差拍信号;
所述计算所述发射波与入射波的差拍信号,包括:
利用如下差拍公式计算所述发射波与入射波的差拍信号:
其中,为所述差拍信号,/>是目标人物相对于雷达的最大速度,/>为所述FMCW雷达的工作波长;
傅里叶变换模块:对所述差拍信号进行距离维快速傅里叶变换,得到测距雷达图像,对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像, 其中,利用如下变换公式对所述差拍信号进行距离维快速傅里叶变换进行计算:其中,/>为测距雷达图像,/>为第/>个差拍信号,表示所述差拍信号中第/>个坐标和第/>个坐标之间的欧几里得距离,/>为所述差拍信号的信号长度;
所述对所述测距雷达图像进行时间维快速傅里叶变换,得到测速雷达图像,包括:
利用如下时间变换公式对所述测距雷达图像进行时间维快速傅里叶变换:其中,/>是测速雷达图像,/>为测距雷达图像对应的时域信号,/>是预设额定频率,/>是虚数单位,/>表示所述测距雷达图像中的时间信号;
雷达图像融合模块:将所述测距雷达图像与所述测速雷达图像进行特征融合,得到雷达融合图像;
动作识别模块:利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,将所述动作标签确定为识别到的人体动作;
所述利用预设的卷积神经网络模型所述雷达融合图像对应的动作标签,包括:
获取预设的训练图像以及训练标签对所述卷积神经网络模型进行训练;
计算所述训练图像在所述卷积神经网络模型对应的预测标签与所述训练标签之间的损失值;
根据所述损失值对所述卷积神经网络模型进行参数调整,直至所述损失值在预设的损失阈值内,将参数调整的完毕的卷积神经网络模型确定为动作识别模型;
通过所述动作识别模型获取所述雷达融合图像对应的动作标签;
所述通过所述动作识别模型获取所述雷达融合图像对应的动作标签,包括:
利用动作识别模型对所述雷达融合图像进行交叉卷积、池化处理,得到所述雷达融合图像的低维特征信息;
将所述低维特征信息映射至预先构建的高维空间,得到高维特征信息;
利用预设的激活函数对所述高维特征信息进行筛选,得到动作标签;
所述利用动作识别模型对所述雷达融合图像进行交叉卷积、池化处理得到所述雷达融合图像的低维特征信息包括:将所述雷达融合图像转化成雷达融合矩阵;预设不同尺寸的卷积核,将卷积核逐一对雷达融合矩阵进行卷积得到卷积矩阵;根据预设的池化窗口利用最大值或者最小值方法对所述雷达融合矩阵进行池化得到所述雷达融合图像的低维特征信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310335209.2A CN116027325B (zh) | 2023-03-31 | 2023-03-31 | 基于智能可穿戴设备的人体动作识别方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310335209.2A CN116027325B (zh) | 2023-03-31 | 2023-03-31 | 基于智能可穿戴设备的人体动作识别方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116027325A CN116027325A (zh) | 2023-04-28 |
CN116027325B true CN116027325B (zh) | 2023-08-01 |
Family
ID=86074536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310335209.2A Active CN116027325B (zh) | 2023-03-31 | 2023-03-31 | 基于智能可穿戴设备的人体动作识别方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116027325B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190091817A (ko) * | 2018-01-29 | 2019-08-07 | (주)스마트레이더시스템 | 길쌈 신경회로망을 이용한 레이더 신호 처리 장치 및 방법 |
WO2022029865A1 (ja) * | 2020-08-04 | 2022-02-10 | 三菱電機株式会社 | 信号処理装置、レーダ及びレーダ信号処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107024685A (zh) * | 2017-04-10 | 2017-08-08 | 北京航空航天大学 | 一种基于距离‑速度特征的手势识别方法 |
CN109829509B (zh) * | 2019-02-26 | 2022-11-22 | 重庆邮电大学 | 基于融合神经网络的雷达手势识别方法 |
US11852750B2 (en) * | 2019-06-28 | 2023-12-26 | Smart Radar System, Inc. | Method and apparatus for radar signal processing using recurrent neural network |
CN113391282B (zh) * | 2021-05-12 | 2022-06-17 | 南京航空航天大学 | 一种基于雷达多维特征融合的人体姿态识别方法 |
CN115422962A (zh) * | 2021-05-12 | 2022-12-02 | 北京算丰征途科技有限公司 | 一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置 |
CN113313040B (zh) * | 2021-06-04 | 2022-05-13 | 福州大学 | 基于fmcw雷达信号的人体姿势识别方法 |
CN114429672A (zh) * | 2021-12-28 | 2022-05-03 | 浙江芯力微电子股份有限公司 | 基于神经网络的毫米波雷达人体动作实时检测方法 |
CN115267698B (zh) * | 2022-06-29 | 2023-05-23 | 珠海正和微芯科技有限公司 | Fmcw雷达移动和微动目标检测和识别方法和系统 |
-
2023
- 2023-03-31 CN CN202310335209.2A patent/CN116027325B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190091817A (ko) * | 2018-01-29 | 2019-08-07 | (주)스마트레이더시스템 | 길쌈 신경회로망을 이용한 레이더 신호 처리 장치 및 방법 |
WO2022029865A1 (ja) * | 2020-08-04 | 2022-02-10 | 三菱電機株式会社 | 信号処理装置、レーダ及びレーダ信号処理方法 |
Non-Patent Citations (3)
Title |
---|
Radar-Based Human Activity Recognition Using Hybrid Neural Network Model With Multidomain Fusion;WEN DING 等;IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS;第57卷(第5期);2889-2898 * |
一种基于卷积神经网络的雷达目标分类方法;高淑雅 等;信息技术;第44期(第01期);91-94+100 * |
基于调频连续波雷达的多维信息特征融合人体姿势识别方法;冯心欣 等;电子与信息学报;第44卷(第10期);3583-3591 * |
Also Published As
Publication number | Publication date |
---|---|
CN116027325A (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sengupta et al. | mm-Pose: Real-time human skeletal posture estimation using mmWave radars and CNNs | |
CN106355151B (zh) | 一种基于深度置信网络的三维sar图像目标识别方法 | |
Pegoraro et al. | Real-time people tracking and identification from sparse mm-wave radar point-clouds | |
Liu et al. | Deep learning and recognition of radar jamming based on CNN | |
EP3568831A1 (en) | Systems, methods, and apparatuses for tracking a body or portions thereof | |
Liang et al. | A transfer learning approach for compressed sensing in 6G-IoT | |
CN116338608B (zh) | 微波雷达探测角度调整方法、装置、设备及存储介质 | |
CN113311428A (zh) | 一种基于毫米波雷达的人体跌倒智能监测系统及识别方法 | |
CN111563458A (zh) | 基于YOLOv3和OpenCV的目标检测与定位方法 | |
Jin et al. | Robust dynamic hand gesture recognition based on millimeter wave radar using atten-TsNN | |
CN115343704A (zh) | 基于多任务学习的fmcw毫米波雷达的手势识别方法 | |
Zhang et al. | Application of multi-angle millimeter-wave radar detection in human motion behavior and micro-action recognition | |
Song et al. | Multi-view HRRP generation with aspect-directed attention GAN | |
Hou et al. | A pointer meter reading recognition method based on YOLOX and semantic segmentation technology | |
CN116027325B (zh) | 基于智能可穿戴设备的人体动作识别方法、装置 | |
CN108596155A (zh) | 一种sar雷达空中飞行目标识别系统 | |
CN112198507A (zh) | 人体跌倒特征的检测方法及装置 | |
CN109887012B (zh) | 一种结合自适应搜索点集的点云配准方法 | |
Cai et al. | An automatic trough line identification method based on improved UNet | |
Salim et al. | Joint detection and tracking for stealth targets in noisy imagery based on variational Bayesian-sequential Monte Carlo-cardinality-balanced multitarget multi-Bernoulli filter | |
CN115393955A (zh) | 一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统 | |
AU2021101372A4 (en) | Human Body Shape Prediction System Based on Human Body Size Database | |
CN112766335B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
Romanyuk et al. | Face recognition techniques | |
Bulugu | Gesture recognition system based on cross-domain CSI extracted from Wi-Fi devices combined with the 3D CNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |