CN113033318B - 人体动作的检测方法、装置及计算机可读存储介质 - Google Patents

人体动作的检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113033318B
CN113033318B CN202110226289.9A CN202110226289A CN113033318B CN 113033318 B CN113033318 B CN 113033318B CN 202110226289 A CN202110226289 A CN 202110226289A CN 113033318 B CN113033318 B CN 113033318B
Authority
CN
China
Prior art keywords
network model
human body
target network
matrix
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110226289.9A
Other languages
English (en)
Other versions
CN113033318A (zh
Inventor
孙维泽
周宁洁
黄磊
包为民
张沛昌
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110226289.9A priority Critical patent/CN113033318B/zh
Publication of CN113033318A publication Critical patent/CN113033318A/zh
Application granted granted Critical
Publication of CN113033318B publication Critical patent/CN113033318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体动作的检测方法、装置及计算机可读存储介质，所述人体动作的检测方法包括以下步骤：获取人体动作对应的信道状态信息以及预设网络模型；根据所述信道状态信息生成输入数据，其中，所述输入数据包括训练集和测试集；采用所述训练集训练所述预设网络模型；对训练后的所述预设网络模型低秩分解得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。本发明能够解决神经网络对不同人或不同环境下的人体动作的识别准确率差异性较大的问题。

Description

人体动作的检测方法、装置及计算机可读存储介质
技术领域
本发明涉及人工智能技术领域，特别涉及一种人体动作的检测方法、装置及计算机可读存储介质。
背景技术
当前，基于提取WiFi的信道状态信息(CSI，Channel State Information)而做动作识别的方法得到了广泛应用，当人做动作时，无线电波的传输会被干扰，WiFi信号会随着人体活动改变而产生多普勒频移，从而使WiFi信道中的CSI值发生改变，由于CSI数据矩阵包含了同一时刻多个子载波的幅度和相位信息，人体的各类活动所造成的数据变化有较高的差异性和可辨识度，因此，可以通过提取WiFi信号的CSI数据的幅度和相位特征，采用深度学习神经网络的方法识别人体动作。但是，该人体动作的检测方法中神经网络对不同人或不同环境下的人体动作数据的识别准确率会有所差异。
发明内容
本发明的主要目的是提供一种人体动作的检测方法、装置及计算机可读存储介质，旨在解决神经网络对不同人或不同环境下人体动作的识别准确率之间差异性较大的问题。
为实现上述目的，本发明提供了一种人体动作的检测方法，所述人体动作的的检测方法包括：
获取人体动作对应的信道状态信息以及预设网络模型；
根据所述信道状态信息生成输入数据，其中，所述输入数据包括训练集和测试集；
采用所述训练集训练所述预设网络模型；
对训练后的所述预设网络模型低秩分解得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。
可选地，所述采用所述训练集训练所述预设网络模型，并对训练后的所述预设网络模型低秩分解得到目标网络模型的步骤之后包括：
将所述测试集输入所述目标网络模型得到所述目标网络模型的人体动作识别的准确率。
可选地，所述对训练后的所述预设网络模型低秩分解得到目标网络模型的步骤包括：
确定训练后的所述预设网络模型的目标网络层，其中，所述目标网络层包括训练后的所述预设网络模型的卷积层和全连接层中的至少一个；
对所述目标网络层低秩分解得到第一网络层；
采用所述第一网络层替换训练后的所述预设网络模型中的所述目标网络层得到目标网络模型。
可选地，所述对所述目标网络层低秩分解得到第一网络层的步骤包括：
获取所述目标网络层的权重矩阵；
确定低秩分解的秩；
根据所述低秩分解的秩和所述权重矩阵生成第一矩阵；
采用所述第一矩阵替换所述权重矩阵得到所述第一网络层。
可选地，所述根据所述第一矩阵确定所述第一网络层的步骤包括；
确定所述第一矩阵需要增加的秩；
根据所述第一矩阵需要增加的秩和所述第一矩阵生成第二矩阵；
采用所述第一矩阵和所述第二矩阵替换所述权重矩阵得到所述第一网络层。
可选地，所述根据所述信道状态信息生成输入数据的步骤包括：
获取所述信道状态信息的幅值和相位；
根据所述幅值和相位生成所述人体动作对应的灰度图像；
根据所述灰度图像生成所述输入数据。
可选地，所述根据所述幅值和相位生成所述人体动作对应的灰度图像的步骤包括：
对所述相位进行相位补偿；
对所述幅值和补偿后的所述相位进行归一化处理；
根据归一化处理后的所述幅值和所述相位生成所述人体动作对应的灰度图像。
可选地，所述根据所述灰度图像生成输入数据的步骤包括：
采用滤波器对所述灰度图像进行特征提取，以得到特征值；
根据所述特征值生成输入数据。
此外，为实现上述目的，本发明还提供了一种人体动作的检测装置，所述人体动作的检测装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人体动作的检测程序，所述人体动作的检测程序被所述处理器执行时实现如上所述的人体动作的检测方法的步骤。
此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有人体动作的检测程序，所述人体动作的检测程序被处理器执行时实现如上所述的人体动作的检测方法的步骤。
本发明提出了一种人体动作的检测方法、装置及计算机可读存储介质，通过获取人体动作对应的信道状态信息以及预设网络模型，根据信道状态信息生成输入数据，其中，输入数据包括训练集和测试集，采用训练集训练预设网络模型，并对训练后的预设网络模型低秩分解得到目标网络模型，以使目标网络模型根据信道状态信息确定人体动作。这样，本方案对训练好的网络模型进行低秩分解，优化了网络模型的结构，提高了网络模型对不同人或不同环境下人体动作的识别准确率，缩小了不同人或不同环境下人体动作的识别准确率之间的差异，从而解决神经网络对不同人或不同环境下人体动作的识别准确率之间差异性较大的问题。
附图说明
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
图1为本发明实施例方案涉及的人体动作的检测装置的硬件架构示意图；
图2为本发明人体动作的检测方法实施例一的流程示意图；
图3为本发明人体动作的检测方法实施例二的流程示意图；
图4为本发明人体动作的检测方法实施例三的流程示意图；
图5为本发明人体动作的检测方法实施例四的流程示意图；
图6为本发明人体动作的检测方法实施例五的流程示意图；
图7为本发明实施例方案涉及的卷积神经网络模型示意图；
图8为本发明实施例方案涉及的房间环境示意图；
图9为本发明实施例方案涉及的不同人或者不同环境下人体动作的数据量示意图；
图10为本发明实施例方案涉及的不同人或者不同环境下训练集和测试集的数据量示意图；
图11为本发明实施例方案涉及的人体动作识别准确率的结果示意图一；
图12为本发明实施例方案涉及的人体动作识别准确率的结果示意图二；
图13为本发明实施例方案涉及的目标网络模型示意图一；
图14为本发明实施例方案涉及的人体动作识别准确率的结果示意图三；
图15为本发明实施例方案涉及的目标网络模型示意图二；
图16为本发明实施例方案涉及的人体动作识别准确率的结果示意图四。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取人体动作对应的信道状态信息以及预设网络模型；根据所述信道状态信息生成输入数据，其中，所述输入数据包括训练集和测试集；采用所述训练集训练所述预设网络模型；对训练后的所述预设网络模型低秩分解得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。这样，本方案对训练好的网络模型进行低秩分解，优化了网络模型的结构，提高了网络模型对不同人或不同环境所做的人体动作的识别准确率，从而解决了对不同人或不同环境下人体动作的识别准确率较低的问题。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示，图1是本发明实施例方案涉及的人体动作的检测装置的硬件架构示意图。
如图1所示，该人体动作的检测装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如存储器(non-volatile memory))，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的人体动作的检测装置的结构并不构成对人体动作的检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统以及人体动作的检测程序。
在图1所示的人体动作的检测装置中，处理器1001可以用于调用存储器1005中存储的人体动作的检测程序，并执行以下操作：
获取人体动作对应的信道状态信息以及预设网络模型；
根据所述信道状态信息生成输入数据，其中，所述输入数据包括训练集和测试集；
采用所述训练集训练所述预设网络模型；
对训练后的所述预设网络模型低秩分解得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
将所述测试集输入所述目标网络模型得到所述目标网络模型的人体动作识别的准确率。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
确定训练后的所述预设网络模型的目标网络层，其中，所述目标网络层包括训练后的所述预设网络模型的卷积层和全连接层中的至少一个；
对所述目标网络层低秩分解得到第一网络层；
采用所述第一网络层替换训练后的所述预设网络模型中的所述目标网络层得到目标网络模型。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
获取所述目标网络层的权重矩阵；
确定低秩分解的秩；
根据所述低秩分解的秩和所述权重矩阵生成第一矩阵；
采用所述第一矩阵替换所述权重矩阵得到所述第一网络层。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
确定所述第一矩阵需要增加的秩；
根据所述第一矩阵需要增加的秩和所述第一矩阵生成第二矩阵；
采用所述第一矩阵和所述第二矩阵替换所述权重矩阵得到所述第一网络层。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
获取所述信道状态信息的幅值和相位；
根据所述幅值和相位生成所述人体动作对应的灰度图像；
根据所述灰度图像生成所述输入数据。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
对所述相位进行相位补偿；
对所述幅值和补偿后的所述相位进行归一化处理；
根据归一化处理后的所述幅值和所述相位生成所述人体动作对应的灰度图像。
进一步地，处理器1001可以调用存储器1005中存储的人体动作的检测程序，还执行以下操作：
采用滤波器对所述灰度图像进行特征提取，以得到特征值；
根据所述特征值生成输入数据。
参照图2，图2为本发明人体动作的检测方法实施例一的流程示意图，所述人体动作的检测方法包括以下步骤：
步骤S10，获取人体动作对应的信道状态信息以及预设网络模型；
在本实施例中，人体动作的检测在安防、智能家居和医疗护理等日常生活应用中有广泛需求，由于人做动作时，无线电波信号的传输会被干扰，无线电波信号会随着人体动作改变而产生多普勒频移，从而使无线电波信号的CSI(Channel State Information，信道状态信息)数据发生改变。而CSI数据矩阵包含同一时刻多个子载波的幅度和相位信息，人体不同动作所造成的CSI数据变化有较高的差异性和可辨识度，因此，通过提取CSI数据的幅度和相位特征，同时借助深度学习神经网络模型分析CSI数据的幅度和相位特征可以对人体动作进行检测。
在本实施例中，无线电波信号可选为WiFi信号，相应的信道状态信息即为WiFi信号的信道状态信息；预设网络模型可选为卷积神经网络模型，例如带有3个卷积层，2个全连接层和3个池化层的8层卷积神经网络模型，参照7，图7为本发明实施例方案涉及的卷积神经网络模型示意图。需要说明的是，本实施例中涉及的所有数据结果都是在无线电波信号为WiFi信号以及预设网络模型为卷积神经网络模型的条件下作出的，在其他实施例中无线电波信号以及预设网络模型可根据实际需要选取，本实施例对此不作限定。
在本实施例中，执行主体为人体动作的检测装置，人体动作的检测装置可选为终端设备，例如，带有双天线的携带Intel 5300网卡的笔记本电脑，当然，在其他实施例中，人体动作的检测装置也可以为其他可采集、分析和处理无线电波信道状态信息的设备，例如便携式计算机等，本实施例对此不作限定。
在本实施例中，人体动作的检测装置获取不同人或者不同环境下人体动作对应的信道状态信息和预设网络模型，以检测不同人或者不同环境下的人体动作。
具体地，本实施例设计起立，坐下，推和捡四种人体动作，以WiFi路由器作为信号发射器，带有双天线的携带Intel 5300网卡的笔记本电脑作为信号接收器(也即人体动作的检测装置)，其中，设置频段为5GHz、子载波为30来采集WiFi路由器发射的信道状态信息。此外，还有一台带有摄像头的手机用来记录不同时刻做的什么动作，参照图8，图8为本发明实施例方案涉及的房间环境示意图，在两个不同的半封闭的房间内(房间1和房间2)，三个不同的个体A、B、C分别站在信号发射器和信号接收器之间做这四种动作，其中，每个动作重复几百次，每次的动作都做两秒，以使人体动作的检测装置采集不同人或者不同环境下人体动作对应的信道状态信息，即将采集到的信道状态信息分为A1(A同学在房间1)、A2(A同学在房间2)、B(B同学在房间2)以及C(C同学在房间2)四个组别，参照图9，图9为本发明实施例方案涉及的不同人或者不同环境下人体动作的数据量示意图。需要说明的是，人体动作的设计以及不同人或者不同环境下的人体动作的数据量可根据实际需要确定，本实施例对此不作限定。
步骤S20，根据所述信道状态信息生成输入数据，其中，所述输入数据包括训练集和测试集；
在本实施例中，输入数据为特征提取后的信道状态信息，输入数据用以输入预设网络模型以对预设网络模型训练以及测试，输入数据包括预设比例的训练集和测试集，其中，预设比例可选为4:1，参照图10，图10为本发明实施例方案涉及的不同人或者不同环境下训练集和测试集的数据量示意图，需要说明的是，输入数据中训练集和测试集的预设比例可根据实际需要确定，本实施例对此不作限定。
具体地，人体动作的检测装置在获取到人体动作的信道状态信息和预设模型后，提取信道状态信息的幅值和相位特征，以生成输入数据，将生成的输入数据按预设比例划分为训练集和测试集。
步骤S30，采用所述训练集训练所述预设网络模型；
在本实施例中，人体动作的检测装置根据信道状态信息生成输入数据后，将训练集输入预设网络模型训练，在预设网络模型训练完成后，将测试集输入训练后的预设网络模型以检测训练后的预设网络模型人体动作的识别准确率。
可选地，将A1、A2、B和C四个组别的训练集分别输入预设网络模型，使用Adam优化器对预设网络模型各自单独训练，其中训练轮数可选为180,学习率可选为0.001，然后将测试集输入训练后的预设网络模型以检测训练后的预设网络模型人体动作的识别准确率，参照图11，图11为本发明实施例方案涉及的人体动作识别准确率的结果示意图一。根据图11可知，个体A的动作识别准确率都要远远高于个体B和C，可达90％以上，这是因为个体A每个动作都做得很精准使得样本的噪声很小；而个体A在房间1的动作识别准确率要比在房间2高得多，这是因为‘A1’的样本量比‘A2’要大很多；不同人在不同环境下的动作识别准确率之间有一定的差距，如‘A1’和‘B2’的准确率之间相差19％。
可选地，将A1、A2、B和C四个组别的训练集一起输入预设网络模型训练，然后先将四个组别的测试集通过训练后的预设网络模型，再依次将四个组别的测试集输入训练后的预设网络模型检测训练后的预设网络模型人体动作的识别准确率，参照图12，图12为本发明实施例方案涉及的人体动作识别准确率的结果示意图二。
步骤S40，对训练后的所述预设网络模型低秩分解得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。
在本实施例中，人体动作的检测装置在采用训练集训练预设网络模型后，对训练后的预设网络模型进行低秩分解得到目标网络模型，低秩分解得到的目标网络模型可根据信道状态信息检测人体动作，由于低秩分解得到的目标网络模型具有较好的网络结构，可提高对不同人或者不同环境下人体动作的识别准确率且缩小不同人或者不同环境下人体动作的识别准确率之间的差异。
具体地，调用步骤S30中经四个组别的训练集一起训练后的预设网络模型，对调用的预设网络模型进行低秩分解得到目标网络模型，参照图13，图13为本发明实施例方案涉及的目标网络模型示意图一。
进一步地，在得到目标网络模型后，将四个组别的训练集一起输入目标网络模型训练，然后先将四个组别的测试集一起输入目标网络模型，再依次将四个组别的测试集输入目标网络模型以检测目标网络模型人体动作的识别准确率，参照图14，图14为本发明实施例方案涉及的人体动作的识别准确率的结果示意图三。比较图14与图12的检测结果可知，对训练后的预设网络模型低秩分解后得到的目标网络模型对不同人或者不同环境下的人体动作的识别准确率具有一定的提升，且不同人或不同环境下的人体动作数据的识别准确率的差异有所缩小。
本实施例提供的技术方案中，通过获取人体动作对应的信道状态信息以及预设网络模型，根据信道状态信息生成输入数据，其中，输入数据包括训练集和测试集，采用训练集训练预设网络模型，并对训练后的预设网络模型低秩分解得到目标网络模型，以使目标网络模型根据信道状态信息确定人体动作。这样，本方案对训练好的网络模型进行低秩分解，优化了网络模型的结构，提高了网络模型对不同人或不同环境下人体动作的识别准确率，缩小了不同人或不同环境下人体动作的识别准确率之间的差异，从而解决神经网络对不同人或不同环境下人体动作的识别准确率之间差异性较大的问题。
参照图3，图3为本发明人体动作的检测方法实施例二的流程示意图，基于实施例一，上述S40的步骤包括：
步骤S41，确定训练后的所述预设网络模型的目标网络层，其中，所述目标网络层包括训练后的所述预设网络模型的卷积层和全连接层中的至少一个；
在本实施例中，人体动作的检测装置对训练后的预设网络模型低秩分解得到目标网络模型。
在本实施例中，先确定调用的训练后的预设网络模型的目标网络层，其中目标网络层为需要低秩分解的网络层，目标网络层包括卷积层和全连接层中的至少一个，本实施例中目标网络层可选为一个卷积层和一个全连接层。具体地，调用的训练后的预设网络模型的网络结构如图7所示，该网络模型的第一层，第三层，第五层为卷积层，第七层第八层为全连接层，将第五层的卷积层和第七层的全连接层确定为目标网络层。
步骤S42，对所述目标网络层低秩分解得到第一网络层；
步骤S43，采用所述第一网络层替换训练后的所述预设网络模型中的所述目标网络层得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。
在本实施例中，人体动作的检测装置在确定目标网络层后，对目标网络层进行低秩分解得到第一网络层，然后采用第一网络层替换目标网络层，将替换后得到的网络模型确定为目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。替换后得到的目标网络模型如图13所示。
进一步地，将四个组别的训练集一起输入目标网络模型训练，然后先将四个组别的测试集一起输入目标网络模型，再依次将四个组别的测试集输入目标网络模型以检测目标网络模型人体动作的识别准确率，检测结果如图14所示，比较图14与图12的检测结果可知，对训练后的预设网络模型低秩分解后得到的目标网络模型对不同人或者不同环境下的人体动作的识别准确率具有一定的提升，且不同人或不同环境下的人体动作数据的识别准确率的差异有所缩小。
本实施例提供的技术方案中，通过确定训练后的预设网络模型的目标网络层，对目标网络层低秩分解得到第一网络层，并采用第一网络层替换训练后的预设网络模型中的目标网络层得到目标网络模型。这样，本方案由于网络层的替换优化了网络模型的网络结构，提高网络模型对不同人或者不同环境下人体动作的识别准确率，且缩小了不同人或不同环境下的人体动作数据的识别准确率的差异。
参照图4，图4为本发明人体动作的检测方法实施例三的流程示意图，基于实施例二，上述S42的步骤包括：
步骤S421，获取所述目标网络层的权重矩阵；
步骤S422，确定低秩分解的秩；
步骤S423，根据所述低秩分解的秩和所述权重矩阵生成第一矩阵；
步骤S424，采用所述第一矩阵替换所述权重矩阵得到所述第一网络层。
在本实施例中，调用的训练后的预设网络模型的第一层，第三层，第五层为卷积层，第七层第八层为全连接层，它们的权重矩阵分别为W1、W2、W3、W4和W5，由于本实施例将第五层的卷积层和第七层的全连接层确定为目标网络层，故只需对第五层的卷积层和第七层的全连接层对应的权重矩阵W3和W4进行低秩分解得到第一网络层。
具体地，对权重矩阵W3低秩分解，权重矩阵W3形为1*3*128*256，先将其转换为3*128*256*1，然后将其转换为384*256的二维矩阵，对该二维矩阵进行低秩分解生成第一矩阵，首先将该二维矩阵分解成U3、V3两个矩阵，其中，U3形为384*r3，V3形为r3*256，r3为确定的低秩分解的秩，由于r3的取值不能超过128，故将U3转换为1*3*128*r3的四维矩阵，将V3转换为1*1*r3*256的四维矩阵，同理，对权重矩阵W4低秩分解得到U4：5120*r4，V4：r4*1024，将U3、V3、U4和V4确定为第一矩阵，用第一矩阵替换目标网络层的权重矩阵得到第一网络层，即用U3和V3替换W3，用U4和V4替换W4。需要说明的是，r3和r4可根据需要调试到合适的值，通常为识别准确率最高的值，本实施例中r3为110，r4为950。
进一步地，采用第一网络层替换调用的训练后的预设网络模型的目标网络层得到目标网络模型，替换后得到的目标网络模型如图13所示。
进一步地，将四个组别的训练集一起输入目标网络模型训练，然后先将四个组别的测试集一起输入目标网络模型，再依次将四个组别的测试集输入目标网络模型检测目标网络模型人体动作的识别准确率，检测结果如图14所示，比较图14与图12的检测结果可知，对训练后的预设网络模型低秩分解后得到的目标网络模型对不同人或者不同环境下的人体动作的识别准确率具有一定的提升，且缩小了不同人或不同环境下的人体动作数据的识别准确率的差异。
本实施例提供的技术方案中，通过获取目标网络层的权重矩阵，并确定低秩分解的秩，根据低秩分解的秩和权重矩阵生成第一矩阵，采用所述第一矩阵替换所述权重矩阵得到第一网络层，进而用第一网络层替换目标网络层得到目标网络模型，提高了网络模型对不同人或者不同环境下人体动作识别的准确率，且缩小了不同人或不同环境下的人体动作数据的识别准确率的差异。
参照图5，图5为本发明人体动作的检测方法实施例四的流程示意图，基于实施例三，上述S424的步骤包括：
步骤S4241，确定所述第一矩阵需要增加的秩；
步骤S4242，根据所述第一矩阵需要增加的秩和所述第一矩阵生成第二矩阵；
步骤S4243，采用所述第一矩阵和所述第二矩阵替换所述权重矩阵得到所述第一网络层。
在本实施例中，人体动作的检测装置在得到第一矩阵后，在第一矩阵的基础上增加少量的秩，以对低秩分解后的网络模型增加少量的秩得到第一网络层，进一步提高对不同人或者不同环境下人体动作识别的准确率。
具体地，对于第一矩阵U3和V3，引入较小的秩r3'，r3'为U3和V3需要增加的秩，根据U3、V3和r3'生成矩阵U3'：1*3*128*r3'和V3'：1*1*r3'*256；同理对于第一矩阵U4和V4，得到矩阵U4'：5120*r4'和V4'：r4'*1024。矩阵U3'、V3'、U4'和V4'即为第二矩阵，分别将U3'、V3'、U3和V3以及将U4'、V4'、U4和V4按预设方式连接得到第一网络层。需要说明的是，r3'和r4'可根据需要调试到合适的值，通常为识别准确率最高的值，本实施例中r3'为12，r4'为19。
进一步地，采用第一网络层替换调用的训练后的预设网络模型的目标网络层得到目标网络模型，参照图15，图15为本发明实施例方案涉及的目标网络模型示意图二。
进一步地，将A1、A2、B和C四个组别的训练集分别输入目标网络模型，单独训练，然后将四个组别的测试集分别输入训练后的目标网络模型检测训练后的目标网络模型人体动作的识别准确率，参照图16，图16为本发明实施例方案涉及的人体动作识别准确率的结果示意图四。比较图14与图11的检测结果可知，对低秩分解后的网络模型增加少量的秩得到的目标网络模型对不同人或者不同环境下人体动作识别的准确率有很大提升，且进一步缩小了不同人或不同环境下的人体动作数据的识别准确率的差异。
本实施例提供的技术方案中，通过确定第一矩阵需要增加的秩，根据第一矩阵需要增加的秩和第一矩阵生成第二矩阵，采用第一矩阵和第二矩阵替换权重矩阵得到第一网络层，进而用第一网络层替换目标网络层得到目标网络模型，这样，本方案对低秩分解后的网络模型增加少量的秩，进一步提高了网络模型对不同人或者不同环境下人体动作识别的准确率且进一步缩小了不同人或不同环境下的人体动作数据的识别准确率的差异。
参照图6，图6为本发明人体动作的检测方法实施例五的流程示意图，基于实施例一，上述S20的步骤包括：
步骤S21，获取所述信道状态信息的幅值和相位；
步骤S22，根据所述幅值和相位生成所述人体动作对应的灰度图像；
步骤S23，根据所述灰度图像生成所述输入数据，其中，所述输入数据包括训练集和测试集。
在本实施例中，人体动作的检测装置在获取到信道状态信息后，提取信道状态信息的幅值和相位特征，以生成输入数据。
具体地，在获取到信号状态信息后，提取信道状态信息的幅值和相位，由于相位和幅值相比不够稳定且非线性，所以需要对相位进行相位补偿，使其可以被有效利用，对相位补偿之后，对幅值和相位进行归一化处理，使得他们的值在0-1的范围内。由于单个人体动作会做两秒，且每秒钟可以采集200条信道状态信息，所以2秒钟的人体动作或是说400条信道状态信息即可被用在人体动作检测中，由于本实施例中采用的是一个发射天线，两个接收天线，30个子载波的实验装置来采集信道状态信息，每单个人体动作将会得到1(Ntx)*2(Nrx)*2(amplitude，phase)＝4个形为30(sub-carriers)*400(CISs)的灰度图像。其中，Ntx和Nrx分别表示发射天线和接收天线的个数，之后对这些灰度图像使用滤波器进行特征提取，其中，滤波器可选为Gabor滤波器，通过设定不同的波长和角度，可以得到一组过滤器，将这些过滤器与灰度图像进行卷积，得到均值和方差作为提取的特征值，对每个图像，为滤波器设置5种波长和8种相位，所以每个灰度图像经过特征提取后的结果是5(波长数量)*8(角度数量)*2(均值和方差)＝80个特征值，由于每个人体动作样本被分为了4个灰度图像，将4个灰度图像的特征值放在一起，每个人体动作样本将会变成形为320*1的输入数据。
本实施例提供发的技术方案中，通过获取信道状态信息的幅值和相位，根据幅值和相位生成人体动作对应的灰度图像，根据灰度图像生成输入数据。这样，本方案可以准确有效地获取到人体动作识别的输入数据。
基于上述实施例，本发明还提供了一种人体动作的检测装置，上述人体动作的检测装置可以包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的人体动作的检测程序，上述处理器执行上述人体动作的检测程序时，实现如上述任一实施例所述的人体动作的检测方法的步骤。
基于上述实施例，本发明还提供一种计算机可读存储介质，其上存储有人体动作的检测程序，上述人体动作的检测程序被处理器执行时实现如上述任一实施例所述的人体动作的检测方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种人体动作的检测方法，其特征在于，所述人体动作的检测方法包括：
获取人体动作对应的信道状态信息以及预设网络模型；
根据所述信道状态信息生成输入数据，其中，所述输入数据包括训练集和测试集；
采用所述训练集训练所述预设网络模型；
确定训练后的所述预设网络模型的目标网络层，其中，所述目标网络层包括训练后的所述预设网络模型的卷积层和全连接层中的至少一个；
获取所述目标网络层的权重矩阵；
确定低秩分解的秩；
根据所述低秩分解的秩和所述权重矩阵生成第一矩阵；
确定所述第一矩阵需要增加的秩；
根据所述第一矩阵需要增加的秩和所述第一矩阵生成第二矩阵；
采用所述第一矩阵和所述第二矩阵替换所述权重矩阵得到第一网络层；
采用所述第一网络层替换训练后的所述预设网络模型中的所述目标网络层得到目标网络模型，以使所述目标网络模型根据所述信道状态信息确定人体动作。
2.如权利要求1所述的人体动作的检测方法，其特征在于，所述采用所述训练集训练所述预设网络模型，并对训练后的所述预设网络模型低秩分解得到目标网络模型的步骤之后包括：
将所述测试集输入所述目标网络模型得到所述目标网络模型的人体动作识别的准确率。
3.如权利要求1所述的人体动作的检测方法，其特征在于，所述根据所述信道状态信息生成输入数据的步骤包括：
获取所述信道状态信息的幅值和相位；
根据所述幅值和相位生成所述人体动作对应的灰度图像；
根据所述灰度图像生成所述输入数据。
4.如权利要求3所述的人体动作的检测方法，其特征在于，所述根据所述幅值和相位生成所述人体动作对应的灰度图像的步骤包括：
对所述相位进行相位补偿；
对所述幅值和补偿后的所述相位进行归一化处理；
根据归一化处理后的所述幅值和所述相位生成所述人体动作对应的灰度图像。
5.如权利要求3所述的人体动作的检测方法，其特征在于，所述根据所述灰度图像生成输入数据的步骤包括：
采用滤波器对所述灰度图像进行特征提取，以得到特征值；
根据所述特征值生成输入数据。
6.一种人体动作的检测装置，其特征在于，所述人体动作的检测装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人体动作的检测程序，所述人体动作的检测程序被所述处理器执行时实现如权利要求1~5中任一项所述的人体动作的检测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人体动作的检测程序，所述人体动作的检测程序被处理器执行时实现如权利要求1~5中任一项所述的人体动作的检测方法的步骤。
CN202110226289.9A 2021-03-01 2021-03-01 人体动作的检测方法、装置及计算机可读存储介质 Active CN113033318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110226289.9A CN113033318B (zh) 2021-03-01 2021-03-01 人体动作的检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110226289.9A CN113033318B (zh) 2021-03-01 2021-03-01 人体动作的检测方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113033318A CN113033318A (zh) 2021-06-25
CN113033318B true CN113033318B (zh) 2023-09-26

Family

ID=76465040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110226289.9A Active CN113033318B (zh) 2021-03-01 2021-03-01 人体动作的检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113033318B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581958B (zh) * 2022-05-06 2022-08-16 南京邮电大学 一种基于csi信号到达角估计的静态人体姿势估计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100724A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 训练多标签分类模型的方法和装置
CN111079781A (zh) * 2019-11-07 2020-04-28 华南理工大学 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN111738414A (zh) * 2020-06-11 2020-10-02 北京百度网讯科技有限公司 推荐模型的生成、内容推荐方法、装置、设备和介质
CN111862027A (zh) * 2020-07-15 2020-10-30 常州大学 基于低秩稀疏矩阵分解的纺织品瑕疵检测方法
CN112331216A (zh) * 2020-10-29 2021-02-05 同济大学 基于复合声学特征和低秩分解tdnn的说话人识别系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400955B2 (en) * 2013-12-13 2016-07-26 Amazon Technologies, Inc. Reducing dynamic range of low-rank decomposition matrices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100724A1 (zh) * 2017-11-24 2019-05-31 华为技术有限公司 训练多标签分类模型的方法和装置
CN111079781A (zh) * 2019-11-07 2020-04-28 华南理工大学 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
CN111738414A (zh) * 2020-06-11 2020-10-02 北京百度网讯科技有限公司 推荐模型的生成、内容推荐方法、装置、设备和介质
CN111862027A (zh) * 2020-07-15 2020-10-30 常州大学 基于低秩稀疏矩阵分解的纺织品瑕疵检测方法
CN112331216A (zh) * 2020-10-29 2021-02-05 同济大学 基于复合声学特征和低秩分解tdnn的说话人识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Human Activity Recognition based on WiFi Signal Using Deep Neural Network;Ningjie Zhou et.al;2020 IEEE 8th International Conference on Smart City and Informatization (iSCI);第26-30页 *
基于卷积网络的视频目标检测;杨洁 等;南华大学学报(自然科学版)(04);第67-74页 *

Also Published As

Publication number Publication date
CN113033318A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110288018B (zh) 一种融合深度学习模型的WiFi身份识别方法
Ferrari et al. On the personalization of classification models for human activity recognition
Baur et al. MelanoGANs: high resolution skin lesion synthesis with GANs
Ding et al. WiFi CSI-based human activity recognition using deep recurrent neural network
Ye et al. Unsupervised feature learning framework for no-reference image quality assessment
Pokkunuru et al. NeuralWave: Gait-based user identification through commodity WiFi and deep learning
Wang et al. Csi-net: Unified human body characterization and pose recognition
Alazrai et al. An end-to-end deep learning framework for recognizing human-to-human interactions using Wi-Fi signals
EP2835765A2 (en) Method, apparatus and computer program product for activity recognition
US20160100803A1 (en) Method and system for measuring beat parameters
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
Zhang et al. WiFi-based cross-domain gesture recognition via modified prototypical networks
CN111178331A (zh) 雷达图像识别系统、方法、设备及计算机可读存储介质
Geisler et al. Optimal stimulus encoders for natural tasks
CN113033318B (zh) 人体动作的检测方法、装置及计算机可读存储介质
CN114973330A (zh) 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备
CN111627555A (zh) 一种基于深度学习的智能检查诊断系统
CN111507301A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN111652132B (zh) 基于深度学习的非视距身份识别方法、设备及存储介质
Chen et al. WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals
Jakkala et al. Deep CSI learning for gait biometric sensing and recognition
Yin et al. Back-guard: Wireless backscattering based user activity recognition and identification with parallel attention model
CN113065579A (zh) 对目标对象分类的方法和装置
Haque et al. Simwisense: Simultaneous multi-subject activity classification through wi-fi signals
Zheng et al. Pushing the Limits of WiFi Sensing with Low Transmission Rates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant