CN113726457A - 一种人体动作识别方法、装置、存储介质及网络设备 - Google Patents

一种人体动作识别方法、装置、存储介质及网络设备 Download PDF

Info

Publication number
CN113726457A
CN113726457A CN202110860877.8A CN202110860877A CN113726457A CN 113726457 A CN113726457 A CN 113726457A CN 202110860877 A CN202110860877 A CN 202110860877A CN 113726457 A CN113726457 A CN 113726457A
Authority
CN
China
Prior art keywords
human body
body action
network
csi information
wireless signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110860877.8A
Other languages
English (en)
Inventor
谈加杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lianzhou International Technology Co Ltd
Original Assignee
Shenzhen Lianzhou International Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lianzhou International Technology Co Ltd filed Critical Shenzhen Lianzhou International Technology Co Ltd
Priority to CN202110860877.8A priority Critical patent/CN113726457A/zh
Publication of CN113726457A publication Critical patent/CN113726457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes

Abstract

本发明公开了一种人体动作识别方法、装置、存储介质及网络设备，包括：接收被监控区域内的无线信号经过反射后的反射信号；提取所述反射信号中的CSI信息；根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。采用本发明的技术方案能够降低环境对人体动作识别结果的影响，从而提高人体动作识别结果的准确性，并且提高识别方案的适应性。

Description

一种人体动作识别方法、装置、存储介质及网络设备
技术领域
本发明涉及无线网络和人体动作识别技术领域，尤其涉及一种人体动作识别方法、装置、计算机可读存储介质及网络设备。
背景技术
目前，随着科学技术的发展以及人们生活水平的提高，智能家居理念与虚拟现实技术得到了迅速的发展。在视频监控、人机交互、运动分析和虚拟现实等计算机视觉领域的众多应用场合中，人体都是主要的被处理对象，对人体动作和行为的识别都是一个必不可少的环节，近年来基于各类行为识别技术的应用呈现出井喷式发展的局面，例如，基于手机和手环的运动监测和记录技术可以帮助消费者了解自己的运动和睡眠行为，从而主动地改变自己的生活习惯；具有人体动作监测功能的老人看护系统可以提供跌倒报警、生活规律检测等对老人看护来说非常关键的应用；在智能安防系统中，也可以通过行为识别技术判断是否在监控区域内有非正常行为发生。
而随着WiFi等无线技术的发展，无线接入设备已经普及到千家万户以及各类公共场所。由于人体是电的良导体，人对无线电波有较强的反射作用，因此，在我们身边随处可见的无线设备实际可以起到“人体雷达”的作用，基于无线信号的人体动作检测和识别技术应运而生，其关键优势在于，被监测人不需要佩戴任何设备，可以对非主动配合目标进行监测，并且系统仅需要对现有常见的无线设备(例如笔记本、手机、路由器等)进行软件升级就可以实现监测，成本非常低廉。
但是，现有的通过无线信号进行人体动作检测和识别的方法大多数是基于传统的物理方法，即利用发射信号和接收信号，通过多普勒效应、傅里叶变换等物理分析方法对监测场景中的人体行为动作求出相应的位置、移动速度等物理变量，再通过对求出的物理变量进行分析以映射到相应的人体动作上。这种做法在阈值选取和映射规则上有过多的人工经验值，当监测环境发生变化时，容易出现原来选取的阈值和映射规则不再适应新的环境的情况，从而降低了识别结果的准确性。
发明内容
本发明实施例所要解决的技术问题在于，提供一种人体动作识别方法、装置、计算机可读存储介质及网络设备，能够降低环境对人体动作识别结果的影响，从而提高人体动作识别结果的准确性，并且提高识别方案的适应性。
为了解决上述技术问题，本发明实施例提供了一种人体动作识别方法，包括：
接收被监控区域内的无线信号经过反射后的反射信号；
提取所述反射信号中的CSI信息；
根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；
根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；
基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。
进一步地，所述无线信号为调制至不同子载波上的无线信号序列，所述无线信号序列表示为X(t)＝[x(f1,t),x(f2,t),...,x(fN,t)]；其中，fk为第k个子载波的中心频率，t为时间，N为子载波的数量，k＝1，2，…，N；
则，所述接收被监控区域内的无线信号经过反射后的反射信号，具体包括：
接收所述被监控区域内的所述无线信号序列经过反射后的反射信号。
进一步地，所述方法还包括：
通过无线信号收发装置向所述被监控区域内发射调制至不同子载波上的所述无线信号序列。
进一步地，所述提取所述反射信号中的CSI信息，具体包括：
当所述无线信号收发装置为单天线装置时，提取所述反射信号中的CSI信息
Figure BDA0003185152070000031
当所述无线信号收发装置为多天线装置时，提取所述反射信号中的CSI信息
Figure BDA0003185152070000032
其中，fk为第k个子载波的中心频率，
Figure BDA0003185152070000033
为第i根接收天线对第j根发射天线的CSI信息，NR为接收天线的数量，i＝1，2，…，NR，NT为发射天线的数量，j＝1，2，…，NT。
进一步地，所述根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流，具体包括：
根据公式C＝D-α*S计算获得所述动态前景信息流C；其中，D为所述CSI信息流，S为所述静态背景信息流，α为背景去除参数，α＞0。
进一步地，所述网络模型包括人体动作检测网络、人体动作区域定位网络和人体动作识别网络；
则，所述基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别，具体包括：
基于所述人体动作检测网络，根据所述动态前景信息流判断所述被监控区域内是否存在人体动作；
若存在，则基于所述人体动作区域定位网络，根据所述动态前景信息流获取所述被监控区域内的人体动作区域；
当所述人体动作区域大于预设的区域阈值时，基于所述人体动作识别网络，根据所述动态前景信息流对人体动作进行识别。
进一步地，所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络均由卷积神经网络组成；且所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络的复杂度不同。
为了解决上述技术问题，本发明实施例还提供了一种人体动作识别装置，包括：
反射信号接收模块，用于接收被监控区域内的无线信号经过反射后的反射信号；
CSI信息提取模块，用于提取所述反射信号中的CSI信息；
CSI信息流获取模块，用于根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；
前景信息流获取模块，用于根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；
人体动作识别模块，用于基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的人体动作识别方法。
本发明实施例还提供了一种网络设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的人体动作识别方法。
与现有技术相比，本发明实施例提供了一种人体动作识别方法、装置、计算机可读存储介质及网络设备，首先接收被监控区域内的无线信号经过反射后的反射信号，并提取所述反射信号中的CSI信息；接着根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流，并根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；最后基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别，能够降低环境对人体动作识别结果的影响，从而提高人体动作识别结果的准确性，并且提高识别方案的适应性。
附图说明
图1是本发明提供的一种人体动作识别方法的一个优选实施例的流程图；
图2是本发明提供的一种人体动作识别装置的一个优选实施例的结构框图；
图3是本发明提供的一种网络设备的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种人体动作识别方法，参见图1所示，是本发明提供的一种人体动作识别方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S15：
步骤S11、接收被监控区域内的无线信号经过反射后的反射信号；
步骤S12、提取所述反射信号中的CSI信息；
步骤S13、根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；
步骤S14、根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；
步骤S15、基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。
具体的，被监控区域内的无线信号经过环境反射后会形成相应的反射信号，在实际对被监控区域内的人体动作进行识别时，首先接收被监控区域内的无线信号经过环境反射后形成的反射信号，并从接收到的反射信号中提取出相应的CSI信息；接着根据预先设置的时间长度的滑动窗口，将滑动窗口内的所有CSI信息按照时间顺序组成CSI信息流；然后根据预先获取的静态背景信息流对组成的CSI信息流进行背景去除处理，相应获得动态前景信息流；最后根据预先设置的训练好的网络模型，将获得的动态前景信息流作为网络模型的输入，可以对被监控区域内人体动作进行识别，相应获得的网络模型的输出即为人体动作的识别结果。
其中，静态背景信息流的获取方法与上述CSI信息流的获取方法同理，当被监控区域内没有人体动作时，接收被监控区域内的无线信号经过环境反射后形成的反射信号，并从接收到的反射信号中提取出相应的CSI信息，根据预先设置的时间长度的滑动窗口，将滑动窗口内的CSI信息按照时间顺序组成CSI信息流，此时，该CSI信息流即为被监控区域内没有人体动作时所对应的背景CSI信息流。
另外，使用一段时间内的CSI信息流(即预设时间长度的滑动窗口内的CSI信息流)进行人体动作的分析，在最终的准确率上会高于仅仅使用单帧的CSI数据。
需要说明的是，由于无线信号频率越高，对应的波长越短，越有利于增加检测和识别的准确率，因此，本发明实施例中的无线信号可以是WIFI信号，也可以是雷达信号等高频信号，本发明实施例不作具体限定。
本发明实施例所提供的一种人体动作识别方法，通过无线信号以及网络模型进行人体动作识别，无需针对不同的被监控环境设置不同的比较阈值和映射规则，能够降低环境对人体动作识别结果的影响，从而提高人体动作识别结果的准确性，并且提高识别方案的适应性。
在另一个优选实施例中，所述无线信号为调制至不同子载波上的无线信号序列，所述无线信号序列表示为X(t)＝[x(f1,t),x(f2,t),...,x(fN,t)]；其中，fk为第k个子载波的中心频率，x(fk,t)为调制至第k个子载波上的无线信号，t为时间，N为子载波的数量，k＝1，2，…，N；
则，所述接收被监控区域内的无线信号经过反射后的反射信号，具体包括：
接收所述被监控区域内的所述无线信号序列经过反射后的反射信号。
具体的，结合上述实施例，被监控区域内的无线信号具体为调制至不同子载波上的无线信号序列，并且该无线信号序列可以表示为X(t)＝[x(f1,t),x(f2,t),...,x(fN,t)]；其中，fk为第k个子载波的中心频率，x(fk,t)为调制至第k个子载波上的无线信号，t为时间，N为子载波的数量(也是无线信号序列中的信号的数量)，k＝1，2，…，N；该无线信号序列经过环境反射后，会生成相应的反射信号，上述实施例中接收的即为被监控区域内的无线信号序列经过环境反射后形成的反射信号。
需要说明的是，具体的调制方法有多种，例如现有技术中常用的FDM(频分多路复用)、OFDM(正交频分复用)等，本发明实施例不作具体限定。
作为上述方案的改进，所述方法还包括：
通过无线信号收发装置向所述被监控区域内发射调制至不同子载波上的所述无线信号序列。
具体的，结合上述实施例，被监控区域内的无线信号可以通过无线信号收发装置(例如产生WIFI信号或雷达信号等无线信号的装置)相应获得，即通过无线信号收发装置的发射天线向被监控区域内发射调制至不同子载波上的无线信号序列。
可以理解的，该无线信号序列经过环境反射后，会生成相应的反射信号，则可以通过无线信号收发装置的接收天线接收到该反射信号。
需要说明的是，监控区域内的无线信号的发射，可以是无线信号收发装置主动发射的，也可以是通过对无线信号收发装置进行控制而被动发射的，本发明实施例不作具体限定。
作为上述方案的改进，所述提取所述反射信号中的CSI信息，具体包括：
当所述无线信号收发装置为单天线装置时，提取所述反射信号中的CSI信息
Figure BDA0003185152070000081
当所述无线信号收发装置为多天线装置时，提取所述反射信号中的CSI信息
Figure BDA0003185152070000082
其中，fk为第k个子载波的中心频率，
Figure BDA0003185152070000083
为第i根接收天线对第j根发射天线的CSI信息，NR为接收天线的数量，i＝1，2，…，NR，NT为发射天线的数量，j＝1，2，…，NT。
具体的，结合上述实施例，当无线信号收发装置为单天线装置时，相应的发射天线和接收天线均为单天线，从接收到的反射信号中提取到的CSI信息表示为
Figure BDA0003185152070000084
当无线信号收发装置为多天线装置时，相应的发射天线和接收天线均为多天线，从接收到的反射信号中提取到的CSI信息表示为
Figure BDA0003185152070000085
其中，fk为第k个子载波的中心频率，
Figure BDA0003185152070000086
为第i根接收天线接收到的第j根发射天线发射的无线信号经过环境反射后所对应的反射信号的CSI信息，NR为接收天线的数量，i＝1，2，…，NR，NT为发射天线的数量，j＝1，2，…，NT。
在又一个优选实施例中，所述根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流，具体包括：
根据公式C＝D-α*S计算获得所述动态前景信息流C；其中，D为所述CSI信息流，S为所述静态背景信息流，α为背景去除参数，α＞0。
具体的，结合上述实施例，预先获取的被监控区域内的静态背景信息流表示为S，当前检测获得的被监控区域内的CSI信息流表示为D，则根据公式C＝D-α*S即可计算获得被监控区域内的动态前景信息流C，其中，α为背景去除参数，α＞0。
可以理解的，α的取值可以根据实际效果进行调整，当α＝1时，C＝D-S，即将当前检测到的CSI信息流D中的静态背景信息流S去除，就可以相应获得被监控区域内的动态前景信息流C。
在又一个优选实施例中，所述网络模型包括人体动作检测网络、人体动作区域定位网络和人体动作识别网络；
则，所述基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别，具体包括：
基于所述人体动作检测网络，根据所述动态前景信息流判断所述被监控区域内是否存在人体动作；
若存在，则基于所述人体动作区域定位网络，根据所述动态前景信息流获取所述被监控区域内的人体动作区域；
当所述人体动作区域大于预设的区域阈值时，基于所述人体动作识别网络，根据所述动态前景信息流对人体动作进行识别。
具体的，结合上述实施例，预先设置的训练好的网络模型包括人体动作检测网络、人体动作区域定位网络和人体动作识别网络，其中，将获得的动态前景信息流作为网络模型的输入，根据网络模型中的人体动作检测网络，可以相应判断被监控区域内是否存在人体动作，当被监控区域内存在人体动作时，根据网络模型中的人体动作区域定位网络，可以相应获取被监控区域内的人体动作区域，并且当获得的被监控区域内的人体动作区域大于预先设置的区域阈值时，根据网络模型中的人体动作识别网络，可以对人体动作进行识别。
需要说明的是，由于通过无线信号可以对被监控区域内的所有活动的物体均进行检测，而人体动作相对于一般的干扰、噪声，被检测出的运动范围(即人体动作区域)相对较大，即只有在人体动作区域大于预先设置的区域阈值时，才会执行后续是人体动作识别步骤，如果检测到的人体动作区域较小，一般可以认为是由其它物体的活动或噪声引起的，则不再执行后续的人体动作识别步骤，从而可以节省计算资源和计算时间。
作为上述方案的改进，所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络均由卷积神经网络组成；且所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络的复杂度不同。
具体的，结合上述实施例，网络模型中的人体动作检测网络、人体动作区域定位网络和人体动作识别网络均由卷积神经网络(CNN)组成，并且人体动作检测网络、人体动作区域定位网络和人体动作识别网络的复杂度不同。
需要说明的是，本发明实施例中所使用的网络模型为预先训练好的多任务级联卷积神经网络，将获得的动态前景信息流输入到该网络模型中，在动态前景信息流进行前向传播时，会分别通过三个复杂程度不同的卷积神经网络进行人体行为动作的检测、人体动作区域的定位和人体动作的识别任务，为了加快对每一时刻CSI信息流的计算速度，三种网络的执行条件和执行顺序具体如下：
首先根据人体动作检测网络(p-NET)，通过分类判断被监控区域内的当前场景中是否存在人体动作；若存在，则根据人体动作区域定位网络(q-NET)，通过回归求出当前场景中人体动作区域；若人体动作区域足够大，再根据人体动作识别网络(r-NET)，通过分类求出当前场景中的人体动作类别。反之，若根据人体动作检测网络判定当前场景中没有人体在活动，则不执行人体动作区域定位网络和人体动作识别网络；同理，若求出的人体动作区域较小，则不执行人体动作识别网络。
本发明实施例还提供了一种人体动作识别装置，参见图2所示，是本发明提供的一种人体动作识别装置的一个优选实施例的结构框图，所述装置包括：
反射信号接收模块11，用于接收被监控区域内的无线信号经过反射后的反射信号；
CSI信息提取模块12，用于提取所述反射信号中的CSI信息；
CSI信息流获取模块13，用于根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；
前景信息流获取模块14，用于根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；
人体动作识别模块15，用于基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。
优选地，所述无线信号为调制至不同子载波上的无线信号序列，所述无线信号序列表示为X(t)＝[x(f1,t),x(f2,t),...,x(fN,t)]；其中，fk为第k个子载波的中心频率，t为时间，N为子载波的数量，k＝1，2，…，N；
则，所述反射信号接收模块11具体用于：
接收所述被监控区域内的所述无线信号序列经过反射后的反射信号。
优选地，所述装置还包括：
无线信号发射模块，用于通过无线信号收发装置向所述被监控区域内发射调制至不同子载波上的所述无线信号序列。
优选地，所述CSI信息提取模块12具体包括：
第一CSI信息提取单元，用于当所述无线信号收发装置为单天线装置时，提取所述反射信号中的CSI信息
Figure BDA0003185152070000111
第二CSI信息提取单元，用于当所述无线信号收发装置为多天线装置时，提取所述反射信号中的CSI信息
Figure BDA0003185152070000112
其中，fk为第k个子载波的中心频率，
Figure BDA0003185152070000121
为第i根接收天线对第j根发射天线的CSI信息，NR为接收天线的数量，i＝1，2，…，NR，NT为发射天线的数量，j＝1，2，…，NT。
优选地，所述前景信息流获取模块14具体包括：
前景信息流获取单元，用于根据公式C＝D-α*S计算获得所述动态前景信息流C；其中，D为所述CSI信息流，S为所述静态背景信息流，α为背景去除参数，α＞0。
优选地，所述网络模型包括人体动作检测网络、人体动作区域定位网络和人体动作识别网络；
则，所述人体动作识别模块15具体包括：
人体动作检测单元，用于基于所述人体动作检测网络，根据所述动态前景信息流判断所述被监控区域内是否存在人体动作；
人体动作区域定位单元，用于若存在，则基于所述人体动作区域定位网络，根据所述动态前景信息流获取所述被监控区域内的人体动作区域；
人体动作识别单元，用于当所述人体动作区域大于预设的区域阈值时，基于所述人体动作识别网络，根据所述动态前景信息流对人体动作进行识别。
优选地，所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络均由卷积神经网络组成；且所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络的复杂度不同。
需要说明的是，本发明实施例所提供的一种人体动作识别装置，能够实现上述任一实施例所述的人体动作识别方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的人体动作识别方法的作用以及实现的技术效果对应相同，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的人体动作识别方法。
本发明实施例还提供了一种网络设备，参见图3所示，是本发明提供的一种网络设备的一个优选实施例的结构框图，所述网络设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的人体动作识别方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述网络设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述网络设备的控制中心，利用各种接口和线路连接所述网络设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述网络设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构框图仅仅是上述网络设备的示例，并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种人体动作识别方法、装置、计算机可读存储介质及网络设备，具有以下有益效果：
(1)通过无线信号以及网络模型进行人体动作识别，无需针对不同的被监控环境设置不同的比较阈值和映射规则，能够降低环境对人体动作识别结果的影响，从而提高人体动作识别结果的准确性，并且提高识别方案的适应性；
(2)通过使用深度学习的方法对无线信号进行分析，相比于传统的物理计算方法，更加精准地完成了人体动作检测、人体动作区域定位和人体动作识别的任务；
(3)针对人体动作检测、人体动作区域定位和人体动作识别这三种任务的难度和对分辨率的要求，使用了三种复杂程度不同的卷积神经网络，将三种难度和对分辨率要求不同的任务，按照由易至难、由粗到细的顺序进行级联，并且下一级的网络的执行由上一级的网络输出作为判断条件，可以降低运算时间和运算资源的占用；
(4)通过使用三种复杂程度不同的卷积神经网络，在减小计算参数规模的同时，使卷积神经网络的参数具有更高的自由度，实现了更高的正确检测率和识别率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种人体动作识别方法，其特征在于，包括：
接收被监控区域内的无线信号经过反射后的反射信号；
提取所述反射信号中的CSI信息；
根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；
根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；
基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。
2.如权利要求1所述的人体动作识别方法，其特征在于，所述无线信号为调制至不同子载波上的无线信号序列，所述无线信号序列表示为X(t)＝[x(f1,t),x(f2,t),...,x(fN,t)]；其中，fk为第k个子载波的中心频率，t为时间，N为子载波的数量，k＝1，2，…，N；
则，所述接收被监控区域内的无线信号经过反射后的反射信号，具体包括：
接收所述被监控区域内的所述无线信号序列经过反射后的反射信号。
3.如权利要求2所述的人体动作识别方法，其特征在于，所述方法还包括：
通过无线信号收发装置向所述被监控区域内发射调制至不同子载波上的所述无线信号序列。
4.如权利要求2所述的人体动作识别方法，其特征在于，所述提取所述反射信号中的CSI信息，具体包括：
当所述无线信号收发装置为单天线装置时，提取所述反射信号中的CSI信息
Figure FDA0003185152060000011
当所述无线信号收发装置为多天线装置时，提取所述反射信号中的CSI信
Figure FDA0003185152060000021
其中，fk为第k个子载波的中心频率，
Figure FDA0003185152060000022
为第i根接收天线对第j根发射天线的CSI信息，NR为接收天线的数量，i＝1，2，…，NR，NT为发射天线的数量，j＝1，2，…，NT。
5.如权利要求1所述的人体动作识别方法，其特征在于，所述根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流，具体包括：
根据公式C＝D-α*S计算获得所述动态前景信息流C；其中，D为所述CSI信息流，S为所述静态背景信息流，α为背景去除参数，α＞0。
6.如权利要求1～5任一项所述的人体动作识别方法，其特征在于，所述网络模型包括人体动作检测网络、人体动作区域定位网络和人体动作识别网络；
则，所述基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别，具体包括：
基于所述人体动作检测网络，根据所述动态前景信息流判断所述被监控区域内是否存在人体动作；
若存在，则基于所述人体动作区域定位网络，根据所述动态前景信息流获取所述被监控区域内的人体动作区域；
当所述人体动作区域大于预设的区域阈值时，基于所述人体动作识别网络，根据所述动态前景信息流对人体动作进行识别。
7.如权利要求6所述的人体动作识别方法，其特征在于，所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络均由卷积神经网络组成；且所述人体动作检测网络、所述人体动作区域定位网络和所述人体动作识别网络的复杂度不同。
8.一种人体动作识别装置，其特征在于，包括：
反射信号接收模块，用于接收被监控区域内的无线信号经过反射后的反射信号；
CSI信息提取模块，用于提取所述反射信号中的CSI信息；
CSI信息流获取模块，用于根据预设的时间长度的滑动窗口，将所述滑动窗口中的CSI信息按照时间顺序组成CSI信息流；
前景信息流获取模块，用于根据预先获取的静态背景信息流对所述CSI信息流进行背景去除处理，获得动态前景信息流；其中，所述静态背景信息流为所述被监控区域内没有人体动作时对应的背景CSI信息流；
人体动作识别模块，用于基于预设的网络模型，根据所述动态前景信息流对人体动作进行识别。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的人体动作识别方法。
10.一种网络设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的人体动作识别方法。
CN202110860877.8A 2021-07-28 2021-07-28 一种人体动作识别方法、装置、存储介质及网络设备 Pending CN113726457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110860877.8A CN113726457A (zh) 2021-07-28 2021-07-28 一种人体动作识别方法、装置、存储介质及网络设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860877.8A CN113726457A (zh) 2021-07-28 2021-07-28 一种人体动作识别方法、装置、存储介质及网络设备

Publications (1)

Publication Number Publication Date
CN113726457A true CN113726457A (zh) 2021-11-30

Family

ID=78674209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860877.8A Pending CN113726457A (zh) 2021-07-28 2021-07-28 一种人体动作识别方法、装置、存储介质及网络设备

Country Status (1)

Country Link
CN (1) CN113726457A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156487A1 (en) * 2016-03-11 2017-09-14 Origin Wireless, Inc. Methods, apparatus, servers, and systems for human identification based on human radio biometric information
WO2017219603A1 (zh) * 2016-06-20 2017-12-28 北京大学 运动物体反射无线信号的识别方法
CN108988968A (zh) * 2018-07-27 2018-12-11 河北工程大学 人员行为检测方法、装置和终端设备
CN110475221A (zh) * 2019-07-15 2019-11-19 南京邮电大学 一种基于信道状态信息的人员动作识别和位置估计方法
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
CN111115400A (zh) * 2018-10-30 2020-05-08 奥的斯电梯公司 检测电梯井道中的电梯维护行为的系统和方法
US20200163590A1 (en) * 2018-11-22 2020-05-28 Jomoo Kitchen & Bath Co., Ltd Fall detection method, device, and system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
WO2017156487A1 (en) * 2016-03-11 2017-09-14 Origin Wireless, Inc. Methods, apparatus, servers, and systems for human identification based on human radio biometric information
WO2017219603A1 (zh) * 2016-06-20 2017-12-28 北京大学 运动物体反射无线信号的识别方法
CN108988968A (zh) * 2018-07-27 2018-12-11 河北工程大学 人员行为检测方法、装置和终端设备
CN111115400A (zh) * 2018-10-30 2020-05-08 奥的斯电梯公司 检测电梯井道中的电梯维护行为的系统和方法
US20200163590A1 (en) * 2018-11-22 2020-05-28 Jomoo Kitchen & Bath Co., Ltd Fall detection method, device, and system
CN110475221A (zh) * 2019-07-15 2019-11-19 南京邮电大学 一种基于信道状态信息的人员动作识别和位置估计方法

Similar Documents

Publication Publication Date Title
CN107968689B (zh) 基于无线通信信号的感知识别方法及装置
US20220252712A1 (en) Human Detection Method and Device, Electronic Apparatus and Storage Medium
He et al. WiG: WiFi-based gesture recognition system
Wang et al. WiCAR: WiFi-based in-car activity recognition with multi-adversarial domain adaptation
Cheng et al. Sensing OFDM signal: A deep learning approach
CN111624567B (zh) 一种恒虚警检测方法及装置
Ozturk et al. RF-based low-SNR classification of UAVs using convolutional neural networks
CN114359738B (zh) 一种跨场景鲁棒的室内人数无线检测方法及系统
CN109740589A (zh) 视频模式中的异步对象roi检测方法及系统
CN114973330B (zh) 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备
Feng et al. Evaluation and improvement of activity detection systems with recurrent neural network
US20240031774A1 (en) Device-free localization methods within smart indoor environments
CN110856178B (zh) 一种基于无线网络物理层iq信号的行为识别方法
CN110119621B (zh) 异常系统调用的攻击防御方法、系统及防御装置
Wang et al. Specific emitter identification based on deep adversarial domain adaptation
CN113726457A (zh) 一种人体动作识别方法、装置、存储介质及网络设备
Chen et al. WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals
CN114637001B (zh) 雷达的目标检测方法、装置、设备及存储介质
CN115952059A (zh) 运维异常值的识别方法、装置、智能运维系统及存储介质
Yang et al. Recognition for human gestures based on convolutional neural network using the off-the-shelf Wi-Fi routers
CN114513608A (zh) 移动侦测方法、装置及电子设备
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Bhat et al. Human recognition using single-input-single-output channel model and support vector machines
Wong On the use of convolutional neural networks for specific emitter identification
Zhong et al. A novel gesture recognition method by Wi-Fi communication signal based on fourth-order cumulants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination