CN114067256A - 一种基于Wi-Fi信号的人体关键点检测方法及系统 - Google Patents
一种基于Wi-Fi信号的人体关键点检测方法及系统 Download PDFInfo
- Publication number
- CN114067256A CN114067256A CN202111408523.6A CN202111408523A CN114067256A CN 114067256 A CN114067256 A CN 114067256A CN 202111408523 A CN202111408523 A CN 202111408523A CN 114067256 A CN114067256 A CN 114067256A
- Authority
- CN
- China
- Prior art keywords
- data
- csi
- human body
- key point
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 54
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 19
- 230000036541 health Effects 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Wi‑Fi信号的人体关键点检测方法及系统，记录Wi‑Fi信号发射端和Wi‑Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；利用采集的视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi‑Fi Transformer模型进行训练，当Wi‑Fi Transformer模型收敛后保存；将待检测的Wi‑Fi数据输入训练好的Wi‑Fi Transformer模型中，输出人体关键点数据。本发明采用Wi‑Fi Transformer模型对人体关键点进行检测，简单、快速、精准；不会暴露人脸等敏感隐私，能够用于日常生活和健康医疗领域。
Description
技术领域
本发明属于物联网人工智能技术领域，具体涉及一种基于Wi-Fi信号的人体关键点检测方法及系统。
背景技术
人体关键点检测可被用于智能家庭中的动作识别、人机交互、健康看护等任务。现有的人体关键点检测技术主要是基于摄像头，多用在虚拟现实游戏之类的应用场景中。而在游戏之外的家庭场景，用户对隐私的保护意识和要求较强，基于摄像头的技术便不再适合。
除此之外，诸如针对老人在洗澡或卧室时的摔倒检测任务，基于摄像头的技术更是会给用户带来极大的隐私泄露担忧，更加不适合。因此，隐私友好的人体关键点检测方法具有较大的社会需求。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于Wi-Fi信号的人体关键点检测方法及系统，能够嵌入到家用Wi-Fi路由器中，无需额外硬件成本，支持人机交互、摔倒检测、入侵检测等多种上游任务。
本发明采用以下技术方案：
一种基于Wi-Fi信号的人体关键点检测方法，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；利用视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi-FiTransformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
具体的，每次存入CSI数据时，同时存储每个CSI数据的UNIX时间戳；对于视频数据，利用OpenCV调用摄像头，并用videoCapture()函数逐帧存储视频数据，同时存下每个视频数据的UNIX时间戳。
进一步的，设置CSI数据的采样率为20Hz，当记录t秒后，CSI数据的维度为30x9x20xt；摄像头的采样率设置为20帧每秒。
具体的，利用视频数据对CSI数据进行跨模态间接标注具体为：
S301、筛选视频数据，并同步记录UNIX时间戳，同步CSI数据和视频数据，并一一对应，得到数据集{Wt,Vt|t＝1,..,N}，t表示采样时刻，N表示筛选出的视频数据的总帧数，Wt和Vt表示t时刻一组同步的CSI数据和视频数据；
S302、利用计算机视觉领域的开源算法逐帧处理数据集{Wt,Vt|t＝1,..,N}，得到人体关键点在图形坐标系中的二维坐标，将每帧获得的人体关键点的二维坐标作为同步对应的CSI数据的标注。
进一步的，步骤S301中，利用选出的视频时间戳作为基准，与记录的CSI时间戳对齐，根据对齐后的CSI时间戳，选出对应同步的CSI数据。
进一步的，步骤S302中，选择MPII-15作为参考，标注人体关键点。
具体的，对Wi-Fi Transformer模型进行训练具体为：
S401、将得到的CSI数据和对应的人体二维坐标输入Wi-Fi Transformer模型；
S402、将步骤S401Wi-Fi Transformer模型的输入单元中维度为9x30的切片按列展开为1x270的一维数组，并与同样维度为1x270的位置编码相加，输入Wi-Fi Transformer模型的Encoder模块，位置编码采用sincos编码方式，相加之后，每个输入单元的数据维度为1x270，经过两个MLP层，将1x270回归为1x30的向量，再充展为2x15的矩阵；
S403、以步骤S402得到的2x15的矩阵作为预测值，由于输入为500毫秒内的CSI数据，设定对应的人体关键点真实值为最后一帧产生的标注，根据步骤S302标注的人体关键点的二维坐标，维度为2x15，采用L1损失函数训练Wi-Fi Transformer模型。
进一步的，步骤S402中，采用经典构建方式构建Encoder模块，Encoder模块共叠加L次，L为大于1的整数。
进一步的，步骤S403中，L2损失函数Loss具体为：
其中，N为mini批处理的大小；i为批次中某个数据对应的序号；Pi和GTi分别表示人体关键点坐标的预测值和标注值。
本发明的另一技术方案是，一种基于Wi-Fi信号的人体关键点检测系统，包括：
采集模块，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；
标注模块，利用采集的视频数据对CSI数据进行跨模态间接标注；
训练模块，将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；
检测模块，将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于Wi-Fi信号的人体关键点检测方法，在Wi-Fi Transformer模型训练阶段，采用摄像头作为跨模态的辅助标注工作。在Wi-Fi Transformer模型训练完成之后，便可只直接输入接收端采集Wi-Fi信号，输出人体关键点信息，无非摄像头，可保护用户隐私。
进一步的，设置Wi-Fi信号发射端和Wi-Fi信号接收端，以模拟日常生活中的两台互相通讯的Wi-Fi设备，在这样的设定下，本发明方法较便捷地迁移到正常的Wi-Fi通讯系统中。
进一步的，普通的网络摄像头的采样率一般可设为20帧每秒，本发明采用这种最普遍的商用摄像头辅助标注。为了与视频帧率一一配对，设置CSI的采样率为20Hz。为了使Wi-Fi信号中的数据最丰富的，设置最高的3根发射天线和3根接收天线，如此便产生了9对Wi-Fi数据连路。此外Wi-Fi通讯过程采用正交频分复用方式，在20MHz带宽的设定时，共有52条数据子载波，Linux csitool只能采集到其中的30条子载波。在以上设定下，当记录t秒后，Wi-Fi的CSI数据的维度为30x9x20xt。
进一步的，由于人眼无法从Wi-Fi信号中标注人体关键点，因此要想实现基于Wi-Fi信号的人体关键点检测，就必须引入可标注人体关键点坐标的数据类型，本发明采用摄像头记录人的运动视频，并用计算机视觉领域中的开源的人体关键点检测框架，如Openpose、AlphaPose、HR-Pose等对视频进行自动处理，输出人体关键点，作为Wi-Fi信号的标注。这种方法首先实现了对Wi-Fi信号的标注，其次这种方法是完全自动的，大大节省标注成本。
进一步的，在采集数据时，人的各个关键点并非总是完美地被摄像头拍摄，为了降低数据清洗难度，本发明人为选出人在摄像头中被较好展示的视频帧，去掉人没出现、或者大部分关键点没有出现的情况。然后，根据所选出的视频帧所对应的UNIX时间戳，匹配与该时间戳同步的Wi-Fi数据，以保障后续的依据视频数据的人体关键点的标注信息与Wi-Fi数据在时间上是一一对应的，从而保证模型训练的准确率。
进一步的，MPII-15包括人体中较主要的关键点信息，可用于上游任务如人机交互、摔倒检测、入侵检测等。COCO-18将鼻子和双眼也作为关键点信息，而Openpose的Body-15则在COCO-18的基础上增加了脚后跟、脚尖内侧和脚尖外侧等人体关键点。在图像数据中，COCO-15和Body-25可以通过深度学习算法获得，但由于鼻子与眼睛过于接近，Wi-Fi信号没有足够的空间分辨率将其较好的检测出，而脚部的三个关键点也因为离地面较劲，在Wi-Fi信号通讯过程传播过程中，也不能很好得将其与地面的反射区分开。因此，在保障可用性没有降低的情况下，本发明使用MPII-15作为参考，设置人体关键点信息，以保证检测精度，降低Wi-Fi Transformer的训练难度。
进一步的，Transformer模型是目前最先进的深度学习架构，在自然语言处理领域，由于其能并行计算每个输入token的Query,Key,Value三元组，并能同时两两计算tokens之间的相关性，使其具有强大的大范围特征学习能力。受到视觉Transformer ViT的启发，本发明将一段Wi-Fi信号的CSI数据等量切片，每个片段视为一个token，输入Wi-FiTransformer模型中，进行特征提取和人体关键点检测。Wi-Fi Transformer具有结构简单、快速计算、效果显著等特点。
进一步的，Wi-Fi Transformer解码器模块可重复L次，一般来说，重复次数越多，特征学习效果越好，但是也意味着更多的训练时长。因此L的设定，在于权衡训练时间与训练效果。
进一步的，人体关键点检测是一个回归任务，因此可选用经典的回归损失L1或L2等。考虑到人体关键点为二维坐标，本发明采用L2损失计算Wi-Fi Transformer的预测值与标注的真实值之间的欧几里得距离，可更加精准的刻画检测误差，提高人体关键点检测任务精度。
综上所述，本发明利用摄像头和计算机视觉领域的开源人体关键点检测框架对Wi-Fi信号进行自动标注，使基于Wi-Fi信号的人体关键点检测成为可能；采用Wi-FiTransformer模型对人体关键点进行检测，简单、快速、精准；相较于摄像头方案，基于Wi-Fi信号的人体关键点检测方案，不会暴露人脸等敏感隐私，可被用于日常生活和健康医疗等领域。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明系统流程图；
图2为MPII-15人体关键点实例图；
图3为本发明方法框架图；
图4为本发明关键点检测示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明一种基于Wi-Fi信号的人体关键点检测方法，首先利用摄像头对Wi-Fi数据进行标注，标识出人体关键点信息；然后设计深度学习算法，算法以Wi-Fi信号作为输入，以关键点信息作为标注，通过数据训练实现由Wi-Fi信号到人体关键点的学习；在训练得到模型之后，则不再需要摄像头，可实现只基于Wi-Fi信号的人体关键点检测。
请参阅图1，本发明一种基于Wi-Fi信号的人体关键点检测方法，包括以下步骤：
S1、搭建数据采集系统
数据采集系统包括Wi-Fi信号采集模块和视频标注信息采集模块。
S101、配置两台计算机作为Wi-Fi信号采集模块，其中一台作为Wi-Fi信号发射端，另一台作为Wi-Fi信号接收端，Wi-Fi信号采集模块的硬件为英特尔5300系列网卡，Wi-Fi信号采集模块的软件为已开源的Linux csitool，通过改写csitool的log_to_file.c文件，使其在每次存入信道状态信息(Channel State Information：CSI)数据的时候，同时存下每个CSI的UNIX时间戳；
S102、在Wi-Fi信号接收端的设备上配置视频标注信息采集模块，包括摄像头，并安装Python和OpenCV，在接上摄像头之后，利用OpenCV调用摄像头，并用videoCapture()函数逐帧存储视频，同时存下每个视频帧的UNIX时间戳。
S2、数据采集
S201、当步骤S1的数据采集系统搭建完成并布置启动后，人体在Wi-Fi信号发射端和接收端的信号覆盖范围内自由行动，并用步骤S101中的Wi-Fi信号采集模块记录CSI数据和CSI的UNIX时间戳；
Wi-Fi信号采集模块采用3个发射天线，3个接收天线的设置，如此便可同时产生9组数据。
因为csitool同时收集30条子载波的数据，每个时刻的数据维度为30x9，设置CSI数据的采样率为20Hz，当记录t秒后，CSI数据的维度为30x9x100xt。
S202、调整Wi-Fi信号接收端的摄像头朝向，使人体在摄像头的视野范围内，并用步骤S102中的视频标注信息采集模块记录人体的现场视频和UNIX时间戳。摄像头的采样率设置为20帧每秒。
S3、数据标记
Wi-Fi数据不是视觉信息，无法直接标注人体关键点，所以利用视频数据对Wi-Fi的CSI数据进行跨模态间接标注。
S301、Wi-Fi数据与视频数据的时间戳对齐
人为观察步骤S2记录的视频数据，挑选出人体在视频内容中的时间段，并选出同步记录的UNIX时间戳，对于人体不在视频中、人体身体展示不全等时段的视频数据，则直接去除；利用选出的视频时间戳作为基准，将步骤S2记录的CSI时间戳与其对齐，根据对齐后的CSI时间戳，选出对应同步的CSI数据。经过该步骤，Wi-Fi的CSI数据和视频数据则被同步，并且一一对应。
S302、利用视频数据标注Wi-Fi数据
经过步骤S301后，Wi-Fi数据与视频数据同步，并一一对应，利用计算机视觉领域中的开源算法如Openpose、AlphaPose、HR-Pose等框架，逐帧处理视频，得到人体关键点在图形坐标系中的二维坐标。该步骤选择MPII-15作为参考，标注15个人体关键点，如图2所示，关键点包括头部、颈部、肩部、肘部、腕部、腹部、髋部、膝盖、脚踝等15个人体关键点。最终，将每帧获得的15个人体关键点的二维坐标，作为同步对应的CSI数据的标注。
S4、模型训练
S401、模型的输入
以步骤S302得到的CSI数据为输入，以对应的人体二维坐标为标注，训练Wi-FiTransformer模型，根据步骤S201的设定，每秒采集的CSI数据的维度为9x30x20，设定每次输入模型的CSI数据为500毫秒内的数据，数据总量为9x30x10，如图3所示，将9x30x10的数据量切片为10份，每份的数据量为9x30，同时输入Wi-Fi Transformer模型。
S402、数据流
首先，将步骤S401中的每个单元中的维度为9x30的切片，按列展开为1x270的一维数组，并与同样维度为1x270的位置编码相加，输入Wi-Fi Transformer模型的编码器模块，该操作中的位置编码采用sincos编码方式，相加之后，每个单元的数据维度仍为1x270。
Wi-Fi Transformer模型的编码器模块采用经典构建方式，如图3中的右图所示，首先是归一化模块，紧接着是多端注意力(Multi-Head Attention)模块，然后是归一化模块和多层感知机(Multi-layer Perceptron，MLP)模块。编码器模块一共叠加L次，L可为大于1的整数，考虑到计算复杂度，一般可设为3、5、7、9等。经过Wi-Fi Transformer编码器模块，算法学习到CSI的高层特征维度设定为1x270。
最后，经过两个MLP层，将1x270回归为1x30的向量，该矩阵再充展开为2x15的矩阵，作为人体关键点的最终预测。
S403、模型训练与保存
以步骤S402得到的2x15的矩阵为预测值，记为P，由于输入为500毫秒内的CSI数据，设定所对应的人体关键点真实值为该段时间的最后一帧所产生的标注，根据步骤S302，该标注为15个人体关键点的二维坐标，维度为2x15，记为GT。
采用L2损失函数，训练Wi-Fi Transformer模型，
其中，N为mini批处理的大小；i为该批次中某个数据对应的序号；Pi和GTi分别表示人体关键点坐标的预测值和标注值。
当模型收敛后，保存模型，作为应用阶段使用。
S5、模型应用
当模型训练完成之后，基于Wi-Fi的人体关键点检测系统便不再需要摄像头。基于Wi-Fi的人体关键点检测系统的Wi-Fi信号采集模块收集Wi-Fi数据，经过S403步骤得到的模型，便可输出人体关键点，为上游任务使用，例如跌倒检测、入侵检测、动作识别等。
本发明再一个实施例中，提供一种基于Wi-Fi信号的人体关键点检测系统，该系统能够用于实现上述基于Wi-Fi信号的人体关键点检测方法，具体的，该基于Wi-Fi信号的人体关键点检测系统包括采集模块、标注模块、训练模块以及检测模块。
其中，
采集模块，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；
标注模块，利用采集的视频数据对CSI数据进行跨模态间接标注；
训练模块，将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；
检测模块，将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于Wi-Fi信号的人体关键点检测方法的操作，包括：
记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；采集Wi-Fi信号发射端和Wi-Fi信号接收端信号覆盖范围内的视频数据和UNIX时间戳；利用采集的视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于Wi-Fi信号的人体关键点检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；采集Wi-Fi信号发射端和Wi-Fi信号接收端信号覆盖范围内的视频数据和UNIX时间戳；利用采集的视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图4，Wi-Fi数据采集模块的Wi-Fi信号发射端和接收端分别放在两张桌子上。当一位被试人员在发射端和接收端中间的Wi-Fi信号覆盖范围内自由活动时，接收端记录Wi-Fi的CSI数据，数据经过Wi-Fi Transformer输出人体关键点信息。图4中的上面三幅子图为三个时刻的图像，图4中的下面三幅子图为对应时刻的Wi-Fi Transformer模型输出的人体关键点信息。由图可见，本发明的基于Wi-Fi信号的人体关键点检测方法具有较好的检测精度，又由于只需利用Wi-Fi信号，与基于摄像头的人体关键点检测方法相比，能够很好的保护隐私。
综上所述，本发明一种基于Wi-Fi信号的人体关键点检测方法及系统，在经过视频数据对Wi-Fi数据标注和训练之后，只需输入Wi-Fi数据，便能进行人体关键点检测；与摄像头方法相比，具有很好的保护敏感隐私的特性，例如在进行检测时，不会记录人脸信息等与身份有关的重要信息，有望在未来的智能家庭、养老院、医院等场合得到商用。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于Wi-Fi信号的人体关键点检测方法，其特征在于，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；利用视频数据对CSI数据进行跨模态间接标注；将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
2.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，每次存入CSI数据时，同时存储每个CSI数据的UNIX时间戳；对于视频数据，利用OpenCV调用摄像头，并用VideoCapture()函数逐帧存储视频数据，同时存下每个视频数据的UNIX时间戳。
3.根据权利要求2所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，设置CSI数据的采样率为20Hz，当记录t秒后，CSI数据的维度为30x9x20xt；摄像头的采样率设置为20帧每秒。
4.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，利用视频数据对CSI数据进行跨模态间接标注具体为：
S301、筛选视频数据，并同步记录UNIX时间戳，同步CSI数据和视频数据，并一一对应，得到数据集{Wt,Vt|t＝1,..,N}，t表示采样时刻，N表示筛选出的视频数据的总帧数，Wt和Vt表示t时刻一组同步的CSI数据和视频数据；
S302、利用计算机视觉领域的开源算法逐帧处理数据集{Wt,Vt|t＝1,..,N}，得到人体关键点在图形坐标系中的二维坐标，将每帧获得的人体关键点的二维坐标作为同步对应的CSI数据的标注。
5.根据权利要求4所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，步骤S301中，利用选出的视频时间戳作为基准，与记录的CSI时间戳对齐，根据对齐后的CSI时间戳，选出对应同步的CSI数据。
6.根据权利要求4所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，步骤S302中，选择MPII-15作为参考，标注人体关键点。
7.根据权利要求1所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，对Wi-FiTransformer模型进行训练具体为：
S401、将得到的CSI数据和对应的人体二维坐标输入Wi-Fi Transformer模型；
S402、将步骤S401Wi-Fi Transformer模型的输入单元中维度为9x30的切片按列展开为1x270的一维数组，并与同样维度为1x270的位置编码相加，输入Wi-Fi Transformer模型的Encoder模块，位置编码采用sincos编码方式，相加之后，每个输入单元的数据维度为1x270，经过两个MLP层，将1x270回归为1x30的向量，再充展为2x15的矩阵；
S403、以步骤S402得到的2x15的矩阵作为预测值，由于输入为500毫秒内的CSI数据，设定对应的人体关键点真实值为最后一帧产生的标注，根据步骤S302标注的人体关键点的二维坐标，维度为2x15，采用L1损失函数训练Wi-Fi Transformer模型。
8.根据权利要求7所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，步骤S402中，采用经典构建方式构建Encoder模块，Encoder模块共叠加L次，L为大于1的整数。
9.根据权利要求7所述的基于Wi-Fi信号的人体关键点检测方法，其特征在于，步骤S403中，L2损失函数Loss具体为：
其中，N为mini批处理的大小；i为批次中某个数据对应的序号；Pi和GTi分别表示人体关键点坐标的预测值和标注值。
10.一种基于Wi-Fi信号的人体关键点检测系统，其特征在于，包括：
采集模块，记录Wi-Fi信号发射端和Wi-Fi信号接收端的信号覆盖范围内的CSI数据和CSI时间戳；以及视频数据和UNIX时间戳；
标注模块，利用采集的视频数据对CSI数据进行跨模态间接标注；
训练模块，将标注后的CSI数据作为训练数据输入Wi-Fi Transformer模型进行训练，当Wi-Fi Transformer模型收敛后保存；
检测模块，将待检测的Wi-Fi数据输入训练好的Wi-Fi Transformer模型中，输出人体关键点数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111408523.6A CN114067256B (zh) | 2021-11-24 | 2021-11-24 | 一种基于Wi-Fi信号的人体关键点检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111408523.6A CN114067256B (zh) | 2021-11-24 | 2021-11-24 | 一种基于Wi-Fi信号的人体关键点检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067256A true CN114067256A (zh) | 2022-02-18 |
| CN114067256B CN114067256B (zh) | 2023-09-12 |
Family
ID=80276092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111408523.6A Active CN114067256B (zh) | 2021-11-24 | 2021-11-24 | 一种基于Wi-Fi信号的人体关键点检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067256B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114781431A (zh) * | 2022-03-21 | 2022-07-22 | 大连理工大学 | 基于跨模态迁移的人体行为数据标注及识别系统与方法 |
| CN115801152A (zh) * | 2023-01-16 | 2023-03-14 | 南京邮电大学 | 基于层次化transformer模型的WiFi动作识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112653991A (zh) * | 2020-12-23 | 2021-04-13 | 北京工业大学 | 一种基于深度学习的TebNet神经网络模型的WLAN室内定位方法 |
| CN112686075A (zh) * | 2019-10-17 | 2021-04-20 | 中国电信股份有限公司 | 行为检测方法、装置和系统 |
| CN112966150A (zh) * | 2021-02-26 | 2021-06-15 | 平安普惠企业管理有限公司 | 一种视频内容抽取的方法、装置、计算机设备及存储介质 |
| WO2021203581A1 (zh) * | 2020-04-10 | 2021-10-14 | 深圳壹账通智能科技有限公司 | 基于精标注文本的关键信息抽取方法、装置及存储介质 |
| WO2021208735A1 (zh) * | 2020-11-17 | 2021-10-21 | 平安科技（深圳）有限公司 | 行为检测方法、装置及计算机可读存储介质 |
-
2021
- 2021-11-24 CN CN202111408523.6A patent/CN114067256B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686075A (zh) * | 2019-10-17 | 2021-04-20 | 中国电信股份有限公司 | 行为检测方法、装置和系统 |
| WO2021203581A1 (zh) * | 2020-04-10 | 2021-10-14 | 深圳壹账通智能科技有限公司 | 基于精标注文本的关键信息抽取方法、装置及存储介质 |
| WO2021208735A1 (zh) * | 2020-11-17 | 2021-10-21 | 平安科技（深圳）有限公司 | 行为检测方法、装置及计算机可读存储介质 |
| CN112653991A (zh) * | 2020-12-23 | 2021-04-13 | 北京工业大学 | 一种基于深度学习的TebNet神经网络模型的WLAN室内定位方法 |
| CN112966150A (zh) * | 2021-02-26 | 2021-06-15 | 平安普惠企业管理有限公司 | 一种视频内容抽取的方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 张浩杰;苏治宝;苏波;: "基于深度Q网络学习的机器人端到端控制方法", 仪器仪表学报, no. 10 * |
| 强保华;翟艺杰;陈金龙;谢武;郑虹;王学文;张世豪;: "基于改进CPMs和SqueezeNet的轻量级人体骨骼关键点检测模型", 计算机应用, no. 06 * |
| 王磊;赵晓军;张鹏远;霍晓东;: "基于Mega128和WiFi的电气设备无线监控系统", 微型机与应用, no. 23 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114781431A (zh) * | 2022-03-21 | 2022-07-22 | 大连理工大学 | 基于跨模态迁移的人体行为数据标注及识别系统与方法 |
| CN115801152A (zh) * | 2023-01-16 | 2023-03-14 | 南京邮电大学 | 基于层次化transformer模型的WiFi动作识别方法 |
| CN115801152B (zh) * | 2023-01-16 | 2023-04-25 | 南京邮电大学 | 基于层次化transformer模型的WiFi动作识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067256B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | A survey of depth and inertial sensor fusion for human action recognition | |
| US20220237829A1 (en) | Artificial intelligence-based image generation method, device and apparatus, and storage medium | |
| CN114067256B (zh) | 一种基于Wi-Fi信号的人体关键点检测方法及系统 | |
| CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| Chen et al. | Fall detection system based on real-time pose estimation and SVM | |
| CN113822254B (zh) | 一种模型训练方法及相关装置 | |
| CN112101123B (zh) | 一种注意力检测方法及装置 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| Zou et al. | Intelligent fitness trainer system based on human pose estimation | |
| CN109407828A (zh) | 一种凝视点估计方法及系统、存储介质及终端 | |
| Chiu et al. | Emotion recognition through gait on mobile devices | |
| Ma et al. | Human motion gesture recognition based on computer vision | |
| CN109902550A (zh) | 行人属性的识别方法和装置 | |
| Mambu et al. | Blind reader: An object identification mobile-based application for the blind using augmented reality detection | |
| CN117355253A (zh) | 使用深度学习网络根据用户图像预测身体组成 | |
| US20190279048A1 (en) | Methods and systems of real time movement classification using a motion capture suit | |
| CN115187911A (zh) | 一种医疗防护用品穿脱消毒视频ai监测方法及装置 | |
| Sardari et al. | View-invariant pose analysis for human movement assessment from rgb data | |
| Li et al. | Multi-level recognition on falls from activities of daily living | |
| CN110314344A (zh) | 运动提醒方法、装置及系统 | |
| CN113450448A (zh) | 图像的处理方法、装置和系统 | |
| CN113743292B (zh) | 基于视频序列的活动能力评估方法、装置、介质及设备 | |
| US20230137198A1 (en) | Approximating motion capture of plural body portions using a single imu device | |
| Guerrero et al. | Human Activity Recognition via Feature Extraction and Artificial Intelligence Techniques: A Review | |
| Jolly et al. | Posture Correction and Detection using 3-D Image Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |