CN113033351B - 一种基于视频分析的csi感知识别方法 - Google Patents

一种基于视频分析的csi感知识别方法 Download PDF

Info

Publication number
CN113033351B
CN113033351B CN202110263167.7A CN202110263167A CN113033351B CN 113033351 B CN113033351 B CN 113033351B CN 202110263167 A CN202110263167 A CN 202110263167A CN 113033351 B CN113033351 B CN 113033351B
Authority
CN
China
Prior art keywords
data
csi
action
sample
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110263167.7A
Other languages
English (en)
Other versions
CN113033351A (zh
Inventor
陈晓江
贺怡
童维媛
叶贵鑫
翟双姣
汤战勇
房鼎益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202110263167.7A priority Critical patent/CN113033351B/zh
Publication of CN113033351A publication Critical patent/CN113033351A/zh
Application granted granted Critical
Publication of CN113033351B publication Critical patent/CN113033351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频分析的CSI感知识别方法,包括如下步骤:步骤1、采集视频数据和CSI数据;步骤2、动作数据筛选,得到筛除后的视频数据和CSI数据;步骤3、对筛除后的视频数据统计动作样本位置和角度,根据动作样本位置和角度与阈值的比较结果,对动作样本进行补充,得到CSI数据集;步骤4、预处理得到CSI数据的动作对应的信号特征段;计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,最小的距离值对应的类别标签为待测试数据的类别标签。本发明将视频和CSI数据采集结合,在一定程度上克服了CSI数据筛选方法受限的问题,有效解决了CSI数据采集时动作分布不够广泛,数据多样性差造成的识别模型泛化能力差的问题。

Description

一种基于视频分析的CSI感知识别方法
技术领域
本发明属于基于CSI的感知识别领域,具体涉及一种基于视频分析的CSI感知识别方法。
背景技术
信道状态信息(CSI)测量技术是测量各个子载波上的信道频率响应,信号从发送端发出,经过周围物体的反射、散射等,从多个不同路径到达接收端,用户在WiFi信号覆盖的区域活动时,不同的活动会对多径信号产生不同的干扰,进而会影响到信道状态信息(CSI)幅值的变化。因此,对CSI数据进行预处理和提取特征,利用特征与动作行为之间的相关性,通过分析特征来推断动作行为,达到识别的目的。
智能设备给人们的生活方式发带来了很大的改变,虽然CSI信号已经被证明可以用来进行活动感知,且CSI感知系统的相关研究层出不穷,但是这些系统仍局限于研究原型,很难被应用到实际的智能设备中。现有的研究大多致力于寻找更加稳定的特征来提高系统的性能,对于CSI数据采集方法的研究依旧空白,但是大量的实验和数据分析表明,当数据集中存在的不合规的“错误数据”,或者数据集中动作合规但多样性不够丰富时,都会严重影响交互的效果,如识别模型泛化能力差。所以,完善CSI数据采集方法、收集高质量的训练数据成为基于CSI的感知识别领域一个亟待解决的问题。
发明内容
为了解决上述现有技术中存在的两个问题:1、不合规动作的存在带来的CSI感知系统识别准确率低的问题;2、动作分布单一,数据多样性差造成的识别模型泛化能力差的问题。本发明给出了如下技术方案:
一种基于视频分析的CSI感知识别方法,具体包括如下步骤:
步骤1、采集视频数据和CSI数据;
步骤2、动作数据筛选:对视频数据进行预处理得到视频数据样本,对视频数据样本提取特征得到动作特征,对视频数据样本进行训练得到测试数据的预测类别标签,根据预测类别标签判断对应动作样本是否合规,将不合规动作样本对应的视频数据和CSI数据删除,得到筛除后的视频数据和CSI数据;
步骤3、动作分布多样性检测:对筛除后的视频数据统计动作样本位置和角度,根据动作样本位置和角度与阈值的比较结果,对动作样本进行补充,得到CSI数据集;
步骤4、CSI数据分类识别:对CSI数据集中所有的CSI数据、待测试CSI数据进行预处理,得到CSI数据的动作对应的信号特征段;计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,得到DTW距离矩阵;找出DTW距离矩阵中最小的距离值,将该距离值对应的CSI数据的真实类别标签作为待测试CSI数据的类别标签。
进一步的,所述步骤1具体操作如下:
在待测区域两侧分别设置发射端天线、接收端天线,以发射端天线和接收端天线的连线中心处为坐标0点建立坐标系,发射端天线和接收端天线的连线为x轴,该连线的垂直线为y轴,在-45°、0°、45°和90°的方向上的待测区域边缘处分别安装一个摄像头;
发射端天线、接收端天线实时采集目标对象做出各种动作的CSI数据;摄像头实时采集待测区域视频数据。
进一步的,所述目标对象做出的动作有以下六类:推拉、掠过、拍手、滑过、画圆、画Z。
进一步的,所述步骤2包括如下子步骤:
步骤21,对视频数据进行预处理,如裁剪、采样,得到视频数据样本;
步骤22,对视频数据样本提取特征,得到动作特征;
步骤23,将动作特征分为训练数据和测试数据,将训练数据进行训练,得到特征分类模型,将测试数据代入特征分类模型进行处理,得到测试数据的预测类别标签;
步骤24,将预测类别标签与真实类别标签进行对比,当两种标签一致时,认为该动作样本合规,否则不合规,对动作样本进行是否合规的标记;
步骤25,根据对应关系,将不合规动作样本对应的视频数据、CSI数据当做脏数据筛除,得到筛除后的视频数据和CSI数据。
进一步的,所述步骤22中,采用3D卷积神经网络对视频数据样本提取特征;所述步骤23中,采用SVM分类算法将训练数据进行训练得到特征分类模型。
进一步的,所述步骤3包括如下子步骤:
步骤31,对筛除后的视频数据统计动作样本位置和角度,具体是:
将筛除后的视频数据处理成帧图,提取每一张帧图中动作样本的位置和角度;将每个动作样本的多个帧图中的坐标值进行平均作为该动作样本的位置,将每个动作样本的多个帧图中的角度值进行平均作为该动作样本的角度;
步骤32,将待测区域划分网格并遍历所有网格,对于每个网格,将该网格中心作为参考点,计算参考点与动作样本的距离,如果参考点与动作样本的最小距离大于位置阈值,则给参考点所处位置增加动作数据,并列入动作样本;
根据步骤31得到的每个动作样本的角度,计算每两个动作样本的角度差值作为他们的角度间隔,如果角度间隔大于阈值,则在这两个角度的中间点增加数据,并列入动作样本,得到CSI数据集。
进一步的,所述步骤32中,所述位置阈值为20cm。
进一步的,所述步骤32中,所述角度间隔阈值为15°。
进一步的,所述步骤4包括如下子步骤:
步骤41,对步骤3得到的CSI数据集中所有的CSI数据、待测试CSI数据进行预处理,得到所有的CSI数据的动作对应的信号特征段以及待测试CSI数据的动作对应的信号特征段;
步骤42,特征提取:将波形作为特征,采用DTW算法计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,得到DTW距离矩阵;
步骤43,分类识别:找出DTW距离矩阵中最小的距离值,将该距离值对应的CSI数据的真实类别标签作为待测试CSI数据的类别标签,从而识别待测试动作。
进一步的,所述步骤41中所述预处理具体包括:
(1)采用小波去噪进行信号滤波;
(2)采用主成分分析法进行数据降维,得到降维后的CSI数据;
(3)对降维后的CSI数据提取信号特征段,具体是:使用滑动窗口方法计算降维后的CSI数据的方差,然后找出方差突变的第一个点和最后一个点的位置,提取这两点之间的动作对应的信号特征段。
相较于现有技术,本发明具有如下技术效果:
(1)本发明将视频和CSI数据采集进行结合,利用视频记录CSI数据采集过程,通过视频分析动作画面,提取有效特征来对进行动作识别,根据识别的结果将识别错误的动作标定为不合规动作,并将不合规动作对应的CSI数据当作脏数据筛除,留下干净的高质量的数据。该方法能够在一定程度上克服了由于CSI数据不可视造成的CSI数据筛选方法受限的问题。
(2)本发明通过视频分析动作的位置、方向信息,并对样本的位置和角度进行统计,当分布结果显示动作的分布单一,缺乏多样性时,系统则根据具体的分布情况指导用户进行数据补充,直到数据满足多样性分布。有效解决了CSI数据采集时动作分布不够广泛,数据多样性差造成的识别模型泛化能力差的问题,识别模型的泛化能力更强。
(3)实验结果表明,本发明在CSI感知识别上取得了良好效果。将本发明应用到基于CSI的动作感知识别中,识别准确率从87.28%提高至93.56%。
附图说明
图1是本发明的方法流程图;
图2是本发明的实验数据采集装置布置示意图;
图3是本发明的实施例中经典动作设置图。
以下结合附图和具体实施方式对本发明进一步解释说明。
具体实施方式
如图1所示,本发明的基于视频分析的CSI感知识别方法,包括如下四个步骤:
步骤1、采集视频数据和CSI数据
如图2所示,在待测区域两侧分别设置发射端天线、接收端天线,以发射端天线和接收端天线的连线中心处为坐标0点建立坐标系,发射端天线和接收端天线的连线为x轴,该连线的垂直线为y轴,在-45°、0°、45°和90°的方向上的待测区域边缘处分别安装一个摄像头。
发射端天线、接收端天线实时采集目标对象做出各种动作的CSI数据;摄像头实时采集待测区域视频数据。如图3所示,目标对象作出6个经典动作:推拉、掠过、拍手、滑过、画圆、画Z。
步骤2、动作数据筛选:对视频数据进行预处理得到视频数据样本,对视频数据样本提取特征得到动作特征,对视频数据样本进行训练得到测试数据的预测类别标签,根据预测类别标签判断对应动作样本是否合规,将不合规动作样本对应的视频数据和CSI数据删除,得到筛除后的视频数据和CSI数据。具体包括如下子步骤:
步骤21,对视频数据进行预处理,如裁剪、采样,得到视频数据样本;
步骤22,采用3D卷积神经网络对视频数据样本提取特征,得到动作特征。
步骤23,将动作特征分为训练数据和测试数据,应用SVM分类算法将训练数据进行训练,得到特征分类模型,将测试数据代入特征分类模型进行处理,得到测试数据的预测类别标签。
步骤24,将预测类别标签与真实类别标签进行对比,当两种标签一致时,认为该动作样本合规,否则不合规,对动作样本进行是否合规的标记;
步骤25,根据对应关系,将不合规动作样本对应的视频数据、CSI数据当做脏数据筛除,得到筛除后的视频数据和CSI数据。
步骤3、动作分布多样性检测:对筛除后的视频数据统计动作样本位置和角度,根据动作样本位置和角度与阈值的比较结果,对动作样本进行补充,得到CSI数据集。具体包括如下子步骤:
步骤31,对筛除后的视频数据统计动作样本位置和角度,具体是:
将筛除后的视频数据处理成帧图,提取每一张帧图中动作样本的位置和角度;将每个动作样本的多个帧图中的坐标值进行平均作为该动作样本的位置,将每个动作样本的多个帧图中的角度值进行平均作为该动作样本的角度;
步骤32,将待测区域划分网格并遍历所有网格,对于每个网格,将该网格中心作为参考点,计算参考点与动作样本的距离,如果参考点与动作样本的最小距离大于位置阈值(优选20cm),则给参考点所处位置增加动作数据(即目标对象做一个新动作并采集CSI数据),并将该CSI数据列入动作样本。
根据步骤31得到的每个动作样本的角度,计算每两个动作样本的角度差值作为他们的角度间隔,如果角度间隔大于阈值(优选15°),则在这两个角度的中间点增加数据(即目标对象做一个动作并采集CSI数据),并将该CSI数据列入动作样本,得到CSI数据集。
步骤4、CSI数据分类识别:对CSI数据集中所有的CSI数据、待测试CSI数据进行预处理,得到CSI数据的动作对应的信号特征段;计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,得到DTW距离矩阵;找出DTW距离矩阵中最小的距离值,将该距离值对应的CSI数据的真实类别标签作为待测试CSI数据的类别标签。具体包括如下子步骤:
步骤41,对步骤3得到的CSI数据集中所有的CSI数据、待测试CSI数据进行预处理,得到所有的CSI数据的动作对应的信号特征段以及待测试CSI数据的动作对应的信号特征段。所述预处理具体包括:
(1)信号滤波(优选小波去噪);(2)数据降维(优选主成分分析(PCA),建议选前5个主成分),得到降维后的CSI数据;(3)对降维后的CSI数据提取信号特征段(优选采用方差);具体是:使用滑动窗口方法计算降维后的CSI数据的方差,然后找出方差突变的第一个点和最后一个点的位置(认为这两个点即是动作的开始点和结束点),提取这两点之间的动作对应的信号特征段。
步骤42,特征提取:将波形作为特征,采用DTW算法计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,得到DTW距离矩阵。
步骤43,分类识别:找出DTW距离矩阵中最小的距离值,将该距离值对应的CSI数据的真实类别标签作为待测试CSI数据的类别标签,从而识别待测试动作。
实施例:
步骤1:采集视频数据和CSI数据
CSI数据采集:发射端天线数目为3,接收端天线数目为3,OFDM子载波数为30,利用3*3*30=270个子载波同时传输CSI信号,采集到的CSI数据是一个(采样率×采样时间)*270的矩阵。
视频数据采集:为了准确的记录CSI数据采集过程,利用4个摄像头同时采集4个不同视角的动作视频样本,视频在分辨率为240*320。
步骤2:动作数据筛选
首先对视频进行预处理以符合网络的输入要求,要分类识别不同动作行为,就要使用有效的特征来唯一地表示这个动作,特征的选择决定了识别系统的性能,所以接下来就需要提取可靠的数据特征。综合考虑了现有的视频动作识别工作中常用的特征提取方法之后,本发明使用深度神经网络通过学习的方法自动提取特征,这样就得到了可靠的动作特征。
将动作特征分为训练数据和测试数据,应用SVM分类算法将训练数据训练相应的特征分类模型,测试数据用于进行训练模型的测试,经预测得到测试数据的预测类别标签。
CSI数据筛选:将视频识别的结果作为依据,从视频的角度来判断动作样本的合规性,进而根据对应关系从动作采集的角度对CSI数据进行筛选。根据视频识别的结果,对动作进行是否合规的标记。将预测类别标签与真实类别标签进行对比,当两种标签一致时,认为该动作样本合规,否则不合规。
根据对应关系,将错误识别动作对应的视频数据、CSI数据当做脏数据筛除,留下干净高质量的数据,起到样本过滤的作用。
步骤3:动作分布多样性检测
应用基于视频的动作分布多样性检测方法来实现,主要通过视频分析确定动作样本的角度和位置,并对动作样本的位置和角度进行统计,观察样本的角度和位置的整体分布情况,如果分布结果显示某一区域内没有数据分布,系统则根据具体的分布情况进行数据补充,直到数据满足多样性分布。
数据补充阶段将动作分布检测阶段的结果作为依据,当检测到动作样本的位置和角度最大分布间隔小于阈值时,则表示数据本身分布多样,不需要进行数据补充。当检测到数据位置和角度最大分布间隔大于阈值时,则认为需要添加数据,保证数据样本位置和角度的分布广泛,从而得到更加完整且多样的数据。
步骤4:CSI数据分类识别
数据预处理:包括信号滤波、数据降维、信号特征段的提取。
数据滤波:本发明选择用小波去噪的方法去除噪声。对原始信号进行小波变换,经变换后,小波系数较大的部分通常包含着信号的有效信息,噪声部分则小波系数较小,这样就可以将噪声和有效信息分离开来,从而去除包含的噪声的部分,然后对小波系数进行小波逆变换,这样就得到去噪后的信号。
数据降维:本发明采用主成分分析(PCA)的方法,数据经过PCA处理,可以从270个CSI时间序列中选择主要特征,减少了计算量,同时又保留了信号的主要信息。
我们观察到前5个主成分表现出CSI信号最显著的变化,其余部分的噪声比较大。因此,我们留下了前5主成分。
信号特征段的提取:无动作发生时,CSI波形是平坦的,当有动作发生时,对应于CSI波形呈现明显的上升或下降趋势,这也就表示在有动作发生期间的CSI时间序列段比无动作发生时有更大的方差,所以可以用方差的大小来表示CSI波形的变化趋势,进而确定动作的开始点和结束点。
可以滑动窗口方法来计算CSI时间序列的方差,找出方差突变的第一个点和最后一个点的位置,可认为这两个点即是解动作的开始点和结束点,然后根据这两点的位置提取动作的波形段。
特征提取:将波形作为特征,用DTW算法来计算每个参考数据和每个测试数据之间的距离,得到一个距离矩阵,两个信号之间的距离越小则表示这两个信号波形越相似。
相同的动作,做动作的速度不同以及收集信号的过程中会出现丢包的问题,在CSI时间序列都表现出信号长度不同,这都导致了两个信号在时间序列上不能对齐,但它们的波形是相似的。如果直接使用欧几里得距离,无法很好的表示两个CSI时间序列的相似度,DTW算法通过动态规划的方法来计算两个信号之间的最小距离。
分类识别:根据DTW距离矩阵,用波形间的距离的大小对信号类别进行预测并标签预测结果。
实验设计部分:
实验设置:实验环境实景图如图2所示,CSI和RFID发送设备和接收设备距离2m,4个视角的相机同时采集视频。
动作设置:参考了之前无线感知动作识别研究工作中常用的6个交互动作,包括推拉,掠过,拍手,滑过,画圆,画Z,见图3。
实验参与者:共招募了10名志愿者,其中6名男性,4名女性。
1、阈值实验
实验一:角度变化对无线识别准确率的影响。目标对象的初始位置是收发设备中间,且目标对象朝向与收发设备垂直,通过改变动作角度,来分析角度差对于无线识别的影响,我们以5°为间隔,逐渐改变角度,计算不同角度差下相互识别的准确率,来观察角度变化对识别的影响。
实验二:位置变化对无线识别准确率的影响。目标对象的初始位置是收发设备中间,且目标对象朝向与收发设备垂直,通过改变动作位置,来分析位置变化对于无线识别的影响,以5cm为间隔,逐渐改变角度实验者位置,计算不同位置的数据相互识别的准确率,来观察位置变化对识别的影响。
阈值实验结果:
当角度变化小于15°时,准确率大于60%,当大于15°时,随着角度变化增大,准确率逐渐降低,所以,我们将15°定义为动作分布角度的最大间隔,当动作的角度分布存在大于15°时,认为不满足角度分布多样性要求,需要指导目标对象调整角度,补充数据。
当位置变化小于20cm时,准确率大于60%,当大于20cm时,随着位置变化增大,准确率逐渐降低,所以,我们将20cm定义为动作位置分布的最大间隔,当动作的位置分布存在大于20cm的间隔时,认为不满足位置分布多样性要求,需要指导目标对象调整位置,补充数据。
2、CSI数据集中CSI数据采集实验
在指定的感知区域内进行数据的采集,且可以区域以及角度范围内活动,每次移动采集2次样本,共采集10次移动,我们收集了6个动作,这样就得到了10*2*10*6=个动作样本。由于同时用四个视角同时对动作采集过程进行记录,所以得到4800个视频数据。通过这些视频对动作进行分析,提取有效特征来进行动作识别的,统计识别的结果,将分类错误的动作数据进行标记,并将对应无线数据筛除。在对动作样本继进行筛选后,再利用视频对动作的位置以及角度分布进行统计,如果动作的分布不够广泛,缺乏多样性时,系统会根据实际分布情况并基于上述的阈值实验结果指导用户进行数据补充,直到数据满足多样性分布,这样就得到了更可靠且多样的高质量训练数据集。
3、待测试CSI数据采集实验
在训练数据采集实验中,通过本发明的方法指导无线数据采集,得到了更可靠且多样的高质量训练数据集,但提高数据质量的最终目的是提高无线系统的识别准确率,所以还需要对本发明的基于视频的无线数据采集方法进行评估来说明方法的有效性。
让用户在区域内进行测试数据采集(位置,角度不受约束),每个人采集10个样本,作为测试数据。分别用经本发明的系统指导前后的数据训练识别模型,对测试数据进行类别预测,并对比指导前后的识别准确。
4、实验结果评估
实验结果显示,本发明的方法在基于CSI的感知识别中,将平均识别精度从87.28%提高至93.56%,总体提高了6.28%。

Claims (9)

1.一种基于视频分析的CSI感知识别方法,其特征在于,具体包括如下步骤:
步骤1、采集视频数据和CSI数据;
步骤2、动作数据筛选:对视频数据进行预处理得到视频数据样本,对视频数据样本提取特征得到动作特征,对视频数据样本进行训练得到测试数据的预测类别标签,根据预测类别标签判断对应动作样本是否合规,将不合规动作样本对应的视频数据和CSI数据删除,得到筛除后的视频数据和CSI数据;
步骤3、动作分布多样性检测:对筛除后的视频数据统计动作样本位置和角度,根据动作样本位置和角度与阈值的比较结果,对动作样本进行补充,得到CSI数据集;包括如下子步骤:
步骤31,对筛除后的视频数据统计动作样本位置和角度,具体是:
将筛除后的视频数据处理成帧图,提取每一张帧图中动作样本的位置和角度;将每个动作样本的多个帧图中的坐标值进行平均作为该动作样本的位置,将每个动作样本的多个帧图中的角度值进行平均作为该动作样本的角度;
步骤32,将待测区域划分网格并遍历所有网格,对于每个网格,将该网格中心作为参考点,计算参考点与动作样本的距离,如果参考点与动作样本的最小距离大于位置阈值,则给参考点所处位置增加动作数据,并列入动作样本;
根据步骤31得到的每个动作样本的角度,计算每两个动作样本的角度差值作为他们的角度间隔,如果角度间隔大于阈值,则在这两个角度的中间点增加数据,并列入动作样本,得到CSI数据集;
步骤4、CSI数据分类识别:对CSI数据集中所有的CSI数据、待测试CSI数据进行预处理,得到CSI数据的动作对应的信号特征段;计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,得到DTW距离矩阵;找出DTW距离矩阵中最小的距离值,将该距离值对应的CSI数据的真实类别标签作为待测试CSI数据的类别标签。
2.如权利要求1所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤1具体操作如下:
在待测区域两侧分别设置发射端天线、接收端天线,以发射端天线和接收端天线的连线中心处为坐标0点建立坐标系,发射端天线和接收端天线的连线为x轴,该连线的垂直线为y轴,在-45°、0°、45°和90°的方向上的待测区域边缘处分别安装一个摄像头;
发射端天线、接收端天线实时采集目标对象做出各种动作的CSI数据;摄像头实时采集待测区域视频数据。
3.如权利要求2所述的基于视频分析的CSI感知识别方法,其特征在于,所述目标对象做出的动作有以下六类:推拉、掠过、拍手、滑过、画圆、画Z。
4.如权利要求1所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤2包括如下子步骤:
步骤21,对视频数据进行预处理,如裁剪、采样,得到视频数据样本;
步骤22,对视频数据样本提取特征,得到动作特征;
步骤23,将动作特征分为训练数据和测试数据,将训练数据进行训练,得到特征分类模型,将测试数据代入特征分类模型进行处理,得到测试数据的预测类别标签;
步骤24,将预测类别标签与真实类别标签进行对比,当两种标签一致时,认为该动作样本合规,否则不合规,对动作样本进行是否合规的标记;
步骤25,根据对应关系,将不合规动作样本对应的视频数据、CSI数据当做脏数据筛除,得到筛除后的视频数据和CSI数据。
5.如权利要求4所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤22中,采用3D卷积神经网络对视频数据样本提取特征;所述步骤23中,采用SVM分类算法将训练数据进行训练得到特征分类模型。
6.如权利要求1所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤32中,所述位置阈值为20cm。
7.如权利要求1所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤32中,所述角度间隔阈值为15°。
8.如权利要求1所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤4包括如下子步骤:
步骤41,对步骤3得到的CSI数据集中所有的CSI数据、待测试CSI数据进行预处理,得到所有的CSI数据的动作对应的信号特征段以及待测试CSI数据的动作对应的信号特征段;
步骤42,特征提取:将波形作为特征,采用DTW算法计算待测试CSI数据和CSI数据集中每个CSI数据之间的距离,得到DTW距离矩阵;
步骤43,分类识别:找出DTW距离矩阵中最小的距离值,将该距离值对应的CSI数据的真实类别标签作为待测试CSI数据的类别标签,从而识别待测试动作。
9.如权利要求8所述的基于视频分析的CSI感知识别方法,其特征在于,所述步骤41中所述预处理具体包括:
(1)采用小波去噪进行信号滤波;
(2)采用主成分分析法进行数据降维,得到降维后的CSI数据;
(3)对降维后的CSI数据提取信号特征段,具体是:使用滑动窗口方法计算降维后的CSI数据的方差,然后找出方差突变的第一个点和最后一个点的位置,提取这两点之间的动作对应的信号特征段。
CN202110263167.7A 2021-03-11 2021-03-11 一种基于视频分析的csi感知识别方法 Active CN113033351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110263167.7A CN113033351B (zh) 2021-03-11 2021-03-11 一种基于视频分析的csi感知识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263167.7A CN113033351B (zh) 2021-03-11 2021-03-11 一种基于视频分析的csi感知识别方法

Publications (2)

Publication Number Publication Date
CN113033351A CN113033351A (zh) 2021-06-25
CN113033351B true CN113033351B (zh) 2023-04-07

Family

ID=76469482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263167.7A Active CN113033351B (zh) 2021-03-11 2021-03-11 一种基于视频分析的csi感知识别方法

Country Status (1)

Country Link
CN (1) CN113033351B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020614A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于时空兴趣点检测的人体运动识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11196492B2 (en) * 2019-04-24 2021-12-07 Robert Bosch Gmbh Apparatus for person identification and motion direction estimation
CN110443206A (zh) * 2019-08-07 2019-11-12 北京邮电大学 一种基于Wi-Fi信号的人体姿态图像生成方法和装置
CN111898442B (zh) * 2020-06-29 2023-08-11 西北大学 一种基于多模态特征融合的人体动作识别方法及装置
CN112036433B (zh) * 2020-07-10 2022-11-04 天津城建大学 一种基于CNN的Wi-Move行为感知方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020614A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于时空兴趣点检测的人体运动识别方法

Also Published As

Publication number Publication date
CN113033351A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
Li et al. Can micro-expression be recognized based on single apex frame?
CN106407905B (zh) 基于机器学习的无线感知动作识别方法
CN107292252B (zh) 一种自主学习的身份识别方法
CN109446942A (zh) 目标跟踪方法、装置和系统
Raghavendra et al. Scaling-robust fingerprint verification with smartphone camera in real-life scenarios
CN110502105B (zh) 一种基于csi相位差的手势识别系统及识别方法
CN107527016B (zh) 室内WiFi环境下基于动作序列检测的用户身份识别方法
CN110414468B (zh) WiFi环境下基于手势信号的身份验证方法
CN113609976B (zh) 一种基于WiFi设备的方向敏感多手势识别系统及方法
Shi et al. Human activity recognition using deep learning networks with enhanced channel state information
CN106156695B (zh) 出口和/或入口区域识别方法和装置
CN111082879B (zh) 一种基于深度时空模型的wifi感知方法
CN104200218B (zh) 一种基于时序信息的跨视角动作识别方法及系统
CN113033351B (zh) 一种基于视频分析的csi感知识别方法
CN112580552A (zh) 一种鼠类行为分析方法及装置
CN114707563A (zh) 一种基于Wi-Fi信道状态信息的人体动作识别方法
CN113408328A (zh) 基于毫米波雷达的手势分割与识别算法
CN111901028B (zh) 一种基于多天线上csi的人体行为识别方法
CN110412566A (zh) 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法
CN107480716A (zh) 一种结合eog和视频的扫视信号识别方法及系统
CN114581958B (zh) 一种基于csi信号到达角估计的静态人体姿势估计方法
CN114048773A (zh) 一种基于迁移学习和WiFi的行为识别方法及系统
Pan et al. Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN
CN113051972A (zh) 一种基于WiFi的手势识别系统
CN109086717B (zh) 基于人体骨架和运动信号特征的暴力行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant