CN112270276A - 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 - Google Patents
一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 Download PDFInfo
- Publication number
- CN112270276A CN112270276A CN202011203253.0A CN202011203253A CN112270276A CN 112270276 A CN112270276 A CN 112270276A CN 202011203253 A CN202011203253 A CN 202011203253A CN 112270276 A CN112270276 A CN 112270276A
- Authority
- CN
- China
- Prior art keywords
- data
- joint
- condyle
- csi
- kinect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract 2
- 239000011159 matrix material Substances 0.000 claims description 17
- 210000002310 elbow joint Anatomy 0.000 claims description 12
- 210000000629 knee joint Anatomy 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 210000001503 joint Anatomy 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 210000000323 shoulder joint Anatomy 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000003108 foot joint Anatomy 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 39
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于Kinect与WiFi数据联合的复杂环境下目标行为识别方法。首先,本发明提出了一种基于Kinect的提取有效骨节数据特征的方法,能够有效地提取出骨节数据中能有效反映出人体各关节运动方向和幅度的特征。其次,采用了一种能够提取出CSI数据主要子载波特征的方法,能够聚类出能够反映出其主要变化趋势的子载波数据。最后,针对Kinect数据与WiFi数据维度不同不能直接联合的问题,对跨模态搜索中的特征对齐的方法进行改进,使其能够有效地将Kinect数据与WiFi数据联合并构建分类器进行目标行为识别。本发明设计的数据联合目标行为识别算法有效可靠,有效地解决了传统的Kinect识别系统在复杂的室内环境下(桌子、书柜、沙发等遮挡物较多)无法有效识别的问题,挖掘了在复杂环境下更多的应用潜力。
Description
技术领域
本发明属于行为识别技术,具体涉及到Kinect和WiFi系统下,一种在复杂环境下,采用Kinect数据和WiFi数据的针对动态目标的行为识别方法。
背景技术
近年来,行为识别技术备受关注,人类活动的行为识别是社会生活、普适计算、安全监控等领域的一个重要研究课题。日常生活中的各种行为可以被认为是我们的一种特殊的交流方式,我们可以通过手臂,腿部和头等肢体语言进行交流,因此,我们从应用需求,技术支持,辅助设备等方面提出了活动识别系统。在现有的行为识别系统中,基于传感器的目标行为识别系统要求识别目标穿戴配备运动传感器等特殊设备。传感器获取的数据在可穿戴设备上本地处理或传输到服务器,服务器再对获取的数据进行处理。这种对已知目标的主动监测系统能达到90%的准确率,可以识别睡觉、坐下、行走和跑步等活动,然而,目标需要自身主动携带可穿戴传感设备,这是这种识别系统最大的局限性,尤其是对于老人,穿戴不便或由于健忘导致的未携带穿戴设备等的情况可能是致命的。虽然基于视频图像的识别系统可进行有效的目标行为识别,但必须具备视距条件才能进行行为识别是此类系统的主要限制,此外,基于视频图像的识别使用环境也受到很大限制,很容易受到遮挡、弱光等不良环境的影响。因此,我们提出了无线数据与图像数据联合目标行为识别的系统,无论是安全性还是稳定性相对于上述两种系统都更有优势。
在机器视觉领域中,关于行为识别的研究一直不断的进行着,从最初的人体检测和定位、人体运动跟踪,到现在的人体姿势识别、人体动作识别,甚至行为理解。研究起初,研究人员对普通的二维图像,包括灰度和彩色图像做了大量的研究,尽管设计出各种先进的图像处理算法,但是,仍无法避免一些噪声问题,如光照、颜色、纹理、遮挡等。在硬件技术和学术理论的推动下,学者们的目光不在局限于普通图像,而是寻找新的图像表达方式,如X光图像,红外图像,希望能从这些图像中挖掘出普通图像所未能表达的数据。进近几年来,深度图像也走进了研究人员的视野,图像中的每个像素表示场景中的某一个点到摄像机的距离,换句话说,深度图像可以直接从每个三维空间获得场景的三维数据,相比使用普通图像进行三位模拟,它帮助研究人员快速更方便的走进三维世界。实际上,深度图像也属于计算机视觉的研究范畴,只不过数据的表达方法有所不同,因此很多现有的图像处理算法是可以借鉴和扩展的。虽然深度图像虽然能解决普通图像所不能解决的很多问题,但遮挡问题依然存在。而在普通的家用无线网络中,当一个人在其覆盖区域内运动时,其行为会对Wi-Fi信号的传输信道环境造成一定程度的影响,而且CSI(Channel State Information)可以细粒化记录WiFi信号因环境变化而变化的情况,因此我们可以通过对CSI的分析获取更全面的覆盖区域内的目标活动情况。本发明提出了一种深度数据和CSI信息融合的行为识别的方法,由于微软的体感游戏设备Kinect结合OpenCV可以通过分析深度图像数据得到人体的骨节信息,本发明使用Kinect与WiFi相结合,可以有效在复杂环境中的进行目标行为识别。
发明内容
本发明的目的是在Kinect和WiFi系统下,提供一种基于Kinect数据和WiFi数据信息融合的方法,它能够在体感游戏设备Kinect在遇到遮挡的情况下,使用WiFi数据作为补充,提高行为识别系统在复杂坏境下的稳定性。
本发明所述的一种基于Kinect和WiFi的信息融合的行为识别方法,具体包括以下步骤:
步骤一:利用Intel5300网卡获取WiFi信号CSI信息,假设WiFi设备天线个数为M,子载波个数为N,将第l个数据包表示为TXl,l为正整数:
TXl=(txl,1,…,txl,M)
其中,txl,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据,即txl,m=(txl,m,1,…,txl,m,N),txl,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线第n(1≤n≤N)子载波上的CSI数据。同时,利用Kinect采集深度图像数据,在此基础上,通过OpenCV处理深度图像数据获取骨节数据,第i(1≤i)骨节数据可以表示为RXi:
RXi={(xi,1,yi,1,zi,1),(xi,2,yi,2,zi,2)…(xi,20,yi,20,zi,20)};
步骤二:对骨节数据进行预处理,首先对骨节数据进行坐标归一化处理,消除不同体型目标的差异。将最接近于人体中心的椎关节点作为坐标原点,表示为点Po(xo,yo,zo)。设需要进行坐标转换的关节点为Pc(xc,yc,zc),则转换后的点坐标为:
其中,ymax分别为动作序列中所有头部关节的最大值,ymin为所有足关节的最小值,L0为归一化人体高度。
其次,基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取,骨节数据每一帧为3×20的坐标矩阵,计算帧与帧之间的能量差,即
步骤三:进行骨节数据特征提取。通过分析提取的有效关节点坐标数据,包括肩关节、肘关节、膝关节和椎关节,计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值。设关节坐标为Pg(xg,yg,zg),其相邻两关节坐标为Pg-1(xg-1,yg-1,zg-1)、Pg+1(xg+1,yg+1,zg+1),则该关节关节角为
对于关节Po的模比值,设该关节坐标为Pφ(xφ,yφ,zφ),椎关节坐标为Po(xo,yo,zo),颈关节坐标为Pχ(xχ,yχ,zχ),则该关节的模比值为
最后,将获取的关节角矩阵与模比值矩阵进行拼接,形成骨节数据特征矩阵。
其中,表示第l个CSI数据包,然后,计算CSI数据幅值的方差,设定方差峰值三分之一处为行为判决门限,从而提取行为数据。之后,使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据xi进行聚类,其中xi可以表示为:
xi=(x1,i,…,xl,i,…,xL,i)
其中,xl,i=txl,m,n,且满足条件:i=(m-1)·N+n。根据骨节数据特征维度确定聚类中心向量的数量k,随机选取k个数据样本作为初始聚类中心,将聚类中心向量表示为μj(1≤j≤k)。然后,根据每个数据样本与每个聚类中心的欧氏距离,即||xi-μj||2(1≤i≤M×N,1≤j≤k),按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类,将每个类别中所有数据样本的均值作为该类别的新的聚类中心。聚类的目标是使各类聚类中心最优化,即最小化目标函数J
接下来,判断聚类中心和目标函数J是否发生改变,若不变,则新的聚类中心为最优解,若改变,则对每个数据样本重新按照距离最小准则分类并更新聚类中心,重复至新的聚类中心和目标函数的值均不发生改变为止。
步骤五:分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰比),构成维度为k×7维的信息联合行为识别输入特征。
步骤六:对同一动作的不同设备获取的数据特征标注相同的标签,构建分类器对提取的k×7维输入特征进行分类,从而实现Kinect与WiFi的信息联合目标行为识别。
有益效果
本发明首先提出了对骨节数据和CSI数据提取特征进行联合行为识别的方法,能够有效的解决在使用Kinect进行行为识别时由于遮挡或光照条件不良导致的Kinect无法进行有效的行为识别的问题,联合行为识别在解决Kinect行为识别遮挡与光照条件不良问题的同时,也针对骨节数据行为识别特征提取问题提出了特征优化方案,提出将骨节数据中的各个骨节点进行筛选,选取其中运动信息包含量最高的几个的骨节点并提取其运动特征,使用关节角特征来反映其运动方向,和模比值特征来反映其运动幅度,最后对跨模态搜索中特征对齐的方法进行改进,将Kinect和WiFi两种不同维度的数据进行特对齐处理后输入到分类器进行分类,从而实现Kinect与WiFi的信息联合目标行为识别。本发明设计的基于Kinect和WiFi数据联合的复杂环境中的行为识别算法有效可靠,解决了Kinect在遮挡和光照不良的条件下无法进行有效的行为识别的问题,提高了系统在各种复杂环境下的应用潜力。
附图说明
图1为本发明的流程图
图2为基于Kinect与Wi-Fi信息融合行为识别系统的实验场景图
具体实施方案
步骤一:利用Intel5300网卡获取WiFi信号CSI信息,假设WiFi设备天线个数为M,子载波个数为N,将第l个数据包表示为TXl,l为正整数:
TXl=(txl,1,…,txl,M)
其中,txl,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据,即txl,m=(txl,m,1,…,txl,m,N),txl,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线第n(1≤n≤N)子载波上的CSI数据。同时,利用Kinect采集深度图像数据,在此基础上,通过OpenCV处理深度图像数据获取骨节数据,第i(1≤i)骨节数据可以表示为RXi:
RXi={(xi,1,yi,1,zi,1),(xi,2,yi,2,zi,2)…(xi,20,yi,20,zi,20)};
步骤二:对骨节数据进行预处理,首先对骨节数据进行坐标归一化处理,消除不同体型目标的差异。将最接近于人体中心的椎关节点作为坐标原点,表示为点Po(xo,yo,zo)。设需要进行坐标转换的关节点为Pc(xc,yc,zc),则转换后的点坐标为:
其中,ymax分别为动作序列中所有头部关节的最大值,ymin为所有足关节的最小值,L0为归一化人体高度。
其次,基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取,骨节数据每一帧为3×20的坐标矩阵,计算帧与帧之间的能量差,即:
步骤三:进行骨节数据特征提取。通过分析提取的有效关节点坐标数据,包括肩关节、肘关节、膝关节和椎关节,计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值。设关节坐标为Pg(xg,yg,zg),其相邻两关节坐标为Pg-1(xg-1,yg-1,zg-1)、Pg+1(xg+1,yg+1,zg+1),则该关节关节角为
对于关节Po的模比值,设该关节坐标为Pφ(xφ,yφ,zφ),椎关节坐标为Po(xo,yo,zo),颈关节坐标为Pχ(xχ,yχ,zχ),则该关节的模比值为
最后,将获取的关节角矩阵与模比值矩阵进行拼接,形成骨节数据特征矩阵。
其中,表示第l个CSI数据包,然后,计算CSI数据幅值的方差,设定方差峰值三分之一处为行为判决门限,从而提取行为数据。之后,使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据xi进行聚类,其中xi可以表示为:
xi=(x1,i,…,xl,i,…,xL,i)
其中,xl,i=txl,m,n,且满足条件:i=(m-1)·N+n。根据骨节数据特征维度确定聚类中心向量的数量k,随机选取k个数据样本作为初始聚类中心,将聚类中心向量表示为μj(1≤j≤k)。然后,根据每个数据样本与每个聚类中心的欧氏距离,即||xi-μj||2(1≤i≤M×N,1≤j≤k),按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类,将每个类别中所有数据样本的均值作为该类别的新的聚类中心。聚类的目标是使各类聚类中心最优化,即最小化目标函数J
接下来,判断聚类中心和目标函数J是否发生改变,若不变,则新的聚类中心为最优解,若改变,则对每个数据样本重新按照距离最小准则分类并更新聚类中心,重复至新的聚类中心和目标函数的值均不发生改变为止。
步骤五:分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰比),构成维度为k×7维的信息联合行为识别输入特征。
步骤六:对同一动作的不同设备获取的数据特征标注相同的标签,构建分类器对提取的k×7维输入特征进行分类,从而实现Kinect与WiFi的信息联合目标行为识别。
Claims (3)
1.一种基于Kinect与WiFi的信息联合目标行为识别方法,包括以下步骤:
步骤一:假设WiFi设备天线个数为M,子载波个数为N,利用Intel5300网卡获取WiFi信号CSI信息,将第l个数据包表示为TXl,l为正整数。利用Kinect采集深度图像数据,在此基础上,通过OpenCV处理深度图像数据获取骨节数据,将将第i帧数据表示为RXi,i为正整数;
步骤二:首先对骨节数据进行坐标归一化处理,消除不同体型目标的差异。其次,基于累积运动能量AME(Accumulated Motion Energy)算法获取帧与帧之间的能量差,根据实际经验,将归一化能量差峰值的0.3倍设定为运动帧判决门限,从而实现运动帧数据提取。骨节数据每一帧为3×20的矩阵,每个矩阵元素代表一个骨节坐标。再次,通过分析提取出有效骨节点坐标数据,包括肩关节、肘关节、膝关节和椎关节,计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值。将获取的关节角矩阵与模比值矩阵进行拼接,形成骨节数据特征矩阵。
步骤三:采用巴特沃斯低通滤波器对CSI信号进行低通滤波。在此基础上,为了降低静态环境误差的影响,对滤波后的CSI数据进行平滑归一化,得到数据然后,计算CSI数据幅值的方差,设定方差峰值三分之一处为行为判决门限,从而提取行为数据。之后,使用K均值聚类算法对行为数据中的N个子载波进行聚类,根据骨节数据特征维度确定聚类中心的数量。
步骤四:分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰),构成维度为k×7维的信息联合行为识别输入特征,k为聚类中心的个数;
步骤五:对同一动作的不同设备获取的数据特征标注相同的标签,构建分类器对提取的k×7维输入特征进行分类,从而实现Kinect与WiFi的信息联合目标行为识别。
2.根据权利要求1所述的一种基于基于Kinect与WiFi的信息联合目标行为识别方法,所述步骤三,通过分析各个骨节点所包含的有效信息量,选取有效关节点并提取其有效特征,包括以下步骤:
对骨节数据进行预处理,首先对骨节数据进行坐标归一化处理,消除不同体型目标的差异。将最接近于人体中心的椎关节点作为坐标原点,表示为点Po(xo,yo,zo)。设需要进行坐标转换的关节点为Pc(xc,yc,zc),则转换后的点坐标为:
其中,ymax分别为动作序列中所有头部关节的最大值,ymin为所有足关节的最小值,L0为归一化人体高度。
其次,基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取,骨节数据每一帧为3×20的坐标矩阵,计算帧与帧之间的能量差,即
再次,进行骨节数据特征提取。通过分析提取的有效关节点坐标数据,包括肩关节、肘关节、膝关节和椎关节,计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值。设关节坐标为Pg(xg,yg,zg),其相邻两关节坐标为Pg-1(xg-1,yg-1,zg-1)、Pg+1(xg+1,yg+1,zg+1),则该关节关节角为
对于关节Po的模比值,设该关节坐标为Pφ(xφ,yφ,zφ),椎关节坐标为Po(xo,yo,zo),颈关节坐标为Pχ(xχ,yχ,zχ),则该关节的模比值为
最后,将获取的关节角矩阵与模比值矩阵进行拼接,形成骨节数据特征矩阵。
3.根据权利要求1所述的一种基于基于Kinect与WiFi的信息联合目标行为识别方法,所述步骤四,通过对Kinect数据和WiFi数据进行处理得到对齐的特征进行分类,包括以下步骤:
利用Intel5300网卡获取WiFi信号的CSI信息,数据包长度为L,第l(1≤l≤L)个数据包表示为TXl:
TXl=(txl,1,…,txl,M)
其中,txl,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据,即txl,m=(txl,m,1,…,txl,m,N),txl,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线第n(1≤n≤N)子载波上的CSI数据。同时,利用Kinect采集深度图像数据,在此基础上,通过OpenCV处理深度图像数据获取骨节数据,第i(1≤i)骨节数据可以表示为RXi:
RXi={(xi,1,yi,1,zi,1),(xi,2,yi,2,zi,2)…(xi,20,yi,20,zi,20)}
其中,表示第l个CSI数据包,然后,计算CSI数据幅值的方差,设定方差峰值三分之一处为行为判决门限,从而提取行为数据。之后,使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据xi进行聚类,其中xi可以表示为:
xi=(x1,i,…,xl,i,…,xL,i)
其中,xl,i=txl,m,n,且满足条件:i=(m-1)·N+n。根据骨节数据特征维度确定聚类中心向量的数量k,随机选取k个数据样本作为初始聚类中心,将聚类中心向量表示为μj(1≤j≤k)。然后,根据每个数据样本与每个聚类中心的欧氏距离,即||xi-μj||2(1≤i≤M×N,1≤j≤k),按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类,将每个类别中所有数据样本的均值作为该类别的新的聚类中心。聚类的目标是使各类聚类中心最优化,即最小化目标函数J:
接下来,判断聚类中心和目标函数J是否发生改变,若不变,则新的聚类中心为最优解,若改变,则对每个数据样本重新按照距离最小准则分类并更新聚类中心,重复至新的聚类中心和目标函数的值均不发生改变为止。
然后,分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰比),构成维度为k×7维的信息联合行为识别输入特征。
最后对同一动作的不同设备获取的数据特征标注相同的标签,构建分类器对提取的k×7维输入特征进行分类,从而实现Kinect与WiFi的信息联合目标行为识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011203253.0A CN112270276B (zh) | 2020-11-02 | 2020-11-02 | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011203253.0A CN112270276B (zh) | 2020-11-02 | 2020-11-02 | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112270276A true CN112270276A (zh) | 2021-01-26 |
CN112270276B CN112270276B (zh) | 2022-05-06 |
Family
ID=74344735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011203253.0A Active CN112270276B (zh) | 2020-11-02 | 2020-11-02 | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112270276B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103713525A (zh) * | 2014-01-02 | 2014-04-09 | 南京航空航天大学 | 采用Kinect的航天器交会对接地面演示验证系统及方法 |
CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
CN109344694A (zh) * | 2018-08-13 | 2019-02-15 | 西安理工大学 | 一种基于三维人体骨架的人体基本动作实时识别方法 |
CN109657572A (zh) * | 2018-12-04 | 2019-04-19 | 重庆邮电大学 | 一种基于Wi-Fi的墙后目标行为识别方法 |
CN109902614A (zh) * | 2019-02-25 | 2019-06-18 | 重庆邮电大学 | 一种基于局部时空特征的人体行为识别方法 |
CN110113116A (zh) * | 2019-05-14 | 2019-08-09 | 山东科技大学 | 基于wifi信道信息的人体行为识别方法 |
CN111225354A (zh) * | 2020-02-14 | 2020-06-02 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
WO2020107833A1 (zh) * | 2018-11-26 | 2020-06-04 | 平安科技(深圳)有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
-
2020
- 2020-11-02 CN CN202011203253.0A patent/CN112270276B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103713525A (zh) * | 2014-01-02 | 2014-04-09 | 南京航空航天大学 | 采用Kinect的航天器交会对接地面演示验证系统及方法 |
CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
CN109344694A (zh) * | 2018-08-13 | 2019-02-15 | 西安理工大学 | 一种基于三维人体骨架的人体基本动作实时识别方法 |
WO2020107833A1 (zh) * | 2018-11-26 | 2020-06-04 | 平安科技(深圳)有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
CN109657572A (zh) * | 2018-12-04 | 2019-04-19 | 重庆邮电大学 | 一种基于Wi-Fi的墙后目标行为识别方法 |
CN109902614A (zh) * | 2019-02-25 | 2019-06-18 | 重庆邮电大学 | 一种基于局部时空特征的人体行为识别方法 |
CN110113116A (zh) * | 2019-05-14 | 2019-08-09 | 山东科技大学 | 基于wifi信道信息的人体行为识别方法 |
CN111225354A (zh) * | 2020-02-14 | 2020-06-02 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
Non-Patent Citations (1)
Title |
---|
刘杰等: "基于Kinect人体动作识别技术的智能家居控制系统的研究", 《黑龙江科技信息》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112270276B (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Video-based fall detection for seniors with human pose estimation | |
Li et al. | Classification of gait anomalies from kinect | |
US9805255B2 (en) | Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action | |
Makihara et al. | The OU-ISIR gait database comprising the treadmill dataset | |
US8254633B1 (en) | Method and system for finding correspondence between face camera views and behavior camera views | |
Chen et al. | Discovering social interactions in real work environments | |
KR101286965B1 (ko) | 시선 추적 장치 및 방법 | |
JP2022510417A (ja) | 関節のある身体姿勢を検出するシステムおよび方法 | |
KR20180080081A (ko) | Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템 | |
EP3398111B1 (en) | Depth sensing based system for detecting, tracking, estimating, and identifying occupancy in real-time | |
Al-Naser et al. | Hierarchical Model for Zero-shot Activity Recognition using Wearable Sensors. | |
Lee et al. | Gait probability image: An information-theoretic model of gait representation | |
Clapés et al. | Multi-modal user identification and object recognition surveillance system | |
Waheed et al. | A novel deep learning model for understanding two-person interactions using depth sensors | |
Madhubala et al. | A vision based fall detection system for elderly people | |
Zhang et al. | Stereoscopic video saliency detection based on spatiotemporal correlation and depth confidence optimization | |
CN114511592B (zh) | 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统 | |
CN108334870A (zh) | Ar设备数据服务器状态的远程监控系统 | |
Nosheen et al. | Efficient Vehicle Detection and Tracking using Blob Detection and Kernelized Filter | |
CN112270276B (zh) | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 | |
Zhang et al. | Physical activity recognition based on motion in images acquired by a wearable camera | |
Tu et al. | Face and gesture based human computer interaction | |
Tu et al. | An intelligent video framework for homeland protection | |
Kim | A personal identity annotation overlay system using a wearable computer for augmented reality | |
Hu et al. | Coarse-to-fine activity annotation and recognition algorithm for solitary older adults |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |