CN113420778B - 一种基于Wi-Fi信号和深度相机的身份识别方法 - Google Patents

一种基于Wi-Fi信号和深度相机的身份识别方法 Download PDF

Info

Publication number
CN113420778B
CN113420778B CN202110544425.9A CN202110544425A CN113420778B CN 113420778 B CN113420778 B CN 113420778B CN 202110544425 A CN202110544425 A CN 202110544425A CN 113420778 B CN113420778 B CN 113420778B
Authority
CN
China
Prior art keywords
image
depth
target
csi
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110544425.9A
Other languages
English (en)
Other versions
CN113420778A (zh
Inventor
周肖
颜俊
朱卫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110544425.9A priority Critical patent/CN113420778B/zh
Publication of CN113420778A publication Critical patent/CN113420778A/zh
Application granted granted Critical
Publication of CN113420778B publication Critical patent/CN113420778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于Wi‑Fi信号和深度相机的身份识别方法。离线阶段，首先采集Wi‑Fi信号的信道状态信息（CSI）和目标的图像信息。然后利用CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，利用Grabcut图像分割算法提取深度图像中目标深度信息。最后利用卷积神经网络(CNN)进行基于位置和身份的分类学习。在线阶段，将接收到的CSI和图像测量值进行CSI幅度图像构建和目标深度信息提取后，先利用目标深度信息估计目标的位置，然后再利用CSI幅度信息完成身份识别。本发明先确定位置，再进行身份识别，消除了位置对身份识别测量值的影响，具有实现简单，识别性能高的优点。

Description

一种基于Wi-Fi信号和深度相机的身份识别方法
技术领域
本发明属于身份识别技术领域，具体涉及一种基于Wi-Fi信号和深度相机的身份识别方法。
背景技术
人类身份识别技术在社会治安和个人信息安全领域具有十分重要的作用，身份识别技术作为保证安全的前提得到工业界和学术界越来越多的关注，各种新型的身份识别技术正在成为研究热点。业界目前有许多身份识别的技术方法，例如虹膜识别，指纹识别，人脸识别等。在2004年，Bo Wu等人提出一种基于人脸识别的身份识别算法，其采用了一种比较成熟实用的多姿态人脸检测框架，达到了很高的准确率，但在实际应用中容易受限于图片采集环境的光亮条件。在2006年，Y.E.Du.提出一种基于虹膜识别的身份识别算法，RyanP. Adams等人提出一种基于指纹识别的身份识别算法，介绍了一种直接作用于图形的卷积神经网络，这些网络允许对输入为任意大小和形状的图的预测管道进行端到端学习，其体系结构概括了基于圆形指纹的标准分子特征提取方法。这些方法的准确性比使用摄像机更高，但收集生物识别数据经常会对用户造成不便，而且，生物识别数据可以伪造。
近年来，无线网络开始广泛部署，使得无线相关技术开始迅速发展。研究表明，无线网络不仅可以用来传输数据，还可以对周围环境的变化进行感知，如人员检测、室内定位、室内寻迹等。利用无线信号的信道状态信息进行身份识别逐渐引起研究人员的广泛关注。由于复杂背景环境的干扰，通常情况下，发射端的无线信号不会沿视距路径到达接收端，而是经由人体、办公器材及其他障碍物的反射、散射、衍射等多条路径传播。在接收端得到的多径叠加的信号就会携带反映环境的特征信息。与传统接收信号强度不同，信道状态信息是从无线链路接收到的分组中测量每个正交频分复用子载波，因而信道状态信息在短时间内的变化幅度要比接收信号强度小的多，而且其所含的信息更加丰富。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种基于Wi-Fi信号和深度相机的身份识别方法，通过图像分割算法Grabcut分割深度图像，通过深度信息和CSI信息构建身份识别数据库，充分利用深度信息和CSI信息降低位置因素的影响，提高身份识别的有效性和实用性。
本发明提供一种基于Wi-Fi信号和深度相机的身份识别方法，包括离线阶段和在线阶段，具体步骤如下，
离线阶段：
步骤S1、采集训练数据，当目标在参考位置点上，通过双目摄像头采集目标的RGB和深度图像，并利用无线网卡采集Wi-Fi信号的信道状态信息；
步骤S2、数据预处理；通过CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，通过Grabcut图像分割算法处理双目摄像头拍摄的图像，提取深度图像中目标深度信息；
步骤S3、分类学习；构建目标深度图像及位置标签训练数据库，利用卷积神经网络进行基于位置的分类学习，获取基于位置的分类模型；在每一个参考位置上，构建CSI幅度图像及身份标签训练数据库，利用卷积神经网络进行基于身份的分类学习，获取基于身份的分类模型；
在线阶段：
利用双目摄像头和无线网卡采集图像和CSI幅度信息，将接收到的CSI和图像测量值进行数据预处理，通过CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，通过Grabcut图像分割算法处理双目摄像头拍摄的图像，提取深度图像中目标深度信息；根据位置分类模型计算出目标位置；根据目标位置对应的身份分类模型识别出目标身份。
作为本发明的进一步技术方案，步骤S2中，利用Grabcut算法将双目摄像头输出的RGB图像进行分割，将输出的RGB图像对应的矩阵进行修改，人像位置设置为1，其余部分设置为0，然后将此矩阵与深度图像对应矩阵相乘，由于双目摄像头输出的深度图像与RGB图像是一一对应的，即可获取将人像分割出来的深度图像。
进一步的，在线阶段中，目标身份识别首先利用深度信息估计目标的位置，然后再利用CSI幅度信息完成身份识别。
本发明的优点在于，利用图像分割算法Grabcut分割深度图像，能够充分利用现有算法及设备，从而提高方法的有效性和实用性。利用深度信息和CSI信息构建身份识别数据库，能够充分利用深度信息和CSI信息来降低位置因素的影响。先利用深度信息确定位置，再利用CSI进行身份识别，从而消除位置的影响。因此两者的结合使用能够提升识别正确率。
附图说明
图1为本发明的方法流程示意图；
图2为本发明的离线分类学习中采用的CNN结构。
具体实施方式
请参阅图1，本实施例提供一种基于Wi-Fi信号和深度相机的身份识别方法，包括离线阶段和在线阶段，具体步骤如下，
离线阶段：
步骤S1、采集训练数据，当目标在参考位置点上，通过双目摄像头采集目标的RGB和深度图像，并利用无线网卡采集Wi-Fi信号的信道状态信息；
步骤S2、数据预处理；通过CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，通过Grabcut图像分割算法处理双目摄像头拍摄的图像，提取深度图像中目标深度信息；
步骤S3、分类学习；构建目标深度图像及位置标签训练数据库，利用卷积神经网络进行基于位置的分类学习，获取基于位置的分类模型；在每一个参考位置上，构建CSI幅度图像及身份标签训练数据库，利用卷积神经网络进行基于身份的分类学习，获取基于身份的分类模型；
在线阶段：
利用双目摄像头和无线网卡采集图像和CSI幅度信息，将接收到的CSI和图像测量值进行数据预处理，通过CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，通过Grabcut图像分割算法处理双目摄像头拍摄的图像，提取深度图像中目标深度信息；根据位置分类模型计算出目标位置；根据目标位置对应的身份分类模型识别出目标身份。
步骤S2中，利用Grabcut算法将双目摄像头输出的RGB图像进行分割，将输出的RGB图像对应的矩阵进行修改，人像位置设置为1，其余部分设置为0，然后将此矩阵与深度图像对应矩阵相乘，由于双目摄像头输出的深度图像与RGB图像是一一对应的，即可获取将人像分割出来的深度图像。
在线阶段中，目标身份识别首先利用深度信息估计目标的位置，然后再利用CSI幅度信息完成身份识别。
在识别区域的每个参考点上，分别安排不同人员站立，然后记录在接收机 测量的CSI值以及深度相机的深度图像。接着利用CSI的时域，空域和频域信 息构建CSI幅度图像，具体过程如下：首先，选取接收机和发射机的第一根天 线作为接收端和发送端，通过其产生的数据流构建NP×NK的CSI幅度矩阵， 其中NK、NP分别表示子载波数目和数据包的数目。其次，对幅度矩阵进行预 处理，通过hampel滤波去除CSI幅度矩阵中的异常值、使用平滑滤波去除高斯 噪声，再通过中值滤波去除脉冲噪声并且保留矩阵边缘信息。最后，利用线性映射方法，将幅度矩阵中元素数值按大小转化为不同颜色，形成CSI图像。
采用Grabcut算法对深度图像进行图像分割，Grabcut算法利用了图像中的纹理信息和边界信息，只要少量的用户交互操作即可得到比较好的分割结果。通过对分割图像的目标和背景区域的像素不断迭代，使得图像分割达到最优。
如图2所示，基于身份的分类学习中所采用的CNN结构。其中每一层的具体参数如下：
第一层卷积层，卷积核大小为3*3；第二层BN层；第三层池化层，卷积核大小为3*3；第四层卷积层，其大小为3*3；第五层BN层；第六层池化层，其大小为3*3；第七层卷积层，卷积核大小为3*3；第八层为BN层；第九层池化层，其大小为3*3；第十层全连接层，神经元个数为1024；第十一层全连接层，神经元个数为256；第十二层全连接层，神经元个数为128；第十三层全连接层，神经元个数为64；最后一层输出层。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (3)

1.一 种基于Wi-Fi信号和深度相机的身份识别方法，其特征在于，包括离线阶段和在线阶段，具体步骤如下，
离线阶段：
步骤S1、采集训练数据，当目标在参考位置点上，通过双目摄像头采集目标的RGB和深度图像，并利用无线网卡采集Wi-Fi信号的信道状态信息；
步骤S2、数据预处理；通过CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，通过Grabcut图像分割算法处理双目摄像头拍摄的图像，提取深度图像中目标深度信息；
步骤S3、分类学习；构建目标深度图像及位置标签训练数据库，利用卷积神经网络进行基于位置的分类学习，获取基于位置的分类模型；在每一个参考位置上，构建CSI幅度图像及身份标签训练数据库，利用卷积神经网络进行基于身份的分类学习，获取基于身份的分类模型；
在线阶段：
利用双目摄像头和无线网卡采集图像和CSI幅度信息，将接收到的CSI和图像测量值进行数据预处理，通过CSI测量值幅度信息的时域，空域和频域构建CSI幅度图像，通过Grabcut图像分割算法处理双目摄像头拍摄的图像，提取深度图像中目标深度信息；根据位置分类模型计算出目标位置；根据目标位置对应的身份分类模型识别出目标身份。
2.根据权利要求1所述的一种基于Wi-Fi信号和深度相机的身份识别方法，其特征在于，所述步骤S2中，利用Grabcut算法将双目摄像头输出的RGB图像进行分割，将输出的RGB图像对应的矩阵进行修改，人像位置设置为1，其余部分设置为0，然后将此矩阵与深度图像对应矩阵相乘，由于双目摄像头输出的深度图像与RGB图像是一一对应的，即可获取将人像分割出来的深度图像。
3.根据权利要求1所述的一种基于Wi-Fi信号和深度相机的身份识别方法，其特征在于，所述在线阶段中，目标身份识别首先利用深度信息估计目标的位置，然后再利用CSI幅度信息完成身份识别。
CN202110544425.9A 2021-05-19 2021-05-19 一种基于Wi-Fi信号和深度相机的身份识别方法 Active CN113420778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110544425.9A CN113420778B (zh) 2021-05-19 2021-05-19 一种基于Wi-Fi信号和深度相机的身份识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110544425.9A CN113420778B (zh) 2021-05-19 2021-05-19 一种基于Wi-Fi信号和深度相机的身份识别方法

Publications (2)

Publication Number Publication Date
CN113420778A CN113420778A (zh) 2021-09-21
CN113420778B true CN113420778B (zh) 2022-07-26

Family

ID=77712531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110544425.9A Active CN113420778B (zh) 2021-05-19 2021-05-19 一种基于Wi-Fi信号和深度相机的身份识别方法

Country Status (1)

Country Link
CN (1) CN113420778B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743374B (zh) * 2021-10-11 2023-11-07 南京邮电大学 一种基于信道状态信息呼吸感知的人员身份识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446828A (zh) * 2016-09-22 2017-02-22 西北工业大学 一种基于Wi‑Fi信号的用户身份识别方法
CN106899968A (zh) * 2016-12-29 2017-06-27 南京航空航天大学 一种基于WiFi信道状态信息的主动非接触身份认证方法
CN109587645A (zh) * 2018-11-12 2019-04-05 南京邮电大学 基于信道状态信息的室内环境下人员识别方法
CN112153736A (zh) * 2020-09-14 2020-12-29 南京邮电大学 一种基于信道状态信息的人员动作识别和位置估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446828A (zh) * 2016-09-22 2017-02-22 西北工业大学 一种基于Wi‑Fi信号的用户身份识别方法
CN106899968A (zh) * 2016-12-29 2017-06-27 南京航空航天大学 一种基于WiFi信道状态信息的主动非接触身份认证方法
CN109587645A (zh) * 2018-11-12 2019-04-05 南京邮电大学 基于信道状态信息的室内环境下人员识别方法
CN112153736A (zh) * 2020-09-14 2020-12-29 南京邮电大学 一种基于信道状态信息的人员动作识别和位置估计方法

Also Published As

Publication number Publication date
CN113420778A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Zhang et al. Wi-Fi sensing for joint gesture recognition and human identification from few samples in human-computer interaction
CN101551863B (zh) 基于非下采样轮廓波变换的遥感图像道路提取方法
Tan et al. Towards more accurate contactless fingerprint minutiae extraction and pose-invariant matching
CN102254319A (zh) 一种多层次分割的遥感影像变化检测方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
Chaudhary et al. Depth‐based end‐to‐end deep network for human action recognition
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN114360038B (zh) 基于深度学习的弱监督rpa元素识别方法及系统
CN111291818B (zh) 一种面向云掩膜的非均匀类别的样本均衡化方法
CN112132157B (zh) 一种基于树莓派的步态人脸融合识别方法
CN113420778B (zh) 一种基于Wi-Fi信号和深度相机的身份识别方法
Wang et al. License plate recognition system
CN111310719B (zh) 一种未知辐射源个体识别及检测的方法
CN114781463A (zh) 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备
Chen et al. Deep residual learning in modulation recognition of radar signals using higher-order spectral distribution
Liu et al. A multi-scale feature pyramid SAR ship detection network with robust background interference
CN113901931A (zh) 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法
CN109376719A (zh) 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法
CN108256551A (zh) 一种基于区域卷积神经网络的车辆检测方法
Fu et al. Infrared small dim target detection under maritime near sea-sky line based on regional-division local contrast measure
CN114676739B (zh) 一种基于Faster-RCNN的无线信号的时序动作检测和识别方法
Wu et al. Device-free human activity recognition with identity-based transfer mechanism
Guangjing et al. Research on static image recognition of sports based on machine learning
Xu et al. Object motion detection and data processing in large-scale particle image velocimetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant