CN110736986B - 基于现场可编程超材料的智能Wi-Fi成像方法与系统 - Google Patents

基于现场可编程超材料的智能Wi-Fi成像方法与系统 Download PDF

Info

Publication number
CN110736986B
CN110736986B CN201910993252.1A CN201910993252A CN110736986B CN 110736986 B CN110736986 B CN 110736986B CN 201910993252 A CN201910993252 A CN 201910993252A CN 110736986 B CN110736986 B CN 110736986B
Authority
CN
China
Prior art keywords
field programmable
target
programmable metamaterial
intelligent
metamaterial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910993252.1A
Other languages
English (en)
Other versions
CN110736986A (zh
Inventor
双雅
李昊洋
魏梦麟
赵晗汀
阮恒心
李廉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910993252.1A priority Critical patent/CN110736986B/zh
Publication of CN110736986A publication Critical patent/CN110736986A/zh
Application granted granted Critical
Publication of CN110736986B publication Critical patent/CN110736986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects

Abstract

本发明公布了基于现场可编程超材料的智能Wi‑Fi成像方法及系统，利用Wi‑Fi路由器、参考接收机、主接收机及工作频段覆盖Wi‑Fi频段的电控现场可编程超材料，搭建基于现场可编程超材料的智能Wi‑Fi成像系统；方法包括：直接利用Wi‑Fi信号探测目标，而无需向目标主动发射电磁波，再利用深度学习方法，实现对目标进行远距离和非视距的实时成像。本发明能够实现远距离和非视距的实时成像，兼具低成本和高效率等特点。

Description

基于现场可编程超材料的智能Wi-Fi成像方法与系统
技术领域
本发明属于人工智能、人工电磁材料和电磁成像交叉技术领域，涉及微波电磁成像技术，具体涉及一种基于深度学习与现场可编程超材料的智能Wi-Fi成像方法与系统。
背景技术
随着现代信息技术的快速发展，微波因具有无线传播和穿透性强等特点已经被广泛地应用于对周围未知环境的感知和监测，可实现远距离和非视距的目标探测与识别，极大地延伸了人类自身的感官功能。其中，微波电磁成像是一种利用微波获取目标几何参数和电参数的探测技术，目前在生物医学、空间探测、安全检查、资源勘测和国防建设等领域具有极为重要的应用价值。现有成熟的电磁成像方法主要依托于主动式雷达成像系统，具体包含相控阵和合成孔径两种形式。相控阵成像系统虽具有极好的辐射性能和极快的波束捷变时间，但是其系统架构复杂，体积笨重呈砖式，因大量使用微波收发组件导致系统耗能高、散热差并且价格昂贵。合成孔径成像系统采用机械移动单个雷达的方式获取数据，最终通过数据后处理获得成像结果，虽然一定程度上缓解了相控阵系统的体积大、质量高和成本高等问题，但是其牺牲时间成本为代价，导致波束捷变时间极慢，数据获取效率低下，无法实现实时成像。此外，文献[Li,L.,et al.,Machine-Learning ProgrammableMetasurface Imager,Nature Communications,10,1082,2019]和专利[CN106291545A]提出的基于可编程人工电磁表面的新型快速成像系统，虽然在原理上缓解了系统硬件成本高和效率低的问题，但是其所提出的成像系统仍然不够成熟完善，并且该成像系统与上述两种主动式雷达成像系统都需要单独的馈源照射目标，不仅额外占用频谱资源，导致有限的频率资源变得非常拥堵，而且主动式成像系统额外辐射的电磁波使得空间中的电磁环境变得更加复杂。在机场和医院等需要保护电磁环境的地方，复杂的电磁环境会造成航空运行安全隐患和影响医疗仪器的使用及患者安全。同时，上述的主动式成像系统要求被测目标进行配合，这在很多大程度上限制了人们活动的自由以及带来很差的体验感，使得该技术在应用层面遇到困难。
目前，随着高速率、大容量、低时延和低功耗的第五代(5G)移动通信技术的不断推进，运营商将积极部署大量的5G微基站和宏基站，并且应用大规模多天线技术(MassiveMIMO)逐步增强5G网络的覆盖范围，使得在未来社会生活中的每个角落里都存在无线信号，实现随时随地万物连接。以Wi-Fi信号为例，在5G时代还没有完全到来的今天，Wi-Fi信号在室内环境中已经几乎无处不在，成为人们日常生活中必不可少的一部分。这种现成的、价格低廉的电磁资源若可以充分利用，使其作为有用的电磁感知载体，不仅可以有效缓解频谱资源占用问题、减少电磁污染和降低成本，而且适应现代化城市快速发展的趋势，顺应5G时代的新潮流。
另外，由于智能家居和智慧城市建设的不断推动，人们迫切地希望在更加复杂场景下提取目标的信息，因此复杂环境中的多目标实时成像技术逐渐成为人们关注和研究的热点，但由于难度大、计算复杂等原因，复杂环境中的多目标实时成像一直面临难以解决的技术问题。
发明内容
为了解决现有成像技术中存在的技术难点，本发明提出了一种基于现场可编程超材料的智能Wi-Fi成像方法和系统，该技术直接利用室内无处不在的Wi-Fi信号探测目标，无需向目标主动发射电磁波，并利用深度学习方法，实现远距离和非视距的实时成像，兼具低成本和高效率等特点。
本发明的原理是：通常，在复杂场景下获取的接收数据中包含大量杂乱的背景信息，这些背景信息的干扰导致难以提取目标的有效信息。因此，本发明通过将Wi-Fi信号聚焦在目标上，减弱背景的影响，提高接收数据的信噪比。并且，为了获得高分辨率的成像结果，接收数据不仅需要足够多，而且需要包含充足的目标信息，因此要求照射在目标上的Wi-Fi信号在时间和空间上呈多样性变化。由于现场可编程超材料具有在微秒级别的捷变时间内灵活、动态调控电磁波的独特优势，并且系统架构简单、成本低和易于实现。所以，本发明利用现场可编程超材料对Wi-Fi信号进行时空调制，使得照射在目标上的Wi-Fi信号在时间和空间上的变化呈多样性，从而获得大量富含目标信息的接收数据。得益于现场可编程超材料具有极快捷变时间的特点，在本发明提出的成像方法中仅使用两个接收机即可在极短时间内获得大量丰富的接收数据。而深度学习是一种基于数据驱动的自动学习数据潜在特征的方法。进一步，为了提高求解电磁逆问题的速度和精度，并且快速地获得在复杂环境中目标的高质量成像结果，本发明利用深度学习的方法对大量的接收数据进行自动表征学习，建立准确提取数据模式特征的人工神经网络，最终实现高效率、高质量和低成本的智能实时成像。
本发明的技术方案是：
一种基于现场可编程超材料的智能Wi-Fi成像方法，直接利用Wi-Fi信号探测目标，而无需向目标主动发射电磁波，再利用深度学习方法，实现对目标进行远距离和非视距的实时成像；包括如下步骤：
1)搭建基于现场可编程超材料的智能Wi-Fi成像系统：
本发明的基于现场可编程超材料的智能Wi-Fi成像系统包括：Wi-Fi路由器、参考接收机、主接收机以及工作频段覆盖Wi-Fi频段的电控现场可编程超材料。其中，具体实施时，Wi-Fi路由器为普通商用无线路由器，主接收机用于接收经过待成像目标散射的Wi-Fi信号，参考接收机用于捕获没有经过待成像目标散射的Wi-Fi直达波信号。现场可编程超材料是由许多独立控制的可编程单元组成的平面型反射式二维周期结构的装置，每个可编程单元上集成一个或多个可调谐元件(PIN二极管或变容二极管)，通过改变可调谐元件的偏置状态可以获得不同的电磁响应。当现场可编程超材料表面的单元状态在时间和空间上呈现不同分布时，可以实现对照射在目标上的Wi-Fi信号的时空调控。将现场可编程超材料放置于Wi-Fi路由器附近，参考接收机与Wi-Fi路由器保持相对较近的距离，保证参考接收机接收到的Wi-Fi直达波信号足够强。主接收机位于被测目标附近。
本发明的基于现场可编程超材料的智能Wi-Fi成像系统，其中，设计现场可编程超材料，具体如下：
为了实现有效调控Wi-Fi信号，本发明中采用的现场可编程超材料有以下特点：
第一，工作频率覆盖一个或多个频段；
目前Wi-Fi信号的工作频率范围为2.4GHz-2.483GHz和5.150GHz-5.850GHz两个频段，因此，只有当电控现场可编程超材料的工作频率覆盖其中的一个或多个频段时才能对Wi-Fi信号产生响应。
第二，现场可编程超材料具备高反射性能的调相结构；
由于Wi-Fi信号对于现场可编程超材料属于被动式馈源，所以要求现场可编程超材料是具备高反射性能的调相结构，在实现对Wi-Fi信号波前调控的同时不吸收和不透射能量，即其对电磁波的反射幅度理论上应该等于1。
2)利用智能Wi-Fi成像系统中的现场可编程超材料聚焦Wi-Fi信号，根据目标的聚焦位置获取现场可编程超材料所对应的可调谐元件的开关状态；执行如下操作：
21)获得在Wi-Fi信号照射下的现场可编程超材料的辐射场；
在Wi-Fi信号照射下的现场可编程超材料的辐射场Etot(r)可以表示为式(1)：
Figure BDA0002238949140000031
其中，r表示观测区域内的点；Etot(r)表示现场可编程超材料的辐射场；
Figure BDA0002238949140000032
表示现场可编程超材料表面第(nx,ny)个单元的位置，nx和ny分别表示现场可编程超材料表面的单元在x和y方向上的索引，Ein(r)表示观测区域内无线路由器辐射的Wi-Fi信号。N表示沿着x方向上现场可编程超材料表面单元的总数，M表示沿着y方向上现场可编程超材料表面单元的总数，
Figure BDA0002238949140000041
表示在现场可编程超材料表面第(nx,ny)个单元处的无线路由器辐射的Wi-Fi信号，
Figure BDA0002238949140000042
表示现场可编程超材料表面第(nx,ny)个单元分别在“off”和“on”两种开关状态下的表面分布电流(“off”表示现场可编程超材料单元表面的可调谐元件处于截止状态，“on”则表示可调谐元件处于导通状态)，A是传输矩阵，其表征现场可编程超材料单元的表面电流与其对应的辐射场之间的关系，运算符⊙表示元素点乘。
当给定现场可编程超材料表面可调谐元件的开关状态S时,现场可编程超材料的辐射场可以根据式(1)获得，其中S为M×N的矩阵。
22)定义Wi-Fi信号聚焦在指定位置处的约束条件为：
Figure BDA0002238949140000043
其中，Etarget(x,y)表示观测区域D内期望的Wi-Fi信号强度的空间分布，Dspot表示包含于观测区域D内的聚焦范围。
23)根据指定的聚焦位置获取现场可编程超材料表面可调谐元件的开关状态；
因此，上述问题，即根据指定的聚焦位置获取现场可编程超材料表面可调谐元件的开关状态S，可以简化为已知目标函数(式(1))和约束条件(式(2))，求解满足约束条件的最佳解S。针对此类典型的优化问题，可以采用遗传算法或粒子群算法等优化算法，即可获得满足聚焦条件Etarget(x,y)的最佳开关状态S。
3)获取复杂场景下目标对应的Wi-Fi信号相关系数矩阵的数据集；
31)利用电控式现场可编程超材料实现对Wi-Fi信号聚焦；利用聚焦后的Wi-Fi信号对单个目标样本进行多次扫描，获取两个接收机对应的多次测量数据；
基于现场可编程超材料的智能Wi-Fi成像系统的具体Wi-Fi数据采集过程如下：
根据步骤21)分别计算得到Wi-Fi信号聚焦在目标样本P个不同位置处对应的现场可编程超材料的开关状态S(P为≥1的自然数)。利用现场可编程超材料具有极快捷变时间的特点，使得现场可编程超材料在短时间内切换得到的P组不同开关状态S，实现动态调控Wi-Fi信号聚焦在目标样本的P个不同位置处，从而在极短时间内利用Wi-Fi信号对目标进行P次扫描。在每次扫描过程中，主接收机和参考接收机在同一时刻分别记录一组接收数据。其中，主接收机采集经过待成像目标样本散射的接收数据，该接收数据包含目标样本的多种特征信息；与此同时，参考接收机记录没有经过待成像目标散射的接收数据，该接收数据属于Wi-Fi直达波信号，不包含目标信息。经过对一个目标样本进行P次动态扫描后，主接收机和参考接收机分别记录了P组接收数据。对被测目标库中的每个样本分别进行上述数据采集操作，假设目标库的样本总数为W，则参考接收机和主接收机采集的Wi-Fi数据总数均为W×P组，其中W为≥1的自然数。
32)根据获取的Wi-Fi信号接收数据集计算相关系数矩阵
由于Wi-Fi信号属于调制信号，其中包含的基带信号对提取目标信息产生干扰，所以通过计算参考接收机和主接收机之间的相关系数矩阵，消除Wi-Fi信号中基带信号带来的影响。
设定参考接收机和主接收机在第i次测量中接收到的时域Wi-Fi信号分别为：xi(t)和yi(t)，其中，i为大于等于1的自然数，对xi(t)和yi(t)进行相关性分析后便可以消除Wi-Fi信号中基带信号的影响，突出目标的信息。因此，Wi-Fi信号xi(t)和yi(t)之间的相关系数
Figure BDA0002238949140000051
可以表示为式(3)：
Figure BDA0002238949140000052
其中，τ为两个信号xi(t)和yi(t-τ)之间的时延；
Figure BDA0002238949140000053
为信号xi(t)和yi(t)之间的相关系数。为了运算方便，将
Figure BDA0002238949140000054
可以改写为列向量，标记为
Figure BDA0002238949140000055
在对每个目标样本进行P次扫描测量后可以得到相关系数矩阵Rxy，即
Figure BDA0002238949140000056
总数为W的目标样本与其对应测量的W组相关系数矩阵Rxy共同构成用于训练人工神经网络的数据集。虽然深度学习具有强大的数据感知和分析能力，能够建立复杂数据的结构特征。但是，深度学习高度依赖数据集，数据量的增强可以显著提高其性能，所以为了得到高质量的成像结果，需要构建一个规模大的目标数据集，即目标样本的数量W需要足够多。得益于现场可编程超材料具有微秒级别的捷变时间，所以数据集可以在短时间内获取。
4)训练人工神经网络
将步骤32)中获取的相关系数矩阵数据集随机划分为三部分：第一部分用于训练神经网络参数，称之为训练样本集；第二部分用于验证人工神经网络的准确度，称之为验证样本集；第三部分用于测试人工神经网络的泛化能力，称之为测试样本集。
41)将训练样本集中的相关系数矩阵Rxy作为人工神经网络的输入，对应的真实的目标样本作为人工神经网络的输出，训练神经网络。
42)将验证样本集中的相关系数矩阵Rxy作为人工神经网络的输入，其对应的真实目标样本作为人工神经网络的标准输出，用于交叉验证人工神经网络的精度，如果误差在允许范围内，则人工神经网络训练完毕，进入步骤43)。如果误差不在允许范围内，则返回步骤41)重新训练人工神经网络，直至误差满足条件，即得到训练好的智能Wi-Fi成像的人工神经网络。
43)利用训练好的智能Wi-Fi成像的人工神经网络，对待成像目标实现智能Wi-Fi成像；
将待成像目标的数据(如测试样本集中的相关系数矩阵Rxy)作为步骤42)中验证通过的人工神经网络的输入，则人工神经网络的输出即为对应目标样本的成像结果。
通过上述步骤，即实现基于现场可编程超材料的智能Wi-Fi成像。
本发明提供一种基于深度学习与现场可编程超材料的智能Wi-Fi成像系统与方法。与现有技术相比，本发明具有如下技术优势：
(一)本发明无需向目标主动发射电磁波，而是直接利用无处不在的Wi-Fi信号获取目标信息。不仅可以有效缓解频谱资源占用问题、减少电磁污染和降低成本，而且适应现代化城市快速发展的趋势，顺应5G时代的新潮流。
(二)本发明无需被测目标主动配合，无需佩戴可穿戴设备，更加易于实际应用。
(三)本发明的成像系统依托于成本低和结构简单的现场可编程超材料，且只需要两个接收机，大大降低了成像系统的成本。
(四)本发明通过调控现场可编程超材料将Wi-Fi信号聚焦在目标上，提高了接收数据的信噪比，减弱了背景的干扰。
(五)本发明利用现场可编程超材料具有微秒级别捷变时间的特点，使得Wi-Fi信号在聚焦后对目标进行快速动态扫描，可以在极短时间内获取大量包含目标信息的数据，提高了数据获取的速度，增强了成像效率，有利于实现实时成像。
(六)本发明与深度学习相结合，借助其强大的数据感知和分析能力，对复杂场景下获取的接收数据分析数据特征和纹理，实现复杂环境下的目标成像，扩大了该技术应用场景。
(七)本发明通过训练人工神经网络分析大量的接收数据，降低了算法复杂度，提高了计算精度和计算速度。
附图说明
图1是本发明的基于现场可编程超材料的智能Wi-Fi成像系统示意图；
图2是本发明的一种基于现场可编程超材料的智能Wi-Fi成像系统与方法的实施例中的现场可编程超材料的实物图。其中，图2(a)为现场可编程超材料实物的正面图，图2(b)为现场可编程超材料实物的背面图；
图3是本发明的一种基于现场可编程超材料的智能Wi-Fi成像系统与方法的实施例中利用现场可编程超材料实现在不同位置处聚焦Wi-Fi信号的结果图；
图4是为图3聚焦结果图对应的现场可编程超材料表面PIN二极管的开关状态分布，其中白色表示PIN二极管导通，黑色表示PIN二极管截止；
图5是本发明的一种基于现场可编程超材料的智能Wi-Fi成像系统与方法实施例中成像结果图，其中(a)～(d)分别是不同的被测人体目标样本，(e)～(h)分别对应(a～d)样本测量得到的相关系数矩阵，(i)～(l)是对应(e)～(h)测量数据的人工神经网络输出成像结果；
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于深度学习与现场可编程超材料的智能Wi-Fi成像系统与方法。如图1所示，本发明的基于现场可编程超材料的智能Wi-Fi成像系统具体包括：Wi-Fi路由器2、一个参考接收机3、一个主接收机5以及工作频段覆盖Wi-Fi频段的电控现场可编程超材料1。其中，Wi-Fi路由器为普通商用无线路由器，主接收机接收经过目标4散射的Wi-Fi信号,参考接收机用于捕获Wi-Fi直达波信号。现场可编程超材料是由许多独立控制的可编程单元组成的平面型反射式二维周期结构，每个可编程单元上集成一个或多个可调谐元件(PIN二极管或变容二极管)，通过改变可调谐元件的偏置状态可以获得不同的电磁响应。当现场可编程超材料的单元状态在时间和空间上呈现不同分布时，可以实现对照射在目标上的Wi-Fi信号的时空调控。将现场可编程超材料放置于Wi-Fi路由器附近，参考接收机与Wi-Fi路由器保持相对较近的距离，保证参考接收机接收到的Wi-Fi信号直达波足够强。主接收机接收经过目标散射的Wi-Fi信号，因此要求主接收机位于被测目标附近。利用现场可编程超材料具有极快捷变时间的特点，使得全部可编程单元在短时间内切换P组不同的偏置状态，实现动态调控Wi-Fi信号聚焦在某个目标样本的不同位置处，从而在极短时间内利用Wi-Fi信号对目标进行扫描，其中P为≥1的自然数。主接收机采集经过待测目标样本散射的P组接收数据，该数据包含该目标样本多种特征信息，与此同时参考接收机记录对应的不经过待测目标样本散射的P组接收数据。对被测目标库中的每个样本分别进行上述数据采集操作，假设目标库的样本总数为W，则参考接收机和主接收机采集的数据总数分别为W×P组，其中W为≥1的自然数。分别计算参考接收机和主接收机每次测量得到的Wi-Fi数据之间的相关系数，当目标的样本总数W足够多的时候，即可建立一个规模大、信息丰富的相关系数矩阵数据集,将进一步用于训练人工神经网络，得到高质量的成像结果。过程包括：利用电控式现场可编程超材料实现对Wi-Fi信号聚焦；利用聚焦后的Wi-Fi信号对单个目标样本进行P次扫描，获取两个接收机对应的P组测量数据；计算两个接收机得到的P组测量数据之间的相关系数，得到相关系数矩阵。对所有的目标样本重复上述步骤，建立对应的Wi-Fi信号相关系数矩阵的大规模数据库；将大规模数据库作为人工神经网络的输入，真实目标样本作为人工神经网络的输出，训练并且测试人工神经网络。
具体实施包括如下步骤：
(1)搭建基于现场可编程超材料的智能Wi-Fi成像系统
本实施例考虑在室内复杂环境中利用Wi-Fi信号和现场可编程超材料实现人体目标成像的问题。Wi-Fi成像系统包含一台主控电脑、一台Wi-Fi路由器、工作频率覆盖2.4GHz-2.483GHz的现场可编程超材料、一台示波器和两个线极化Bowtie天线。其中,现场可编程超材料是一比特相位量化的电控式调相结构，具体结构可参考文献[Ya S,MenglinW,Hengxin R,et al.Programmable Metasurface for Manipulating Wi-Fi Signals[C]//201812th International Symposium on Antennas,Propagation and EM Theory(ISAPE).IEEE,2018]。
如图2所示，现场可编程超材料的尺寸为1296mm×1728mm,其表面集成了768个PIN二极管。通过控制PIN二极管的开关状态，可以调控入射Wi-Fi信号的相位改变180度，并且该现场可编程超材料在整个工作频段内对Wi-Fi信号的反射幅度大于0.85。现场可编程超材料表面的PIN二极管受控于现场可编程门阵列(Field Programmable Gate Array，缩写为FPGA)控制板，可实现在2us的时间内切换PIN二极管的状态。
成像系统的具体连接方式为：主控电脑与示波器通过网线连接，主控电脑与FPGA控制板通过USB口连接。两个Bowtie天线分别连接到示波器的两个通道，其中一个Bowtie天线作为参考接收天线，另一个Bowtie天线作为主接收天线。
(2)聚焦Wi-Fi信号
在本实施例中，利用现场可编程超材料聚焦Wi-Fi信号在人体的不同关键位置处。如图3(a～f)所示，分别展示的是将Wi-Fi信号聚焦在人体中心、左半部分、右半部分、头部、腿部以及同时聚焦在头部和腿部的情况。图4给出了这6种情况下可编程超材料表面上的可调谐元件PIN二极管所对应的开关状态分布。值得一提的是，图3和4仅仅展示了部分聚焦情况。在本实施例中，一共选取了63组不同的聚焦场景，共同构成一组对某个人体目标样本的测量。将这63组聚焦情况对应的开关状态编码预先存储在FPGA控制板中，构成一组时间序列，即可实现利用Wi-Fi信号在极短时间(≈126us)对人体的动态扫描。
(3)获取原始数据
在本实施例中，总计采集了5000个人体姿势样本数据。具体采集步骤为：
①设置示波器的扫描模式为TRIGgered，参考通道触发电平为0.02V，用于参考接收机捕获Wi-Fi信号的帧头。
②主控电脑通过串口向FPGA控制板发送63组聚焦对应的开关状态编码数据，将其存储在FPGA控制板中。
③对于第i个人体姿势样本，FPGA控制板按照固定时间间隔2us依次执行该63组聚焦的编码数据，则现场可编程超材料的PIN二极管状态对应地等间隔改变63次，即现场可编程超材料实现聚焦Wi-Fi信号后对人体目标进行63次扫描，耗时126us。每当可编程超材料的响应切换一次，主控电脑控制示波器记录当前参考通道和接收通道的数据，数据时间长度为1us，采样点数为10000。经过63次测量之后，主接收天线和参考接收天线获取的所有Wi-Fi信号数据分别构成该人体姿势样本的两组测量数据。
④对每个人体姿势样本都执行操作③，直至5000个人体姿势对应的数据采集结束。最终获取5000个人体姿势对应的5000组主接收机获取的Wi-Fi信号数据和5000组参考接收机获取的数据。
(4)训练人工神经网络
首先对5000组主接收记录的接收数据和5000组参考接收机记录的接收数据进行相关性分析，得到数量为5000的相关系数矩阵Rxy，作为人工神经网络的样本数据集。将获取的数据集随机划分为三部分：第一部分的训练样本集数量为4000，用于训练神经网络参数；第二部分的验证样本集的数量为500，用于验证人工神经网络的准确度；第三部分的测试样本集数量为500，用于测试人工神经网络的泛化能力。本实施例中的人工神经网络由卷积神经网络构成，该卷积神经网络共由9层卷积层，8层反卷积层构成。在浅层网络使用较大卷积核充分利用尽可能多的数据以便精准的提取目标特征。
在人工神经网络训练完毕后，利用测试样本集对其进行测试，成像结果如图5所示，其中(a～d)为部分真实人体姿势样本，(e～h)为(a～d)样本对应的测量得到的相关系数矩阵，(i～l)为人工神经网络输出的成像结果。可见，人工神经网络输出的成像结果与实际人体姿势非常吻合，证明了本发明的基于深度学习与现场可编程超材料的Wi-Fi成像方法的可行性与有效性。
最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于现场可编程超材料的智能Wi-Fi成像方法，直接利用Wi-Fi信号探测目标，而无需向目标主动发射电磁波，再利用深度学习方法，实现对目标进行远距离和非视距的实时成像；包括如下步骤：
1)利用Wi-Fi路由器、参考接收机、主接收机及工作频段覆盖Wi-Fi频段的电控现场可编程超材料，搭建基于现场可编程超材料的智能Wi-Fi成像系统；
2)利用智能Wi-Fi成像系统中的现场可编程超材料聚焦Wi-Fi信号，根据目标的聚焦位置获取现场可编程超材料所对应的可调谐元件的开关状态；执行如下操作：
21)获得在Wi-Fi信号照射下的现场可编程超材料的辐射场；
在Wi-Fi信号照射下的现场可编程超材料的辐射场Etot(r)表示为式(1)：
Figure FDA0002238949130000011
其中，r表示观测区域内的点；Etot(r)表示现场可编程超材料的辐射场；
Figure FDA0002238949130000012
表示现场可编程超材料表面第(nx,ny)个单元的位置，nx和ny分别表示现场可编程超材料表面的单元在x和y方向上的索引，Ein(r)表示观测区域内无线路由器辐射的Wi-Fi信号；N表示沿着x方向上现场可编程超材料表面单元的总数，M表示沿着y方向上现场可编程超材料表面单元的总数，
Figure FDA0002238949130000013
表示在现场可编程超材料表面第(nx,ny)个单元处的无线路由器辐射的Wi-Fi信号，
Figure FDA0002238949130000014
表示现场可编程超材料表面第(nx,ny)个单元分别在“off”和“on”两种开关状态下的表面分布电流；“off”表示现场可编程超材料单元表面的可调谐元件处于截止状态，“on”则表示可调谐元件处于导通状态；A是传输矩阵，表示现场可编程超材料单元的表面电流与其对应的辐射场之间的关系，运算符⊙表示元素点乘；
22)定义Wi-Fi信号聚焦在指定位置处的约束条件为式2：
Figure FDA0002238949130000015
其中，Etarget(x,y)表示观测区域D内期望的Wi-Fi信号强度的空间分布，Dspot表示包含于观测区域D内的聚焦范围；
23)根据指定的聚焦位置获取现场可编程超材料表面可调谐元件的开关状态；
根据式(1)的目标函数和式(2)的约束条件，求解满足约束条件的最佳解，即为现场可编程超材料表面可调谐元件的开关状态S，S为M×N的矩阵；
3)获取复杂场景下目标对应的Wi-Fi信号相关系数矩阵的数据集；
31)利用基于现场可编程超材料的智能Wi-Fi成像系统，对被测目标库中的每个样本采集Wi-Fi数据，参考接收机和主接收机采集的Wi-Fi数据总数均为W×P组，其中W为目标库的样本总数；P为Wi-Fi信号聚焦在目标样本对应的现场可编程超材料的开关状态的不同位置的个数；W和P均为≥1的自然数；
32)根据获取的Wi-Fi信号接收数据集，计算相关系数矩阵；
设定参考接收机和主接收机在第i次测量中接收到的时域Wi-Fi信号分别为：xi(t)和yi(t)，其中，i为大于等于1的自然数，Wi-Fi信号xi(t)和yi(t)之间的相关系数
Figure FDA0002238949130000021
表示为式(3)：
Figure FDA0002238949130000022
其中，τ为两个信号xi(t)和yi(t-τ)之间的时延；
Figure FDA0002238949130000023
为信号xi(t)和yi(t)之间的相关系数；
将
Figure FDA0002238949130000024
改写为列向量，标记为
Figure FDA0002238949130000025
在对每个目标样本进行P次扫描测量后可以得到相关系数矩阵Rxy，表示为式(4)：
Figure FDA0002238949130000026
总数为W的目标样本与其对应测量的W组相关系数矩阵Rxy共同构成用于训练人工神经网络的数据集；
4)训练人工神经网络，执行如下操作：
将步骤32)中获取的相关系数矩阵数据集随机划分为训练样本集、验证样本集、测试样本集，分别用于训练神经网络参数、验证人工神经网络的准确度、测试人工神经网络的泛化能力；
41)将训练样本集中的相关系数矩阵Rxy作为人工神经网络的输入，对应的真实的目标样本作为人工神经网络的输出，训练人工神经网络；
42)将验证样本集中的相关系数矩阵Rxy作为人工神经网络的输入，对应的真实目标样本作为人工神经网络的标准输出，用于交叉验证人工神经网络的精度；
如果误差在允许范围内，则人工神经网络训练完毕，进入步骤43)；
如果误差不在允许范围内，则返回步骤41)重新训练人工神经网络，直至误差满足条件，即得到训练好的智能Wi-Fi成像的人工神经网络；
43)利用训练好的智能Wi-Fi成像的人工神经网络，对待成像目标实现智能Wi-Fi成像；
将待成像目标的数据作为训练好的智能Wi-Fi成像的人工神经网络的输入，网络的输出即为对应目标样本的成像结果；
通过上述步骤，即实现基于现场可编程超材料的智能Wi-Fi成像。
2.如权利要求1所述基于现场可编程超材料的智能Wi-Fi成像方法，其特征是，步骤31)利用电控式现场可编程超材料实现对Wi-Fi信号聚焦；利用聚焦后的Wi-Fi信号对单个目标样本进行多次扫描，获取两个接收机对应的多次测量数据。
3.如权利要求1所述基于现场可编程超材料的智能Wi-Fi成像方法，其特征是，步骤31)基于现场可编程超材料的智能Wi-Fi成像系统采集Wi-Fi数据的过程如下：
根据步骤2)分别计算得到Wi-Fi信号聚焦在目标样本P个不同位置处对应的现场可编程超材料的开关状态S，P为≥1的自然数；
将现场可编程超材料在短时间内切换得到P组不同开关状态S；
根据P组不同开关状态S实现动态调控Wi-Fi信号聚焦在目标样本的P个不同位置处，从而在极短时间内利用Wi-Fi信号对目标进行P次扫描；
在每次扫描过程中，主接收机和参考接收机在同一时刻分别记录一组接收数据；其中，主接收机采集经过待成像目标样本散射的接收数据，该接收数据包含目标样本的多种特征信息；同时参考接收机记录没有经过待成像目标散射的接收数据，该接收数据属于Wi-Fi直达波信号，不包含目标信息；
经过对一个目标样本进行P次动态扫描后，主接收机和参考接收机分别记录了P组接收数据；
对被测目标库中的每个样本分别进行上述数据采集操作，参考接收机和主接收机采集的Wi-Fi数据总数均为W×P组，其中W为目标库的样本总数，W为≥1的自然数。
4.如权利要求1所述基于现场可编程超材料的智能Wi-Fi成像方法，其特征是，所述基于现场可编程超材料的智能Wi-Fi成像系统中：
主接收机用于接收经过待成像目标散射的Wi-Fi信号；
参考接收机用于捕获没有经过待成像目标散射的Wi-Fi直达波信号；
现场可编程超材料为由许多独立控制的可编程单元组成的平面型反射式二维周期结构装置，每个可编程单元上集成一个或多个可调谐元件，通过改变可调谐元件的偏置状态获得不同的电磁响应。
5.如权利要求4所述基于现场可编程超材料的智能Wi-Fi成像方法，其特征是，现场可编程超材料置于Wi-Fi路由器附近；参考接收机与Wi-Fi路由器保持相对较近的距离；主接收机位于被测目标附近。
6.如权利要求4所述基于现场可编程超材料的智能Wi-Fi成像方法，其特征是，现场可编程超材料的工作频率覆盖Wi-Fi信号的工作频率范围为2.4GHz-2.483GHz和5.150GHz-5.850GHz两个频段中的一个或多个频段。
CN201910993252.1A 2019-10-18 2019-10-18 基于现场可编程超材料的智能Wi-Fi成像方法与系统 Active CN110736986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910993252.1A CN110736986B (zh) 2019-10-18 2019-10-18 基于现场可编程超材料的智能Wi-Fi成像方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993252.1A CN110736986B (zh) 2019-10-18 2019-10-18 基于现场可编程超材料的智能Wi-Fi成像方法与系统

Publications (2)

Publication Number Publication Date
CN110736986A CN110736986A (zh) 2020-01-31
CN110736986B true CN110736986B (zh) 2021-06-04

Family

ID=69269286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993252.1A Active CN110736986B (zh) 2019-10-18 2019-10-18 基于现场可编程超材料的智能Wi-Fi成像方法与系统

Country Status (1)

Country Link
CN (1) CN110736986B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364969B (zh) * 2020-03-06 2023-05-12 华为技术有限公司 一种非视距物体的成像方法和电子设备
CN111428585B (zh) * 2020-03-09 2022-04-19 北京航空航天大学 一种基于深度学习的超材料太赫兹谱学识别方法
CN113447906B (zh) * 2021-08-31 2022-01-04 江苏易珩空间技术有限公司 一种基于信息超构表面的探测识别方法、装置、系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103635847A (zh) * 2011-06-21 2014-03-12 富士胶片株式会社 变焦镜头和成像装置
CN105048649A (zh) * 2015-08-12 2015-11-11 南昌大学 基于电磁超材料频率选择表面的环境射频能量收集器
CN106200252A (zh) * 2016-08-09 2016-12-07 深圳信息职业技术学院 多角度空间一次成像的拍摄装置
CN106264608A (zh) * 2016-10-12 2017-01-04 湖南润泽医疗影像科技有限公司 无线彩超3d成像系统及数据处理方法
CN106291545A (zh) * 2016-08-03 2017-01-04 北京大学 一种基于可编程人工电磁表面的成像系统及其成像方法
CN106872975A (zh) * 2017-02-27 2017-06-20 东南大学 一种毫米波主动式近场成像装置
CN107024693A (zh) * 2017-03-07 2017-08-08 西安交通大学 一种单发射体制的雷达关联成像方法
CN107833180A (zh) * 2017-10-27 2018-03-23 北京大学 一种利用复数域神经网络快速求解非线性电磁逆散射问题的方法
CN207556672U (zh) * 2017-08-29 2018-06-29 内蒙古北控易嘉生态环境治理有限公司 一种基于红外光谱的矸石山无人机温度动态监测系统
CN108775875A (zh) * 2018-08-31 2018-11-09 苏州大学 一种基于色散光谱编码的微结构形貌测量方法及其装置
CN108776336A (zh) * 2018-06-11 2018-11-09 电子科技大学 一种基于emd的自适应穿墙雷达静止人体目标定位方法
CN108828587A (zh) * 2018-03-30 2018-11-16 北京大学 基于WiFi信号的穿墙成像方法
CN108872980A (zh) * 2018-06-19 2018-11-23 电子科技大学 一种基于窄带系统的自适应穿墙成像方法
CN109085578A (zh) * 2018-06-29 2018-12-25 湖北大学 一种基于wlan信号的三维成像系统及其实现方法
CN109919902A (zh) * 2017-12-08 2019-06-21 诺基亚技术有限公司 用于减少衍射效应的互补孔径
CN110081977A (zh) * 2019-05-22 2019-08-02 北京理工大学 一种基于压缩感知的可调滤光器型高光谱成像仪及方法
CN110190923A (zh) * 2019-05-31 2019-08-30 北京大学 一种基于非合作盲源信号的潜伏通信系统及方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103635847A (zh) * 2011-06-21 2014-03-12 富士胶片株式会社 变焦镜头和成像装置
CN105048649A (zh) * 2015-08-12 2015-11-11 南昌大学 基于电磁超材料频率选择表面的环境射频能量收集器
CN106291545A (zh) * 2016-08-03 2017-01-04 北京大学 一种基于可编程人工电磁表面的成像系统及其成像方法
CN106200252A (zh) * 2016-08-09 2016-12-07 深圳信息职业技术学院 多角度空间一次成像的拍摄装置
CN106264608A (zh) * 2016-10-12 2017-01-04 湖南润泽医疗影像科技有限公司 无线彩超3d成像系统及数据处理方法
CN106872975A (zh) * 2017-02-27 2017-06-20 东南大学 一种毫米波主动式近场成像装置
CN107024693A (zh) * 2017-03-07 2017-08-08 西安交通大学 一种单发射体制的雷达关联成像方法
CN207556672U (zh) * 2017-08-29 2018-06-29 内蒙古北控易嘉生态环境治理有限公司 一种基于红外光谱的矸石山无人机温度动态监测系统
CN107833180A (zh) * 2017-10-27 2018-03-23 北京大学 一种利用复数域神经网络快速求解非线性电磁逆散射问题的方法
CN109919902A (zh) * 2017-12-08 2019-06-21 诺基亚技术有限公司 用于减少衍射效应的互补孔径
CN108828587A (zh) * 2018-03-30 2018-11-16 北京大学 基于WiFi信号的穿墙成像方法
CN108776336A (zh) * 2018-06-11 2018-11-09 电子科技大学 一种基于emd的自适应穿墙雷达静止人体目标定位方法
CN108872980A (zh) * 2018-06-19 2018-11-23 电子科技大学 一种基于窄带系统的自适应穿墙成像方法
CN109085578A (zh) * 2018-06-29 2018-12-25 湖北大学 一种基于wlan信号的三维成像系统及其实现方法
CN108775875A (zh) * 2018-08-31 2018-11-09 苏州大学 一种基于色散光谱编码的微结构形貌测量方法及其装置
CN110081977A (zh) * 2019-05-22 2019-08-02 北京理工大学 一种基于压缩感知的可调滤光器型高光谱成像仪及方法
CN110190923A (zh) * 2019-05-31 2019-08-30 北京大学 一种基于非合作盲源信号的潜伏通信系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Programmable Metasurface for Manipulating Wi-Fi Signals;Shuang,Y等;《 2018 12th International Symposium on Antennas, Propagation and EM Theory (ISAPE)》;20181231;全文 *
成像光谱仪的光谱分辨率技术;蒋青松;《红外》;20011015(第10期);全文 *
用于液晶可调谐滤光片型多光谱成像仪的中继成像系统设计;付强等;《光学学报》;20111010(第10期);全文 *

Also Published As

Publication number Publication date
CN110736986A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110736986B (zh) 基于现场可编程超材料的智能Wi-Fi成像方法与系统
Andrews et al. Modeling and analyzing millimeter wave cellular systems
Huang et al. Artificial intelligence enabled radio propagation for communications—Part I: Channel characterization and antenna-channel optimization
Demirhan et al. Radar aided 6G beam prediction: Deep learning algorithms and real-world demonstration
Echigo et al. A deep learning-based low overhead beam selection in mmWave communications
Alloulah et al. Future millimeter-wave indoor systems: A blueprint for joint communication and sensing
Migliore On electromagnetics and information theory
CN101656971B (zh) 基于虚拟天线阵列的高精度无线信道测试平台及方法
Pancera et al. Spherical fidelity patterns of UWB antennas
US11391836B2 (en) Liveliness detection using radar
Wu et al. LiDAR-aided mobile blockage prediction in real-world millimeter wave systems
Amato et al. Epidermal backscattering antennas in the 5G framework: Performance and perspectives
Salehi et al. Machine learning on camera images for fast mmWave beamforming
CN106291545B (zh) 一种基于可编程人工电磁表面的成像系统及其成像方法
Muhammad et al. Stochastic geometry analysis of electromagnetic field exposure in coexisting sub-6 GHz and millimeter wave networks
Kyösti et al. On the feasibility of out-of-band spatial channel information for millimeter-wave beam search
Tong et al. Multi-view sensing for wireless communications: Architectures, designs, and opportunities
Chikha et al. An Extrapolation Approach for RF-EMF Exposure Prediction in an Urban Area using Artificial Neural Network
Okitadiowo et al. Design of a beamforming antenna sensor for environmental noise detection to discriminate vehicle emission according to road conditions
Yu et al. Indoor passive localisation based on reliable CSI extraction
Xiang et al. A computer vision based beamforming scheme for millimeter wave communication in LOS scenarios
Nelson et al. Large intelligent surface measurements for joint communication and sensing
CN115184927B (zh) 一种微波无损成像目标检测方法
Panunzio et al. Propagation modeling inside the international space station for the automatic monitoring of astronauts by means of epidermal UHF-RFID sensors
Foegelle RF measurements in a 5G world

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant