CN116035565A - 一种基于电磁超表面的视觉感知增强系统及方法 - Google Patents
一种基于电磁超表面的视觉感知增强系统及方法 Download PDFInfo
- Publication number
- CN116035565A CN116035565A CN202310057940.3A CN202310057940A CN116035565A CN 116035565 A CN116035565 A CN 116035565A CN 202310057940 A CN202310057940 A CN 202310057940A CN 116035565 A CN116035565 A CN 116035565A
- Authority
- CN
- China
- Prior art keywords
- electromagnetic
- signal
- super
- phase
- visual perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000016776 visual perception Effects 0.000 title claims abstract description 30
- 241000282414 Homo sapiens Species 0.000 claims abstract description 42
- 230000004424 eye movement Effects 0.000 claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 10
- 230000000241 respiratory effect Effects 0.000 claims abstract description 10
- 230000008447 perception Effects 0.000 claims abstract description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 210000001508 eye Anatomy 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 210000000779 thoracic wall Anatomy 0.000 claims description 9
- 210000000038 chest Anatomy 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000035565 breathing frequency Effects 0.000 claims description 3
- 230000001121 heart beat frequency Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 230000036391 respiratory frequency Effects 0.000 claims description 2
- 238000005316 response function Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 5
- 230000005670 electromagnetic radiation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves using microwaves or terahertz waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于电磁超表面的视觉感知增强系统及方法，包括眼动仪、电磁超表面、控制模块、数模转换模块以及双端口矢量网络分析仪；眼动仪用于获取眼球运动数据，眼动仪连接控制模块的输入端，控制模块的输出端依次连接数模转换模块和电磁超表面，双端口矢量网络分析仪用于采集待感知增强区域的反射电磁波信号，双端口矢量网络分析仪连接上位机；电磁超表面由M*N个编码单元组成，每个编码单元a×a个超表面单元组成，每个超表面单元上设置有可调器件，所述可调器件为二极管或三极管，弥补了人类视觉感知的不足；帮助人类获取包括呼吸心跳信号、位置和运动等信息，实现在光学频段以外的感知。
Description
技术领域
本发明涉及电磁场与微波技术领域，涉及一种基于电磁超表面的视觉感知增强系统及方法。
背景技术
人类视觉系统是人类从外部世界获取信息的最重要途径，这一过程始于角膜和晶状体对物体表面的光线进行折射，并将吸收的光能转化为神经信号，然后通过视觉通路传送到大脑的视觉皮层。然而，人类的眼睛只能感知可见光，而在整个电磁波谱中，可见光只占据了一个非常狭窄的频段。这限制了视觉系统从其他频段获取信息的能力。
电磁超表面是由亚波长晶胞组成的二维人造表面，可以在几乎所有电磁频段操纵电磁波，这为电磁波的灵活调控提供了前所未有的自由度。由于其高效率、低损耗和轻薄特性，电磁超表面可以实现许多奇异的功能，例如极化旋转、涡流波束，全息，完美吸收，平面透镜和一些其他功能接口。基于此种考虑，我们将视觉感知与微波超表面联系起来，期望超表面能够充分利用视觉信息，提高人类感知能力。
而作为“心灵和大脑的窗口”，许多现实世界的视觉感知都伴随着特征性的眼球运动行为。使用眼动仪，可以记录注视时间、注视位置和感兴趣的区域，通过眼动仪将眼球运动与超表面微波辐射联系起来，使眼球运动自动控制反射波束，从而在电磁超表面和视觉感知之间架起一座桥梁，以实现多频段视觉感知、视觉穿透，提升信息分析效率，使人类能够感知生理信号，以及观察到不可见物体的位置和运动。
发明内容
为了解决上述问题，本发明提供了一种基于电磁超表面的视觉感知增强方法，基于电磁超表面的视觉感知增强。
为达到上述目的，本发明采用的技术方案是：一种基于电磁超表面的视觉感知增强系统，包括眼动仪、电磁超表面、控制模块、数模转换模块以及双端口矢量网络分析仪；眼动仪用于获取眼球运动数据，眼动仪连接控制模块的输入端，控制模块的输出端依次连接数模转换模块和电磁超表面，双端口矢量网络分析仪用于采集待感知增强区域的反射电磁波信号，双端口矢量网络分析仪连接上位机；
电磁超表面由M*N个编码单元组成，每个编码单元a×a个超表面单元组成，每个超表面单元上设置有可调器件，所述可调器件为二极管或三极管，可调器件的不同状态对应不同的电磁响应；增强区域-超表面响应-馈电电压的数据库记录超表面单元馈电电压与电磁波照射区域的一一映射关系，通过控制模块和数模转换模块向电磁超表面施加馈电电压，控制电磁超表面的工作状态，使其发射电磁波照射待感知增强的区域。
控制模块采用FPGA或单片机。
一种基于电磁超表面的视觉感知增强方法，包括以下步骤：
利用眼动仪及记录观察者的眼动数据，对观察者的眼动数据进行处理，选取需要感知增强的区域；
利用增强区域-超表面响应-馈电电压的数据库，根据感知增强的区域不同，改变加载在超表面单元的馈电电压，进而改变超表面的工作模式和电磁波的传播模式，使电磁波照射待感知增强区域；获取待感知增强区域反射的电磁回波的幅值、相位，
基于所获取的电磁回波的幅值、相位，利用相位解缠绕方法，提取胸壁位移信号，利用带通滤波器，分离呼吸和心跳，利用快速傅里叶变换获得呼吸频率和心率；
利用相位解缠绕方法，提取人体动作的回波信号，利用短时傅里叶变换方法，获得不同人体动作的时频谱图，利用主成分分析方法提取动作特征，利用支撑向量机分类器识别不同的人体动作。
眼动数据包括注视点、眼跳以及眨眼时间和次数。
利用FPGA和DAC模块实时调节二极管的加载电压，建立待增强区域-超表面响应-馈电电压的数据库；在眼动追踪确定待增强区域的基础上，确定超表面响应功能，进而确定FPGA和DAC模块向二极管加载的电压。
将用户观察到的视觉信息-光频段与超表面探测到的信息-微波频段结合，对回波信号的处理与分析。
经超表面反射的时域信号为sT(t)，接收天线记录的回波信号为sR(t)，表示如下:
sT(t)＝Atcos(ωt) (1)
式中，At和Ar分别为发射信号和接收信号的振幅；ω为信号的角频率；λ为载频波长；c是光速；d0为天线与人体之间的固定距离；x(t)胸部的瞬时位移，可表示如下，
其中，Ab,Ah,
和
分别为呼吸和心跳引起的胸部位移的振幅和相移；同相基带信号sI(t)是通过将公式(1)中发射信号的副本与公式(2)中的接收信号混频得到，
sI(t)＝sT(t)×sR(t) (4)
正交基带信号sQ(t)是通过将接收信号与相位偏移90°的发射信号的副本混频得到，
将基带信号除以同相基带信号，求结果的反正切，提取时变的相位信号，对应于胸壁振动信号，其次，做相位展开处理，通过在连续相位值之间的相位差大于或小于±π时从相位差中减去2π，将相位限定在[-π,π]之间，得到胸壁的实际位移；之后，对解缠绕的相位信号进行相位差操作，以增强心跳信号并消除任何潜在的相移；然后，根据心跳和呼吸频率的差异，采用带通滤波对相位信号进行滤波，以区分呼吸信号和心跳信号；最后，对相位信号进行快速傅里叶变换，得到相应的呼吸和心跳频率。
采用通频带为0.1Hz～0.5Hz的四阶FIR带通滤波器对相位信号进行滤波，得到呼吸信号；采用通频带为0.8Hz～2Hz的四阶FIR带通滤波器对心跳信号进行滤波，得到心跳信号。
与现有技术相比，本发明的显著优点是：
本发明通过电磁信号处理，既能感知视觉图像，又可以感知不可见的生理信号和运动模式，通过提高了人类对视觉信息的处理能力，弥补了人类视觉感知的不足；帮助人类获取包括呼吸心跳信号、位置和运动等信息，实现在光学频段以外的感知；为感知增强提供了一个替代框架，在医疗保健、可穿戴设备、搜索和救援、目标跟踪等领域都有明确的应用场景。
附图说明
图1是本发明实施例中视觉感知增强方法的整体流程框图；
图2是二比特可编程数字编码超表面远场散射原理示意图；
图3是超表面不同相位排布下的电磁响应仿真示意图；
图4是提取生命体征信号算法的总体框图；
图5是实例场景以及受试者的呼吸和心跳信号检测结果图；
图6是障碍物后的人体对象位置和运动检测图。
具体实施方式
本发明的目的是提供一种电磁超表面的视觉感知增强方法及系统，扩展人类的感知频段，使人类感知视觉信息的同时，也能感受到对应的电磁信息，所提出的智能系统架构如图1所示；首先在超表面单元上加载二极管，通过调整二极管的偏置电压实现超表面的功能可调，将眼动过程应用于电磁超表面，根据眼球运动数据，实现跟随眼动的电磁波束方向控制电磁超表面，当观察者对感兴趣区域的注视时间超过阈值时，电磁波波束将转向对应的角度，在此基础上，开展多个人体目标的呼吸心跳信号、位置和运动检测，对采集到回波进行基于短时傅里叶变换的时频分析，可以获得时变瞬时多普勒频率，就可以在感知视觉图像的基础上，还可以感知不可见的生理信号，也可以检测障碍物后的人体对象的方位方向和运动模式。
本发明提供一种基于电磁超表面的视觉感知增强系统，包括眼动仪、电磁超表面、控制模块、数模转换模块以及双端口矢量网络分析仪；眼动仪用于获取眼球运动数据，眼动仪连接控制模块的输入端，控制模块的输出端依次连接数模转换模块和电磁超表面，双端口矢量网络分析仪用于采集待感知增强区域的反射电磁波信号，双端口矢量网络分析仪连接上位机；
电磁超表面由M*N个编码单元组成，每个编码单元a×a个超表面单元组成，每个超表面单元上设置有可调器件，所述可调器件为二极管或三极管，可调器件的不同状态对应不同的电磁响应；增强区域-超表面响应-馈电电压的数据库记录超表面单元馈电电压与电磁波照射区域的一一映射关系，通过控制模块和数模转换模块向电磁超表面施加馈电电压，控制电磁超表面的工作状态，使其发射电磁波照射待感知增强的区域。
本发明眼动过程应用于电磁超表面，利用眼动仪采集的眼球运动数据，并对眼球运动数据进行实时分析，当观察者对某个区域的注视时间超过阈值时，即可确定该区域为感兴趣区域。接下来，实时改变加载在电调器件两端的电压，得到所需要的超表面电磁响应，电磁波波束将转向对应的角度，照射感兴趣区域。利用这种方法，实现跟随眼动的电磁超表面实现电磁波束方向控制。在此基础上，开展多个人体目标的呼吸心跳信号、位置和运动检测。对采集到的电磁波回波信号进行相位解调，提取呼吸、信号信号，并基于呼吸，判断目标的位置信号。在此基础上基于短时傅里叶变换的时频分析，获得时变瞬时多普勒频率，进而区分不同的人体动作。这样就可以在感知视觉图像的基础上，还可以感知不可见的生理信号，也可以检测障碍物后的人体对象的方位方向和运动模式。
为详细说明发明的技术内容、构造特征、所实现的目的及效果，下面将结合附图对本发明作进一步的描述，本发明包括以下步骤：
眼动仪用于捕获认知和观看行为，首先观察者佩戴眼动仪，接下来眼动仪可以自动提取相关的眼球运动数据，如注视点、眼跳、眨眼时间，眨眼次数等参数。观察者的观察过程中的眼动数据被眼动仪实时记录，接下来对眼动仪所采集的眼球运动数据进行分析，在本实例中，当观察者连续注视某区域超过设定的时间阈值时，该区域被选为观察者需要感知增强的区域。
本发明中的超表面为二比特可编程数字编码超表面，该超表面的特点是将电调器件焊接到超表面单元之上，电调器件如Pin二极管、电容二极管或场效应管，通过对电调器件施加不同的偏置电压，超表面单元的电磁响应发生变化，可使数字超表面单元对入射电磁波呈现0度，90度，180度，270度四种不同的相位响应。a×a个相同相位响应的超表面单元组成编码单元，M×N个编码单元在二维平面内按照一定的规律排布，其远场散射可以表示为，
其中θ和φ分别为任意方向的仰角和方位角。编码单元沿x方向和y方向的长度用rx和ry表示，λ为工作波长，Am,n,为第M行N列的编码单元的反射幅值，图2为二比特可编程数字编码超表面远场散射原理示意图。通过对公式(1)的计算可得，当调整超表面单元的相位响应，进而改变编码单元的排布，即可改变超表面的电磁辐射，通过这种方式，可编程超表面可以实现显着不同的功能。所有编码单元的相位都相同时，超表面的辐射模式为单束电磁波；当编码单元按照0度，180度周期性排布，可以实现电磁波的分束，即辐射模式为对称分布的两束波；编码单元按照0度，90度，180度，270度周期性排布，可以实现电磁波的异常反射，辐射方向为(φ＝180,
)或者(φ＝90,
)，在此基础上，通过不断编码单元的周期、相位，即可实现波束的扫描。通过仿真和计算，得到电调器件加载不同电压时的相位响应，及其对应编码单元的排布，进而得到超表面的电磁辐射模式，进行记录，用所得数据建立待增强区域-超表面响应-馈电电压的数据库，所得到的眼动与超表面电磁辐射的对应关系，如图3所示。
在对眼动仪所采集的眼球运动数据进行分析的基础上，待感知增强的区域得到确定，这样就可确定所需的电磁波辐射的角度和强度，即超表面的电磁辐射模式。接下来，根据前文所建立的待增强区域-超表面响应-馈电电压的数据库，实时改变加载在电调器件上的电压，得到所需要的响应，使电磁波照射到待感知增强区域。根据观察者的兴趣区域和状态，确定超表面的反应，FPGA改变可编程超表面配置，然后确定数字编码序列。
由于电磁波的穿透特性，当电磁波照射到待感知增强区域以后，接受感知增强区域反射的电磁回波信号，并进行处理和分析，就可以得到被观察人体的呼吸/心跳等信息。也可以观察到障碍物后的人体的位置/动作等信息，在观察者可以看到障碍物之后的物体，这些物体在光学频段是被阻挡，不可见到的。呼吸与心跳回波处理过程如下：超表面向人体的胸部辐射一个窄波束连续波信号。人体呼吸和心跳引起的胸壁位移对入射电磁波有调制作用；包含呼吸和心跳信息的信号将以反射波的形式，被接收天线采集，接收天线采集到的回波信号通过解调和信号处理，得到呼吸和心跳信号。
假设经超表面反射的时域信号为sT(t)，接收天线记录的回波信号为sR(t)，表示如下:
sT(t)＝Atcos(ωt) (2)
式中，At和Ar分别为发射信号和接收信号的振幅；ω为信号的角频率；λ为载频波长；c是光速；d0为天线与人体之间的固定距离；x(t)胸部的瞬时位移，可表示如下，
其中，Ab,Ah,
和
分别为呼吸和心跳引起的胸部位移的振幅和相移；在公式(3)中可以清楚地看到，由于胸部的位移，超表面平台辐射的信号在频率和相位上都被调制，将这种调制称为多普勒效应。
本发明中，发射天线和接收天线连接到一个双端口矢量网络分析仪(VNA)上，用来辐射和收集电磁信号。通过自定义的Matlab-VNA接口，使用Matlab脚本直接获取基带信号。
同相基带信号sI(t)是通过将公式(1)中发射信号的副本与公式(3)中的接收信号混频得到，
sI(t)＝sT(t)×sR(t) (5)
正交基带信号sQ(t)是通过将接收信号与相位偏移90°的发射信号的副本混频得到，
以上的sI(t)和sQ(t)基带信号用于后续的信号处理，以提取生命体征信号。
获取了基带信号之后，为了准确提取生命体征信号，采用相位解缠绕技术。该算法的总体框图如图4所示，具体实现步骤如下：
先将基带信号除以同相基带信号，求结果的反正切，提取时变的相位信号，对应于胸壁振动信号。其次，做相位展开处理，通过在连续相位值之间的相位差大于或小于±π时从相位差中减去2π，将相位限定在[-π,π]之间，得到胸壁的实际位移；之后，对解缠绕的相位信号进行相位差操作，以增强心跳信号并消除任何潜在的相移；然后，根据心跳和呼吸频率的差异，采用带通滤波对相位信号进行滤波，以区分呼吸信号和心跳信号；最后，对相位信号进行快速傅里叶变换(FFT)，得到相应的呼吸和心跳频率。
在滤波过程中，本发明利用有限脉冲响应(FIR)滤波器进行带通滤波。设计通频带为0.1Hz～0.5Hz的四阶FIR带通滤波器对相位信号进行滤波，得到呼吸信号；设计了通频带为0.8Hz～2Hz的四阶FIR带通滤波器对心跳信号进行滤波；利用上述操作，可以将心跳信号与呼吸信号分离出来。从图5的实验结果中可以观察到，分离的呼吸和心跳信号与参考信号完全一致。
动作检测回波处理过程：基于微波的人体动作检测因其对微小运动的高灵敏度和从静止背景中区分非静止物体的出色能力而得到了广泛的应用。人体的躯干和四肢的周期性运动会对入射电磁回波信号产生调制，引入微多普勒频移，这些信息可用于区分人体的不同运动模式。
超表面平台反射定向窄光束照射运动中的人体目标，接收喇叭天线收集人体反射的信号；后向散射信号包含丰富的人体运动信息，可以表示为：
式中(R-vbt)为t时刻人体各部位的实时位置，获得基带信号之后，即可提取时变的相位信息。
基带信号的同相分量(I)和正交分量(Q)使用自定义的Matlab-VNA接口记录。采样频率为fs＝500Hz。将采集到的I和Q通道数据进行组合，生成最终的时域复信号，该时域复信号包含人类目标的运动相关的多普勒信息。
为了捕捉瞬态多普勒分量，使用短时傅里叶变换(STFT)方法，从人体动作回波数据提取关键时频信息，可表示如下，
其中，x(τ)是时域回波信号，h(τ-t)是汉明窗函数，将信号限制在固定持续时间的短时框架内。通过在信号的整个持续时间内跨帧处理，并通过计算每帧的幅度谱平方来估计时频谱图。
使用STFT方法处理人体动作回波数据样本后，继续研究对不同人体运动的分类性能。运动检测通常包括两个阶段：特征提取和分类。第一阶段采用基于主成分分析(PCA)的降维方法提取运动特征；在分类阶段，使用支撑向量机(SVM)分类器对不同的运动进行区分。从图6结果中可以观察到，四种不同动作的时频特征差异明显，可从中提取特异性特征识别不同的人体动作。
区别于现有技术，本发明提出的基于超表面的生命体征检测系统不需要在人体上附加任何接触传感器来获取呼吸心跳和动作回波信号。本领域的普通技术人员应意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (9)
1.一种基于电磁超表面的视觉感知增强系统，其特征在于，包括眼动仪、电磁超表面、控制模块、数模转换模块以及双端口矢量网络分析仪；眼动仪用于获取眼球运动数据，眼动仪连接控制模块的输入端，控制模块的输出端依次连接数模转换模块和电磁超表面，双端口矢量网络分析仪用于采集待感知增强区域的反射电磁波信号，双端口矢量网络分析仪连接上位机；
电磁超表面由M*N个编码单元组成，每个编码单元a×a个超表面单元组成，每个超表面单元上设置有可调器件，所述可调器件为二极管或三极管，可调器件的不同状态对应不同的电磁响应；增强区域-超表面响应-馈电电压的数据库记录超表面单元馈电电压与电磁波照射区域的一一映射关系，通过控制模块和数模转换模块向电磁超表面施加馈电电压，控制电磁超表面的工作状态，使其发射电磁波照射待感知增强的区域。
2.根据权利要求1所述的基于电磁超表面的视觉感知增强系统，其特征在于，控制模块采用FPGA或单片机。
3.一种基于电磁超表面的视觉感知增强方法，其特征在于，基于权利要求1或2所述的系统，包括以下步骤：
利用眼动仪及记录观察者的眼动数据，对观察者的眼动数据进行处理，选取需要感知增强的区域；
利用增强区域-超表面响应-馈电电压的数据库，根据感知增强的区域不同，改变加载在超表面单元的馈电电压，进而改变超表面的工作模式和电磁波的传播模式，使电磁波照射待感知增强区域；获取待感知增强区域反射的电磁回波的幅值、相位，
基于所获取的电磁回波的幅值、相位，利用相位解缠绕方法，提取胸壁位移信号，利用带通滤波器，分离呼吸和心跳，利用快速傅里叶变换获得呼吸频率和心率；
利用相位解缠绕方法，提取人体动作的回波信号，利用短时傅里叶变换方法，获得不同人体动作的时频谱图，利用主成分分析方法提取动作特征，利用支撑向量机分类器识别不同的人体动作。
4.根据权利要求3所述的基于电磁超表面的视觉感知增强方法，其特征在于，眼动数据包括注视点、眼跳以及眨眼时间和次数。
5.根据权利要求3所述的基于电磁超表面的视觉感知增强方法，其特征在于，利用FPGA和DAC模块实时调节二极管的加载电压，建立待增强区域-超表面响应-馈电电压的数据库；在眼动追踪确定待增强区域的基础上，确定超表面响应功能，进而确定FPGA和DAC模块向二极管加载的电压。
6.根据权利要求3所述的基于电磁超表面的视觉感知增强方法，其特征在于，将用户观察到的视觉信息-光频段与超表面探测到的信息-微波频段结合，对回波信号的处理与分析。
7.根据权利要求3所述的基于电磁超表面的视觉感知增强方法，其特征在于，经超表面反射的时域信号为sT(t)，接收天线记录的回波信号为sR(t)，表示如下:
sT(t)＝Atcos(ωt) (1)
式中，At和Ar分别为发射信号和接收信号的振幅；ω为信号的角频率；λ为载频波长；c是光速；d0为天线与人体之间的固定距离；x(t)胸部的瞬时位移，可表示如下，
其中，Ab,Ah,
和
分别为呼吸和心跳引起的胸部位移的振幅和相移；同相基带信号sI(t)是通过将公式(1)中发射信号的副本与公式(2)中的接收信号混频得到，
sI(t)＝sT(t)×sR(t) (4)
正交基带信号sQ(t)是通过将接收信号与相位偏移90°的发射信号的副本混频得到，
8.根据权利要求3所述的基于电磁超表面的视觉感知增强方法，其特征在于，将基带信号除以同相基带信号，求结果的反正切，提取时变的相位信号，对应于胸壁振动信号，其次，做相位展开处理，通过在连续相位值之间的相位差大于或小于±π时从相位差中减去2π，将相位限定在[-π,π]之间，得到胸壁的实际位移；之后，对解缠绕的相位信号进行相位差操作，以增强心跳信号并消除任何潜在的相移；然后，根据心跳和呼吸频率的差异，采用带通滤波对相位信号进行滤波，以区分呼吸信号和心跳信号；最后，对相位信号进行快速傅里叶变换，得到相应的呼吸和心跳频率。
9.根据权利要求3所述的基于电磁超表面的视觉感知增强方法，其特征在于，采用通频带为0.1Hz～0.5Hz的四阶FIR带通滤波器对相位信号进行滤波，得到呼吸信号；采用通频带为0.8Hz～2Hz的四阶FIR带通滤波器对心跳信号进行滤波，得到心跳信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310057940.3A CN116035565A (zh) | 2023-01-17 | 2023-01-17 | 一种基于电磁超表面的视觉感知增强系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310057940.3A CN116035565A (zh) | 2023-01-17 | 2023-01-17 | 一种基于电磁超表面的视觉感知增强系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116035565A true CN116035565A (zh) | 2023-05-02 |
Family
ID=86121684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310057940.3A Pending CN116035565A (zh) | 2023-01-17 | 2023-01-17 | 一种基于电磁超表面的视觉感知增强系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116035565A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050175218A1 (en) * | 2003-11-14 | 2005-08-11 | Roel Vertegaal | Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections |
| CN109507653A (zh) * | 2018-10-22 | 2019-03-22 | 中国人民解放军第四军医大学 | 一种基于uwb的多信息感知生物雷达系统及其获取目标信息的方法 |
| CN114173677A (zh) * | 2019-03-14 | 2022-03-11 | 美视医疗器械有限公司 | 混合医学成像探针、设备及过程 |
| WO2022104868A1 (zh) * | 2020-11-19 | 2022-05-27 | 华中师范大学 | 一种基于毫米波雷达的非接触式实时生命体征监测系统及方法 |
-
2023
- 2023-01-17 CN CN202310057940.3A patent/CN116035565A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050175218A1 (en) * | 2003-11-14 | 2005-08-11 | Roel Vertegaal | Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections |
| CN109507653A (zh) * | 2018-10-22 | 2019-03-22 | 中国人民解放军第四军医大学 | 一种基于uwb的多信息感知生物雷达系统及其获取目标信息的方法 |
| CN114173677A (zh) * | 2019-03-14 | 2022-03-11 | 美视医疗器械有限公司 | 混合医学成像探针、设备及过程 |
| WO2022104868A1 (zh) * | 2020-11-19 | 2022-05-27 | 华中师范大学 | 一种基于毫米波雷达的非接触式实时生命体征监测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 罗径舟;易大方;: "连续波雷达生命特征探测机理的分析与讨论", 电讯技术, no. 07, 28 July 2008 (2008-07-28) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin et al. | ECG monitoring system integrated with IR-UWB radar based on CNN | |
| JP7175489B2 (ja) | ビームフォーミング方法、計測イメージング装置、及び、通信装置 | |
| Gorjan et al. | Removal of movement-induced EEG artifacts: current state of the art and guidelines | |
| Reucher et al. | Spatial filtering of noninvasive multielectrode EMG: Part II-Filter performance in theory and modeling | |
| Zhao et al. | PPG-based finger-level gesture recognition leveraging wearables | |
| Kalgaonkar et al. | Acoustic doppler sonar for gait recogination | |
| Yamamoto et al. | ECG signal reconstruction via Doppler sensor by hybrid deep learning model with CNN and LSTM | |
| JP2020039841A (ja) | 計測イメージング装置 | |
| Yan et al. | Phase-based human target 2-D identification with a mobile FMCW radar platform | |
| CN109255309A (zh) | 面向遥感图像目标检测的脑电与眼动融合方法及装置 | |
| CN114983354A (zh) | 一种呼吸频率和心跳频率的检测方法及装置 | |
| CN108958489A (zh) | 一种基于脑电和眼动仪的图像感兴趣区域快速检出方法 | |
| Basti et al. | Looking through the windows: a study about the dependency of phase-coupling estimates on the data length | |
| Kumar et al. | Real time estimation and suppression of hand tremor for surgical robotic applications | |
| US11733650B2 (en) | Coherent optical holographic imaging | |
| CN116035565A (zh) | 一种基于电磁超表面的视觉感知增强系统及方法 | |
| Gao et al. | A new direction for biosensing: RF sensors for monitoring cardio-pulmonary function | |
| Yang et al. | Fall feature enhancement and fusion using the stockwell transform with dual mmWave radars | |
| KR102279745B1 (ko) | 신호 분리를 이용한 근접한 두 표적의 비접촉식 생체 신호 탐지 장치 및 방법 | |
| Zhang et al. | Robust EOG-based saccade recognition using multi-channel blind source deconvolution | |
| CN103345754B (zh) | 基于皮层神经元视觉方向响应的图像边缘检测方法 | |
| Rong et al. | Wireless Sensing for Simultaneous Human Vocal Sound and Heart Sound Recognition | |
| Wu et al. | Subspace pattern recognition method for brain stroke detection | |
| US10856739B2 (en) | System and method for monitoring of objects with increased sensitivity | |
| KR20210061122A (ko) | 타겟의 생체 정보 결정 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |