CN111369618A - 基于压缩采样的rf信号人体姿态估计方法及装置 - Google Patents

基于压缩采样的rf信号人体姿态估计方法及装置 Download PDF

Info

Publication number
CN111369618A
CN111369618A CN202010103964.4A CN202010103964A CN111369618A CN 111369618 A CN111369618 A CN 111369618A CN 202010103964 A CN202010103964 A CN 202010103964A CN 111369618 A CN111369618 A CN 111369618A
Authority
CN
China
Prior art keywords
human body
network
electromagnetic
posture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010103964.4A
Other languages
English (en)
Inventor
索津莉
张博
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010103964.4A priority Critical patent/CN111369618A/zh
Publication of CN111369618A publication Critical patent/CN111369618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于压缩采样的RF信号人体姿态估计方法及装置，其中，该方法包括以下步骤：预先搭建电磁可重复编码超平面系统；利用压缩感知对电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将电磁波图案投射到待检测人体上，产生测量数据；采用单个探测器接收测量数据，并结合机器学习的方法可以从测量值估计出人体的姿势。该方法利用了压缩感知的思想减少了采集的数据量，不经过图像恢复可直接估计人体的姿势。

Description

基于压缩采样的RF信号人体姿态估计方法及装置
技术领域
本发明涉及计算成像、机器学习技术领域，特别涉及一种基于压缩采样的RF信号人体姿态估计方法。
背景技术
人体的姿势估计是计算机视觉领域的一个重要研究课题，传统的计算机视觉方法受限于有障碍物存在的场景，人体被遮挡后就无法进行姿势估计。而RF信号具有可以穿透障碍物、对生物体安全、对不同的介电常数敏感的优点，因此可以用于安全检查。但是RF(Radio Frequency)信号缺少可以利用的二维面阵探测器，从而导致采样速度较慢。而采用压缩采样的方法可以降低采样率，加快采样速度。据我们所知，目前为止没有人结合压缩感知利用RF信号进行人体的姿势估计。
因此，亟待一种可以通过较少采样恢复人体姿势，并且可以穿透障碍物的方法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于压缩采样的RF信号人体姿态估计方法，该方法可以降低采样率，加快采样速度，更能达到实时检测人体姿势。
本发明的另一个目的在于提出一种基于压缩采样的RF信号人体姿态估计装置。
为达到上述目的，本发明一方面实施例提出了基于压缩采样的RF信号人体姿态估计方法，包括以下步骤：步骤S101，预先搭建电磁可重复编码超平面系统；步骤S102，利用压缩感知对所述电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将所述电磁波图案投射到待检测人体上，产生测量数据；步骤S103，采用单个探测器接收所述测量数据，并使用相机采集同样的可见光波段的场景图像；步骤S104，根据所述场景图像训练teacher网络，以用训练完成的teacher网络对所述测量数据做监督学习训练student网络；步骤S105，网络训练完成后，按照所述步骤S102对检测的人体进行测量，将得到的测量值作为网络的输入，输出估计的运动姿势。
本发明实施例的基于压缩采样的RF信号人体姿态估计方法，利用RF信号具有对生物体安全、穿透性好、对不同材料具有特异性的优点，使得该方法可以应用于安全检查，并利用压缩感知的思想和机器学习的方法，减少了采集的数据量，不经过图像恢复实现RF谱段电磁波的人体姿势估计。
另外，根据本发明上述实施例的基于压缩采样的RF信号人体姿态估计方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述步骤S105还包括：结合多层感知器(MLP)和卷积姿势机(Convolutional Pose Machines)对所述测量值进行计算，得到人体关键节点并估计出所述运动姿势。
进一步地，在本发明的一个实施例中，所述单个探测器为单个RF信号探测天线组成的系统。
达到上述目的，本发明另一方面实施例提出了基于压缩采样的RF信号人体姿态估计装置，包括：预搭建模块，用于预先搭建电磁可重复编码超平面系统；测量模块，用于利用压缩感知对所述电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将所述电磁波图案投射到待检测人体上，产生测量数据；采集模块，用于采用单个探测器接收所述测量数据，并使用相机采集同样的可见光波段的场景图像；训练模块，用于根据所述场景图像训练teacher网络，以用训练完成的teacher网络对所述测量数据做监督学习训练student网络；估计模块，用于网络训练完成后，按照所述步骤S102对检测的人体进行测量，将得到的测量值作为网络的输入，输出估计的运动姿势。
本发明实施例的基于压缩采样的RF信号人体姿态估计装置，利用RF信号具有对生物体安全、穿透性好、对不同材料具有特异性的优点，使得该方法可以应用于安全检查，并利用压缩感知的思想和机器学习的方法，减少了采集的数据量，不经过图像恢复实现RF谱段电磁波的人体姿势估计。
另外，根据本发明上述实施例的基于压缩采样的RF信号人体姿态估计装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述估计模块进一步包括：
结合多层感知器和卷积姿势机对所述测量值进行计算，得到人体关键节点并估计出所述运动姿势。
进一步地，在本发明的一个实施例中，所述单个探测器为单个RF信号探测天线组成的系统。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于压缩采样的RF信号人体姿态估计方法流程图；
图2为基于压缩采样的RF信号人体姿态估计方法工作原理图；
图3为根据本发明一个实施例中可重复编码超平面结构示意图；
图4为根据本发明一个实施例中压缩采样的原理示意图；
图5为根据本发明一个实施例中准确的姿态估计效果图；
图6为根据本发明一个实施例中不准确的姿态估计效果图；
图7为根据本发明一个实施例的的基于压缩采样的RF信号人体姿态估计装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于压缩采样的RF信号人体姿态估计方法及装置，首先将参照附图描述根据本发明实施例提出的基于压缩采样的RF信号人体姿态估计方法。
图1是本发明一个实施例的基于压缩采样的RF信号人体姿态估计方法流程图。
图2是本发明一个实施例的基于压缩采样的RF信号人体姿态估计方法工作原理图。
如图1和2所示，该基于压缩采样的RF信号人体姿态估计方法包括以下步骤：
在步骤S101中，预先搭建电磁可重复编码超平面系统。
可以理解为，如图3所示，预先搭建硬件系统，制备合适大小的电磁可重复编码超平面(electromagnetic reprogrammable coding metasurface)。
在步骤S102中，利用压缩感知法对电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将电磁波图案投射到待检测人体上，产生测量数据。
也就是说，如图4所示，对电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并投射到待检测的人体上。其中，产生随机的电磁波图案在GHz谱段，具有穿透性，对人体无明显伤害，因此在有障碍物的情况下也能适用。
在步骤S103中，采用单个探测器接收测量数据，并使用相机采集同样的可见光波段的场景图像。
进一步地，在本发明的一个实施例中，单个探测器为单个RF信号探测天线组成的系统。
具体而言，利用单个RF信号探测天线组成的系统接收测量数据作为网络的训练数据，同时用相机采集同样的可见光波段的场景图像。
在步骤S104中，根据场景图像训练teacher网络，以用训练完成的teacher网络对测量数据做监督学习训练student网络。
也就是说，用相机采集的数据训练teacher网络，然后用训练好的网络对单像素采集的测量值做监督学习训练student网络。
在步骤S105中，网络训练完成后，按照步骤S102对检测的人体进行测量，将得到的测量值作为网络的输入，输出估计的运动姿势。
进一步地，在本发明的一个实施例中，步骤S105还包括：结合多层感知器和卷积姿势机对测量值进行计算，得到人体关键节点并估计出运动姿势。
也就是说，网络训练完成后，按照步骤S102对检测的人体进行测量，把得到的测量值作为网络的输入，网络的输出即为估计得到的姿势。其中，网络的结构是端到端的，结合多层感知器和卷积姿势机的方法计算人体关键节点并估计运动姿势，如图5和6所示，根据训练结果调整网络参数，提高识别准确率。
根据本发明实施例提出的基于压缩采样的RF信号人体姿态估计方法，利用RF信号具有对生物体安全、穿透性好、对不同材料具有特异性的优点，使得该方法可以应用于安全检查，并利用压缩感知的思想和机器学习的方法，减少了采集的数据量，不经过图像恢复实现RF谱段电磁波的人体姿势估计。
其次参照附图描述根据本发明实施例提出的基于压缩采样的RF信号人体姿态估计装置。
图7是本发明一个实施例的基于压缩采样的RF信号人体姿态估计装置结构示意图。
如图7所示，该装置10包括：预搭建模块100、测量模块200、采集模块300、训练模块400和估计模块500。
其中，预搭建模块100，用于预先搭建电磁可重复编码超平面系统。测量模块200，用于利用压缩感知法对电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将电磁波图案投射到待检测人体上，产生测量数据。采集模块300，用于采用单个探测器接收测量数据，并使用相机采集同样的可见光波段的场景图像。训练模块400，用于根据场景图像训练teacher网络，以用训练完成的teacher网络对测量数据做监督学习训练student网络。估计模块500，用于网络训练完成后，按照步骤S102对检测的人体进行测量，将得到的测量值作为网络的输入，输出估计的运动姿势。
进一步地，在本发明的一个实施例中，估计模块500进一步包括：结合多层感知器和卷积姿势机对测量值进行计算，得到人体关键节点并估计出运动姿势。
进一步地，在本发明的一个实施例中，单个探测器为单个RF信号探测天线组成的系统。
根据本发明实施例提出的基于压缩采样的RF信号人体姿态估计装置，利用RF信号具有对生物体安全、穿透性好、对不同材料具有特异性的优点，使得该方法可以应用于安全检查，并利用压缩感知的思想和机器学习的方法，减少了采集的数据量，不经过图像恢复实现RF谱段电磁波的人体姿势估计。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于压缩采样的RF信号人体姿态估计方法，其特征在于，包括以下步骤：
步骤S101，预先搭建电磁可重复编码超平面系统；
步骤S102，利用压缩感知法对所述电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将所述电磁波图案投射到待检测人体上，产生测量数据；
步骤S103，采用单个探测器接收所述测量数据，并使用相机采集同样的可见光波段的场景图像；
步骤S104，根据所述场景图像训练teacher网络，以用训练完成的teacher网络对所述测量数据做监督学习训练student网络；
步骤S105，网络训练完成后，按照所述步骤S102对检测的人体进行测量，将得到的测量值作为网络的输入，输出估计的运动姿势。
2.根据权利要求1所述的基于压缩采样的RF信号人体姿态估计方法，其特征在于，所述步骤S105还包括：
结合多层感知器和卷积姿势机对所述测量值进行计算，得到人体关键节点并估计出所述运动姿势。
3.根据权利要求1所述的基于压缩采样的RF信号人体姿态估计方法，其特征在于，所述单个探测器为单个RF信号探测天线组成的系统。
4.一种基于压缩采样的RF信号人体姿态估计装置，其特征在于，包括：
预搭建模块，用于预先搭建电磁可重复编码超平面系统；
测量模块，用于利用压缩感知法对所述电磁可重复编码超平面系统进行编程，产生随机的电磁波图案，并将所述电磁波图案投射到待检测人体上，产生测量数据；
采集模块，用于采用单个探测器接收所述测量数据，并使用相机采集同样的可见光波段的场景图像；
训练模块，用于根据所述场景图像训练teacher网络，以用训练完成的teacher网络对所述测量数据做监督学习训练student网络；
估计模块，用于网络训练完成后，按照所述步骤S102对检测的人体进行测量，将得到的测量值作为网络的输入，输出估计的运动姿势。
5.根据权利要求4所述的基于压缩采样的RF信号人体姿态估计装置，其特征在于，所述估计模块进一步包括：
结合多层感知器和卷积姿势机对所述测量值进行计算，得到人体关键节点并估计出所述运动姿势。
6.根据权利要求4所述的基于压缩采样的RF信号人体姿态估计装置，其特征在于，所述单个探测器为单个RF信号探测天线组成的系统。
CN202010103964.4A 2020-02-20 2020-02-20 基于压缩采样的rf信号人体姿态估计方法及装置 Pending CN111369618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103964.4A CN111369618A (zh) 2020-02-20 2020-02-20 基于压缩采样的rf信号人体姿态估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103964.4A CN111369618A (zh) 2020-02-20 2020-02-20 基于压缩采样的rf信号人体姿态估计方法及装置

Publications (1)

Publication Number Publication Date
CN111369618A true CN111369618A (zh) 2020-07-03

Family

ID=71208159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103964.4A Pending CN111369618A (zh) 2020-02-20 2020-02-20 基于压缩采样的rf信号人体姿态估计方法及装置

Country Status (1)

Country Link
CN (1) CN111369618A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108279415A (zh) * 2018-01-04 2018-07-13 浙江大学 一种基于空间压缩感知的实时微波隔墙成像方法
US20190188533A1 (en) * 2017-12-19 2019-06-20 Massachusetts Institute Of Technology Pose estimation
CN110245588A (zh) * 2019-05-29 2019-09-17 西安交通大学 一种基于无线射频信号的细粒度人体姿态估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188533A1 (en) * 2017-12-19 2019-06-20 Massachusetts Institute Of Technology Pose estimation
CN108279415A (zh) * 2018-01-04 2018-07-13 浙江大学 一种基于空间压缩感知的实时微波隔墙成像方法
CN110245588A (zh) * 2019-05-29 2019-09-17 西安交通大学 一种基于无线射频信号的细粒度人体姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENG SHAO 等: ""Learning Receptive Fields and Quality Lookups for Blind Quality Assessment of Stereoscopic Images"", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150478A (zh) * 2020-08-31 2020-12-29 温州医科大学 一种构建半监督图像分割框架的方法及系统

Similar Documents

Publication Publication Date Title
CN111432733B (zh) 用于确定超声探头的运动的设备和方法
US7628755B2 (en) Apparatus and method for processing an ultrasound image
CN107255468A (zh) 目标跟踪方法、目标跟踪设备及计算机存储介质
US10478091B2 (en) Method and device for detecting position of micro robot using ultra wide-band impulse radar signal
CN113017590B (zh) 生理数据监测方法、装置、计算机设备和存储介质
Armanious et al. An adversarial super-resolution remedy for radar design trade-offs
CN107811652B (zh) 自动调整参数的超声成像方法及系统
US20020107444A1 (en) Image based size analysis
US10768267B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
CN107092911A (zh) 一种时空联合弱小目标检测方法与装置
CN112731380A (zh) 一种基于毫米波的人体智能监测方法及监测设备
CN111369618A (zh) 基于压缩采样的rf信号人体姿态估计方法及装置
CN112446923A (zh) 人体三维姿态估计方法、装置、电子设备及存储介质
CN116009107B (zh) 一种被动式人体检测方法、装置、设备及介质
CN117113284A (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN112348891A (zh) 一种图像检测及定位方法、装置、存储介质及电子装置
US10827190B1 (en) Image compression selection based on interpretability loss estimation
CN114973328A (zh) 关键点检测方法及设备
CN115204221A (zh) 生理参数的检测方法、设备及存储介质
CN109974667B (zh) 一种室内人体定位方法
Baccinelli et al. Estimating Hand Kinematics in Reaching Tasks using RFID-A Preliminary Study
CN117115926B (zh) 一种基于实时图像处理的人体动作标准判定方法及装置
US11284866B2 (en) Ultrasonic signal processing device, ultrasonic diagnosis apparatus, and ultrasonic signal arithmetic processing method
US20210361256A1 (en) Gastrointestinal motility measurement system
CN118250428A (zh) 应用大数据分析的宽域录影监视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703