CN113762180B - 基于毫米波雷达信号的人体活动成像的训练方法及系统 - Google Patents
基于毫米波雷达信号的人体活动成像的训练方法及系统 Download PDFInfo
- Publication number
- CN113762180B CN113762180B CN202111068219.1A CN202111068219A CN113762180B CN 113762180 B CN113762180 B CN 113762180B CN 202111068219 A CN202111068219 A CN 202111068219A CN 113762180 B CN113762180 B CN 113762180B
- Authority
- CN
- China
- Prior art keywords
- radio frequency
- image
- feature map
- frequency signal
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 230000037081 physical activity Effects 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 86
- 238000012512 characterization method Methods 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000012634 optical imaging Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于毫米波雷达信号的人体活动成像的训练方法，包括：获取训练样本，训练样本包括源视频图像样本和射频信号样本；构建生成对抗网络并初始化生成对抗网络参数，生成对抗网络包括生成部和判别部；获得第一水平特征图和第一垂直特征图；获得第一射频融合表征；获取生成图像；获得第二水平特征图和第二垂直特征图；获得第二射频融合表征；获取第一判别结果；获取第一拼接图像；获取第二拼接图像；获取第二判别结果；利用第一判别结果和第二判别结果对生成部和判别部的参数进行优化；当第一判别结果和第二判别结果的准确率稳定在预设范围内时，获得优化后的生成部。本发明还公开了一种基于毫米波雷达信号的人体活动成像方法及系统。
Description
技术领域
本发明属于无线感知与计算机视觉的交叉领域，具体涉及一种基于毫米波雷达信号的人体活动成像的训练方法，同时还涉及一种基于毫米波雷达信号的人体活动成像方法及系统。
背景技术
在智能家居场景中，近年来已有多项工作使用无线传感设备来感知和理解人体活动，即通过分析从人体反射的无线信号，目前已设计出多种无线感知系统来追踪人体的位置，动作和生命体征等。然而，现有的这类系统大多只能粗略的感知人体，相比于摄像机捕捉的画面，其缺少了更丰富的视觉信息。对于摄像机而言，由于其依赖可见光，导致往往无法拍摄到被遮挡的或黑暗环境下的物体或人。即使有少数基于Wi-Fi信号的人体姿势成像系统，但由于Wi-Fi信号的不稳定性，导致其无法广泛使用。
发明内容
有鉴于此，本发明提供了一种基于毫米波雷达信号的人体活动成像的训练方法，同时还提供了一种基于毫米波雷达信号的人体活动成像方法及系统，以期至少部分地解决上述提及的技术问题中的至少之一。
根据本发明的一个方面提供了一种基于毫米波雷达信号的人体活动成像的训练方法，包括：
获取训练样本，训练样本包括源视频图像样本和射频信号样本；其中，源视频图像样本包括初始图像和真实图像，初始图像和真实图像对应源图像样本的不同帧；射频信号样本包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
构建生成对抗网络并初始化生成对抗网络参数，其中，生成对抗网络包括生成部和判别部，生成部包括第一射频提取网络和生成器，判别部包括第二射频提取网络、活动判别器和外观判别器；
将水平方向射频信号和垂直方向射频信号输入到生成部中，利用第一射频提取网络处理水平方向射频信号和垂直方向射频信号，获得第一水平特征图和第一垂直特征图；
通过射频融合操作并结合第一水平特征图和第一垂直特征图，获得第一射频融合表征；
将初始图像和第一射频融合表征输入到生成器中，利用生成器获取生成图像；
将水平方向射频信号和垂直方向射频信号输入到判别部中，利用第二射频提取网络处理水平方向射频信号和垂直方向射频信号，获得第二水平特征图和第二垂直特征图；
通过射频融合操作并结合第二水平特征图和第二垂直特征图，获得第二射频融合表征；
将真实图像、生成图像和第二射频融合表征输入到活动判别器中，由活动判别器以第二射频融合表征作为判别条件，获取第一判别结果；
将初始图像和真实图像进行拼接，获取第一拼接图像；
将初始图像和生成图像进行拼接，获取第二拼接图像；
将第一拼接图像和第二拼接图像输入到外观判别器中，获取第二判别结果；
利用第一判别结果和第二判别结果对生成部和判别部的参数进行优化；
当第一判别结果和第二判别结果的准确率稳定在预设范围内时，则停止对生成部参数和判别部参数的迭代优化，获得优化后的生成部。
根据本发明实施例所公开的上述训练方法，其中，第一射频提取网络包括第一卷积神经网络、第二卷积神经网络和第一融合器，其中，
第一卷积神经网络用于处理水平射频信号，获取第一水平特征图；
第二卷积神经网络用于处理垂直射频信号，获取第一垂直特征图；
第一融合器，用于通过射频融合操作并结合第一水平特征图和第一垂直特征图，获取第一射频融合表征。
根据本发明实施例所公开的上述训练方法，其中，第二射频提取网络包括第三卷积神经网络、第四卷积神经网络和第二融合器，其中，
第三卷积神经网络用于处理水平射频信号，获取第二水平特征图；
第四卷积神经网络用于处理垂直射频信号，获取第二垂直特征图；
第二融合器，用于通过射频融合操作并结合第二水平特征图和第二垂直特征图，获取第二射频融合表征。
根据本发明实施例所公开的上述训练方法，其中，获取训练样本包括：
利用光学成像设备获取源视频图像样本；
通过毫米波雷达发射探测信号，用于探测目标人体，并通过毫米波雷达采集携带有目标人体射频图像信息的射频信号样本；
通过对水平方向射频信号和垂直方向射频信号进行时间维度上的差分运算对射频信号样本进行预处理，得到处理后的射频信号样本；
其中，构建生成对抗网络并初始化生成对抗网络参数进一步包括：
获取生成器的特征；
获取活动判别器的特征。
根据本发明实施例所公开的上述训练方法，其中，第一射频融合表征由式(1)表示：
其中，R1(i，j)为第一射频融合表征中点(i，j)处的值，H1(i)表示第一水平特征图中第i个特征向量，V1(j)T表示第一垂直特征图中第j个特征向量的转置，用于调节值的大小；
其中，第二射频融合表征由式(2)表示：
其中，R2(i，j)为第二射频融合表征中点(i，j)处的值，H2(i)表示第二水平特征图中第i个特征向量，V2(j)T表示第二垂直特征图中第j个特征向量的转置，用于调节值的大小。
根据本发明实施例所公开的上述训练方法，其中，
对生成器的特征进行基于预处理后的射频信号的条件归一化操作；
对活动判别器的特征进行基于预处理后的射频信号的条件归一化操作；
其中，条件归一化操作由式(3)表示：
其中，fn是生成器或活动判别器的第n层的特征，μn和σn是fn的均值和方差，和/>是由第一射频融合表征或第二射频融合表征经过仿射变化得到的调节参数。
根据本发明实施例所公开的上述训练方法，其中，第一判别结果和第二判别结果对生成部和判别部的参数进行优化包括：
将第一判别结果和第二判别结果输入到第一损失函数中，其中，第一损失函数用于优化生成部的参数；
其中，第一损失函数由式(4)表示：
LG＝LLSG+LIMG+LFeature
其中，LG表示第一损失函数，LLSG是最小二乘损失，与判别部分相反，第一损失函数用于优化生成部，使生成部能够生成令活动判别器和外观判别器判别为1的生成图像，LIMG和LFeature使用曼哈顿距离将生成图像分别在图像空间和特征空间上逼近真实的图像。
根据本发明实施例所公开的上述训练方法，其中，第一判别结果和第二判别结果对生成部和判别部的参数进行优化包括：
将第一判别结果和第二判别结果输入到第二损失函数中，其中，第二损失函数用于优化判别部的参数；
其中，第二损失函数由式(5)表示：
LD＝Lact+Lapp (5)，
其中，LD表示第二损失函数，Lact表示活动判别器损失函数，Lapp表示外观判别器损失函数；
活动判别器损失函数由(6)表示：
其中，为最小二乘损失，将真实图像判别为1，将生成图像判别为0，/>为梯度惩罚损失函数；
外观判别器损失函数由式(7)表示：
其中，为最小二乘损失，将真实图像判别为1，将生成图像判别为0，/>为梯度惩罚损失。
根据本发明的一个方面，提供了一种基于毫米波雷达信号的人体活动成像方法，包括：
获取源视频图像和射频信号，其中，源视频图像包括初始图像，射频信号包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
对射频信号进行预处理，得到处理后的射频信号；
构建生成对抗网络，并将初始图像和处理后的射频信号输入到生成对抗网络中，其中，生成对抗网络由上述训练方法训练得到，生成对抗网络包括生成部，生成部包括第一射频提取网络和生成器；
利用第一射频提取网络对处理后的射频信号的水平方向射频信号和垂直方向射频信号进行处理，得到第一水平特征图和第一垂直特征图；
通过射频融合操作并结合第一水平特征图和第一垂直特征图，获得第一射频融合表征；
将初始图像和第一射频融合表征输入到生成器中，利用生成器获取生成图像。
根据本发明的另一个方面，提供了一种基于毫米波雷达信号的人体活动成像系统，包括：
数据获取模块，用于获取源视频图像和射频信号，其中，源视频图像包括初始图像，射频信号包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
预处理模块，用于对射频信号进行预处理，得到处理后的射频信号；
构建模块，用于构建生成对抗网络，并将初始图像和处理后的射频信号输入到生成对抗网络中，其中，生成对抗网络由上述训练方法训练得到，生成对抗网络包括生成部，生成部包括第一射频提取网络和生成器；
第一处理模块，用于通过第一射频提取网络对处理后的射频信号的水平方向射频信号和垂直方向射频信号进行处理，得到第一水平特征图和第一垂直特征图；
第二处理模块，用于通过射频融合操作并结合第一水平特征图和第一垂直特征图，获得第一射频融合表征；
图像生成模块，用于将初始图像和第一射频融合表征输入到生成器中，利用生成器获取生成图像。
本发明实施例公开的训练方法，利用毫米波雷达采集射频信号和利用光学成像设备捕捉到源视频图像，通过构建生成对抗网络，将上述射频信号和源视频图像输入到上述生成对抗网络进行训练，得到训练好的生成对抗网络，并利用训练好的上述生成对抗网络，合成任意时刻的人体活动图像。
本发明实施例公开的成像方法及系统，利用毫米波雷达稳定、可穿墙以及不依赖可见光的特性，能够在遮挡环境或黑暗环境下，结合光学成像设备的辅助，合成相应的目标人体的光学图像，对人体活动感知具有重要的实际意义。
附图说明
图1是根据本发明实施例的一种基于毫米波雷达信号的人体活动成像的训练方法的流程图；
图2是根据本发明实施例的训练方法的训练过程图；
图3是根据本发明实施例的一种基于毫米波雷达信号的人体活动成像方法的流程图；
图4是利用本发明实施例的成像方法的视觉展示图；
图5是本发明实施例所公开的成像方法在遮挡环境和黑暗环境下的实验结果图；
图6是根据本发明实施例的一种基于毫米波雷达信号的人体活动成像系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
根据本发明的一个方面提供了一种基于毫米波雷达信号的人体活动成像的训练方法，图1是根据本发明实施例的一种基于毫米波雷达信号的人体活动成像的训练方法的流程图，如图1，包括操作S101～操作S113：
在操作S101，获取训练样本，训练样本包括源视频图像样本和射频信号样本；其中，源视频图像样本包括初始图像和真实图像，初始图像和真实图像对应源图像样本的不同帧；射频信号样本包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
在操作S102，构建生成对抗网络并初始化生成对抗网络参数，其中，生成对抗网络包括生成部和判别部，生成部包括第一射频提取网络和生成器，判别部包括第二射频提取网络、活动判别器和外观判别器；
在操作S103，将水平方向射频信号和垂直方向射频信号输入到生成部中，利用第一射频提取网络处理水平方向射频信号和垂直方向射频信号，获得第一水平特征图和第一垂直特征图；
在操作S104，通过射频融合操作并结合第一水平特征图和第一垂直特征图，获得第一射频融合表征；
在操作S105，将初始图像和第一射频融合表征输入到生成器中，利用生成器获取生成图像；
在操作S106，将水平方向射频信号和垂直方向射频信号输入到判别部中，利用第二射频提取网络处理水平方向射频信号和垂直方向射频信号，获得第二水平特征图和第二垂直特征图；
在操作S107，通过射频融合操作并结合第二水平特征图和第二垂直特征图，获得第二射频融合表征；
在操作S108，将真实图像、生成图像和第二射频融合表征输入到活动判别器中，由活动判别器以第二射频融合表征作为判别条件，获取第一判别结果；
在操作S109，将初始图像和真实图像进行拼接，获取第一拼接图像；
在操作S110，将初始图像和生成图像进行拼接，获取第二拼接图像；
在操作S111，将第一拼接图像和第二拼接图像输入到外观判别器中，获取第二判别结果；
在操作S112，利用第一判别结果和第二判别结果对生成部和判别部的参数进行优化；
在操作S113，当第一判别结果和第二判别结果的准确率稳定在预设范围内时，则停止对生成部参数和判别部参数的迭代优化，获得优化后的生成部。
本发明实施例公开的上述训练过程，充分利用了毫米波雷达信号可穿墙以及不依赖可见光的特性，结合光学成像设备所生成的光学图像，通过生成对抗网络对上述毫米波雷达信号和光学图像所构成的样本数据进行处理，得到一个训练好的生成对抗网络，从而能够实现利用毫米波雷达信号和光学图像生成目标人体的活动图像。
图2是根据本发明实施例的训练方法的训练过程图，下面将结合图2对本发明实施例所公开的训练方法作进一步地说明。
如图2所示，生成对抗网络包括一个生成部分和一个判别部分。生成部分由第一射频提取网络和生成器组成，判别部分由第二射频提取网络，活动判别器和外观判别器组成。其中，第一射频提取网络从水平方向和垂直方向的射频信号中提取人体活动信息，生成器将该人体活动信息作为条件，并以源图像为输入，生成对应的人体活动图像，即图中的生成的图像。判别部分由第二射频提取网络和两个判别器组成，其中第二射频提取网络与生成部分的第一射频提取网络的结构相同但不同权重，从同样的射频信号中提取人体活动信息。活动判别器用以指导生成器合成具有目标人体活动的图像，其以生成的图像和真实的图像为输入，以人体活动信息为条件进行判别指导。外观判别器用以指导生成器合成视觉外观与源图像一致的目标图像，其以生成的图像和真实的图像为输入，以源图像为条件进行判别指导。
参照图2，当生成的图像分别输入到判别部的活动判别器和外观判别器时，活动判别器和外观判别器输出的结果是0；当真实的图像分别输入到判别部的活动判别器和外观判别器时，活动判别器和外观判别器输出的结果是1；通过生成部和判别部彼此对抗训练，生成部的生成器所产生的生成的图像会越来越接近真实的图像，此时活动判别器和外观判别器输出的结果是1的概率在增加，即活动判别器和外观判别器对于真实的图像和生成的图像已经无法区分，当活动判别器和外观判别器对真实的图像和生成的图像判别概率稳定在预设范围内，优选的是50％的时候，说明生成部的生成器已经达到最优化，能够生成和真实的图像效果一样图像。
结合图2，在本发明实施例中，采用频率调制连续波和线性天线阵列进行信号收发，毫米波雷达系统装备有水平和垂直两个天线阵列，用于收发水平方向和垂直方向的射频信号。对于生成对抗网络的设计，射频提取网络包含两个6层卷积层编码器用于分别处理水平方向和垂直方向的射频信号并得到特征图和一个射频融合操作用于结合两方向的特征图。生成器包含4卷积层的编码器，4反卷积层的解码器和12个条件残差块，每个条件残差块由2个卷积层组成。对于活动判别器和外观判别器，其均由5层卷积层组成。在训练时，采用Adam优化器，学习率设置为0.002。
根据本发明实施例所公开的上述训练方法，其中，第一射频提取网络包括第一卷积神经网络、第二卷积神经网络和第一融合器，其中，
第一卷积神经网络用于处理水平射频信号，获取第一水平特征图；
第二卷积神经网络用于处理垂直射频信号，获取第一垂直特征图；
第一融合器，用于通过射频融合操作并结合第一水平特征图和第一垂直特征图，获取第一射频融合表征。
第一射频提取网络通过构建两层卷积神经网络，可以有效的处理射频信号中的水平射频信号和垂直射频信号，同时通过融合操作，能够最大限度的提取射频信号所包含的各种维度的信息。
根据本发明实施例所公开的上述训练方法，其中，第二射频提取网络包括第三卷积神经网络、第四卷积神经网络和第二融合器，其中，
第三卷积神经网络用于处理水平射频信号，获取第二水平特征图；
第四卷积神经网络用于处理垂直射频信号，获取第二垂直特征图；
第二融合器，用于通过射频融合操作并结合第二水平特征图和第二垂直特征图，获取第二射频融合表征。
第二射频提取网络通过构建通过两层卷积神经网络，可以有效的处理射频信号中的水平射频信号和垂直射频信号，同时通过融合操作，能够最大限度的提取射频信号所包含的各种维度的信息。
根据本发明实施例所公开的上述训练方法，其中，获取训练样本包括：
利用光学成像设备获取源视频图像样本；
通过毫米波雷达发射探测信号，用于探测目标人体，并通过毫米波雷达采集携带有目标人体射频图像信息的射频信号样本；
通过对水平方向射频信号和垂直方向射频信号进行时间维度上的差分运算对射频信号样本进行预处理，得到处理后的射频信号样本；
上述获取训练样本的过程中，对水平方向射频信号和垂直方向射频信号进行时间维度上的差分运算能够有效的抑制多径干扰，为训练过程提供可靠稳定的高质量训练数据。
其中，构建生成对抗网络并初始化生成对抗网络参数进一步包括：
获取生成器的特征；
获取活动判别器的特征。
上述过程中，通过获取生成器和判别器的特征，为后续优化生成器和判别器提供前期的数据准备。
根据本发明实施例所公开的上述训练方法，其中，第一射频融合表征由式(1)表示：
其中，R1(i，j)为第一射频融合表征中点(i，j)处的值，H1(i)表示第一水平特征图中第i个特征向量，V1(j)T表示第一垂直特征图中第j个特征向量的转置，用于调节值的大小；
其中，第二射频融合表征由式(2)表示：
其中，R2(i，j)为第二射频融合表征中点(i，j)处的值，H2(i)表示第二水平特征图中第i个特征向量，V2(j)T表示第二垂直特征图中第j个特征向量的转置，用于调节值的大小。
上述训练过程中，使用射频提取网络提取并融合水平方向和垂直方向的射频信号，将其表示为射频融合表征，该表征记录了人体活动信息。通过上述射频融合表征公式，可以高效准确地表征人体活动信息，为进一步优化生成对抗网络的各项参数，提供了可靠的依据。
根据本发明实施例所公开的上述训练方法，其中，
对生成器的特征进行基于预处理后的射频信号的条件归一化操作；
对活动判别器的特征进行基于预处理后的射频信号的条件归一化操作；
其中，条件归一化操作由式(3)表示：
其中，fn是生成器或活动判别器的第n层的特征，μn和σn是fn的均值和方差，和/>是由第一射频融合表征或第二射频融合表征经过仿射变化得到的调节参数。
上述条件归一化操作，充分利用率生成器和活动判别器的特征；通过归一化操作，在使得不同数据之间具有可比性，消除了不同数据之间不同的量纲和量纲单位对训练结果的影响，提升了训练过程的可靠性。
根据本发明实施例所公开的上述训练方法，其中，第一判别结果和第二判别结果对生成部和判别部的参数进行优化包括：
将第一判别结果和第二判别结果输入到第一损失函数中，其中，第一损失函数用于优化生成部的参数；
其中，第一损失函数由式(4)表示：
LG＝LLSG+LIMG+LFeature
其中，LG表示第一损失函数，LLSG是最小二乘损失，与判别部分相反，第一损失函数用于优化生成部，使生成部能够生成令活动判别器和外观判别器判别为1的生成图像，LIMG和LFeature使用曼哈顿距离将生成图像分别在图像空间和特征空间上逼近真实的图像。
上述训练过程中所提供的损失函数，能够有效的优化生成部和判别部的参数，通过计算训练过程的生成结果和实际结果之间的差距程度，提高训练过程的稳定性和可靠性。
根据本发明实施例所公开的上述训练方法，其中，第一判别结果和第二判别结果对生成部和判别部的参数进行优化包括：
将第一判别结果和第二判别结果输入到第二损失函数中，其中，第二损失函数用于优化判别部的参数；
其中，第二损失函数由式(5)表示：
LD＝Lact+Lapp (5)，
其中，LD表示第二损失函数，Lact表示活动判别器损失函数，Lapp表示外观判别器损失函数；
活动判别器损失函数由(6)表示：
其中，为最小二乘损失，将真实图像判别为1，将生成图像判别为0，/>为梯度惩罚损失函数；
外观判别器损失函数由式(7)表示：
其中，为最小二乘损失，将真实图像判别为1，将生成图像判别为0，/>为梯度惩罚损失。
上述训练过程所公开的损失函数，能够有效的优化生成部和判别部的参数，提高了训练过程的效率。
根据本发明的一个方面，提供了一种基于毫米波雷达信号的人体活动成像方法，参照图3，包括操作S310～操作S360：
在操作S310，获取源视频图像和射频信号，其中，源视频图像包括初始图像，射频信号包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
在操作S320，对射频信号进行预处理，得到处理后的射频信号；
在操作S330，构建生成对抗网络，并将初始图像和处理后的射频信号输入到生成对抗网络中，其中，生成对抗网络由上述训练方法训练得到，生成对抗网络包括生成部，生成部包括第一射频提取网络和生成器；
在操作S340，利用第一射频提取网络对处理后的射频信号的水平方向射频信号和垂直方向射频信号进行处理，得到第一水平特征图和第一垂直特征图；
在操作S350，通过射频融合操作并结合第一水平特征图和第一垂直特征图，获得第一射频融合表征；
在操作S360，将初始图像和第一射频融合表征输入到生成器中，利用生成器获取生成图像。
上述成像方法，利用了本发明实施例公开的训练过程所得到的优化后的生成部，同时利用毫米波雷达可穿墙已经不依赖可见光的特性，并结合光学设备所捕捉的光学图像，能够生成目标人体活动的图像，在提升成像准确性的前提下，大大提高了目标人体活动成像应用的范围。
下面结合图4和图5对上述成像方法作进一步详细说明。
图4是利用上述成像方法的视觉展示图，第1行为源视频图像，第2行为毫米波雷达信号，第3行为真实的人体活动图像，第4行为本发明实施例所公开的成像方法合成的人体活动图像。通过图4可以看出，利用本发明实施例所公开的成像方法，能够生成较为准确的目标人体活动图像。
图5是利用本发明实施例所公开的成像方法在遮挡环境和黑暗环境下的实验结果图。
如图5所示，第1列为源图像，第2列和第3列为毫米波雷达信号，第4列分别展示了遮挡环境和黑暗环境，第5列为本发明分别在遮挡环境和黑暗环境下合成的人体活动图像。通过图5，可以看出，利用本发明实施例所公开的成像方法在遮挡环境和黑暗环境下，依然能够生成准确的目标人体活动图像。
根据本发明的另一个方面，提供了一种基于毫米波雷达信号的人体活动成像系统600，参照图6，包括数据获取模块610、预处理模块620、构建模块630、第一处理模块640、第二处理模块650以及图像生成模块660，其中：
数据获取模块610，用于获取源视频图像和射频信号，其中，源视频图像包括初始图像，射频信号包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
预处理模块620，用于对射频信号进行预处理，得到处理后的射频信号；
构建模块630，用于构建生成对抗网络，并将初始图像和处理后的射频信号输入到生成对抗网络中，其中，生成对抗网络由上述训练方法训练得到，生成对抗网络包括生成部，生成部包括第一射频提取网络和生成器；
第一处理模块640，用于通过第一射频提取网络对处理后的射频信号的水平方向射频信号和垂直方向射频信号进行处理，得到第一水平特征图和第一垂直特征图；
第二处理模块650，用于通过射频融合操作并结合第一水平特征图和第一垂直特征图，获得第一射频融合表征；
图像生成模块660，用于将初始图像和第一射频融合表征输入到生成器中，利用生成器获取生成图像。
上述成像系统，提高了成像效率和成像的质量，并且能够在光线条件不足或者没有可见光的条件下正常工作，大大拓展了该系统的应用范围；同时系统内置的生成对抗网络，保证了成像的质量。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于毫米波雷达信号的人体活动成像的训练方法，包括：
获取训练样本，所述训练样本包括源视频图像样本和射频信号样本；其中，所述源视频图像样本包括初始图像和真实图像，所述初始图像和真实图像对应所述源图像样本的不同帧；所述射频信号样本包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
构建生成对抗网络并初始化所述生成对抗网络参数，其中，所述生成对抗网络包括生成部和判别部，所述生成部包括第一射频提取网络和生成器，所述判别部包括第二射频提取网络、活动判别器和外观判别器；
将所述水平方向射频信号和所述垂直方向射频信号输入到所述生成部中，利用所述第一射频提取网络处理所述水平方向射频信号和所述垂直方向射频信号，获得第一水平特征图和第一垂直特征图；
通过射频融合操作并结合所述第一水平特征图和所述第一垂直特征图，获得第一射频融合表征；
将所述初始图像和所述第一射频融合表征输入到所述生成器中，利用所述生成器获取生成图像；
将所述水平方向射频信号和所述垂直方向射频信号输入到所述判别部中，利用所述第二射频提取网络处理所述水平方向射频信号和所述垂直方向射频信号，获得第二水平特征图和第二垂直特征图；
通过射频融合操作并结合所述第二水平特征图和所述第二垂直特征图，获得第二射频融合表征；
将所述真实图像、所述生成图像和所述第二射频融合表征输入到所述活动判别器中，由所述活动判别器以所述第二射频融合表征作为判别条件，获取第一判别结果；
将所述初始图像和所述真实图像进行拼接，获取第一拼接图像；
将所述初始图像和所述生成图像进行拼接，获取第二拼接图像；
将所述第一拼接图像和所述第二拼接图像输入到所述外观判别器中，获取第二判别结果；
利用所述第一判别结果和所述第二判别结果对所述生成部和所述判别部的参数进行优化；
当所述第一判别结果和所述第二判别结果的准确率稳定在预设范围内时，则停止对所述生成部参数和所述判别部参数的迭代优化，获得优化后的生成部；
其中，所述第一射频融合表征由式(1)表示：
其中，R1(i，j)为所述第一射频融合表征中点(i，j)处的值，H1(i)表示所述第一水平特征图中第i个特征向量，V1(j)T表示所述第一垂直特征图中第j个特征向量的转置，用于调节值的大小；
其中，所述第二射频融合表征由式(2)表示：
其中，R2(i，j)为所述第二射频融合表征中点(i，j)处的值，H2(i)表示所述第二水平特征图中第i个特征向量，V2(j)T表示所述第二垂直特征图中第j个特征向量的转置，用于调节值的大小。
2.根据权利要求1所述的训练方法，其中，所述第一射频提取网络包括第一卷积神经网络、第二卷积神经网络和第一融合器，其中，
所述第一卷积神经网络用于处理所述水平射频信号，获取所述第一水平特征图；
所述第二卷积神经网络用于处理所述垂直射频信号，获取所述第一垂直特征图；
所述第一融合器，用于通过射频融合操作并结合所述第一水平特征图和所述第一垂直特征图，获取所述第一射频融合表征。
3.根据权利要求1所述的训练方法，其中，所述第二射频提取网络包括第三卷积神经网络、第四卷积神经网络和第二融合器，其中，
所述第三卷积神经网络用于处理所述水平射频信号，获取所述第二水平特征图；
所述第四卷积神经网络用于处理所述垂直射频信号，获取所述第二垂直特征图；
所述第二融合器，用于通过射频融合操作并结合所述第二水平特征图和所述第二垂直特征图，获取所述第二射频融合表征。
4.根据权利要求1所述的训练方法，其中，所述获取训练样本包括：
利用光学成像设备获取源视频图像样本；
通过毫米波雷达发射探测信号，用于探测目标人体，并通过毫米波雷达采集携带有所述目标人体射频图像信息的射频信号样本；
通过对所述水平方向射频信号和所述垂直方向射频信号进行时间维度上的差分运算对所述射频信号样本进行预处理，得到处理后的射频信号样本；
其中，所述构建生成对抗网络并初始化所述生成对抗网络参数进一步包括：
获取所述生成器的特征；
获取所述活动判别器的特征。
5.根据权利要求4所述的训练方法，其中，
对所述生成器的特征进行基于所述预处理后的射频信号的条件归一化操作；
对所述活动判别器的特征进行基于所述预处理后的射频信号的条件归一化操作；
其中，所述条件归一化操作由式(3)表示：
其中，fn是所述生成器或所述活动判别器的第n层的特征，μn和σn是fn的均值和方差，和/>是由所述第一射频融合表征或第二射频融合表征经过仿射变化得到的调节参数。
6.根据权利要求1所述的训练方法，其中，所述第一判别结果和所述第二判别结果对所述生成部和所述判别部的参数进行优化包括：
将所述第一判别结果和所述第二判别结果输入到第一损失函数中，其中，所述第一损失函数用于优化所述生成部的参数；
其中，所述第一损失函数由式(4)表示：
LG＝LLSG+LIMG+LFeature
其中，LG表示所述第一损失函数，LLSG是最小二乘损失，与所述判别部分相反，所述第一损失函数用于优化所述生成部，使所述生成部能够生成令所述活动判别器和所述外观判别器判别为1的所述生成图像，LIMG和LFeature使用曼哈顿距离将所述生成图像分别在图像空间和特征空间上逼近真实的图像。
7.根据权利要求1所述的训练方法，其中，所述第一判别结果和所述第二判别结果对所述生成部和所述判别部的参数进行优化包括：
将所述第一判别结果和所述第二判别结果输入到第二损失函数中，其中，所述第二损失函数用于优化所述判别部的参数；
其中，所述第二损失函数由式(5)表示：
LD＝Lact+Lapp (5)，
其中，LD表示所述第二损失函数，Lact表示所述活动判别器损失函数，Lapp表示所述外观判别器损失函数；
所述活动判别器损失函数由(6)表示：
其中，为最小二乘损失，将所述真实图像判别为1，将所述生成图像判别为0，/>为梯度惩罚损失函数；
所述外观判别器损失函数由式(7)表示：
其中，为最小二乘损失，将所述真实图像判别为1，将所述生成图像判别为0，/>为梯度惩罚损失。
8.一种基于毫米波雷达信号的人体活动成像方法，包括：
获取源视频图像和射频信号，其中，所述源视频图像包括初始图像，所述射频信号包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
对所述射频信号进行预处理，得到处理后的射频信号；
构建生成对抗网络，并将初始图像和所述处理后的射频信号输入到生成对抗网络中，其中，所述生成对抗网络由权利要求1-7任一所述的训练方法训练得到，所述生成对抗网络包括生成部，所述生成部包括第一射频提取网络和生成器；
利用所述第一射频提取网络对所述处理后的射频信号的所述水平方向射频信号和所述垂直方向射频信号进行处理，得到第一水平特征图和第一垂直特征图；
通过射频融合操作并结合所述第一水平特征图和所述第一垂直特征图，获得第一射频融合表征；
将所述初始图像和所述第一射频融合表征输入到所述生成器中，利用所述生成器获取生成图像。
9.一种基于毫米波雷达信号的人体活动成像系统，包括：
数据获取模块，用于获取源视频图像和射频信号，其中，所述源视频图像包括初始图像，所述射频信号包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；
预处理模块，用于对所述射频信号进行预处理，得到处理后的射频信号；
构建模块，用于构建生成对抗网络，并将初始图像和所述处理后的射频信号输入到生成对抗网络中，其中，所述生成对抗网络由权利要求1-7任一所述的训练方法训练得到，所述生成对抗网络包括生成部，所述生成部包括第一射频提取网络和生成器；
第一处理模块，用于通过所述第一射频提取网络对所述处理后的射频信号的所述水平方向射频信号和所述垂直方向射频信号进行处理，得到第一水平特征图和第一垂直特征图；
第二处理模块，用于通过射频融合操作并结合所述第一水平特征图和所述第一垂直特征图，获得第一射频融合表征；
图像生成模块，用于将所述初始图像和所述第一射频融合表征输入到所述生成器中，利用所述生成器获取生成图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068219.1A CN113762180B (zh) | 2021-09-13 | 2021-09-13 | 基于毫米波雷达信号的人体活动成像的训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068219.1A CN113762180B (zh) | 2021-09-13 | 2021-09-13 | 基于毫米波雷达信号的人体活动成像的训练方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762180A CN113762180A (zh) | 2021-12-07 |
| CN113762180B true CN113762180B (zh) | 2023-09-01 |
Family
ID=78795133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111068219.1A Active CN113762180B (zh) | 2021-09-13 | 2021-09-13 | 基于毫米波雷达信号的人体活动成像的训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762180B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及系统 |
| CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN112883908A (zh) * | 2021-03-16 | 2021-06-01 | 南京航空航天大学 | 一种基于空频特征一致性的sar图像到光学图像映射的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11906660B2 (en) * | 2019-08-30 | 2024-02-20 | Nvidia Corporation | Object detection and classification using LiDAR range images for autonomous machine applications |
-
2021
- 2021-09-13 CN CN202111068219.1A patent/CN113762180B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及系统 |
| CN111861949A (zh) * | 2020-04-21 | 2020-10-30 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN112883908A (zh) * | 2021-03-16 | 2021-06-01 | 南京航空航天大学 | 一种基于空频特征一致性的sar图像到光学图像映射的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度神经网络的SAR建筑目标三维重建方法;陈健堃;彭凌霄;仇晓兰;丁赤飚;吴一戎;;中国科学:信息科学(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762180A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105894702A (zh) | 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法 | |
| TW202026948A (zh) | 活體檢測方法、裝置以及儲存介質 | |
| US11361534B2 (en) | Method for glass detection in real scenes | |
| JP2012003364A (ja) | 人物動作判定装置およびそのプログラム | |
| CN107290975A (zh) | 一种家居智能机器人 | |
| WO2023093086A1 (zh) | 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品 | |
| Hu et al. | Building occupancy detection and localization using cctv camera and deep learning | |
| CN114022531A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN113988228A (zh) | 一种基于rfid和视觉融合的室内监控方法及系统 | |
| Chowdhury et al. | Robust human detection and localization in security applications | |
| CN113762180B (zh) | 基于毫米波雷达信号的人体活动成像的训练方法及系统 | |
| CN112183287A (zh) | 一种移动机器人在复杂背景下的人数统计方法 | |
| JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
| Liu et al. | Outdoor camera calibration method for a GPS & camera based surveillance system | |
| Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
| CN116797814A (zh) | 智慧工地安全管理系统 | |
| CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
| CN114581522A (zh) | 一种支撑点搜索的单目视觉室内定位方法 | |
| CN112598738A (zh) | 一种基于深度学习的人物定位方法 | |
| CN111860331A (zh) | 无人机在安防未知域的人脸识别系统 | |
| CN110232353B (zh) | 一种获取场景人员深度位置的方法和装置 | |
| CN114513746B (zh) | 融合三重视觉匹配模型和多基站回归模型的室内定位方法 | |
| US11995869B2 (en) | System and method to improve object detection accuracy by focus bracketing | |
| CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
| Snidaro et al. | A multi-camera approach to sensor evaluation in video surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |