CN113935379B - 一种基于毫米波雷达信号的人体活动分割方法及系统 - Google Patents
一种基于毫米波雷达信号的人体活动分割方法及系统 Download PDFInfo
- Publication number
- CN113935379B CN113935379B CN202111201634.XA CN202111201634A CN113935379B CN 113935379 B CN113935379 B CN 113935379B CN 202111201634 A CN202111201634 A CN 202111201634A CN 113935379 B CN113935379 B CN 113935379B
- Authority
- CN
- China
- Prior art keywords
- radio frequency
- human body
- horizontal direction
- network
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000037081 physical activity Effects 0.000 title abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 29
- 238000012512 characterization method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
- G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于毫米波雷达信号的人体活动分割方法，包括：获取目标人体的毫米波雷达信号，其中，毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；对水平方向射频信号和垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图；利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图。本发明同时还公开了一种基于毫米波雷达信号的人体活动分割系统。
Description
技术领域
本发明属于无线感知与计算机视觉的交叉领域，具体涉及一种基于毫米波雷达信号的人体活动分割方法及系统。
背景技术
在智能家居场景中，有很多新兴的工作使用基于无线信号的设备来感知人体活动。即通过分析人体表面反射的无线信号，或者RFID传感器返回的无线信号来理解人的位置、动作，捕获人体的生命特征参数等。然而，现有的方法大多只能获取粗糙的信息，相比于光学摄像头拍摄的画面，细节信息缺失很多。同时，光学摄像头有其固有的缺陷，其受限于可见光的特性，在遮挡或者黑暗环境下将无法工作。
发明内容
鉴于上述问题，本发明提供了一种基于毫米波雷达信号的人体活动分割方法及系统，以期至少部分地解决上述提及的技术问题中的至少之一。
根据本发明的一个方面，提供了一种基于毫米波雷达信号的人体活动分割方法，包括：
获取目标人体的毫米波雷达信号，其中，毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；
对水平方向射频信号和垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；
利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图，其中，检测模型包括第一射频特征提取网络、第二射频特征提取网络、区域推荐网络和坐标回归网络；
利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图，其中，生成模型包括特征融合网络和分割图生成网络。
根据本发明的实施例，上述利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图包括：
通过第一射频特征提取网络对预处理后的水平方向射频信号进行特征提取，获得第一水平方向特征图；
通过第二射频特征提取网络用于对预处理后的垂直方向射频信号进行特征提取，获得第一垂直方向特征图；
通过区域推荐网络处理第一水平方向特征图，并根据区域推荐网络损失函数，生成目标人体的水平锚框；
根据水平锚框对第一水平方向特征图进行切割，获得第二水平方向特征图；
通过坐标回归网络处理第二水平方向特征图，并根据坐标框回归损失函数，生成目标人体的水平目标框；
根据水平目标框对第一水平方向特征图进行重新切割，获得水平方向特征图；
计算目标人体的垂直目标框，并根据垂直目标框对第一垂直方向特征图进行切割，获得垂直方向特征图。
根据本发明的实施例，上述利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图包括：
利用水平目标框和垂直目标框，获得目标人体的三维空间信息；
将三维空间信息投影到二维平面，获得二维平面框，二维平面框用于限定目标人体的空间范围；
通过特征融合网络处理水平方向特征图和垂直方向特征图，获得射频融合表征；
通过分割图生成网络将射频融合表征进行分辨率放大，并根据分割图损失函数，生成二值分割图；
将二维平面框和二值分割图进行合成，获得目标人体的分割图。
根据本发明的实施例，毫米波雷达信号由式(1)表示：
水平方向射频信号由式(2)表示：
垂直方向射频信号由式(3)表示：
其中，x，y，z是目标人体在空间中的坐标，sk，mt表示在时刻t，第m个天线上的第k个信号，λk是信号的波长，dm(x，y，z)表示从发送天线到目标位置再到接收天线的距离。
根据本发明的实施例，区域推荐网络损失函数用于对每个锚框进行二分类，如果是前景则为1，如果是背景则为0，并对前景框微调，区域推荐网络损失函数由式(4)表示：
其中，i是锚框的索引，pi是锚框为前景的概率，是指示器，为1表示锚框是正样本，为0表示锚框为负样本；ti和/>为坐标的预测值和真实值，Lcls为二值交叉熵损失，Lreg为smooth-l1损失；λrpn为平衡权重。
坐标框回归损失函数由式(5)表示：
Ldetect(p，u，v，tu)＝Lcls(p，u)+λdet[u≥1]Lbox(tu，v) (5)，
其中，p和u分别为类别的预测值和真实值。v和tu是坐标框的预测值和真实值，Lcls为二值交叉熵损失，Lbox为损失；λdet为平衡权重；
坐标框回归损失函数能够同时输出目标的分类置信度和精确的坐标。
根据本发明的实施例，上述通过区域推荐网络处理第一水平方向特征图，并根据区域推荐网络损失函数，生成目标人体的水平锚框包括：
根据第一水平特征图的位置，预定义水平锚框，其中预定义的水平锚框具有不同的比例和面积；
区域推荐网络根据预定义的水平锚框，预测目标人体的空间位置，同时输出目标人体空间位置的置信度；
根据置信度，对预定义的水平锚框进行筛选，生成目标人体的水平锚框。
根据本发明的实施例，上述计算目标人体的垂直目标框包括：
获取两个毫米波雷达的相对位置和每个毫米波雷达的高度信息；
根据相对位置和高度信息，利用目标人体竖直方向和水平方向的几何关系，计算目标人体的垂直目标框。
根据本发明的实施例，分割图损失函数由式(6)表示：
其中，i是预测框的索引，k是真实的类别标签，mik表示第i个目标的第k个预测二值分割图；是对应的真实值，Lm是二值交叉熵损失；
分割图损失函数对每一个检测到的目标框都输出一个尺寸为K×m2的张量，代表着K个尺寸为m×m二值分割图，对应于K个类别；
其中，二维平面框由式(7)表示：
其中，(x，y，z)为目标人体在三维空间中点的坐标，(xp，yp)为投影平面上点的坐标；投影平面为z＝r；px和py是投影平面的偏移量。
根据本发明的实施例，第一射频特征提取网络和第二射频特征提取网络包括特征金字塔模块的多层残差网络；
特征融合网络包括多层全连接层；
射频融合表征经过重新排列形成尺寸为(c，m，m)的张量，其中，C为特征图的通道数，m为常量；
分割图生成网络包括多个反卷积-卷积块。
根据本发明的另一个方面，提供了一种基于毫米波雷达信号的人体获得分割系统，包括：
获取模块，用于获取目标人体的毫米波雷达信号，其中，毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；
预处理模块，用于对水平方向射频信号和垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；
第一处理模块，用于利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图，其中，检测模型包括第一射频特征提取网络、第二射频特征提取网络、区域推荐网络和坐标回归网络；
第二处理模块，用于利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图，其中，生成模型包括特征融合网络和分割图生成网络。
本发明提供的基于毫米波雷达信号的人体获得分割方法，通过获取目标人体的毫米波雷达发射的无线信号，利用检测模型和生成模型对毫米波雷达信号进行处理，能够完善分割图的细节并提高成像质量。同时本发明提供的基于毫米波雷达信号的人体获得分割系统，充分利用毫米波雷达信号可以穿透障碍物的特性，能够在遮挡或者黑暗的环境中对人体获得进行感知，扩大了上述分割系统的应用范围和应用场景。
附图说明
图1是根据本发明实施例的一种基于毫米波雷达信号的人体活动分割方法的流程图；
图2是根据本发明实施例的获得水平方向特征图和垂直方向特征图的流程图；
图3是根据本发明实施例的生成目标人体的分割图的流程图；
图4是根据本发明实施例的生成目标人体的水平锚框的流程图；
图5是根据本发明实施例的计算目标人体的垂直目标框的流程图；
图6是根据本发明实施例的三维空间到二维平面投影过程的示意图；
图7是根据本发明实施例的目标人体活动分割方法的示意性过程图；
图8是根据本发明实施例的一种基于毫米波雷达信号的人体获得分割系统的结构示意图；
图9是本发明实施例所提供的系统在一般环境下的生成结果的示意图；
图10是本发明实施例所提供的系统在遮挡和黑暗环境下的生成结果的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
图1是根据本发明实施例的一种基于毫米波雷达信号的人体活动分割方法的流程图，如图1所示，包括操作S110-操作S140。
在操作S110，获取目标人体的毫米波雷达信号，其中，毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；
在操作S120，对水平方向射频信号和垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；
在操作S130，利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图，其中，检测模型包括第一射频特征提取网络、第二射频特征提取网络、区域推荐网络和坐标回归网络；
在操作S140，利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图，其中，生成模型包括特征融合网络和分割图生成网络。
上述基于毫米波雷达信号的人体活动分割方法，通过获取目标人体的毫米波雷达信号，利用检测模型和生成模型对上述雷达信号进行处理，能够生成目标人体活动的分割图；由于毫米波雷达信号可以穿透障碍物的特性，在遮挡或者黑暗的环境中，上述方法依然能够使用，大大地提高了上述方法的应用范围和场景；同时检测模型和生成模型有多个神经网络构成，能够高效、准确地处理数据，提高目标人体活动的分割图的准确度。
图2是根据本发明实施例的获得水平方向特征图和垂直方向特征图的流程图，如图2所示，包括操作S210～操作S270。
根据本发明的实施例，上述利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图包括：
在操作S210，通过第一射频特征提取网络对预处理后的水平方向射频信号进行特征提取，获得第一水平方向特征图；
在操作S220，通过第二射频特征提取网络用于对预处理后的垂直方向射频信号进行特征提取，获得第一垂直方向特征图；
在操作S230，通过区域推荐网络处理第一水平方向特征图，并根据区域推荐网络损失函数，生成目标人体的水平锚框；
在操作S240，根据水平锚框对第一水平方向特征图进行切割得到第二水平方向特征图；
在操作S250，通过坐标回归网络处理第二水平特征图，并根据坐标框回归损失函数，生成目标人体的水平目标框；
在操作S260，根据水平目标框对第一水平方向特征图进行重新切割得到水平方向特征图；
在操作S270，计算目标人体的垂直目标框，根据垂直目标框对第一垂直方向特征图进行切割得到垂直方向特征图。
上述获得水平方向特征图和垂直方向特征图的方法，通过射频特征提取网络和区域推荐网络对毫米波雷达信息作进一步的处理，以便提取毫米波雷达信号中所包含的目标人体的形体特征和三维空间信息，将上述特征和信息输入到坐标回归网络中进行处理，就可以得到目标人体在三维空间中的水平方向特征图和垂直方向特征图，为后续目标人体分割图的生成提供准确的数据保障。
图3是根据本发明实施例的生成目标人体的分割图的流程图，如图3所示，包括操作S310～操作S350。
根据本发明的实施例，上述利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图包括：
在操作S310，利用水平目标框和垂直目标框，获得目标人体的三维空间信息；
在操作S320，将三维空间信息投影到二维平面，获得二维平面框，二维平面框用于限定目标人体的空间范围；
在操作S330，通过特征融合网络处理水平方向特征图和垂直方向特征图，获得射频融合表征；
在操作S340，通过分割图生成网络将射频融合表征进行分辨率放大，并根据分割图损失函数，生成二值分割图；
在操作S350，将二维平面框和二值分割图进行合成，获得目标人体的分割图。
上述获得目标人体的分割图的方法，根据目标人体的水平方向特征图和垂直方向特征图，通过特征融合网络和分割图生成网络进行数据处理，生成目标人体的分割图，提高了分割图生成的效率和准确度。
根据本发明的实施例，毫米波雷达信号由式(1)表示：
水平方向射频信号由式(2)表示：
垂直方向射频信号由式(3)表示：
其中，x，y，z是目标人体在空间中的坐标，sk，m，t表示在时刻t，第m个天线上的第k个信号，λk是信号的波长，dm(x，y，z)表示从发送天线到目标位置再到接收天线的距离。
本发明使用具有天线阵列的频率调制连续波(FMCW)雷达采集毫米波无线信号，通过将三维的信号分解为两个二维平面信号，减少了计算时间的复杂度。
根据本发明的实施例，区域推荐网络损失函数用于对每个锚框进行二分类，如果是前景则为1，如果是背景则为0，并对前景框微调，区域推荐网络损失函数由式(4)表示：
其中，i是锚框的索引，pi是锚框为前景的概率，是指示器，为1表示锚框是正样本，为0表示锚框为负样本；ti和/>为坐标的预测值和真实值，Lcls为二值交叉熵损失，Lreg为smooth-l1损失；λrpn为平衡权重。
坐标框回归损失函数由式(5)表示：
Ldetect(p，u，v，tu)＝Lcls(p，u)+λdet[u≥1]Lbox(tu，v) (5)，
其中，p和u分别为类别的预测值和真实值。v和tu是坐标框的预测值和真实值，Lcls为二值交叉熵损失，Lbox为损失；λdet为平衡权重；
坐标框回归损失函数能够同时输出目标的分类置信度和精确的坐标。
图4是根据本发明实施例的生成目标人体的水平锚框的流程图，包括操作S410～操作S430。
如图4所示，上述通过区域推荐网络处理第一水平方向特征图，并根据区域推荐网络损失函数，生成目标人体的水平锚框包括：
在操作S410，根据第一水平特征图的位置，预定义水平锚框，其中预定义的水平锚框具有不同的比例和面积；
在操作S420，区域推荐网络根据预定义的水平锚框，预测目标人体的空间位置，同时输出目标人体空间位置的置信度；
在操作S430，根据置信度，对预定义的水平锚框进行筛选，生成目标人体的水平锚框。
通过上述方法，可以获取目标人体在三维空间的水平锚框，水平锚框用于限定目标人体在三维空间中的位置，大大地提高了数据的处理效率。
图5是根据本发明实施例的计算目标人体的垂直目标框的流程图，包括操作S510～操作S520。
在操作510，获取两个毫米波雷达的相对位置和每个毫米波雷达的高度信息；
在操作520，根据相对位置和高度信息，利用目标人体竖直方向和水平方向的几何关系，计算目标人体的垂直目标框。
通过两个毫米波雷达的相对位置和两个毫米波雷达的高度，可以有效的确定目标人体的空间位置；通过竖直方向和水平方向的几何关系，可以计算出目标人体的垂直目标框，进而提高目标人体定位的准确度，为后续生成二维平面框做准备。
根据本发明的实施例，分割图损失函数由式(6)表示：
其中，i是预测框的索引，k是真实的类别标签，mi，k表示第i个目标的第k个预测二值分割图；是对应的真实值，Lm是二值交叉熵损失；
分割图损失函数对每一个检测到的目标框都输出一个尺寸为K×m2的张量，代表着K个尺寸为m×m二值分割图，对应于K个类别；
其中，二维平面框由式(7)表示：
其中，(x，y，z)为目标人体在三维空间中点的坐标，(xp，yp)为投影平面上点的坐标；投影平面为z＝r；px和py是投影平面的偏移量。
本发明实施例所提供的上述方法的总损失函数可由式(8)表示：
L＝Lrpn+Ldetect+Lmask (8)。
图6是根据本发明实施例的三维空间到二维平面投影过程的示意图，下面结合图6对上述投影过程做进一步的说明。
如同6所示，目标人体在三维空间被本发明的实施例所公开的水平目标框和垂直目标框所锚定，水平目标框和垂直目标框形成的长方体有8个顶点，其中，某个顶点的空间坐标为(x，y，z)，经过投影后，可在投影平面为z＝r形成(xp，yp)，当所有顶点投影完成后，可在投影平面为z＝r上形成4个投影点所构成的长方形，即本发明实施例所公开的二维平面框，上述二维平面框用于限定目标人体的活动范围，表征目标人体只在上述二维平面框出现，从而通过处理二维平面框中的数据，大大提升数据处理的速度。
根据本发明的实施例，第一射频特征提取网络和第二射频特征提取网络包括特征金字塔模块的多层残差网络；
特征融合网络包括多层全连接层；
射频融合表征经过重新排列形成尺寸为(c，m，m)的张量，其中，C为特征图的通道数，m为常量；
分割图生成网络包括多个反卷积-卷积块。
上述第一射频特征提取网络和第二射频特征提取网络一般由包含特征金字塔模块(FPN)的34层残差网络构成；特征融合网络一般包括3层全连接层；分割图生成网络一般由3个反卷积-卷积块叠加而成。
通过上述网络结构，能够在保证数据处理效率的同时大大提升数据处理的精准性，保证了上述分割方法生成更准确的目标人体分割图。
图7是根据本发明实施例的目标人体活动分割方法的示意性过程图，下面结合图7对本发明公开的上述分割方法作进一步的说明。
如图7所示，毫米波雷达通过发射探测信号并采集雷达回波，获得目标人体的毫米波雷达信号，其中，毫米波雷达信号包括水平方向射频信号和垂直方向射频信号，通过信号的处理将原始波形采样点转化为二维特征图；水平AoA-ToF((Angle of Arrival)到达角，ToF(Time of Flight)飞行时间)和垂直AoA-ToF，将上述水平AoA-ToF和垂直AoA-ToF分别输入到检测模型中；水平AoA-ToF经过编码器和RPN(Region Proposal Network区域推荐网络)处理后，可以得到水平坐标框回归；水平坐标框回归经过垂直坐标框计算后与垂直AoA-ToF经过编码器处理后的数据进行运算，并将运算结果经过RoIAlign(Region of InterestAlign感兴趣区域对齐)进行分割处理，获得垂直方向特征图；上述水平坐标框经过RoIAlign进行分割处理获得水平方向特征图；将上述水平方向特征图和垂直方向特征图输入到二值分割生成模型中，通过特征融合网络进行处理，输出融合后的射频融合表征；而三维框坐标框通过水平目标框和垂直目标框获得，经过二次投影后，获得二维平面框，用于限定目标人体的空间范围。将上述射频融合表征输入到解码器中，可以生成目标人体的二值分割图，将二值分割图与二维平面框进行合成，获得目标人体活动分割图。
如同7所示，上述方法示意图还包括方法的训练过程；在训练过程，采用Adam优化器和余弦退火策略，学习率设置为0.00001。根据目标人体的RGB图像，通过语义分割算法，生成目标人体的分割图作为训练集，永远训练上述方法并优化上述方法的各个模型参数。
图8是根据本发明实施例的一种基于毫米波雷达信号的人体获得分割系统的结构示意图，如图8所示，上述系统800包括获取模块810、预处理模块820、第一处理模块830和第二处理模块840。
获取模块810，用于获取目标人体的毫米波雷达信号，其中，毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；
预处理模块820，用于对水平方向射频信号和垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；
第一处理模块830，用于利用检测模型对预处理后的水平方向射频信号和预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图，其中，检测模型包括第一射频特征提取网络、第二射频特征提取网络、区域推荐网络和坐标回归网络；
第二处理模块840，用于利用生成模型对水平方向特征图和垂直方向特征图进行处理，生成目标人体的分割图，其中，生成模型包括特征融合网络和分割图生成网络。
上述系统通过毫米波雷达获取目标人体活动信息，不依赖光学设备，大大提高了系统的应用范围；此外，上述系统集成了多个神经网络模型，能够保证数据处理的准确性，更好地拟合目标人体活动的分割图，获得与视觉类似的人体活动分割。
同时，在本发明所提供的系统中，数据采集由相机系统和两个FMCW设备共同完成。相机系统由13个相机构成，其中12个相机位置固定，另一个相机始终随着雷达设备移动。从第一个相机开始，相邻的两个相机进行标定。相机系统和FMCW设备通过网络时间协议(NTP)协议进行时间同步，通过TCP连接发送一个统一的时间戳，相机系统和FMCW设备在时间戳到来时同时开始采集，实现不同模态数据的同步。利用计算机视觉的人体关键点检测算法，获取每个相机中人的关键点信息，结合标定参数，计算得到人体的三位关键点信息。
需要说明的是，本公开实施例提供的基于毫米波雷达信号的人体获得分割系统与基于毫米波雷达信号的人体获得分割方法是相对应的，基于毫米波雷达信号的人体获得分割系统可以不限于包括获取模块810、预处理模块820、第一处理模块830和第二处理模块840，还可以包括能够实现基于毫米波雷达信号的人体获得分割方法的其他功能模块。
图9是本发明实施例所提供的系统在一般环境下的生成结果的示意图。如图9所示，第1列和第4列是相机视角，第2列和第5列是目标人体真实分割图，第3列和第6列是根据本发明实施例所提供的系统的预测结果。从图9可以看出，本发明实施例所提供的系统在一般环境下能够很好地预测目标人体活动分割图。
图10是本发明实施例所提供的系统在遮挡和黑暗环境下的生成结果的示意图。如图10所示，由于遮挡环境下无法利用视觉方法获得分割图的真实值，因此在本系统中，利用相机系统获得人体关键点的三维坐标值，并投影回到遮挡平面作为参考真实值，以此来表征本发明实施例所提供的系统的有效性。如图10所示，第1列和第4列是相机视角，第2列和第5列是目标人体参考真实值，第3列和第6列是根据本发明实施例所提供的系统的预测结果。从图10可以看出，本发明实施例所提供的系统能够在遮挡或黑暗环境下，较好地完成对目标人体活动分割图的生成，对目标人体具有良好的拟合效果。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于毫米波雷达信号的人体活动分割方法，包括：
获取目标人体的毫米波雷达信号，其中，所述毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；
对所述水平方向射频信号和所述垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；
利用检测模型对所述预处理后的水平方向射频信号和所述预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图，其中，所述检测模型包括第一射频特征提取网络、第二射频特征提取网络、区域推荐网络和坐标回归网络；
利用生成模型对所述水平方向特征图和所述垂直方向特征图进行处理，生成所述目标人体的分割图，其中，所述生成模型包括特征融合网络和分割图生成网络；
其中，所述利用检测模型对所述预处理后的水平方向射频信号和所述预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图包括：
通过所述第一射频特征提取网络对所述预处理后的水平方向射频信号进行特征提取，获得第一水平方向特征图；
通过所述第二射频特征提取网络用于对所述预处理后的垂直方向射频信号进行特征提取，获得第一垂直方向特征图；
通过所述区域推荐网络处理所述第一水平方向特征图，并根据区域推荐网络损失函数，生成所述目标人体的水平锚框；
根据所述水平锚框对所述第一水平方向特征图进行切割获得第二水平方向特征图；
通过所述坐标回归网络处理所述第二水平方向特征图，并根据坐标框回归损失函数，生成所述目标人体的水平目标框；
根据所述水平目标框对所述第一水平方向特征图重新切割，获得所述水平方向特征图；
计算所述目标人体的垂直目标框，并根据所述垂直目标框对所述第一垂直方向特征图进行切割获得所述垂直方向特征图；
其中，所述利用生成模型对所述水平方向特征图和所述垂直方向特征图进行处理，生成所述目标人体的分割图包括：
利用所述水平目标框和所述垂直目标框，获得所述目标人体的三维空间信息；
将所述三维空间信息投影到二维平面，获得二维平面框，所述二维平面框用于限定所述目标人体的空间范围；
通过所述特征融合网络处理所述水平方向特征图和所述垂直方向特征图，获得射频融合表征；
通过所述分割图生成网络将所述射频融合表征进行分辨率放大，并根据分割图损失函数，生成二值分割图；
将所述二维平面框和所述二值分割图进行合成，获得所述目标人体的分割图；
其中，所述毫米波雷达信号由式(1)表示：
所述水平方向射频信号由式(2)表示：
所述垂直方向射频信号由式(3)表示：
其中，x，y，z是所述目标人体在空间中的坐标，sk，m，t表示在时刻t，第m个天线上的第k个信号，λk是信号的波长，dm(x，y，z)表示从发送天线到所述目标位置再到接收天线的距离。
2.根据权利要求1所述的方法，其中，所述区域推荐网络损失函数用于对每个锚框进行二分类，如果是前景则为1，如果是背景则为0，并对前景框微调，所述区域推荐网络损失函数由式(4)表示：
其中，i是锚框的索引，pi是锚框为前景的概率，是指示器，为1表示锚框是正样本，为0表示锚框为负样本；ti和/>为坐标的预测值和真实值，Lcls为二值交叉熵损失，Lreg为smooth-l1损失；λrpn为平衡权重；
所述坐标框回归损失函数由式(5)表示：
Ldetect(p，u，v，tu)＝Lcls(p，u)+λdet[u≥1]Lbox(tu，v) (5)，
其中，p和u分别为类别的预测值和真实值；v和tu是坐标框的预测值和真实值，Lcls为二值交叉熵损失，Lbox为smooth-l1-l1损失；λdet为平衡权重；
所述坐标框回归损失函数能够同时输出目标的分类置信度和精确的坐标。
3.根据权利要求1所述的方法，其中，所述通过所述区域推荐网络处理所述第一水平方向特征图，并根据区域推荐网络损失函数，生成所述目标人体的水平锚框包括：
根据所述第一水平特征图的位置，预定义水平锚框，其中所述预定义的水平锚框具有不同的比例和面积；
所述区域推荐网络根据所述预定义的水平锚框，预测所述目标人体的空间位置，同时输出所述目标人体空间位置的置信度；
根据所述置信度，对所述预定义的水平锚框进行筛选，生成所述目标人体的水平锚框。
4.根据权利要求1所述的方法，其中，所述计算所述目标人体的垂直目标框包括：
获取两个所述毫米波雷达的相对位置和每个所述毫米波雷达的高度信息；
根据所述相对位置和所述高度信息，利用所述目标人体竖直方向和水平方向的几何关系，计算所述目标人体的所述垂直目标框。
5.根据权利要求1所述的方法，其中，所述分割图损失函数由式(6)表示：
其中，i是预测框的索引，k是真实的类别标签，mi，k表示第i个目标的第k个预测二值分割图；是对应的真实值，Lm是二值交叉熵损失；
所述分割图损失函数对每一个检测到的目标框都输出一个尺寸为K×m2的张量，代表着K个尺寸为m×m二值分割图，对应于K个类别；
其中，所述二维平面框由式(7)表示：
其中，(x，y，z)为所述目标人体在三维空间中点的坐标，(xp，yp)为投影平面上点的坐标；投影平面为z＝r；px和py是投影平面的偏移量。
6.根据权利要求1所述的方法，其中，所述第一射频特征提取网络和所述第二射频特征提取网络包括特征金字塔模块的多层残差网络；
所述特征融合网络包括多层全连接层；
所述射频融合表征经过重新排列形成尺寸为(c，m，m)的张量，其中，C为特征图的通道数，m为常量；
所述分割图生成网络包括多个反卷积-卷积块。
7.一种基于毫米波雷达信号的人体获得分割系统，包括：
获取模块，用于获取目标人体的毫米波雷达信号，其中，所述毫米波雷达信号包括水平方向射频信号和垂直方向射频信号；
预处理模块，用于对所述水平方向射频信号和所述垂直方向射频信号进行预处理，获得预处理后的水平方向射频信号和预处理后的垂直方向射频信号；
第一处理模块，用于利用检测模型对所述预处理后的水平方向射频信号和所述预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图，其中，所述检测模型包括第一射频特征提取网络、第二射频特征提取网络、区域推荐网络和坐标回归网络；
第二处理模块，用于利用生成模型对所述水平方向特征图和所述垂直方向特征图进行处理，生成所述目标人体的分割图，其中，所述生成模型包括特征融合网络和分割图生成网络；
其中，所述利用检测模型对所述预处理后的水平方向射频信号和所述预处理后的垂直方向射频信号分别进行处理，获得水平方向特征图和垂直方向特征图包括：
通过所述第一射频特征提取网络对所述预处理后的水平方向射频信号进行特征提取，获得第一水平方向特征图；
通过所述第二射频特征提取网络用于对所述预处理后的垂直方向射频信号进行特征提取，获得第一垂直方向特征图；
通过所述区域推荐网络处理所述第一水平方向特征图，并根据区域推荐网络损失函数，生成所述目标人体的水平锚框；
根据所述水平锚框对所述第一水平方向特征图进行切割获得第二水平方向特征图；
通过所述坐标回归网络处理所述第二水平方向特征图，并根据坐标框回归损失函数，生成所述目标人体的水平目标框；
根据所述水平目标框对所述第一水平方向特征图重新切割，获得所述水平方向特征图；
计算所述目标人体的垂直目标框，并根据所述垂直目标框对所述第一垂直方向特征图进行切割获得所述垂直方向特征图；
其中，所述利用生成模型对所述水平方向特征图和所述垂直方向特征图进行处理，生成所述目标人体的分割图包括：
利用所述水平目标框和所述垂直目标框，获得所述目标人体的三维空间信息；
将所述三维空间信息投影到二维平面，获得二维平面框，所述二维平面框用于限定所述目标人体的空间范围；
通过所述特征融合网络处理所述水平方向特征图和所述垂直方向特征图，获得射频融合表征；
通过所述分割图生成网络将所述射频融合表征进行分辨率放大，并根据分割图损失函数，生成二值分割图；
将所述二维平面框和所述二值分割图进行合成，获得所述目标人体的分割图；
其中，所述毫米波雷达信号由式(1)表示：
所述水平方向射频信号由式(2)表示：
所述垂直方向射频信号由式(3)表示：
其中，x，y，z是所述目标人体在空间中的坐标，sk，m，t表示在时刻t，第m个天线上的第k个信号，λk是信号的波长，dm(x，y，z)表示从发送天线到所述目标位置再到接收天线的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111201634.XA CN113935379B (zh) | 2021-10-15 | 2021-10-15 | 一种基于毫米波雷达信号的人体活动分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111201634.XA CN113935379B (zh) | 2021-10-15 | 2021-10-15 | 一种基于毫米波雷达信号的人体活动分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113935379A CN113935379A (zh) | 2022-01-14 |
| CN113935379B true CN113935379B (zh) | 2024-02-27 |
Family
ID=79279866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111201634.XA Active CN113935379B (zh) | 2021-10-15 | 2021-10-15 | 一种基于毫米波雷达信号的人体活动分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935379B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114924249B (zh) * | 2022-07-22 | 2022-10-28 | 中国科学技术大学 | 基于毫米波雷达的人体姿态估计方法、装置及电子设备 |
| CN117036868B (zh) * | 2023-10-08 | 2024-01-26 | 之江实验室 | 一种人体感知模型的训练方法、装置、介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729843A (zh) * | 2017-10-18 | 2018-02-23 | 中国科学院沈阳自动化研究所 | 基于雷达与视觉信息融合的低地板有轨电车行人识别方法 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| CN111160120A (zh) * | 2019-12-11 | 2020-05-15 | 重庆邮电大学 | 基于迁移学习的Faster R-CNN物品检测方法 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| WO2020173036A1 (zh) * | 2019-02-26 | 2020-09-03 | 博众精工科技股份有限公司 | 基于深度学习的定位方法和系统 |
| WO2021041854A1 (en) * | 2019-08-30 | 2021-03-04 | Nvidia Corporation | Object detection and classification using lidar range images for autonomous machine applications |
-
2021
- 2021-10-15 CN CN202111201634.XA patent/CN113935379B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729843A (zh) * | 2017-10-18 | 2018-02-23 | 中国科学院沈阳自动化研究所 | 基于雷达与视觉信息融合的低地板有轨电车行人识别方法 |
| WO2020173036A1 (zh) * | 2019-02-26 | 2020-09-03 | 博众精工科技股份有限公司 | 基于深度学习的定位方法和系统 |
| CN110363158A (zh) * | 2019-07-17 | 2019-10-22 | 浙江大学 | 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法 |
| WO2021041854A1 (en) * | 2019-08-30 | 2021-03-04 | Nvidia Corporation | Object detection and classification using lidar range images for autonomous machine applications |
| CN111160120A (zh) * | 2019-12-11 | 2020-05-15 | 重庆邮电大学 | 基于迁移学习的Faster R-CNN物品检测方法 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多传感器融合的前方车辆识别方法研究;王战古;邵金菊;高松;孙亮;于杰;谭德荣;;广西大学学报(自然科学版)(02);全文 * |
| 视觉和毫米波雷达信息融合行人识别算法;徐伟;周培义;张芬;黄亮;;同济大学学报(自然科学版)(S1);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113935379A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415342B (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
| CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN112766274B (zh) | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统 | |
| CN110008843B (zh) | 基于点云和影像数据的车辆目标联合认知方法和系统 | |
| CN113935379B (zh) | 一种基于毫米波雷达信号的人体活动分割方法及系统 | |
| CN109283538A (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| US9501839B1 (en) | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels | |
| CN111045000A (zh) | 监测系统和方法 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
| CN112016497A (zh) | 基于人工智能的单视角太极拳动作分析及考核系统 | |
| CN112734921B (zh) | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 | |
| CN112613668A (zh) | 基于人工智能的景区危险区域管控方法 | |
| CN112906777A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN115809986A (zh) | 一种多传感器融合的输电走廊智能外破检测方法 | |
| CN114966696A (zh) | 一种基于Transformer的跨模态融合目标检测方法 | |
| CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
| CN112528763B (zh) | 一种目标检测方法、电子设备和计算机存储介质 | |
| CN114556449A (zh) | 障碍物检测及重识别方法、装置、可移动平台及存储介质 | |
| CN113895482B (zh) | 基于轨旁设备的列车测速方法及装置 | |
| CN116343057A (zh) | 一种联合sar与光学图像的舰船目标检测与识别方法 | |
| CN114004893B (zh) | 一种红外热像探鱼器的探测方法及其设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |