CN114580535B - 多基雷达人体行为融合识别方法、装置及介质 - Google Patents
多基雷达人体行为融合识别方法、装置及介质 Download PDFInfo
- Publication number
- CN114580535B CN114580535B CN202210209906.9A CN202210209906A CN114580535B CN 114580535 B CN114580535 B CN 114580535B CN 202210209906 A CN202210209906 A CN 202210209906A CN 114580535 B CN114580535 B CN 114580535B
- Authority
- CN
- China
- Prior art keywords
- view
- channel
- attention
- network
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000006399 behavior Effects 0.000 claims abstract description 93
- 238000001228 spectrum Methods 0.000 claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001429 stepping effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质；该方法包括：针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间‑频率微多普勒谱；基于预设的第一深度卷积神经网络对每个视角通道对应的时间‑频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；针对初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；将各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；将全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
Description
技术领域
本发明实施例涉及生物雷达探测技术领域，尤其涉及一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质。
背景技术
生物雷达是一种融合生物医学工程、雷达等技术并用于生命目标探测和识别的特殊形式雷达。该技术主要以人体为探测目标，以雷达发射的电磁波为载体，穿透衣物、木板等非金属障碍实现对人体行为运动(如步态检测、跌倒检测)的穿透探测与识别，在智能家居、智慧安防、医疗健康等领域具有重要价值。
现有的常规生物雷达人体行为识别方案，主要针对自由空间条件下的雷达视线方向径向人体行为，利用单视角雷达微多普勒特征结合机器学习方法进行探测识别。而现实应用中，人体目标所处位置多变、行为发生朝向多变，此时现行常规的单视角生物雷达感知方案由于视角单一局限、易受干扰影响，导致应用场景严重受限，进而导致识别准确率较低。
发明内容
有鉴于此，本发明实施例期望提供一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质；能够提高任意朝向人体行为的识别准确率。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法，所述方法包括：
针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
第二方面，本发明实施例提供了一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置，所述装置包括：时频分析部分、特征提取部分、注意力校准部分、聚合编码部分和目标识别部分；其中，
所述时频分析部分，经配置为针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
所述特征提取部分，经配置为基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
所述注意力校准部分，经配置为针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
所述聚合编码部分，经配置为：将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
所述目标识别部分，经配置为将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
第三方面，本发明实施例提供了一种计算设备，所述计算设备包括：通信接口，存储器和处理器；各个组件通过总线系统耦合在一起；其中，
所述通信接口，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行第一方面所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
第四方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于注意力多视角学习网络的多基雷达人体行为融合识别程序，所述基于注意力多视角学习网络的多基雷达人体行为融合识别程序被至少一个处理器执行时实现第一方面所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
本发明实施例提供了一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质；利用通道注意力和空间注意力，自适应感受MV-MDs信息在视角空间和特征空间两个关键层面的差异性，并根据注意力进行多视角特征优化聚合，聚焦于优势通道(或特征区域)，有效抑制劣质通道(或噪声杂波干扰区域)影响，可有效提升行为识别能力。
附图说明
图1为能够适用于本发明实施例技术方案的示例性应用场景示意图；
图2为本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法流程示意图；
图3为本发明实施例提供的一种生成MV-MDs谱的过程示意图；
图4为本发明实施例提供的一种实测场景示意图；
图5为本发明实施例提供的各视角通道对应的原始接收信号示意图；
图6为本发明实施例提供的各视角通道对应的MV-MDs谱；
图7为本发明实施例提供的种基于注意力多视角学习网络的多基雷达人体行为融合识别方法的具体实施流程示意图；
图8为本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置组成示意图；
图9为本发明实施例提供的另一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置组成示意图；
图10为本发明实施例提供的一种计算设备的具体硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
对于现行常规的单视角生物雷达感知方案所存在的视角单一局限、易受干扰影响，导致应用场景严重受限的问题，可以利用多基生物雷达融合感知目标行为的多视角微多普勒特征(MV-MDs)谱信息进行解决。然而，由于人体目标的各向异性和探测视角差异，MV-MDs谱信息在两个关键层面存在显著差异性，并且将分别对行为融合识别效果产生关键性影响，限制融合识别水平：其一，在视角通道间，即“视角空间”，差异性MV-MDs信息(包含极端劣质或无效通道)对行为的表征能力强弱不同，对融合识别结果的贡献度和重要性必然不同；其二，在任意视角的特征谱图中，即“特征空间”，不同身体部件运动及噪声杂波信息的时空分布与MV-MDs谱的区域分布也具有相互对应关系，即特征谱不同区域对行为识别结果的重要性也强弱有异。
因此，若在视角信息融合时，未能综合考虑上述因素，优势视角通道(或有效特征区域)未能得到聚焦，劣质视角通道(或噪声杂波区域)未能得到抑制，必然严重恶化整体特征信息，限制行为识别水平。因此，在利用视角信息融合进行人体目标识别过程中，需要考虑以上两个关键层面的差异性，从而实现任意朝向人体行为的高效识别。
基于此，参见图1，其示出了能够适用于本发明实施例技术方案的示例性应用场景，在该场景中，多基生物雷达系统11优选为多输入多输出(MIMO)雷达系统，包括发射天线阵列12和接收天线阵列13，在图1所示的示例中，发射天线阵列12包括NT个发射天线，如图1中的黑色圆点所示，分别标识为12-1、12-2……12-NT，接收天线阵列13包括NR个接收天线，如图1中的空心圆点所示，分别标识为13-1、13-2……13-NR，识别目标人体14处于墙壁15之后，也就是说识别目标人体14处于隐蔽空间内。综合发射天线阵列12的各发射天线相对于识别目标人体14的发射方向(如实线箭头所示)以及接收天线阵列13的各接收天线相对于识别目标人体14的接收方向(如虚线箭头所示)，形成了K＝NT×NR个视角通道，也就是说一个发射天线的发射方向与一个接收天线的接收方向共同形成一个视角通道。由于在MIMO雷达系统中，各发射天线的发射信号之间是正交的，所以每个接收天线所接收到的原始接收信号可以基于发射信号之间的正交性进行区分，从而获得NT个视角通道。基于图1所示的场景，参见图2，其示出了本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法，所述方法包括：
S201：针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
S202：基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
S203：针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
S204：将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
S205：将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
图2所述的技术方案，利用通道注意力和空间注意力，自适应感受MV-MDs信息在视角空间和特征空间两个关键层面的差异性，并根据注意力进行多视角特征优化聚合，聚焦于优势通道(或特征区域)，有效抑制劣质通道(或噪声杂波干扰区域)影响，可有效提升行为识别能力。
对于图2所示的技术方案，在一些可能的实现方式中，所述针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱，包括：
基于每个接收天线接收的原始接收信号获取各视角通道对应的接收信号；
针对所述各视角通道对应的接收信号进行减平均操作以去除静态背景反射回来的直达波后，通过低通滤波器进行低通滤波，得到各视角通道对应的预处理后的接收信号；
对所述每个视角通道对应的预处理后的接收信号中处于有效运动特征距离范围内的信号进行短时傅里叶变换(STFT，Short Time Fourier Transform,STFT)，获得每个视角通道对应的时间-频率微多普勒(MV-MDs)谱。
需要说明的是，在本发明实施例中，时间-频率微多普勒(MV-MDs)谱能够提供时间域与频率域的联合分布信息，可以理解的，原始接收信号中包含的信息包括时间维度、频率维度和距离维度，而MV-MDs谱是沿着距离方向累加原始接收信号，从而获得了只有时间维度和频率维度信息的图像。而MV-MDs谱则表示了信号功率随着频率的变化关系，即信号功率在频域的分布状况；时频功率谱可以由时频谱进行快速傅里叶变换以及积分得到，可以理解的，时频功率谱为三维图像，三个维度分别为时间，频率以及功率。
基于此，对于上述实现方式，具体来说，每个接收天线所接收到的原始接收信号可以根据发射信号的正交性进行区分，使得从每个接收天线所接收到的原始接收信号中均获得NT个视角通道的视角接收信号，总共可获得K个视角通道对应的接收信号R＝{R1,..Rk,…,RK}。这些信号在进行后续处理过程之前，需要进行上述实现方式所述的预处理过程，经过预处理过程之后，强烈的背景杂波和噪声干扰已经较好的被滤除，预处理后的信号。对于预处理后的接收信号，可以提取其中有效运动特征距离范围内的信号之后，利用STFT进行综合距离累积时频变换，获得人体运动的MV-MDs谱。举例来说，对于第k个视角通道对应的接收信号，对其按照上述内容进行预处理以及综合时频分析后，可以获得其对应的MV-MDs谱的过程如图3所示，那么对于K个视角通道对应的接收信号R＝{R1,..Rk,…,RK}来说，所有视角通道对应的MV-MDs谱为SP＝{SP1,..SPk,…,SPK}。
结合图1所示的场景，本发明实施例的实测场景如图4所示，多基生物雷达系统11为MIMO UWB生物雷达系统，发射天线的数量NT为2，接收天线的数量NR为4，因此就形成了N＝2×4＝8个视角通道，2个发射天线分别标识为：T1和T2；4个接收天线分别标识为：R1、R2、R3、R4。由于一个发射天线-接收天线对形成一个视角通道，那么，上述8个视角通道分别标识为C1(T1，R1)、C2(T1，R2)、C3(T1，R3)、C4(T1，R4)、C5(T2，R1)、C6(T2，R2)、C7(T2，R3)和C8(T2，R4)。发射天线的发射波为步进频连续波(SFCW，Steeped Frequency ContinuousWave)，频率范围为0.5GHz至2.548GHz；步进频率为16MHz；脉冲重复间隔为2.5ns，以上仿真参数的设置能够提供足够高的采样频率，从而能够抓捕到人体运动的瞬时微动信息。以人体识别目标的原地踏步动作为例，8个视角通道各自的原始接收信号如图5所示，对其按照上述实现方式进行预处理及时频分析，获得的8个视角通道各自对应的MV-MDs谱如图6所示。
对于图2所示的技术方案，在一些可能的实现方式中，所述基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征，包括：
将多个具有相同结构且与视角通道对应的第一深度卷积神经网络作为前置多视角特征提取网络，并将每个视角通道对应的时间-频率微多普勒谱输入至对应的第一深度卷积神经网络，得到每个视角通道对应的初级特征F。
对于上述实现方式，具体来说，获得K个视角通道对应的时间-频率微多普勒谱(MV-MDs谱)之后，将各自视角通道对应的MV-MDs谱分别输入至具有相同结构的第一深度卷积神经网络DCNN1进行特征提取，从而分别获得K个时间通道各自所对应的且能够作为本发明实施例后续处理输入的初级特征F＝{F1,F2,…,Fk,…,FK},∈RK*H*W；其中，Fk表示第K个视角通道对应的初级特征；
对于图2所示的技术方案，在一些可能的实现方式中，所述针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征，包括：
针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征；
针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征。
对于上述实现方式，需要说明的是，一方面，各视角通道之间的MV-MDs谱信息对于识别目标的表征能力强弱不同，对融合识别结果的贡献度和重要性必然不同。因此，需要更加聚焦于表征能力强的优势时间通道，抑制表征能力弱的劣质试驾通道。另一方面，不同身体部件运动及噪声杂波信息的时空分布与MV-MDs谱的区域分布也具有相互对应的关系，即特征谱的不同区域对行为识别结果的重要性也强弱有异；因此，也需要更加聚焦于有效特征区域，抑制噪声杂波区域。基于此，在获得各视角通道对应的初级特征之后，就需要基于以上两个方面对初级特征进行权重校准，从而有效提升目标识别能力。
基于此，对于上述实现方式，在一些示例中，所述针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征，包括：
将所述初级特征分别通过平均池化和最大池化操作聚合特征信息，生成对应的空间上下文描述符；
根据所述空间上下文描述符通过同一共享网络生成各视角通道对应的通道注意力权重；
根据所述各视角通道对应的通道注意力权重对各视角通道对应的初级特征进行权重校准，获得各视角通道对应的中间特征。
对于上述示例，需要说明的是，通道注意力主要用于聚焦在“哪个”视角通道是有意义的输入视角通道特征谱。在上层的视角通道水平，可以显式地对各视角通道之间的相互依存关系进行建模，生成通道注意力权重
从而能够自适应确定需要重点关注并增强或者抑制的视角通道，即根据注意力权重对初级特征依照下式进行权重校准，从而得到中间特征：
其中
表示逐个元素相乘。
具体来说，对于各视角通道之间的相互依存关系进行建模可以得到通道注意力相关的网络结构；在该结构中，作为输入特征的F，可以分别经过平均池化(avg-pooling)和最大池化(max-pooling)操作来聚合特征信息，生成两个不同的空间上下文描述符
和
接着在同一个共享网络，产生通道注意力权重/>
具体来说，在将共享网络应用于每个描述符之后，可以使用逐元素求和合并输出特征向量，计算通道注意力可以如下式所示：
其中，σ是sigmoid函数，W1和W0是多层感知机的权重。
可以理解地，通过上述示例对初级特征进行通道注意力权重校准，并生成中间特征之后，接着就可以针对中间特征进行空间注意力校准。基于此，对于上述实现方式，在一些示例中，所述针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征，包括：
对于所述中间特征，根据人体目标相应结构所处的空间位置所对应的特征区域生成空间注意力权重；
根据所述空间注意力权重对所述中间特征进行权重校准，获得所述各视角通道对应的校准后的输出特征。
对于上述示例，需要说明的是，空间注意力聚焦在“哪里”是最具信息量的部分，是对通道注意力的补充。在底层且能够具体表现行为特征和空间信息(对应人体目标肢体部件)的MV-MDs谱水平，可以在保留空间位置信息的基础上提取空间注意力矩阵Ms(F)，以定位出特征谱中重要特征区域对应人体目标相应结构所处的空间位置，并根据注意力权重对中间特征F′的重点特征区域进行聚焦和增强，基于下式获得校准后的输出特征：
具体来说，对于中间特征F′，可以通过与前述示例中相同的两个池化操作来聚合功能映射的通道信息，生成两个2维映射，即
和/>
随后，通过标准的卷积层连接和卷积成为一个描述符，产生2D空间注意力如下式所示：
其中，σ是sigmoid函数，f7*7表示7*7卷积操作。
综合以上两个示例，初级特征F，经过通道注意力权重和空间注意力权重校准后，所提取得到的多视图特征能够更加聚焦(或增强)于重要视角通道及谱图中重要特征区域，而劣质通道及谱图中与特征无关的区域将受到抑制(或忽略)，从而使得校准后的输出特征同样是多视角优化后的增强特征
对于图2所示的技术方案，在一些可能的实现方式中，所述将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子，包括：
利用双向门控循环单元(Bi-GRU，Bi–directional Gated Recurrent Unit)网络，对所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子
基于上述实现方式，需要说明的是，在获得人体行为多视角微多普勒特征的全局描述子
之后，就可以将该全局描述子/>
输入至已训练完毕的第二深度卷积神经网络DCNN2进行识别以获得识别结果。
具体来说，由于人体运动多视角特征谱信息在时间轴上存在前后时刻的强关联性；因此，在多视角特征聚合时，拟采用Bi-GRU网络让数据从正反两个方向同时输入，使每一时刻的信息都包含前后时刻的序列信息，即网络在某个特定时刻的编码信息更加丰富且考虑了前后时刻的变化与关联，从而使得在后续解码预测过程中，使预测的动作更加准确。经过Bi-GRU时序层聚合编码后，所得到的全局描述子
具有更加紧凑且包含更丰富、完备信息的融合特征。
对于图2所示的技术方案，在一些可能的实现方式中，所述将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果，包括：
将所述全局描述子
输入至已训练完毕的基于深度卷积神经网络的行为识别后端网络进行识别，获得输入行为的类别预测概率向量；
将最终所获得的行为融合识别的类别预测概率向量结果ρω中，概率最大值对应的行为种类确定为融合识别的预测行为。
对于上述实现方式及示例，在本发明实施例中，第一深度卷积神经网络、通道注意力相关的网络结构、空间注意力相关的网络结构、Bi-GRU网络和第二深度卷积神经网络可以统一为基于注意力多视角学习网络的人体行为MV-MDs融合识别模型。在一些可能的实现方式中，对于该识别模型，在执行前述技术方案之间，所述方法还包括：
利用已有的人体行为MV-MDs谱数据库和标签序列，通过有监督学习策略对所述融合识别模型进行学习训练和参数优化，获得所述融合识别模型内各网络结构中的参数。
对于上述实现方式，可以利用一定数量的已知的各类人体行为MV-MDs谱特征数据U行为和相应标签序列Lab行为分别作为融合识别模型的输入和预设输出；接着，通过有监督学习对该融合识别模型学习训练和参数优化；其中，特征数据库U行为包含不同行为、不同个体、不同年龄、不同性别的数据，以保证特征数据库和训练所得模型的鲁棒性；而相应标签序列Lab行为仅以不同行为类别作为标记对象，以指导融合识别模型的有监督学习训练。通过完成上述学习过程，该融合识别模型才能够应用于前述技术方案的实施。
具体来说，如图7所示的基于注意力多视角学习网络的人体行为MV-MDs融合识别模型的示例性具体实施流程，通过多基雷达接收到人体识别目标的回波后，获得各视角通道对应的接收信号；将各视角通道对应的接收信号进行预处理并生成对应的MV-MDs谱之后，通过多个DCNN1分别对各视角通道的MV-MDs谱的特征进行提取，从而获得每个视角通道各自对应的初级特征，F＝{F1,F2,…,Fk,…,FK},∈RK*H*W；接着对于每个视角通道各自对应的初级特征F，依次通过由视角通道注意力相关的网络结构组成的视角注意力模块以及由空间注意力相关的网络结构组成的空间注意力模块进行权重校准，从而生成校准后的输出特征；然后，将校准后的输出特征通过Bi-GRU网络在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子
最后将该全局描述子/>
输入至已训练完毕的第二深度卷积神经网络DCNN2进行识别以获得识别结果，即图7中所示出的基于行为的多视角融合感知结果。
详细来说，对于多视图的人体行为识别，首先针对每个视角使用改进Resnet34网络分别进行特征提取。相较于常规方案所采用的Resnet34网络，本发明实施例将全连接层去除，仅保留该网络对输入的特征提取功能，举例来说，对于输入为512*512的人体行为时频谱图，经过网络特征提取之后得到256*256的特征图。考虑到每个视角所蕴含的有效信息不同，本发明实施例将得到的特征图作为输入，经过通道注意力机制对其每个视角的权重进行分配。针对每个特征图空间上的信息分布，采用空间注意力机制对其空间信息进行权重分配，并利用7*7的卷积核对特征图的图像进行卷积操作，将卷积后的信息与完整的特征图进行相乘，从而分配特征图空间权重。最终利用Bi-GRU网络来对其进行识别，也就是说，特征图经过通道注意力机制和空间注意力机制之后为256*256的矩阵形式，将该矩阵输入至Bi-GRU并利用其全连接层得到一组一维的特征信息，最后通过softmax层得到其类别。
基于前述技术方案相同的发明构思，参见图8，其示出了本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置80，所述装置80包括：时频分析部分801、特征提取部分802、注意力校准部分803、聚合编码部分804和目标识别部分805；其中，
所述时频分析部分801，经配置为针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
所述特征提取部分802，经配置为基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
所述注意力校准部分803，经配置为针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
所述聚合编码部分804，经配置为将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
所述目标识别部分805，经配置为将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
对于图8所示的装置，在一些示例中，所述时频分析部分801，经配置为：
基于每个接收天线接收的原始接收信号获取各视角通道对应的接收信号；
针对所述各视角通道对应的接收信号进行减平均操作以去除静态背景反射回来的直达波后，通过低通滤波器进行低通滤波，得到各视角通道对应的预处理后的接收信号；
对所述每个视角通道对应的预处理后的接收信号中处于有效运动特征距离范围内的信号进行STFT，获得每个视角通道对应的时间-频率微多普勒(MV-MDs)谱。
对于图8所示的装置，在一些示例中，所述特征提取部分802，经配置为：
将多个具有相同结构且与视角通道对应的第一深度卷积神经网络作为前置多视角特征提取网络，并将每个视角通道对应的时间-频率微多普勒谱输入至对应的第一深度卷积神经网络，得到每个视角通道对应的初级特征F。
对于图8所示的装置，在一些示例中，参见图9，所述注意力校准部分803，包括视角通道注意力校准单元8031和空间注意力校准单元8032；其中，
所述视角通道注意力校准单元8031，经配置为针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征；
所述空间注意力校准单元8032，经配置为针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征。
对于图8所示的装置，在一些示例中，所述视角通道注意力校准单元8031，经配置为：
将所述初级特征分别通过平均池化和最大池化操作聚合特征信息，生成对应的空间上下文描述符；
根据所述空间上下文描述符通过同一共享网络生成各视角通道对应的通道注意力权重；
根据所述各视角通道对应的通道注意力权重对各视角通道对应的初级特征进行权重校准，获得各视角通道对应的中间特征。
对于图8所示的装置，在一些示例中，所述空间注意力校准单元8032，经配置为：
对于所述中间特征，根据人体目标相应结构所处的空间位置所对应的特征区域生成空间注意力权重；
根据所述空间注意力权重对所述中间特征进行权重校准，获得所述各视角通道对应的校准后的输出特征。
对于图8所示的装置，在一些示例中，所述聚合编码部分804，经配置为：
利用双向门控循环单元Bi-GRU网络，对所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子
对于图8所示的装置，在一些示例中，所述目标识别部分805，经配置为：
将所述全局描述子
输入至已训练完毕的基于深度卷积神经网络的行为识别后端网络进行识别，获得输入行为的类别预测概率向量；
将最终所获得的行为融合识别的类别预测概率向量结果ρω中，概率最大值对应的行为种类确定为融合识别的预测行为。
对于图8所示的装置，在一些示例中，所述第一深度卷积神经网络、所述通道注意力相关的网络结构、所述空间注意力相关的网络结构、所述Bi-GRU网络和所述第二深度卷积神经网络统一为基于注意力多视角学习网络的人体行为MV-MDs融合识别模型；相应地，参见图9，所述装置80还包括：学习部分806，经配置为利用已有的人体行为MV-MDs谱数据库和标签序列，通过有监督学习策略对所述融合识别模型进行学习训练和参数优化，获得所述融合识别模型内各网络结构中的参数。
可以理解地，在本实施例中，“部分”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是单元，还可以是模块也可以是非模块化的。
另外，在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于注意力多视角学习网络的多基雷达人体行为融合识别程序，所述基于注意力多视角学习网络的多基雷达人体行为融合识别程序被至少一个处理器执行时实现上述技术方案中所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
根据上述基于注意力多视角学习网络的多基雷达人体行为融合识别装置80以及计算机存储介质，参见图10，其示出了本发明实施例提供的一种能够实施上述基于注意力多视角学习网络的多基雷达人体行为融合识别装置80的计算设备100的具体硬件结构，该计算设备100可以为无线装置、移动或蜂窝电话(包含所谓的智能电话)、个人数字助理(PDA)、视频游戏控制台(包含视频显示器、移动视频游戏装置、移动视频会议单元)、膝上型计算机、桌上型计算机、电视机顶盒、平板计算装置、电子书阅读器、固定或移动媒体播放器，等。计算设备100包括：通信接口1001，存储器1002和处理器1003；各个组件通过总线系统1004耦合在一起。可理解，总线系统1004用于实现这些组件之间的连接通信。总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1004。其中，
所述通信接口1001，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
所述存储器1002，用于存储能够在所述处理器1003上运行的计算机程序；
所述处理器1003，用于在运行所述计算机程序时，执行上述技术方案中所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
可以理解，本发明实施例中的存储器1002可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器1003可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002，处理器1003读取存储器1002中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可以理解地，上述基于注意力多视角学习网络的多基雷达人体行为融合识别装置80以及计算设备100的示例性技术方案，与前述基于注意力多视角学习网络的多基雷达人体行为融合识别方法的技术方案属于同一构思，因此，上述对于基于注意力多视角学习网络的多基雷达人体行为融合识别装置80以及计算设备100的技术方案未详细描述的细节内容，均可以参见前述基于注意力多视角学习网络的多基雷达人体行为融合识别方法的技术方案的描述。本发明实施例对此不做赘述。
需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法，其特征在于，所述方法包括：
基于每个接收天线接收的原始接收信号获取各视角通道对应的接收信号；所述每个接收天线接收的原始接收信号对应NT个发射天线，所述NT大于或等于2；
针对所述各视角通道对应的接收信号进行减平均操作以去除静态背景反射回来的直达波后，通过低通滤波器进行低通滤波，得到各视角通道对应的预处理后的接收信号；
对所述每个视角通道对应的预处理后的接收信号中处于有效运动特征距离范围内的信号进行短时傅里叶变换，获得每个视角通道对应的时间-频率微多普勒谱；
基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征，所述预设的第一深度卷积神经网络包括改进的Resnet34网络，所述改进的Resnet34网络去除全连接层；
针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
2.根据权利要求1所述的方法，其特征在于，所述针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征，包括：
针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征；
针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征。
3.根据权利要求2所述的方法，其特征在于，所述针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征，包括：
将所述初级特征分别通过平均池化和最大池化操作聚合特征信息，生成对应的空间上下文描述符；
根据所述空间上下文描述符通过同一共享网络生成各视角通道对应的通道注意力权重；
根据所述各视角通道对应的通道注意力权重对各视角通道对应的初级特征进行权重校准，获得各视角通道对应的中间特征。
4.根据权利要求2所述的方法，其特征在于，所述针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征，包括：
对于所述中间特征，根据人体目标相应结构所处的空间位置所对应的特征区域生成空间注意力权重；
根据所述空间注意力权重对所述中间特征进行权重校准，获得所述各视角通道对应的校准后的输出特征。
5.根据权利要求1所述的方法，其特征在于，所述将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子，包括：
利用双向门控循环单元Bi-GRU网络，对所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子
6.根据权利要求1所述的方法去，其特征在于，所述将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果，包括：
将所述全局描述子
输入至已训练完毕的基于深度卷积神经网络的行为识别后端网络进行识别，获得输入行为的类别预测概率向量；
将最终所获得的行为融合识别的类别预测概率向量结果ρω中，概率最大值对应的行为种类确定为融合识别的预测行为。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一深度卷积神经网络、所述通道注意力相关的网络结构、所述空间注意力相关的网络结构和所述第二深度卷积神经网络统一为基于注意力多视角学习网络的人体行为MV-MDs融合识别模型；相应地，所述方法还包括：
利用已有的人体行为MV-MDs谱数据库和标签序列，通过有监督学习策略对所述融合识别模型进行学习训练和参数优化，获得所述融合识别模型内各网络结构中的参数。
8.根据权利要求5所述的方法，其特征在于，所述Bi-GRU网络为基于注意力多视角学习网络的人体行为MV-MDs融合识别模型。
9.一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置，其特征在于，所述装置包括：时频分析部分、特征提取部分、注意力校准部分、聚合编码部分和目标识别部分；其中，
所述时频分析部分，经配置为
基于每个接收天线接收的原始接收信号获取各视角通道对应的接收信号；所述每个接收天线接收的原始接收信号对应NT个发射天线，所述NT大于或等于2；针对所述各视角通道对应的接收信号进行减平均操作以去除静态背景反射回来的直达波后，通过低通滤波器进行低通滤波，得到各视角通道对应的预处理后的接收信号；对所述每个视角通道对应的预处理后的接收信号中处于有效运动特征距离范围内的信号进行短时傅里叶变换，获得每个视角通道对应的时间-频率微多普勒谱；
所述特征提取部分，经配置为基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征，所述预设的第一深度卷积神经网络包括改进的Resnet34网络，所述改进的Resnet34网络去除全连接层；
所述注意力校准部分，经配置为针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
所述聚合编码部分，经配置为：将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
所述目标识别部分，经配置为将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
10.一种计算设备，其特征在于，所述计算设备包括：通信接口，存储器和处理器；各个组件通过总线系统耦合在一起；其中，
所述通信接口，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行权利要求1至8任一项所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有基于注意力多视角学习网络的多基雷达人体行为融合识别程序，所述基于注意力多视角学习网络的多基雷达人体行为融合识别程序被至少一个处理器执行时实现权利要求1至8任一项所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210209906.9A CN114580535B (zh) | 2022-03-04 | 2022-03-04 | 多基雷达人体行为融合识别方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210209906.9A CN114580535B (zh) | 2022-03-04 | 2022-03-04 | 多基雷达人体行为融合识别方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114580535A CN114580535A (zh) | 2022-06-03 |
| CN114580535B true CN114580535B (zh) | 2023-05-23 |
Family
ID=81773144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210209906.9A Active CN114580535B (zh) | 2022-03-04 | 2022-03-04 | 多基雷达人体行为融合识别方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114580535B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030534B (zh) * | 2023-02-22 | 2023-07-18 | 中国科学技术大学 | 睡眠姿态模型的训练方法和睡眠姿态识别方法 |
| CN116125466B (zh) * | 2023-03-02 | 2023-07-04 | 武汉理工大学 | 船舶人员隐藏威胁性物品携带检测方法、装置及电子设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108872984B (zh) * | 2018-03-15 | 2022-04-08 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
| CN110245581B (zh) * | 2019-05-25 | 2023-04-07 | 天津大学 | 一种基于深度学习和距离-多普勒序列的人体行为识别方法 |
| EP3835812A1 (en) * | 2019-12-13 | 2021-06-16 | Qumea AG | Method for the localization of living individuals in a search area |
| CN114092783A (zh) * | 2020-08-06 | 2022-02-25 | 清华大学 | 一种基于注意力机制连续视角的危险品检测方法 |
| CN112613405B (zh) * | 2020-12-23 | 2022-03-25 | 电子科技大学 | 任意视角动作识别方法 |
| CN112914534B (zh) * | 2021-01-20 | 2023-05-02 | 中国人民解放军空军军医大学 | 基于双源ir-uwb生物雷达的生命体征提取方法 |
| CN113075655A (zh) * | 2021-03-22 | 2021-07-06 | 中国人民解放军空军军医大学 | 一种用于灾后搜救非自然状态人体目标的双源ir-uwb雷达 |
| CN113139499A (zh) * | 2021-05-10 | 2021-07-20 | 中国科学院深圳先进技术研究院 | 一种基于轻量注意力卷积神经网络的步态识别方法和系统 |
| CN114002655A (zh) * | 2021-10-29 | 2022-02-01 | 中国人民解放军陆军军医大学 | 超宽带连续波生物雷达数据处理方法及系统 |
-
2022
- 2022-03-04 CN CN202210209906.9A patent/CN114580535B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114580535A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114580535B (zh) | 多基雷达人体行为融合识别方法、装置及介质 | |
| Brodeski et al. | Deep radar detector | |
| CN109188414A (zh) | 一种基于毫米波雷达的手势运动探测方法 | |
| Li et al. | Human target detection based on FCN for through-the-wall radar imaging | |
| Alberga et al. | Comparison of polarimetric SAR observables in terms of classification performance | |
| CN113033473B (zh) | 基于st2dcnn+se的雷达重叠信号识别方法 | |
| CN114814775A (zh) | 基于ResNet网络的雷达跌倒检测方法及设备 | |
| CN115343704A (zh) | 基于多任务学习的fmcw毫米波雷达的手势识别方法 | |
| Wang et al. | Multi-classification of UWB signal propagation channels based on one-dimensional wavelet packet analysis and CNN | |
| Qiao et al. | Human activity classification based on micro-Doppler signatures separation | |
| Liu et al. | Moving target indication using deep convolutional neural network | |
| Ristea et al. | Estimating the magnitude and phase of automotive radar signals under multiple interference sources with fully convolutional networks | |
| CN116797796A (zh) | Drfm间歇采样下基于时频分析与深度学习的信号识别方法 | |
| Chen et al. | A multi-domain fusion human motion recognition method based on lightweight network | |
| Brieger et al. | Multimodal learning for reliable interference classification in GNSS signals | |
| Qu et al. | IRNet: Interference recognition networks for automotive radars via autocorrelation features | |
| CN115469303A (zh) | 一种检测人体姿态和生命体征的认知生物雷达方法与装置 | |
| Wang et al. | Interference Mitigation for Automotive FMCW Radar Based on Contrastive Learning With Dilated Convolution | |
| Ma et al. | HRRP-based target recognition with deep contractive neural network | |
| CN116894200A (zh) | 一种基于卷积神经网络和注意力机制的无线电调频引信干扰信号识别方法 | |
| CN113688655B (zh) | 干扰信号的识别方法、装置、计算机设备和存储介质 | |
| Lingzhi et al. | Completion-attention ladder network for few-shot underwater acoustic recognition | |
| Imani | Spatial and polarimetric information fusion using residual network for polarimetric synthetic aperture radar image classification | |
| Wu et al. | Radar active deception jamming recognition based on Siamese squeeze wavelet attention network | |
| Apartsin et al. | Time-of-flight estimation in the presence of outliers part I—Single echo processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |