CN110515079B - 融合sar雷达与红外成像技术的可视化融合方法 - Google Patents

Abstract

本发明属于人工智能指挥控制可视化领域，特别是融合SAR雷达与红外成像技术的可视化成像方法。该方法步骤包括：步骤一：通过获取的动态信息和静态信息建立融合特征估计转换；步骤二：通过训练库建立融合特征模型；步骤三：形成融合特征；步骤四：利用特征级别关键区域内进行搜索完成高精度的检测识别。本发明提出了融合SAR雷达与红外成像技术的可视化成像方法，将SAR雷达与红外数据的特征进行融合，为高精度的作战单元质量的检测提供准确、可靠、具有鲁棒性的特征。

Description

融合SAR雷达与红外成像技术的可视化融合方法

技术领域

本发明属于人工智能指挥控制可视化领域，特别是融合SAR雷达与红外成像技术的可视化成像方法。

背景技术

合成孔径雷达(SAR)是一种主动式的对地观测高分辨率微波成像雷达，可在战场上进行全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此，SAR具有独特的优势，可发挥其他遥感手段难以发挥的作用，因此越来越受到世界各国的重视。

目前针对雷达数据与红外数据的特征融合，目前还没有优质的技术及方案来保证高质量融合，主要因为雷达数据与红外数据的类型异构，同时，针对目标特征的刻画也完全不一致，因此，本发明针对雷达数据与红外数据提出一种方案融合。

发明内容

发明目的：

本发明提出了融合SAR雷达与红外成像技术的可视化成像方法

技术方案：

融合SAR雷达与红外成像技术的可视化融合方法，该方法步骤包括：

步骤一：通过获取的动态信息和静态信息建立融合特征估计转换；

步骤二：通过训练库建立融合特征模型；

步骤三：形成融合特征；

步骤四：利用特征级别关键区域内进行搜索完成高精度的检测识别。

进一步的，通过SAR雷达获取动态信息，红外成像获取静态信息。

进一步的，融合特征估计转换的具体步骤是：

在第t个时间间隙接收信号y(t)可以表示为，

其中，s(t)为接收的数据集{s(1)_M,s(2)_M,…s(t)_M}，A为接收的雷达及红外信号的幅度增益，j表示复数，f为接收信号的载波偏移，

为接收信号相位偏差，w(t)为功率为噪声功率的高斯白噪声；

令

为算法深度学习网络输出估计值，

为第l阶算法深度学习网络估计输出值，r_l作为第l阶网络的已获知输出值；采用非线性对数误差能量函数作为目标函数，其中信号采用极坐标表示形式，包括信号的幅度特征，相位特征以及频率特征；

建立的特征融合目标函数为：

将一阶深度学习网络估计输出值用指数函数表示，获得第一阶网络估计输出响应，定义为，

其中，w_lk作为连接第k个隐层网络与第一个输出网络的权值；权值幅度可以表示为：A_w＝|w_lk|,l＝1,...,n，对应得到权值相位为

及频率表示为

进一步的，训练库的建立具体步骤是：

{(r(1),y(2)),...(r(n),y(n)),...(z(t),y(t))}，n＞t，前n个符号作为系统网络训练库，其中，y(n)为第n个训练单元的输入，并且r(n)作为第n个训练单元的目标输出；

为了提升预测及识别效率，期望预测方向是，经过一层网络训练，信号误差

幅度误差

相位

频率误差

第t个训练样本的输出特征r(t)，以极坐标方式表示获得信号的幅度信息、相位信息以及频率信息的能量函数模型。

进一步的，建立融合特征模型的具体步骤是：

形成多源目标的融合特征，融合后的雷达及红外信号的融合信号特征表示为，

其中，A_r为幅度信息，表示为A_r＝|r(t)|，

为信号相位信息，f_r(t)为信号频率特征；

将公式(4)代入融合特征模型，可得：

针对N个训练序列，目标能量函数定义为，也就是融合特征模型：

进一步的，形成融合特征的具体步骤是：通过形成多源目标的融合特征的网络，形成融合特征存储及识别，将接信号通过不同的幅度、相位、频率信息进入不同的融合网络，得到不同的融合特征。

进一步的，特征级别融合的具体方式为，利用融合模型获取SAR雷达探测目标在红外成像的特征空间上的投影点，同时将投影点中建立包含红外成像目标图像的感兴趣区域。

优点及效果：

将SAR雷达与红外数据的特征进行融合，为高精度的作战单元质量的检测提供准确、可靠、具有鲁棒性的特征。

附图说明

图1是融合SAR雷达与红外成像的可视化融合方法框图；

图2是采用基于可视化融合的作战单元姿态判决。

具体实施方式

本发明提供了一种融合SAR雷达与红外成像技术的可视化成像方法。根据采集指挥控制过程中产生的多源异构数据，包括红外成像采集信息，以及SAR雷达采集信息。该方法根据所采集的信息进行融合，同时形成时间序列数据，用于对个体整晚作战单元过程中出现的显著特征进行综合判决，从而获得战场态势的高精度特征分析。

本发明的实现包括红外成像部分，以及SAR雷达部分。利用安装于指挥控制前端的SAR雷达模块与红外成像模块等多种传感器，进行实时获取战场态势。通过SAR雷达获取作战单元特征动态，如距离特征，翻转特征等。以及红外传感器获取作战单元静态信息，如态势特征。建立SAR雷达与红外视觉的坐标特征变换，形成具有统一维度的特征空间，进而通过建立SAR雷达采集数据与红外成像数据的融合，将SAR雷达与红外数据的特征进行融合，为高精度的作战单元质量的检测提供准确、可靠、具有鲁棒性的特征。其实现的框图如图1所示。

通过研究SAR雷达与红外成像的特征融合模型，完成微波数据与红外成像的融合模型建立。该发明首先建立SAR雷达模块坐标系与红外视觉像素坐标系间的线性转换关系。然后根据SAR雷达模块与机器视觉模块安装相对位置固定己知，建立SAR雷达模块坐标系和机器视觉模块间的坐标系转换关系，进而构建SAR雷达捕获作战单元状态特征与红外成像模块捕获特征的空间融合模型。由于SAR雷达模块与红外成像模块的对作战单元特征的捕获原理不同，本发明以红外成像捕获目标的视觉数据为基准，采用多线程同步程序设计方式，构建SAR雷达目标捕获特征的融合模型，并且通过空间模型校正。最后利用时间及空间融合模型，获取SAR雷达探测目标在红外成像的特征空间上的投影点，同时将投影点中建立包含红外成像目标图像的感兴趣区域。利用在作战单元检测感兴趣区域内进行搜索完成高精度的作战单元检测识别。

如图1和图2所示，融合SAR雷达与红外成像技术的可视化融合方法，该方法步骤包括：

步骤一：通过获取的动态信息和静态信息建立融合特征估计转换。

通过SAR雷达获取动态信息，红外成像获取静态信息。利用安装SAR雷达模块与红外成像模块获取作战单元状态的动态信息及静态信息。本发明提供一种基于模糊融合的息融合算法，为精确作战单元状态非接触检测提供准确、可靠、具有鲁棒性的数据，提高高性能及高效检测性能。

高精确作战单元监测系统涉及到静态信息感知，以及动态信息感知，同时需要作战单元状态的动、静信息的融合建模、作战单元状态判决模型及多源特征的综合决策等关键技术。本发明将基于SAR雷达及红外传感器的融合检测信息为研究对象，发明了作战单元状态融合判决方法。研究基于基于模糊信息融合算法以及基于SVM的作战单元检测分类器，为作战单元状态提供准确、可靠、具有鲁棒性的战场指控决策信息。

根据SAR雷达坐标系和红外成像模块的相对位置，建立SAR雷达模块坐标系和红外成像模块间的坐标系转换关系。

融合特征估计转换的具体步骤是：

在第t个时间间隙接收信号y(t)可以表示为，

其中，s(t)为接收的数据集{s(1)_M,s(2)_M,…s(t)_M}，A为接收的雷达及红外信号的幅度增益，j表示复数，一般为固定数值，f为接收信号的载波偏移，

为接收信号相位偏差，w(t)为功率为噪声功率

的高斯白噪声，高斯白噪声也为固定值；

令

为算法深度学习网络输出估计值，

为第l阶算法深度学习网络估计输出值，r_l作为第l阶网络的已获知输出值；采用非线性对数误差能量函数作为目标函数，其中信号采用极坐标表示形式，包括信号的幅度特征，相位特征以及频率特征；

建立的特征融合目标函数为：

将一阶深度学习网络估计输出值用指数函数表示，获得第一阶网络估计输出响应，定义为，

其中，w_lk作为连接第k个隐层网络与第一个输出网络的权值；权值幅度可以表示为：A_w＝|w_lk|,l＝1,...,n，对应得到权值相位为

及频率表示为

步骤二：通过训练库建立融合特征模型；

训练库的建立具体步骤是：

{(r(1),y(2)),...(r(n),y(n)),...(z(t),y(t))}，n＞t，前n个符号作为系统网络训练库，其中，y(n)为第n个训练单元的输入，并且r(n)作为第n个训练单元的目标输出；

为了提升预测及识别效率，期望预测方向是，经过一层网络训练，信号误差

幅度误差

相位

频率误差

第t个训练样本的输出特征r(t)，以极坐标方式表示获得信号的幅度信息、相位信息以及频率信息的能量函数模型。

建立融合特征模型的具体步骤是：

形成多源目标的融合特征，融合后的雷达及红外信号的融合信号特征表示为，

其中，A_r为幅度信息，表示为A_r＝|r(t)|，

为信号相位信息，f_r(t)为信号频率特征；

将公式(4)代入融合特征模型，可得：

针对N个训练序列，目标能量函数定义为，也就是融合特征模型：

通过分析红外成像成像模型，建立红外成像的像素坐标的转换关系，同时考虑到实际成像时的畸变现象，通过建立视觉经验库，对红外捕获的特征进行非线性的畸变校正；并且根据SAR雷达和红外红外安装位置相对固定的关系，建立SAR雷达和红外红外的坐标转换关系；最终得到SAR雷达坐标系与像素坐标系空间融合模型。通过空间与时间的融合模型，在图像上建立感兴趣区域，利用训练好的在感兴趣特征区域内进行作战单元检测。

步骤三：形成融合特征；

通过形成多源目标的融合特征的网络，形成融合特征存储及识别，将接信号通过不同的幅度、相位、频率信息进入不同的融合网络，得到不同的融合特征。

步骤四：利用特征级别关键区域内进行搜索完成高精度的检测识别。

特征级别融合的具体方式为，利用融合模型获取SAR雷达探测目标在红外成像的特征空间上的投影点，同时将投影点中建立包含红外成像目标图像的感兴趣区域。

使用红外成像获取作战单元静态信息时，障碍物与视觉传感器间的相对距离和相对位置的不同。红外成像中的障碍物检测算法，需要使用一系列不同大小的成像矩形框在整幅图像上进行遍历性的搜索在SAR雷达与红外成像安装相对位置关系己知的情况下，通过坐标系转换将SAR雷达的距离数据映射到红外图像上的某个点，在包含该点的感兴趣区域内，然后进行作战单元静态信息的验证实现识别，实现SAR雷达传感器数据和红外成像传感器数据进行时间、空间的数据融合，同时在整幅红外图像上进行遍历性的搜索，提高作战单元状态监测的实时性、准确性和鲁棒性。

SAR雷达输出的测量数据是作战单元动态的特征数据，这些测量数据位于毫米波雷达二维扫描平面坐标系中。SAR雷达和红外红外安装相对位置关系是固定的、已知的，可获得SAR雷达二维平面坐标系与红外红外坐标系之间的转换关系。

根据计算机视觉相关理论和算法及红外成像原理，可获得红外坐标系和像素坐标系之间的转换关系。结合上化两种转换关系，实现毫米波雷这坐标系和红外成像图像像素坐标之间的转换。

Claims (1)

1.融合SAR雷达与红外成像技术的可视化融合方法，其特征在于：该方法步骤包括：

步骤一：通过获取的动态信息和静态信息建立融合特征估计转换；

步骤二：通过训练库建立融合特征模型；

步骤三：形成融合特征；

步骤四：利用特征级别关键区域内进行搜索完成高精度的检测识别；

在步骤一中，通过SAR雷达获取动态信息，红外成像获取静态信息；

融合特征估计转换的具体步骤是：

在第t个时间间隙接收信号y(t)可以表示为，

其中，s(t)为接收的数据集{s(1)_M,s(2)_M,…s(t)_M}，A为接收的雷达及红外信号的幅度增益，j表示复数，f为接收信号的载波偏移，

为接收信号相位偏差，w(t)为功率为噪声功率的高斯白噪声；

令

为算法深度学习网络输出估计值，

为第l阶算法深度学习网络估计输出值，r_l作为第l阶网络的已获知输出值；采用非线性对数误差能量函数作为目标函数，其中信号采用极坐标表示形式，包括信号的幅度特征，相位特征以及频率特征；

建立的特征融合目标函数为：

将一阶深度学习网络估计输出值用指数函数表示，获得第一阶网络估计输出响应，定义为，

其中，w_lk作为连接第k个隐层网络与第一个输出网络的权值；权值幅度可以表示为：A_w＝|w_lk|,l＝1,...,n，对应得到权值相位为

及频率表示为

在步骤二中，训练库的建立具体步骤是：

{(r(1),y(2)),...(r(n),y(n)),...(z(t),y(t))}，n＞t，前n个符号作为系统网络训练库，其中，y(n)为第n个训练单元的输入，并且r(n)作为第n个训练单元的目标输出；

为了提升预测及识别效率，期望预测方向是，经过一层网络训练，信号误差

幅度误差

相位

频率误差

第t个训练样本的输出特征r(t)，以极坐标方式表示获得信号的幅度信息、相位信息以及频率信息的能量函数模型；

建立融合特征模型的具体步骤是：

形成多源目标的融合特征，融合后的雷达及红外信号的融合信号特征表示为，

其中，A_r为幅度信息，表示为A_r＝|r(t)|，

为信号相位信息，f_r(t)为信号频率特征；

将公式(4)代入融合特征模型，可得：

针对N个训练序列，目标能量函数定义为，也就是融合特征模型：

在步骤三中，形成融合特征的具体步骤是：通过形成多源目标的融合特征的网络，形成融合特征存储及识别，将接信号通过不同的幅度、相位、频率信息进入不同的融合网络，得到不同的融合特征；

在步骤四中，特征级别融合的具体方式为，利用融合模型获取SAR雷达探测目标在红外成像的特征空间上的投影点，同时将投影点中建立包含红外成像目标图像的感兴趣区域。

Images