CN117630907A - 一种红外成像与毫米波雷达融合的海面目标跟踪方法 - Google Patents

一种红外成像与毫米波雷达融合的海面目标跟踪方法 Download PDF

Info

Publication number
CN117630907A
CN117630907A CN202311616604.4A CN202311616604A CN117630907A CN 117630907 A CN117630907 A CN 117630907A CN 202311616604 A CN202311616604 A CN 202311616604A CN 117630907 A CN117630907 A CN 117630907A
Authority
CN
China
Prior art keywords
target
radar
infrared
tracking
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311616604.4A
Other languages
English (en)
Other versions
CN117630907B (zh
Inventor
冯翔
韩天豪
王军
王振兴
赵占锋
周志权
王晨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weihai Lanwan Marine Engineering Equipment Research Institute Co ltd
Harbin Institute of Technology Weihai
Original Assignee
Weihai Lanwan Marine Engineering Equipment Research Institute Co ltd
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weihai Lanwan Marine Engineering Equipment Research Institute Co ltd, Harbin Institute of Technology Weihai filed Critical Weihai Lanwan Marine Engineering Equipment Research Institute Co ltd
Priority to CN202311616604.4A priority Critical patent/CN117630907B/zh
Publication of CN117630907A publication Critical patent/CN117630907A/zh
Application granted granted Critical
Publication of CN117630907B publication Critical patent/CN117630907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种红外成像与毫米波雷达融合的海面目标跟踪方法，涉及海面环境感知技术领域，为解决现有技术中采用单一传感器获取海面目标信息不够完整、易被干扰，难以适用于复杂多变的海面环境的问题。本发明利用红外目标跟踪模型对红外目标区域进行特征提取，模型基于改进SiamCAR网络，骨干网络采用轻量化的MobileNetv2，红外目标跟踪模型构建有由金字塔模块和坐标注意力模块组成的整合层；根据红外目标确定预选雷达目标，对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器，利用交互多模型卡尔曼滤波器对雷达目标进行跟踪；将红外跟踪结果与毫米波雷达的跟踪结果进行融合，对目标进行跟踪。具有较好的稳定性和鲁棒性，适用于复杂多变的海面场景。

Description

一种红外成像与毫米波雷达融合的海面目标跟踪方法
技术领域
本发明涉及海面环境感知技术领域，具体而言，涉及一种红外成像与毫米波雷达融合的海面目标跟踪方法。
背景技术
目前，海面目标感知、跟踪存在较多手段，但均具有局限性。可见光摄像头图像易受雨雾、水滴、泥浆遮挡，无法全天候全天时工作；红外相机虽然不受光照影响，能够全天时工作，且成像含有较丰富的语义信息，但只能区分与环境具有温度差异的目标，采集图像较可见光图像色彩和纹理信息更少。毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达，对雨雾、烟和灰尘的穿透能力强，且不受光照影响，具有较强的环境适应性和全天候全天时工作特性，能分辨识别很小的目标，而且能同时识别多个目标；具有成像能力，体积小、机动性强的优点。但毫米波雷达采集数据易受杂波和多径的影响，不具备语义特征，影响后续的目标定位跟踪过程。单一传感器获取的目标信息都不完整，且易被干扰从而丢失信息，存在不确定性，例如，可见光摄像头和红外成像设备只能获取目标的横向位置信息，毫米波雷达能够获取目标的距离、角度、速度等信息。较单模态传感器，异构多传感器融合方案能够充分利用异构传感器的互补性，发挥出不同传感器的性能优势，增强系统的可靠性。
发明内容
本发明要解决的技术问题是：
现有技术中采用单一传感器获取海面目标信息不够完整、易被干扰，难以适用于复杂多变的海面环境。
本发明为解决上述技术问题所采用的技术方案：
本发明提供了一种红外成像与毫米波雷达融合的海面目标跟踪方法，包括如下步骤：
步骤1：利用红外相机和毫米波雷达采集原始数据，并对红外相机和毫米波雷达进行时间配准，确保不同传感器可以采集到同一时刻的环境信息；
步骤2：对毫米波雷达点云数据进行预处理，初步筛选有效雷达目标；
步骤3：对红外相机和毫米波雷达进行空间配准；
步骤4：将空间配准之后映射到红外图像成像范围之外的毫米波雷达目标进行滤除；
步骤5：选取红外初始目标区域，利用红外目标跟踪模型对红外初始目标区域进行特征提取，所述红外目标跟踪模型基于改进的SiamCAR网络，骨干网络采用轻量化的MobileNetv2，所述红外目标跟踪模型构建有由金字塔模块和坐标注意力模块组成的整合层；根据红外初始目标确定预选雷达目标，对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器，对交互多模型卡尔曼滤波器进行初始化；
步骤6：利用所述交互多模型卡尔曼滤波器对雷达目标进行跟踪；
步骤7：利用所述红外目标跟踪模型对红外图像中的目标进行跟踪；
步骤8：将红外跟踪结果与毫米波雷达的跟踪结果进行融合，对目标进行跟踪。
进一步地，步骤2中对毫米波雷达点云数据的预处理方法为：
首先，将雷达点云反射强度低于阈值的点剔除掉，阈值为：
式中，N为雷达点云数目，ri为第i个雷达点云的反射强度，为毫米波雷达所有点云数据的反射强度的均值，α是一个常数，取0.7～0.9；
然后，设置一个搜索半径，在每个雷达点云的搜索半径内进行点云搜索，统计其搜索半径内的点云数量，将搜索半径内点云数量低于阈值的点滤除；
最后，对点云数据中的数据点进行聚类，得到多个聚类中心，将每个聚类中心视为一个目标。
进一步地，步骤3中所述对红外相机和毫米波雷达进行空间配准，包括如下过程：
以世界坐标系作为标定的中间变量，分别标定毫米波雷达与世界坐标系、红外相机坐标系与世界坐标系，获得毫米波雷达和红外相机的坐标转换关系，将毫米波雷达坐标系下的空间点映射到红外相机坐标系，然后将雷达目标在红外相机坐标系中的映射点转换到像素坐标系中；
所述毫米波雷达和红外相机的坐标转换如式(2)所示：
式中，(Xr,Yr,Zr)为毫米波雷达坐标系下的一个空间点，R为旋转矩阵，T为平移矩阵，(Xic,Yic,Zic)为空间点(Xr,Yr,Zr)映射到红外相机坐标系的的坐标；
所述雷达目标由红外相机坐标系到像素坐标系的转换如式(3)所示：
式中，(Xic,Yic,Zic)为雷达目标在红外相机坐标系下的一个空间点，(x,y)为雷达目标在像素坐标系下的坐标，M为红外相机的内参矩阵，fx、fy、u0和v0分别为红外相机横向和纵向的有效焦距、横向和纵向光轴偏移量。
进一步地，步骤4中将雷达坐标与红外图像像素坐标的极值进行比较，将空间配准之后映射到红外图像成像范围之外的毫米波雷达目标进行滤除，即：
式中，xmin、xmax、ymin、ymax分别为红外图像像素坐标在横纵方向上的极小极大值。
进一步地，步骤5中所述红外目标跟踪模型基于改进SiamCAR网络，骨干网络分为9层，第1层为下采样卷积层，2到8层由分类网络MobileNetv2中的基本块Mobile Block构成，堆叠个数分别为{1,1,1,3,4,3,2}，3到8层的基本块内输入和输出通过残差方式连接，第9层为整合层，由金字塔模块、双坐标注意模块、卷积层构成；整合层的输入为第5、6、8层的输出特征图，整合层通过金字塔模块对特征重新整合，通过双坐标注意模块解耦分类和回归任务，其中，金字塔模块将第5层输出特征通过3×3最大池化层和1×1卷积层后与第6、8层特征图进行拼接，拼接后的特征图作为双坐标注意力模块的输入；双坐标注意模块由两个并行的坐标注意力模块组成，两个并行的坐标注意力模块输出分别作为分类分支和中心分支的输入、回归分支的输入。
进一步地，步骤5包括如下步骤：
步骤5.1：选取红外初始目标区域，计算初始目标区域的中心坐标，将该中心点设置为搜索区域中心，并保存目标的宽高信息；
步骤5.2：利用红外目标跟踪模型对红外初始目标区域进行特征提取；
步骤5.3：计算所有雷达目标点与所述搜索区域中心的欧氏距离并与预设阈值进行比较，将大于阈值的雷达目标剔除，阈值通过式(5)获取：
式中，wobj、hobj表示红外初始目标框的宽、高；γ表示缩放系数，取0.4～0.6；
对满足条件的雷达目标数量进行判断，若满足条件的雷达目标多于3个，则选择欧式距离最小的3个目标作为预选雷达目标；若满足条件的雷达目标为1～3个，则选择所有的目标作为预选目标；若无满足条件的预设雷达目标，则认为雷达没有检测到待跟踪目标，选择欧式距离最小的1个目标作为预选雷达目标；
步骤5.4：对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器(IMM)，利用预选雷达目标在雷达坐标系下的目标信息进行初始化，将初始化之后的卡尔曼滤波器状态设置为预选状态。
进一步地，步骤6包括如下步骤：
步骤6.1：利用交互多模型卡尔曼滤波器对雷达目标在当前帧的位置进行预测；
步骤6.2：将当前帧雷达检测的目标分别与交互多模型卡尔曼滤波器的每个预测结果进行目标一致性匹配，将最优匹配结果作为交互多模型卡尔曼滤波器的测量值，将处于预选状态的交互多模型卡尔曼滤波器的测量值命名为预选雷达目标，将处于匹配状态的交互多模型卡尔曼滤波器的测量值命名为匹配雷达目标；
所述目标一致性匹配的具体流程为：首先筛选出在每个交互多模型卡尔曼预测值邻域内的雷达目标检测值；若邻域内无雷达检测值，则认为雷达目标在当前时刻丢失，将当前卡尔曼的预测值作为测量值；若邻域内只有一个雷达检测值，则将该雷达检测目标作为最优匹配结果；若邻域内有多个雷达检测值，则利用马氏距离计算当前卡尔曼滤波器预测值与其邻域内任一雷达检测目标之间的运动特征距离，将马氏距离最小的雷达检测目标作为最优匹配结果；
所述交互多模型卡尔曼预测值的邻域由式(6)定义，
式中为第λ个交互多模型卡尔曼滤波器的第i个滤波器的预测状态向量对应的预测观测向量，为第μ个雷达检测目标对应的观测向量，dZ为观测向量的阈值向量；
将所有雷达测量值与交互多模型卡尔曼预测值的差值和设定的阈值作比较，若一个雷达目标所有的特征信息都小于阈值，则认为该雷达目标在卡尔曼预测值的邻域内，满足一致性要求；阈值向量参考真实雷达的参数和实际的场景进行设置。
进一步地，步骤8包括如下步骤：
步骤8.1：计算匹配雷达目标和红外跟踪框中心在像素坐标系下的椭圆距离，并将计算得到的椭圆距离与阈值比较；
(1)如果距离小于阈值，则认为当前红外跟踪结果可靠；对搜索区域中心和目标宽高信息进行更新，并对交互多模型卡尔曼滤波器进行更新；
(2)如果距离大于阈值，且交互多模型卡尔曼滤波器在进行目标一致性匹配时有匹配目标，则有以下两种情况：
如果红外目标跟踪模型输出的分类响应图的峰均比大于阈值，则认为当前红外跟踪结果仍然可靠，则对交互多模型卡尔曼滤波器进行更新，并更新搜索区域中心和目标宽高信息；
如果红外目标跟踪模型输出的分类响应图的峰均比小于阈值，则认为红外跟踪结果不可靠；然后利用得到的滤波器测量值对交互多模型卡尔曼滤波器进行更新，将更新得到的最优估计目标从雷达坐标系映射到像素坐标系上，将最优估计目标的像素坐标设置为新的搜索区域中心，目标宽高信息不进行更新；
(4)如果距离大于阈值，且交互多模型卡尔曼滤波器在进行目标一致性匹配时没有匹配目标，则认为红外、雷达跟踪结果都不可靠；然后利用预测值对交互多模型卡尔曼滤波器进行更新，将更新得到的最优估计目标从雷达坐标系映射到像素坐标系上，将最优估计目标的像素坐标设置为新的搜索区域中心，将处于匹配状态下的交互多模型卡尔曼滤波器的生命周期减少1，目标宽高信息不进行更新；
步骤8.2：对处于匹配状态下的交互多模型卡尔曼滤波器进行生命周期管理，生命周期为0的则认为目标出现长时间丢失情况，将滤波器删除，然后停止红外目标跟踪；生命周期非0则不做任何处理；
步骤8.3：计算所有预选雷达目标和红外跟踪框的匹配得分，选取得分最低的雷达目标与红外目标进行匹配，匹配成功的预选雷达目标的匹配周期加1，并更新保存的预选雷达目标与搜索区域中心的欧氏距离；
步骤8.4：对预选雷达目标的匹配周期进行判别；若有预选雷达目标匹配周期达到阈值Tmatch，则保留匹配周期为Tmatch的预选雷达目标，并将其对应的滤波器由预选状态设置为匹配状态，然后删除其它预选雷达目标对应的交互多模型卡尔曼滤波器；
步骤8.5：利用滤波器测量值对所有处于预选状态的交互多模型卡尔曼滤波器进行更新，并更新搜索区域中心和目标宽高信息；
步骤8.6：将红外与雷达目标的融合跟踪结果输出到用户端。
进一步地，步骤8.1中所述阈值的计算方法为：
式中，λ为阈值系数，取0.81～1，为上一时刻红外跟踪框的宽度，为上一时刻红外跟踪框的高度。
进一步地，步骤8.3中所述匹配得分的计算方法为：
式中，dir为处于预选状态的交互多模型卡尔曼滤波器预测的雷达目标位置与红外跟踪框中心坐标在像素坐标系下的欧氏距离；diff为当前的欧氏距离dir与预选雷达目标到搜索区域中心的欧氏距离差值的绝对值；wobj为红外跟踪框的宽度；β为影响因子，取值为8～10。
相较于现有技术，本发明的有益效果是：
本发明一种红外成像与毫米波雷达融合的海面目标跟踪方法，一、对用于通用目标跟踪的SiamCAR单目标跟踪算法进行了改进，骨干网络采用轻量化的MobileNetv2，对算法的跟踪精度和跟踪效率进行了权衡，对其网络架构和总步长进行了调整，使其更适合海面目标跟踪场景，引入由金字塔模块和坐标注意力模块组成的整合层，降低了分类回归任务的耦合，增强了骨干网络对不同尺度信息的融合能力。
二、本发明充分利用了异构传感器的信息互补性，较基于单模态传感器的海面目标跟踪算法，具有更好的稳定性和鲁棒性，更适用于复杂多变的海面场景。
附图说明
图1为本发明实施例中的红外成像与毫米波雷达融合的海面目标跟踪方法流程图；
图2为本发明实施例中的毫米波雷达和红外相机空间配准坐标系变换示意图；
图3为本发明实施例中的交互多模型卡尔曼滤波器对雷达目标进行跟踪示意图；
图4为本发明实施例中的红外目标跟踪模型结构示意图；
图5为本发明实施例中的毫米波雷达和红外跟踪结果融合过程流程图。
具体实施方式
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
具体实施方案一：如图1所示，本发明提供一种红外成像与毫米波雷达融合的海面目标跟踪方法，包括如下步骤：
步骤1：利用红外相机和毫米波雷达采集原始数据，并对红外相机和毫米波雷达进行时间配准，确保不同传感器可以采集到同一时刻的环境信息；
步骤2：对毫米波雷达点云数据进行预处理，初步筛选有效雷达目标；
步骤3：对红外相机和毫米波雷达进行空间配准；
步骤4：将空间配准之后映射到红外图像成像范围之外的毫米波雷达目标进行滤除；
步骤5：选取红外初始目标区域，利用红外目标跟踪模型对红外初始目标区域进行特征提取，所述红外目标跟踪模型基于改进的SiamCAR网络，骨干网络采用轻量化的MobileNetv2，所述红外目标跟踪模型构建有由金字塔模块和坐标注意力模块组成的整合层，以降低分类回归任务的耦合，增强骨干网络对不同尺度信息的融合能力；根据红外初始目标确定预选雷达目标，对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器，对交互多模型卡尔曼滤波器进行初始化；
步骤6：利用所述交互多模型卡尔曼滤波器对雷达目标进行跟踪；
步骤7：利用所述红外目标跟踪模型对红外图像中的目标进行跟踪；
步骤8：将红外跟踪结果与毫米波雷达的跟踪结果进行融合，对目标进行跟踪。
本实施方案中步骤1包括如下步骤：
步骤1.1：控制毫米波雷达开始采样后，立即触发红外相机工作，完成起始时间配准，考虑到红外相机的工作延时，以红外采集的第一帧数据时间戳为起始时间；
步骤1.2：根据红外图像序列与雷达数据的时间戳信息，以红外相机和毫米波雷达采样周期的公倍数为抽样时间对两个传感器采集的数据进行抽样，进行时间配准，保证两个传感器的融合数据的时间一致，实现两种传感器的时间同步。
本本实施方案通过软件中断方式完成初始时间配准。本发明选用的红外相机帧率为50FPS，雷达采样频率为25Hz，取两者抽样时间的最小公倍数40ms作为抽样时间，然后通过抽样的方式实现后续数据的时间配准。对于时间配准，本本实施方案选用简单的方案，但本方案在部分场景下并非最优方案，例如对于雷达红外设备抽样时间最小公倍数为100ms的情况，时间配准之后的数据帧率过低，会影响后续目标跟踪效果，可用内插外推法等方案代替。
本实施方案中步骤5只在初始帧执行，其它步骤在跟踪过程中循环执行，步骤6和步骤7可以并行执行。
本实施方案中的改进SiamCAR网络的红外目标跟踪模型，将SiamCAR网络的骨干网络替换为MobileNetv2，同时调整了网络的结构和总步长，并在骨干网络最后添加了一个整合层，整合层由金字塔模块、双坐标注意力机制以及若干卷积层组成。模型的训练过程首先在ImageNet数据集上进行预训练，然后在自制的海面红外目标检测数据集上对整个红外目标跟踪网络进行训练。训练选用随机梯度下降法优化参数，初始学习率为0.005，训练20轮，前10轮冻结骨干网络，只对整合层和SiamCAR的检测头进行训练，后10轮将骨干网络的3到8层也加入训练过程，损失函数采用原SiamCAR算法的损失函数。
具体实施方案二：步骤2中对毫米波雷达点云数据的预处理方法为：
首先，将雷达点云反射强度低于阈值的点剔除掉，即将反射特性较弱的点滤除，实现雷达点云初步滤波，确定阈值为：
式中，N为雷达点云数目，ri为第i个雷达点云的反射强度，为毫米波雷达所有点云数据的反射强度的均值，α是一个常数，取0.7～0.9；
然后，设置一个搜索半径，在每个雷达点云的搜索半径内进行点云搜索，统计其搜索半径内的点云数量，将搜索半径内点云数量低于阈值的点视为由噪声、杂波及多径等因素产生的孤立点或虚假目标，并将其滤除；
最后，采用基于空间密度的数据聚类算法(DBSCAN)对点云数据中的数据点进行聚类，以提取有效的毫米波雷达目标，得到多个聚类中心，将每个聚类中心视为一个目标。本实施方案其它与具体实施方案一相同。
本实施方案步骤2中，根据毫米波雷达点云的反射强度和点云位置分布滤除了由于雷达点云中的孤立点和虚假目标，保留海面场景中真实存在的并且具有较强反射特性比较稳定的点云，然后采用基于空间密度的数据聚类算法对点云数据中的数据点进行聚类，最后利用雷达信号处理算法计算出目标的位置坐标和速度等信息。
具体实施方案三：如图2所示，步骤3中所述对红外相机和毫米波雷达进行空间配准，包括如下过程：
以世界坐标系作为标定的中间变量，分别标定毫米波雷达与世界坐标系、红外相机坐标系与世界坐标系，获得毫米波雷达和红外相机的坐标转换关系，将毫米波雷达坐标系下的空间点映射到红外相机坐标系，然后将雷达目标在红外相机坐标系中的映射点转换到像素坐标系中；
所述毫米波雷达和红外相机的坐标转换如式(2)所示：
式中，(Xr,Yr,Zr)为毫米波雷达坐标系下的一个空间点，R为旋转矩阵，T为平移矩阵，(Xic,Yic,Zic)为空间点(Xr,Yr,Zr)映射到红外相机坐标系的的坐标；
所述雷达目标由红外相机坐标系到像素坐标系的转换如式(3)所示：
式中，(Xic,Yic,Zic)为雷达目标在红外相机坐标系下的一个空间点，(x,y)为雷达目标在像素坐标系下的坐标，M为红外相机的内参矩阵，fx、fy、u0和v0分别为红外相机横向和纵向的有效焦距、横向和纵向光轴偏移量。本实施方案其它与具体实施方案一相同。
本实施方案步骤3从毫米波雷达坐标系到世界坐标系的转换通过测量实现。从世界坐标系到红外相机坐标系的转换通过计算相机外参实现。从红外相机坐标系到像素坐标系的转换通过计算相机内参实现。
本发明通过将红外相机和毫米波雷达以特殊的位置关系进行安装，简化相机外参的计算过程。具体操作如下：首先建立一个xyz世界坐标系，假设雷达扫描面为yz平面，x、y、z轴的位置符合坐标系右手定则；然后将红外相机和毫米波雷达平行放置，定义红外相机和毫米波雷达所在平面为z＝0平面，此时可以认为相机外参仅由x轴和y轴上的偏移量构成。
采用公开的张正友标定法计算红外相机内参。使用的红外标定板基于可见光棋盘标定板进行制作，具体为：将可见光棋盘标定板中所有黑格部分裁剪掉，利用棋盘标定板和环境的温差，让裁剪的标定板在红外图像上呈现出棋盘的效果；然后在不同的位置和角度拍摄若干张带有棋盘效果的红外图像，利用matlab中的标定工具箱计算出红外相机的内参。
具体实施方案四：由于毫米波雷达的水平视场角一般比红外相机大，因此毫米波雷达采集的信息是冗余的，部分位于雷达探测边缘的信息经空间配准后映射到了红外图像成像范围之外，无法用于融合跟踪。步骤4中将雷达坐标与红外图像像素坐标的极值进行比较，将空间配准之后映射到红外图像成像范围之外的毫米波雷达目标进行滤除，即：
式中，xmin、xmax、ymin、ymax分别为红外图像像素坐标在横纵方向上的极小极大值。本实施方案其它与具体实施方案一相同。
具体实施方案五：如图4所示，步骤5中所述红外目标跟踪模型基于改进SiamCAR网络，骨干网络分为9层，第1层为下采样卷积层，2到8层由分类网络MobileNetv2中的基本块Mobile Block构成，堆叠个数分别为{1,1,1,3,4,3,2}，3到8层的基本块内输入和输出通过残差方式连接，第9层为整合层，由金字塔模块、双坐标注意模块、卷积层构成；整合层的输入为第5、6、8层的输出特征图，整合层通过金字塔模块对特征重新整合，通过双坐标注意模块解耦分类和回归任务，其中，金字塔模块将第5层输出特征通过3×3最大池化层和1×1卷积层后与第6、8层特征图进行拼接，拼接后的特征图作为双坐标注意力模块的输入；双坐标注意模块由两个并行的坐标注意力模块组成，两个并行的坐标注意力模块输出分别作为分类分支和中心分支的输入、回归分支的输入。本实施方案其它与具体实施方案一相同。
具体实施方案六：步骤5包括如下步骤：
步骤5.1：选取红外初始目标区域，计算初始目标区域的中心坐标，将该中心点设置为搜索区域中心，并保存目标的宽高信息；
步骤5.2：利用红外目标跟踪模型对红外初始目标区域进行特征提取；
步骤5.3：计算所有雷达目标点与所述搜索区域中心的欧氏距离并与预设阈值进行比较，筛选位于红外初始目标区域内且距离初始目标区域的中心坐标最近的部分雷达目标作为预选雷达目标，并保存预选雷达目标与搜索区域中心的距离。
欧氏距离的具体计算公式如下：
式中xic、yic表示初始红外目标矩形框中心点的横向、纵向像素值；xr、yr表示预设雷达目标在红外图像上的投影点的横向、纵向像素值。
将大于阈值的雷达目标剔除，阈值与红外初始目标框的宽高有关，通过式(6)获取：
式中，wobj、hobj表示红外初始目标框的宽、高；γ表示缩放系数，取0.4～0.6；
对满足条件的雷达目标数量进行判断，若满足条件的雷达目标多于3个，则选择欧式距离最小的3个目标作为预选雷达目标；若满足条件的雷达目标为1～3个，则选择所有的目标作为预选目标；若无满足条件的预设雷达目标，则认为雷达没有检测到待跟踪目标，选择欧式距离最小的1个目标作为预选雷达目标；
步骤5.4：对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器(IMM)，利用预选雷达目标在雷达坐标系下的横向坐标、纵向坐标、横向速度和纵向速度等的目标信息进行初始化，将初始化之后的卡尔曼滤波器状态设置为预选状态。将上述滤波器的匹配周期设置为0，并保存计算的预选雷达目标与搜索区域中心的欧氏距离。本实施方案其它与具体实施方案一相同。
如图3所示，所述的交互多模型卡尔曼滤波器(IMM)由多个匹配不同运动状态的卡尔曼滤波器构成，并且各个卡尔曼滤波器之间通过基于马尔科夫链计算的转移概率进行转换。
所述的卡尔曼滤波器在用于雷达目标跟踪时，雷达目标的状态转移方程和观测方程为：
Xk+1＝Fk+1|kXk+GkWk (7)
Zk+1＝Hk+1|kXk+1+Vk+1 (8)
式中，k时刻为上一时刻，k+1时刻为当前时刻，Xk为k时刻雷达目标的状态向量，Fk+1|k为状态转移矩阵，Gk为雷达目标运动模型的噪声控制矩阵，Wk为过程噪声，Zk为k时刻雷达目标的观测向量，Hk为测量矩阵，Vk为观测噪声，过程噪声Wk和观测噪声Vk为均值为0的高斯白噪声，满足Wk～(0,Rk)，Vk～(0,Qk)，Rk、Qk分别为过程噪声和观测噪声的协方差矩阵。
所述卡尔曼滤波算法的具体步骤如下：
(1)预测过程
已知k时刻的雷达目标的最优估计状态向量Xk|k，根据下式得到k+1时刻预测状态向量Xk+1|k：
Xk+1|k＝Fk+1|kXk|k (9)
已知k时刻的最优估计误差协方差矩阵Pk|k，根据下式得到k+1时刻状态预测误差协方差矩阵Pk+1|k：
式中，Rk为过程噪声的协方差矩阵；
(2)更新过程
根据式(11)计算预测状态向量Xk+1|k对应的观测向量Zk+1|k：
Zk+1|k＝Hk+1|kXk+1|k (11)
根据式(12)计算目标的新息协方差矩阵：
式中，Qk+1为观测噪声的协方差矩阵；
根据式(13)计算k+1时刻的卡尔曼增益：
根据式(14)计算k+1时刻的最优估计状态向量Xk+1|k+1：
Xk+1|k+1＝Xk+1|k+Kk+1(Zk+1-Zk+1|k) (14)
式中，Zk+1为k+1时刻雷达目标的观测向量。
根据式(15)计算k+1时刻的最优估计误差协方差矩阵：
Pk+1|k+1＝(I-Kk+1Hk+1|k)Pk+1|k (15)
式中，I为单位矩阵。
所述交互多模型卡尔曼滤波算法的步骤如下：
(1)输入交互
假定海面目标有n个运动模型，每一个模型对应一个卡尔曼滤波器，转移概率矩阵为：
式中，pij为雷达目标从运动模型i转移到运动模型j的状态转移概率。
输入交互通过模型概率矩阵和模型之间的马尔可夫状态转移概率来计算各个卡尔曼滤波器的交互作用。具体过程如下：
根据式(17)计算各个模型在k+1时刻转移到模型j的概率：
式中，k为上一时刻，k+1为上一时刻，为k时刻目标处于模型i的概率。
根据式(18)计算目标在k时刻由模型i转移到模型j的概率：
根据式(19)计算k+1时刻交互之后滤波器j的输入状态向量：
式中，为k时刻第i个卡尔曼滤波器的最优估计状态向量。
根据式(20)计算k+1时刻交互之后滤波器j的输入协方差矩阵：
式中，为k时刻第i个卡尔曼滤波器的最优估计误差协方差矩阵。
(2)卡尔曼滤波
将上述输入交互后的输出和作为第j个卡尔曼滤波器预测过程的输入，经所述的卡尔曼滤波算法的预测和更新过程之后，得到k+1时刻滤波器j的最优估计状态向量和最优估计误差协方差矩阵
(3)模型概率更新
假定各个模型目标状态值服从高斯分布，然后根据计算各个滤波器的观测误差和误差协方差矩阵，计算目标在k+1时刻的运动状态符合各运动模型的可能性。
所述的观测误差计算根据式(21)进行：
所述的观测误差计算根据式(22)进行：
式中，Qk+1为观测噪声的协方差矩阵；
进一步地，模型j对应的似然函数为：
进一步地，k+1时刻目标处于模型j的概率为：
式中，为各个模型在k+1时刻转移到模型j的概率。
(4)输出交互
根据式(25)计算IMM输出的最优估计状态向量：
根据式(26)计算IMM输出的最优估计误差协方差矩阵：
本实施方案中所述的交互多模型卡尔曼滤波器选用CV、CA、CT三种运动模型，各个模型之间的转换概率基于实际工程，通过多次实验选取合适的转移概率矩阵，IMM模型初始概率取{0.4,0.4,0.2}，转移概率矩阵取：
所用毫米波雷达采样频率为25Hz，采样时间T为40ms。
本发明所用的CV模型的目标状态向量为[x,y,Vx,Vy]T，状态转移方程如式(28)，观测矩阵如式(29)：
所用的CA模型的目标状态向量为[x,y,Vx,Vy,ax,ay]T，状态转移方程如式(30)，观测矩阵如式(31):
所用的CT模型的目标状态向量为[x,y,Vx,Vy,w]T，状态转移方程如式(32)，观测矩阵如式(33)：
式(28)、(30)和(32)中的Wk为过程噪声方差系数矩阵，表示为[σx,σy]，σx、σy需根据雷达先验数据的统计特性选取，取σx和σy为2～5。式(28)、(30)和(32)中与Wk相乘的系数矩阵为Gk，过程噪声方差矩阵可根据Gk和Wk得到。
所用的过程噪声方差矩阵和观测噪声方差矩阵常取相同值。
具体实施方案七：步骤6包括如下步骤：
步骤6.1：利用交互多模型卡尔曼滤波器对雷达目标在当前帧的位置进行预测；
步骤6.2：将当前帧雷达检测的目标分别与交互多模型卡尔曼滤波器的每个预测结果进行目标一致性匹配，将最优匹配结果作为交互多模型卡尔曼滤波器的测量值，将处于预选状态的交互多模型卡尔曼滤波器的测量值命名为预选雷达目标，将处于匹配状态的交互多模型卡尔曼滤波器的测量值命名为匹配雷达目标；
所述目标一致性匹配的具体流程为：首先筛选出在每个交互多模型卡尔曼预测值邻域内的雷达目标检测值；若邻域内无雷达检测值，则认为雷达目标在当前时刻丢失，将当前卡尔曼的预测值作为测量值；若邻域内只有一个雷达检测值，则将该雷达检测目标作为最优匹配结果；若邻域内有多个雷达检测值，则利用马氏距离计算当前卡尔曼滤波器预测值与其邻域内任一雷达检测目标之间的运动特征距离，将马氏距离最小的雷达检测目标作为最优匹配结果；
所述交互多模型卡尔曼预测值的邻域由式(34)定义，
式中为第λ个交互多模型卡尔曼滤波器的第i个滤波器的预测状态向量对应的预测观测向量，为第μ个雷达检测目标对应的观测向量，dZ为观测向量的阈值向量。
将所有雷达测量值与交互多模型卡尔曼预测值的差值和设定的阈值作比较，若一个雷达目标所有的特征信息都小于阈值，则认为该雷达目标在卡尔曼预测值的邻域内，满足一致性要求；阈值向量参考真实雷达的参数和实际的场景进行设置。本实施方案其它与具体实施方案一相同。
本实施方案中马氏距离的计算公式如下：
d(iλ,j)＝(dj-yiλ)TSi -1(dj-yiλ) (35)
式中，dj为第j个检测值；yiλ为第λ个交互多模型卡尔曼滤波器的第i个滤波器的预测观测值；Si为变量之间的协方差矩阵。马氏距离参考了各个变量之间的协方差，且计算结果不受量纲影响，马氏距离越小，当前雷达目标的运动特征与当前卡尔曼滤波器预测运动特征的相似度越高。
本实施方案中步骤7中利用所述红外目标跟踪模型对红外图像中的目标进行跟踪，包括如下步骤：
步骤7.1：利用红外目标跟踪模型对目标区域进行搜索，得到框选目标在当前帧的红外目标跟踪框。具体操作为，以设置的搜索区域中心C为中心，框选出宽高为2倍目标宽高的搜索区域，再将该搜索区域进行插值，得到宽高为(255,255)的搜索区域，利用红外目标跟踪模型对目标区域进行搜索，得到框选目标在当前帧的红外目标跟踪框和分类响应图，计算跟踪框的中心坐标和宽高。
所述的插值策略为，原图像尺寸小于(255,255)时采用三次样条插值方式，原图像尺寸大于(255,255)时采用区域插值方式。
具体实施方案八：如图5所示，步骤8包括如下步骤：
步骤8.1：计算匹配雷达目标和红外跟踪框中心在像素坐标系下的椭圆距离，并将计算得到的椭圆距离与阈值比较；
(1)如果距离小于阈值，则认为当前红外跟踪结果可靠；将红外跟踪框的中心坐标和宽高分别设置为新的搜索区域中心和新的目标宽高信息，以对搜索区域中心和目标宽高信息进行更新，并对交互多模型卡尔曼滤波器进行更新；
(2)如果距离大于阈值，且交互多模型卡尔曼滤波器在进行目标一致性匹配时有匹配目标，则有以下两种情况：
如果红外目标跟踪模型输出的分类响应图的峰均比大于阈值，则认为当前红外跟踪结果仍然可靠，则利用交互多模型卡尔曼滤波器的预测值对交互多模型卡尔曼滤波器进行更新，以实现对交互多模型卡尔曼滤波器进行更新，并将红外跟踪框的中心坐标和宽高分别设置为新的搜索区域中心和新的目标宽高信息，以更新搜索区域中心和目标宽高信息。
如果红外目标跟踪模型输出的分类响应图的峰均比小于阈值，则认为红外跟踪结果不可靠；然后利用得到的滤波器测量值对交互多模型卡尔曼滤波器进行更新，将更新得到的最优估计目标从雷达坐标系映射到像素坐标系上，将最优估计目标的像素坐标设置为新的搜索区域中心，目标宽高信息不进行更新；
(3)如果距离大于阈值，且交互多模型卡尔曼滤波器在进行目标一致性匹配时没有匹配目标，则认为红外、雷达跟踪结果都不可靠；然后利用预测值对交互多模型卡尔曼滤波器进行更新，将更新得到的最优估计目标从雷达坐标系映射到像素坐标系上，将最优估计目标的像素坐标设置为新的搜索区域中心，将处于匹配状态下的交互多模型卡尔曼滤波器的生命周期减少1，目标宽高信息不进行更新；
所述椭圆距离dcr具体计算公式如(36)：
式中uc、vc表示红外目标矩形框中心点的横向、纵向像素值；ur、vr表示预设雷达目标在红外图像上的投影点的横向、纵向像素值，为上一时刻红外跟踪框的宽度，为上一时刻红外跟踪框的高度。
所述分类响应图的峰均比PAR根据式(37)进行计算：
式中，M为分类响应图，Mw、Mh分别为M的宽高，Mij为分类响应图的值。max(M)为分类响应图的峰值。
步骤8.2：对处于匹配状态下的交互多模型卡尔曼滤波器进行生命周期管理，生命周期为0的则认为目标出现长时间丢失情况，将滤波器删除，然后停止红外目标跟踪；生命周期非0则不做任何处理；
步骤8.3：计算所有预选雷达目标和红外跟踪框的匹配得分，选取得分最低的雷达目标与红外目标进行匹配，匹配成功的预选雷达目标的匹配周期加1，并更新保存的预选雷达目标与搜索区域中心的欧氏距离；
步骤8.4：对预选雷达目标的匹配周期进行判别；若有预选雷达目标匹配周期达到阈值Tmatch，则保留匹配周期为Tmatch的预选雷达目标，并将其对应的滤波器由预选状态设置为匹配状态，然后删除其它预选雷达目标对应的交互多模型卡尔曼滤波器；
步骤8.5：利用滤波器测量值对所有处于预选状态的交互多模型卡尔曼滤波器进行更新，并将得到的红外跟踪框的中心坐标和宽高分别设置为新的搜索区域中心和新的目标宽高信息；
步骤8.6：将红外与雷达目标的融合跟踪结果输出到用户端。具体包括两步骤：
(1)对于匹配雷达目标，将得到的搜索区域中心作为融合跟踪框的中心坐标，将目标宽高信息作为融合跟踪框的宽高，绘制融合跟踪框并将融合结果输出到用户端。
(2)对于预选雷达目标，将红外目标跟踪结果和毫米波雷达跟踪结果分别输出到用户端。
本实施方案其它与具体实施方案一相同。
本实施方案中步骤8的红外和毫米波雷达融合跟踪过程首先针对预选雷达目标执行步骤8.3到8.5，当某个预选雷达目标变为匹配雷达目标时，执行步骤8.1到8.2。始终执行步骤8.6对融合跟踪结果进行输出。
具体实施方案九：步骤8.1中所述阈值的计算方法为：
式中，λ为阈值系数，取0.81～1，为上一时刻红外跟踪框的宽度，为上一时刻红外跟踪框的高度。本实施方案其它与具体实施方案八相同。
具体实施方案十：步骤8.3中所述匹配得分的计算方法为：
式中，dir为处于预选状态的交互多模型卡尔曼滤波器预测的雷达目标位置与红外跟踪框中心坐标在像素坐标系下的欧氏距离；diff为当前的欧氏距离dir与预选雷达目标到搜索区域中心的欧氏距离差值的绝对值；该值为预选雷达目标与搜索区域中心的距离的二阶信息，反映了同一目标在红外相机和毫米波雷达采集到的运动信息的相对一致性；wobj为红外跟踪框的宽度；宽度越小，当前预选雷达目标与红外匹配错误的影响越大。β为影响因子，用于调整距离的二阶信息对匹配结果的影响，取值为8～10。本实施方案其它与具体实施方案八相同。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，包括如下步骤：
步骤1：利用红外相机和毫米波雷达采集原始数据，并对红外相机和毫米波雷达进行时间配准，确保不同传感器可以采集到同一时刻的环境信息；
步骤2：对毫米波雷达点云数据进行预处理，初步筛选有效雷达目标；
步骤3：对红外相机和毫米波雷达进行空间配准；
步骤4：将空间配准之后映射到红外图像成像范围之外的毫米波雷达目标进行滤除；
步骤5：选取红外初始目标区域，利用红外目标跟踪模型对红外初始目标区域进行特征提取，所述红外目标跟踪模型基于改进的SiamCAR网络，骨干网络采用轻量化的MobileNetv2，所述红外目标跟踪模型构建有由金字塔模块和坐标注意力模块组成的整合层；根据红外初始目标确定预选雷达目标，对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器，对交互多模型卡尔曼滤波器进行初始化；
步骤6：利用所述交互多模型卡尔曼滤波器对雷达目标进行跟踪；
步骤7：利用所述红外目标跟踪模型对红外图像中的目标进行跟踪；
步骤8：将红外跟踪结果与毫米波雷达的跟踪结果进行融合，对目标进行跟踪。
2.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤2中对毫米波雷达点云数据的预处理方法为：
首先，将雷达点云反射强度低于阈值的点剔除掉，阈值为：
式中，N为雷达点云数目，ri为第i个雷达点云的反射强度，为毫米波雷达所有点云数据的反射强度的均值，α是一个常数；
然后，设置一个搜索半径，在每个雷达点云的搜索半径内进行点云搜索，统计其搜索半径内的点云数量，将搜索半径内点云数量低于阈值的点滤除；
最后，对点云数据中的数据点进行聚类，得到多个聚类中心，将每个聚类中心视为一个目标。
3.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤3中所述对红外相机和毫米波雷达进行空间配准，包括如下过程：
以世界坐标系作为标定的中间变量，分别标定毫米波雷达与世界坐标系、红外相机坐标系与世界坐标系，获得毫米波雷达和红外相机的坐标转换关系，将毫米波雷达坐标系下的空间点映射到红外相机坐标系，然后将雷达目标在红外相机坐标系中的映射点转换到像素坐标系中；
所述毫米波雷达和红外相机的坐标转换如式(2)所示：
式中，(Xr,Yr,Zr)为毫米波雷达坐标系下的一个空间点，R为旋转矩阵，T为平移矩阵，(Xic,Yic,Zic)为空间点(Xr,Yr,Zr)映射到红外相机坐标系的坐标；
所述雷达目标由红外相机坐标系到像素坐标系的转换如式(3)所示：
式中，(Xic,Yic,Zic)为雷达目标在红外相机坐标系下的一个空间点，(x,y)为雷达目标在像素坐标系下的坐标，M为红外相机的内参矩阵，fx、fy、u0和v0分别为红外相机横向和纵向的有效焦距、横向和纵向光轴偏移量。
4.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤4中将雷达坐标与红外图像像素坐标的极值进行比较，将空间配准之后映射到红外图像成像范围之外的毫米波雷达目标进行滤除，即：
式中，xmin、xmax、ymin、ymax分别为红外图像像素坐标在横纵方向上的极小极大值。
5.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤5中所述红外目标跟踪模型基于改进SiamCAR网络，骨干网络分为9层，第1层为下采样卷积层，2到8层由分类网络MobileNetv2中的基本块Mobile Block构成，堆叠个数分别为{1,1,1,3,4,3,2}，3到8层的基本块内输入和输出通过残差方式连接，第9层为整合层，由金字塔模块、双坐标注意模块、卷积层构成；整合层的输入为第5、6、8层的输出特征图，整合层通过金字塔模块对特征重新整合，通过双坐标注意模块解耦分类和回归任务，其中，金字塔模块将第5层输出特征通过3×3最大池化层和1×1卷积层后与第6、8层特征图进行拼接，拼接后的特征图作为双坐标注意力模块的输入；双坐标注意模块由两个并行的坐标注意力模块组成，两个并行的坐标注意力模块输出分别作为分类分支和中心分支的输入、回归分支的输入。
6.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤5包括如下步骤：
步骤5.1：选取红外初始目标区域，计算初始目标区域的中心坐标，将该中心点设置为搜索区域中心，并保存目标的宽高信息；
步骤5.2：利用红外目标跟踪模型对红外初始目标区域进行特征提取；
步骤5.3：计算所有雷达目标点与所述搜索区域中心的欧氏距离并与预设阈值进行比较，将大于阈值的雷达目标剔除，阈值通过式(5)获取：
式中，wobj、hobj表示红外初始目标框的宽、高；γ表示缩放系数；
对满足条件的雷达目标数量进行判断，若满足条件的雷达目标多于3个，则选择欧式距离最小的3个目标作为预选雷达目标；若满足条件的雷达目标为1～3个，则选择所有的目标作为预选目标；若无满足条件的预设雷达目标，则认为雷达没有检测到待跟踪目标，选择欧式距离最小的1个目标作为预选雷达目标；
步骤5.4：对每个预选雷达目标分别建立一个交互多模型卡尔曼滤波器(IMM)，利用预选雷达目标在雷达坐标系下的目标信息进行初始化，将初始化之后的卡尔曼滤波器状态设置为预选状态。
7.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤6包括如下步骤：
步骤6.1：利用交互多模型卡尔曼滤波器对雷达目标在当前帧的位置进行预测；
步骤6.2：将当前帧雷达检测的目标分别与交互多模型卡尔曼滤波器的每个预测结果进行目标一致性匹配，将最优匹配结果作为交互多模型卡尔曼滤波器的测量值，将处于预选状态的交互多模型卡尔曼滤波器的测量值命名为预选雷达目标，将处于匹配状态的交互多模型卡尔曼滤波器的测量值命名为匹配雷达目标；
所述目标一致性匹配的具体流程为：首先筛选出在每个交互多模型卡尔曼预测值邻域内的雷达目标检测值；若邻域内无雷达检测值，则认为雷达目标在当前时刻丢失，将当前卡尔曼的预测值作为测量值；若邻域内只有一个雷达检测值，则将该雷达检测目标作为最优匹配结果；若邻域内有多个雷达检测值，则利用马氏距离计算当前卡尔曼滤波器预测值与其邻域内任一雷达检测目标之间的运动特征距离，将马氏距离最小的雷达检测目标作为最优匹配结果；
所述交互多模型卡尔曼预测值的邻域由式(6)定义，
式中为第λ个交互多模型卡尔曼滤波器的第i个滤波器的预测状态向量对应的预测观测向量，为第μ个雷达检测目标对应的观测向量，dZ为观测向量的阈值向量；
将所有雷达测量值与交互多模型卡尔曼预测值的差值和设定的阈值作比较，若一个雷达目标所有的特征信息都小于阈值，则认为该雷达目标在卡尔曼预测值的邻域内，满足一致性要求；阈值向量参考真实雷达的参数和实际的场景进行设置。
8.根据权利要求1所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤8包括如下步骤：
步骤8.1：计算匹配雷达目标和红外跟踪框中心在像素坐标系下的椭圆距离，并将计算得到的椭圆距离与阈值比较；
(1)如果距离小于阈值，则认为当前红外跟踪结果可靠；对搜索区域中心和目标宽高信息进行更新，并对交互多模型卡尔曼滤波器进行更新；
(2)如果距离大于阈值，且交互多模型卡尔曼滤波器在进行目标一致性匹配时有匹配目标，则有以下两种情况：
如果红外目标跟踪模型输出的分类响应图的峰均比大于阈值，则认为当前红外跟踪结果仍然可靠，则对交互多模型卡尔曼滤波器进行更新，并更新搜索区域中心和目标宽高信息；
如果红外目标跟踪模型输出的分类响应图的峰均比小于阈值，则认为红外跟踪结果不可靠；然后利用得到的滤波器测量值对交互多模型卡尔曼滤波器进行更新，将更新得到的最优估计目标从雷达坐标系映射到像素坐标系上，将最优估计目标的像素坐标设置为新的搜索区域中心，目标宽高信息不进行更新；
(3)如果距离大于阈值，且交互多模型卡尔曼滤波器在进行目标一致性匹配时没有匹配目标，则认为红外、雷达跟踪结果都不可靠；然后利用预测值对交互多模型卡尔曼滤波器进行更新，将更新得到的最优估计目标从雷达坐标系映射到像素坐标系上，将最优估计目标的像素坐标设置为新的搜索区域中心，将处于匹配状态下的交互多模型卡尔曼滤波器的生命周期减少1，目标宽高信息不进行更新；
步骤8.2：对处于匹配状态下的交互多模型卡尔曼滤波器进行生命周期管理，生命周期为0的则认为目标出现长时间丢失情况，将滤波器删除，然后停止红外目标跟踪；生命周期非0则不做任何处理；
步骤8.3：计算所有预选雷达目标和红外跟踪框的匹配得分，选取得分最低的雷达目标与红外目标进行匹配，匹配成功的预选雷达目标的匹配周期加1，并更新保存的预选雷达目标与搜索区域中心的欧氏距离；
步骤8.4：对预选雷达目标的匹配周期进行判别；若有预选雷达目标匹配周期达到阈值Tmatch，则保留匹配周期为Tmatch的预选雷达目标，并将其对应的滤波器由预选状态设置为匹配状态，然后删除其它预选雷达目标对应的交互多模型卡尔曼滤波器；
步骤8.5：利用滤波器测量值对所有处于预选状态的交互多模型卡尔曼滤波器进行更新，并更新搜索区域中心和目标宽高信息；
步骤8.6：将红外与雷达目标的融合跟踪结果输出到用户端。
9.根据权利要求8所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤8.1中所述阈值的计算方法为：
式中，λ为阈值系数，取0.81～1，为上一时刻红外跟踪框的宽度，为上一时刻红外跟踪框的高度。
10.根据权利要求8所述的红外成像与毫米波雷达融合的海面目标跟踪方法，其特征在于，步骤8.3中所述匹配得分的计算方法为：
式中，dir为处于预选状态的交互多模型卡尔曼滤波器预测的雷达目标位置与红外跟踪框中心坐标在像素坐标系下的欧氏距离；diff为当前的欧氏距离dir与预选雷达目标到搜索区域中心的欧氏距离差值的绝对值；wobj为红外跟踪框的宽度；β为影响因子，取值为8～10。
CN202311616604.4A 2023-11-29 2023-11-29 一种红外成像与毫米波雷达融合的海面目标跟踪方法 Active CN117630907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311616604.4A CN117630907B (zh) 2023-11-29 2023-11-29 一种红外成像与毫米波雷达融合的海面目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311616604.4A CN117630907B (zh) 2023-11-29 2023-11-29 一种红外成像与毫米波雷达融合的海面目标跟踪方法

Publications (2)

Publication Number Publication Date
CN117630907A true CN117630907A (zh) 2024-03-01
CN117630907B CN117630907B (zh) 2024-05-28

Family

ID=90017658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311616604.4A Active CN117630907B (zh) 2023-11-29 2023-11-29 一种红外成像与毫米波雷达融合的海面目标跟踪方法

Country Status (1)

Country Link
CN (1) CN117630907B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117968860A (zh) * 2024-03-13 2024-05-03 苏州优米康通信技术有限公司 一种多传感融合的障碍物检测方法
CN118671719A (zh) * 2024-08-15 2024-09-20 福瑞泰克智能系统有限公司 雷达的安装角度标定方法、装置和存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130947A (ja) * 2001-10-25 2003-05-08 Mitsubishi Electric Corp 目標追尾装置及び方法
CN112991391A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN113848545A (zh) * 2021-09-01 2021-12-28 电子科技大学 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN115166717A (zh) * 2022-07-06 2022-10-11 浙江工业大学 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
CN115731268A (zh) * 2022-11-17 2023-03-03 东南大学 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130947A (ja) * 2001-10-25 2003-05-08 Mitsubishi Electric Corp 目標追尾装置及び方法
CN112991391A (zh) * 2021-03-31 2021-06-18 武汉大学 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN113848545A (zh) * 2021-09-01 2021-12-28 电子科技大学 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN115166717A (zh) * 2022-07-06 2022-10-11 浙江工业大学 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法
CN115731268A (zh) * 2022-11-17 2023-03-03 东南大学 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
丁冬冬: "《西安交通大学硕士学位论文》", 30 June 2022 *
熊光明 等: "-20230213基于红外相机和毫米波雷达融...烟雾遮挡目标检测与跟踪技术", 《兵工学报》, 13 February 2023 (2023-02-13) *
王文博 等: "-毫米波雷达与视觉融合在现代...慧交通目标检测中的研究综述", 《现代交通与冶金材料》, 31 July 2024 (2024-07-31), pages 2 - 14 *
陈雨魁: "《电子科技大学硕士学位论文》", 30 June 2021 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117968860A (zh) * 2024-03-13 2024-05-03 苏州优米康通信技术有限公司 一种多传感融合的障碍物检测方法
CN118671719A (zh) * 2024-08-15 2024-09-20 福瑞泰克智能系统有限公司 雷达的安装角度标定方法、装置和存储介质及电子设备

Also Published As

Publication number Publication date
CN117630907B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US20220197281A1 (en) Intelligent decision-making method and system for unmanned surface vehicle
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110244322B (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
Kong et al. Vanishing point detection for road detection
CN108229416B (zh) 基于语义分割技术的机器人slam方法
CN108416361A (zh) 一种基于海域监视的信息融合系统以及方法
CN103064086B (zh) 一种基于深度信息的车辆跟踪方法
CN110456363A (zh) 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN117630907B (zh) 一种红外成像与毫米波雷达融合的海面目标跟踪方法
CN115144828B (zh) 一种智能汽车多传感器时空融合的自动在线标定方法
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
CN118052971A (zh) 一种基于视觉图像分析的光伏电站巡检避障处理方法及存储介质
CN113569786A (zh) 基于多模态影像的作物病虫害检测方法及系统、设备、存储介质
CN117542010A (zh) 基于图像与4d毫米波雷达融合的3d目标检测方法
CN109635692B (zh) 基于超声波传感器的场景再识别方法
Helgesen Sensor fusion for detection and tracking of maritime vessels
Tamas et al. Lidar and vision based people detection and tracking
CN115797397A (zh) 一种机器人全天候自主跟随目标人员的方法及系统
CN114998567A (zh) 一种基于多模态特征判别的红外点群目标识别方法
Zhang et al. Deep learning based multi-modal sensing for tracking and state extraction of small quadcopters
Su Vanishing points in road recognition: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant