CN117075112A - 一种方位角航迹匹配的无人艇雷达光电融合方法 - Google Patents

一种方位角航迹匹配的无人艇雷达光电融合方法 Download PDF

Info

Publication number
CN117075112A
CN117075112A CN202311076941.9A CN202311076941A CN117075112A CN 117075112 A CN117075112 A CN 117075112A CN 202311076941 A CN202311076941 A CN 202311076941A CN 117075112 A CN117075112 A CN 117075112A
Authority
CN
China
Prior art keywords
target
radar
azimuth
track
photoelectric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311076941.9A
Other languages
English (en)
Inventor
孙备
左震
苏绍璟
吴鹏
孙晓永
张家菊
袁书东
郭润泽
童小钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202311076941.9A priority Critical patent/CN117075112A/zh
Publication of CN117075112A publication Critical patent/CN117075112A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种方位角航迹匹配的无人艇雷达光电融合方法，属于人工智能数据融合技术领域，包括S1设置时空对准后的航海雷达探测到目标的雷达方位角航迹数据Ai，光电吊舱探测到目标的图像坐标系方位角航迹数据Bj；S2对航海雷达数据进行插值处理，保持航海雷达航迹序列和光电吊舱航迹序列长度一致；S3计算灰色绝对关联度ξ，再计算Π‑截距灰色绝对关联矩阵Π′；S4获取Π‑截距灰色绝对关联矩阵Π′的最大元素值，得到航海雷达图像中目标的ID和可见光图像中目标ID的对应关系；S5求解目标在世界坐标系下的经纬度坐标值；S6输出目标信息。解决了难以选取合适的特征向量进行处理的问题，并提高了数据融合的数据关联的准确性。

Description

一种方位角航迹匹配的无人艇雷达光电融合方法
技术领域
本发明属于人工智能数据融合技术领域，涉及一种方位角航迹匹配的无人艇雷达光电融合方法。
背景技术
目前实现无人艇的自主完备精细化感知，需要对多传感器数据进行目标属性决策级融合，完成目标属性关联，得到目标的全面认知属性。通常无人艇搭载的航海雷达可获取360°视场下的目标速度、方位等数据，光电吊舱可获取指定视场角下的目标类别、图像坐标等数据，如何对两类异构传感数据进行高效匹配融合，是实现海面目标的精细化感知的关键。现有方式，一种是雷达引导光电方式，另一种是雷达光电标定融合方式。雷达引导光电方式同时只能处理一个目标数据，不适合多目标的高效处理场景，而雷达光电标定融合方式在光电变焦、转向等场景也存在不足。此外，通常航海雷达的更新周期约为2Hz，可见光传感器的帧率为25Hz，二者采集周期相差大，异构传感器数据采集时间不同步或时间窗口大小不同，也会进一步增加数据融合的难度；另一方面，航海雷达提供目标的航迹、距离和方位，属于二维数据传感器，可见光传感器提供色彩图像和目标方位，属于一维纯方位传感器，现有技术在雷达/光电数据维度不一致的情况下难以完成这两种传感器数据的高效融合。
现有技术中对航海雷达与光电吊舱(可见光)进行数据融合存在多源异构传感器的时间不同步，采集周期不一致；异构传感器中的数据属性、维度不一致；由于数据异构性，无法将雷达/光电原始数据中的特征向量直接进行融合的缺陷。基于此，本专利提出了基于方位角航迹匹配的雷达光电数据融合方法。航海雷达获取目标的真实空间方位，光电吊舱获取目标的图像坐标系方位，而目标的图像坐标系方位可通过坐标系转换到世界坐标系方位，因此目标在雷达图像和光电图像中的方位角具有一定的趋势相关性。在此基础上，通过灰色关联矩阵同时对视场中的多个目标进行方位角航迹匹配，以实现无人艇雷达光电数据的高效融合。
发明内容
为实现上述目的，本发明提供了一种方位角航迹匹配的无人艇雷达光电融合方法，解决了难以选取合适的特征向量进行处理的问题，并提高了数据融合的数据关联的准确性。
本发明所采用的技术方案是：
本发明实施例的第一方面提供了一种方位角航迹匹配的无人艇雷达光电融合方法，包括：
S1设置时空对准后的航海雷达探测到目标方位角航迹数据Ai，光电吊舱探测到目标图像坐标系方位角航迹数据Bj；
S2对航海雷达数据进行插值处理，保持航海雷达航迹序列和光电吊舱航迹序列长度一致；
S3计算灰色绝对关联度ξ，再计算Π-截距灰色绝对关联矩阵Π′；
S4获取Π-截距灰色绝对关联矩阵Π′的最大元素值，得到航海雷达图像中目标的ID和可见光图像中目标ID的对应关系；
S5求解目标在世界坐标系下的经纬度坐标值；
S6输出目标信息。
进一步的，S1包括目标Ai量测得到的方位角航迹信息为：
Ai＝{ai(1),ai(2),ai(3),…,ai(m)} (i＝0,1,2,…,M) (1)
其中，ai(t)为航海雷达探测到的第i个目标在第t个探测周期得到的方位角信息，i是经过雷达航迹跟踪匹配得到的目标航迹ID；
进一步的，S1还包括目标Bj量测得到的方位角航迹信息为：
Bj＝{bj(1),bj(2),bj(3),…,bj(n)} (j＝0,1,2,…,N) (2)
其中，bj(z)为光电吊舱探测到的第j个目标在第z个探测周期得到的方位角信息，j是经过光电图像多目标跟踪匹配得到的目标图像ID。
进一步的，S1中航海雷达探测到的目标信息包括目标距离、方位、航迹ID，光电吊舱探测到目标类别、图像坐标系方位角、图像ID；
进一步的，S2包括使用三次方样条数据插值法，把每个区间的序列拟合成一个三次函数，并设置航海雷达跟踪的第j条目标航迹第k时刻的方位为aj(n)，光电吊舱跟踪的第i条目标航迹第k时刻的方位为bi(n)。
进一步的，S3包括将光电吊舱得到的每条方位角航迹信息作为参考序列，航海雷达得到的方位角航迹信息作为比较序列。
进一步的，S4包括寻找Π-截距灰色绝对关联矩阵Π′中的最大元素值，将该最大元素值作为相关可能性最大的航迹对。
进一步的，S5包括在世界坐标系下的经纬度坐标为：
其中，(lon0,lat0)为同时刻获取的无人艇的经纬度坐标，Rearth为地球半径。
进一步的，S6包括输出目标的ID、类别、置信度、距离、方位、经纬度等多项信息，其中，ID为目标在航海雷达图像中的跟踪ID结果，距离和方位为目标相对无人艇艏向角的数据。
本发明的有益效果是：通过S1设置时空对准后的航海雷达探测到目标方位角航迹数据Ai，光电吊舱探测到目标图像坐标系方位角航迹数据Bj；S2对航海雷达数据进行插值处理，保持航海雷达航迹序列和光电吊舱航迹序列长度一致；S3计算灰色绝对关联度ξ，再计算Π-截距灰色绝对关联矩阵Π′；S4获取Π-截距灰色绝对关联矩阵Π′的最大元素值，得到航海雷达图像中目标的ID和可见光图像中目标ID的对应关系；S5求解目标在世界坐标系下的经纬度坐标值；S6输出目标信息。解决了无人艇环境感知同时对海面多个目标雷达光电数据快速融合的问题，并提高了无人艇异构数据融合的快速性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所提供的一种方位角航迹匹配的无人艇雷达光电融合方法流程图；
图2本发明一实施例所提供的一种航海雷达和可见光传感器同一时间段内对于某目标的测量数据分布图；
图3本发明一实施例所提供的一种系统空间几何关系图；
图4本发明一实施例所提供的空间对准中的各个坐标系间的转换关系；
图5本发明一实施例所提供的目标在各个坐标系中的相对关系；
图6是本发明一实施例所提供的一种基于灰色绝对关联度的异构传感器航迹相关算法流程图；
图7是本发明一实施例所提供的一种数据融合总流程图；
图8是本发明一实施例所提供的一种方位角航迹匹配的无人艇雷达光电融合方法电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，图1是本发明一实施例所提供的一种方位角航迹匹配的无人艇雷达光电融合方法流程图。
本发明实施例的第一方面提供了一种方位角航迹匹配的无人艇雷达光电融合方法：
S1设置时空对准后的航海雷达探测到目标方位角航迹数据Ai，光电吊舱探测到目标图像坐标系方位角航迹数据Bj；
S2对航海雷达数据进行插值处理，保持航海雷达航迹序列和光电吊舱航迹序列长度一致；
S3计算灰色绝对关联度ξ，再计算Π-截距灰色绝对关联矩阵Π′；
S4获取Π-截距灰色绝对关联矩阵Π′的最大元素值，得到航海雷达图像目标和可见光图像目标的对应关系；
S5求解目标的真实经纬坐标值；
S6输出目标的类别、距离、方位、航迹ID等信息。
进一步的，S1包括目标Ai量测得到的方位角航迹信息为：
Ai＝{ai(1),ai(2),ai(3),…,ai(m)} (i＝0,1,2,…,M) (1)
其中，ai(t)为航海雷达探测到的第i个目标在第t个探测周期得到的方位角信息，i是经过雷达航迹跟踪匹配得到的目标航迹ID；
进一步的，S1还包括目标Bj量测得到的方位角航迹信息为：
Bj＝{bj(1),bj(2),bj(3),…,bj(n)} (j＝0,1,2,…,N) (2)
其中，bj(z)为光电吊舱探测到的第j个目标在第z个探测周期得到的方位角信息，j是经过光电图像多目标跟踪匹配得到的目标图像ID。
进一步的，S1中航海雷达探测到的目标信息包括目标距离、方位、航迹ID，光电吊舱探测到目标类别、图像坐标方位角、图像ID；
进一步的，S2中由于雷达图像和可见光图像的采样周期不一致(雷达数据的周期小于光电图像的周期)，采用三次方样条数据插值法，把每两个相邻采样间隔的雷达图像目标序列的空间位置变化拟合成一个三次函数，并按照与光电图像采样间隔一致的频率进行插值，设置航海雷达跟踪的第j条目标航迹第k时刻的方位为aj(k)，光电吊舱跟踪的第i条目标航迹第k时刻的方位为bi(k)。
进一步的，S3包括将光电吊舱得到的基于图像坐标换算的方位角航迹作为参考序列，航海雷达得到的真实方位角航迹作为比较序列。
进一步的，S4包括寻找Π-截距灰色绝对关联矩阵Π′中的最大元素值，将该最大元素值作为相关可能性最大的雷达和可见光的航迹配对关系。
进一步的，S5包括在世界坐标系下的经纬度坐标为：
其中，(lon0,lat0)为同时刻获取的无人艇的经纬度坐标，Rearth为地球半径。
进一步的，S6包括输出目标的ID、类别、置信度、距离、方位、经纬度等多项信息，其中，ID为目标在航海雷达图像中的跟踪ID结果，距离和方位为目标相对无人艇艏向角的数据。
需要说明的是，航海雷达探测信息的获取包括雷达目标筛选和雷达航迹跟踪两个方面。
需要说明的是，雷达目标筛选主要获取目标距离、方位，包括如下步骤：
首先，对雷达图像进行腐蚀、膨胀、阈值分割等预处理。将输入的雷达回波图像转换为灰度图像，并对灰度图像进行图像腐蚀、膨胀、阈值分割等操作，使目标轮廓更加清晰，其中阈值分割参数设置为根据雷达回波图像灰度直方图确定，相关方法在OpenCV中较为常见，例如黑白二值法、OTSU法等；
其次，提取预处理后的图像轮廓边缘信息。通过Canny边缘检测算子获取闭合轮廓的边缘信息，得到航海雷达图像中的每个闭合轮廓的面积；
然后，对目标轮廓面积进行阈值划分。通常海面目标大致可以分为三类：一类是像近岸建筑、岛礁等大面积目标；第二类是海杂波干扰、船只行驶时溅起的波浪、雷达虚警目标等边缘轮廓形状不规则目标；第三类是船艇类目标，轮廓形状多为米粒状，形状规则。根据轮廓面积可以直接剔除第一类目标信息，对轮廓的宽高、宽高比以及斜率变化设定不同的阈值，认定超过阈值的为第二类目标，否则认定为第三类目标；
最后，计算符合船艇类目标特征的轮廓质心坐标，并由雷达图像坐标计算实际的目标距离、方位，具体计算规则是根据雷达图像的宽高、目标图像坐标位置、设置的雷达扇扫宽度、探测距离等参数进行转换。
需要说明的是，雷达航迹跟踪主要对单帧雷达图像目标与历史时刻的雷达图像目标进行关联匹配，获取雷达航迹ID，航海雷达目标相关跟踪方法可采用卡尔曼跟踪算法、无迹卡尔曼跟踪算法，本专利中使用的是无迹卡尔曼跟踪算法，不做过多介绍。
需要说明的是，通过航海雷达图像目标筛选与跟踪等操作，得到航海雷达图像目标相对于无人艇的距离、方位、航迹ID等信息，进一步得到航海雷达目标相对于无人艇的雷达方位角航迹数据；
需要说明的是，光电吊舱目标探测是在“Yolo+DeepSort”框架基础上进行改进。首先Yolo算法对光电图像进行目标检测，得到目标的类别与图像坐标；在此基础上，对每帧图像，根据目标的图像坐标、光电吊舱方位角、像元尺寸、焦距、视场角等参数得到目标相对无人艇坐标系的方位角；DeepSort算法将单帧检测的图像目标信息与历史时刻的图像目标信息进行关联匹配，得到图像目标的跟踪轨迹；进一步得到光电吊舱目标相对于无人艇的图像方位角航迹数据；
需要说明的是，灰色关联分析(Grey Relation Analysis,GRA)是在一个灰色系统中，判断某个指标与其他几个因素之间的相关性强弱。具体为，确定一个母序列之后，将其余子序列与母序列比较，找到子序列和母序列之间的关联强度。本申请选用灰色绝对关联分析模型完成航迹相关判定。
需要说明的是，灰色绝对关联度是一种基于全局视角定义的灰色关联分析的模型，基于最大灰色绝对关联度实现雷达和光电的方位角航迹的相似性程度，若两个因素的时间序列曲线变化趋势一致，同步化程度高，可以认为二者相关性较大。灰色关联分析法对样本量要求不高，也不需要样本量呈典型分布规律、分析结果和定性分析结果吻合。
在本实施例中，灰色绝对关联度模型包括设原始数据参考序列为:
X0＝{x0(1),x0(2),x0(3),…,x0(n)} (5)
比较序列为:
Xi＝{xi(1),xi(2),xi(3),…,xi(n)} (i＝0,1,2,…,m) (6)
令：
灰色绝对关联度为：
需要说明的是，灰色绝对关联度是描述因素时间序列态势变化的因素间的关联程度，计算得到的关联度ξ越接近1，则认为二者因素的关联性越强，越接近于0，则认为二者的关联性越弱。灰色绝对关联度具有两个特性：对称性和唯一性。即两个序列互相以对方为参考序列计算得到的关联度是一致的，不受其他影响。
进一步的，灰色绝对关联度矩阵由上式知ξij(i＝1,2,…,m；j＝1,2,…,M)为Ai与Bj的灰色关联度由灰色关联度ξij组成灰色关联矩阵Π，选取阈值λ∈(0,1)，依次比较该元素与灰色关联矩阵Π的元素，若元素小于λ，将元素设为max(0,ξim)，否则，元素不变，得到Π-截距矩阵，记为Π′。
其中，
在本实施例中，航海雷达和可见光传感器的探测周期不一致，同一目标与不同传感器的相对位置也不一致，需要首先要完成时间配准和空间配准。
需要说明的是，时间配准就是在进行数据融合之前，将各个传感器的异步测量统一成同步测量。由于航海雷达和可见光传感器属于异构传感器，他们的采样周期不同，所以需要进行时间配准。
优选的，本申请采用内插外推法完成时间配准。选取时间段长度为Ts的测量数据，根据传感器测量周期大小按增量排序，以低频传感器的测量时间作为参考序列，利用内插、外推的方法实现高频传感器的测量数据推算低频传感器测量时刻，进而实现各个传感器的时间同步性。
参阅图2，图2本发明一实施例所提供的一种航海雷达和可见光传感器同一时间段内对于某目标的测量数据分布图。航海雷达在量程小于1海里(Nm)时会自动开启高速模式，转速为36rpm，量程大于1Nm时会自动开启低速模式，转速为24rpm，首先将航海雷达量程设置为0.25～0.5Nm，航海雷达的频率约为1.67Hz，可见光传感器的帧率为25Hz。
进一步的，完成数据接收后，使用内插外推法构建逼近函数，进而得到某目标在近似同时刻下各个传感器的测量值。
结合图2，对上述模型函数进一步说明假设TAk时刻航海雷达的测量值为xk，在TBk时刻可见光传感器的测量值为yk，在TB(k+1)时刻可见光传感器的测量值为yk+1，则TBk<TAk<TB(k+1)，对可见光传感器的测量值yk和yk+1中间完成插值，得到可见光传感器在TAk时刻的测量值，公式如下：
参阅图3，图3本发明一实施例所提供的一种系统空间几何关系图。为了获取目标的绝对方位信息、减少各个传感器中心点与无人艇中心点不同一造成的误差，采用海面运动目标探测系统中各个传感器和目标位置空间的几何关系；航海雷达安装在无人艇坐标系的中心原点正上方中心位置处，设T1＝[00h]T为二者的位置平移矩阵，光电吊舱安装在无人艇坐标系中心原y轴上，T2＝[0y0]T为二者的位置平移矩阵。
参阅图4，图4本发明一实施例所提供的空间对准中的各个坐标系间的转换关系；具体的，通过光电吊舱、航海雷达、电子罗盘、GPS设置目标在世界坐标系中的坐标。
在本实施例中，可见光图像中目标方位角特征提取，将相机测距转换为测方位角，不需要预先知道待测目标的高度，且不需要考虑目标艇的距离远近，只要确保目标艇和光心在同一连线上，就可以得到目标的方位角，并将待测目标的方位角作为航迹融合的特征。
参阅图5，图5本发明一实施例所提供的目标在各个坐标系中的相对关系；根据下式可以求得图像中的一点坐标PW'(u1,v1)在世界坐标系下的坐标位置Pw(XW1,YW1,ZW1)。
其中，M是投影矩阵，即相机内参矩阵和相机外参矩阵的乘积。f为摄像机的焦距，单位一般是mm，dx，dy为像元尺寸，并且分别称为x轴和y轴上的归一化焦距。
需要说明的是，图5中目标艇在海平面上真实世界位置为点Pw(XW1,YW1,ZW1)，所求的方位角为目标艇中心点相对于光轴的偏离角度∠PwOWQW+θ，目标艇Pw在成像图片上对应PW'(u1,v1)，Q'为Q在图像坐标系y轴上的投影，OCQC为目标艇在相机坐标系下的Z值，OCQC＝OWQW，∠b+∠σ＝∠C，根据式12和光电吊舱的俯仰角相似三角形可得如下公式推导：
在本实施例中，可见光图像中目标方位角航迹特征提取采用DeepSort算法整合目标的外观信息，提高对实时目标的追踪性能，在遇到较长时间遮挡时仍可正常跟踪目标，同时有效解决了目标ID跳变。
具体的，首先使用参数描述目标的运动状态，然后基于匀速运动模型和kalman滤波器来预测目标的运动。加入了外观特征信息来解决较长时间内对遮挡目标的跟踪丢失问题，通过ReID快速提取外观特征，减少了ReID特征变换次数。与此同时，使用级联匹配算法，对每一个检测器分配一个跟踪器，对运动特征和外观特征模糊、变换问题采用马氏距离和余弦距离计算，有便于更好的区分不同的目标和相近目标。
参阅图6，图6是本发明一实施例所提供的一种基于灰色绝对关联度的异构传感器航迹相关算法流程图。
在本实施例中，外部设备通过传感器匹配信息，进行航海雷达目标方位角航迹序列和可见光图像目标方位角航迹序列的获取，最终完成数据目标的融合。
参阅图7，图7是本发明一实施例所提供的一种数据融合总流程图；图7中包括了目标识别、航迹获取、多源异构数据融合、方位角航迹特征提取的过程，实现选取合适的特征向量并准确完成数据关联是数据融合。
参阅图8，图8是本发明一实施例所提供的一种方位角航迹匹配的无人艇雷达光电融合方法电子设备结构图。
需要说明的是，基于方位角匹配的无人艇雷达光电融合方法还可以包括一种电子设备5，包括存储器502、处理器501以及存储在存储器502中并可在处理器501上运行的计算机程序503，处理器501执行计算机程序503时实现上述实施例的方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序503来指令相关联的硬件来完成，上述的计算机程序503可存储于一计算机可读存储介质中，该计算机程序503在被处理器501执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序503包括计算机程序503代码，上述计算机程序503代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序503代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器502、只读存储器502(ROM，Read-OnlyMemory)、随机存取存储器502(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种方位角航迹匹配的无人艇雷达光电融合方法，其特征在于，包括
S1设置时空对准后的航海雷达探测到目标方位角航迹数据Ai，光电吊舱探测到目标图像坐标系方位角航迹数据Bj；
S2对航海雷达数据进行插值处理，保持航海雷达航迹序列和光电吊舱航迹序列长度一致；
S3计算灰色绝对关联度ξ，再计算Π-截距灰色绝对关联矩阵Π′；
S4获取Π-截距灰色绝对关联矩阵Π′的最大元素值，得到航海雷达图像中目标的ID和可见光图像中目标ID的对应关系；
S5求解目标在世界坐标系下的经纬度坐标值；
S6输出目标信息。
2.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S1包括目标Ai量测得到的方位角航迹信息为：
Ai＝{ai(1),ai(2),ai(3),…,ai(m)} (i＝0,1,2,…,M) (1)
其中，ai(t)为航海雷达探测到的第i个目标在第t个探测周期得到的方位角信息，i是经过雷达航迹跟踪匹配得到的目标航迹ID。
3.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S1还包括目标Bj量测得到的方位角航迹信息为：
Bj＝{bj(1),bj(2),bj(3),…,bj(n)} (j＝0,1,2,…,N) (2)
其中，bj(z)为光电吊舱探测到的第j个目标在第z个探测周期得到的方位角信息，j是经过光电图像多目标跟踪匹配得到的目标图像ID。
4.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S2包括使用三次方样条数据插值法，把每个区间的序列拟合成一个三次函数，并设置航海雷达跟踪的第j条目标航迹第k时刻的方位为aj(n)，光电吊舱跟踪的第i条目标航迹第k时刻的方位为bi(n)。
5.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S3包括将光电吊舱得到的每条方位角航迹信息作为参考序列，航海雷达得到的方位角航迹信息作为比较序列。
6.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S4包括寻找Π-截距灰色绝对关联矩阵Π′中的最大元素值，将该最大元素值作为相关可能性最大的航迹对。
7.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S5包括在世界坐标系下的经纬度坐标为：
其中，(lon0,lat0)为同时刻获取的无人艇的经纬度坐标，Rearth为地球半径。
8.如权利要求1所述的无人艇雷达光电融合方法，其特征在于，S6包括输出目标的ID、类别、置信度、距离、方位、经纬度等多项信息，其中，ID为目标在航海雷达图像中的跟踪ID结果，距离和方位为目标相对无人艇艏向角的数据。
CN202311076941.9A 2023-08-25 2023-08-25 一种方位角航迹匹配的无人艇雷达光电融合方法 Pending CN117075112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311076941.9A CN117075112A (zh) 2023-08-25 2023-08-25 一种方位角航迹匹配的无人艇雷达光电融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311076941.9A CN117075112A (zh) 2023-08-25 2023-08-25 一种方位角航迹匹配的无人艇雷达光电融合方法

Publications (1)

Publication Number Publication Date
CN117075112A true CN117075112A (zh) 2023-11-17

Family

ID=88714955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311076941.9A Pending CN117075112A (zh) 2023-08-25 2023-08-25 一种方位角航迹匹配的无人艇雷达光电融合方法

Country Status (1)

Country Link
CN (1) CN117075112A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495933A (zh) * 2024-01-02 2024-02-02 中国科学院长春光学精密机械与物理研究所 基于视差修正的光电望远镜外挂镜头图像实时配准方法
CN117890903A (zh) * 2024-03-15 2024-04-16 哈尔滨工业大学（威海） 一种基于雷视匹配的无人艇航迹修正方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495933A (zh) * 2024-01-02 2024-02-02 中国科学院长春光学精密机械与物理研究所 基于视差修正的光电望远镜外挂镜头图像实时配准方法
CN117495933B (zh) * 2024-01-02 2024-03-12 中国科学院长春光学精密机械与物理研究所 基于视差修正的光电望远镜外挂镜头图像实时配准方法
CN117890903A (zh) * 2024-03-15 2024-04-16 哈尔滨工业大学（威海） 一种基于雷视匹配的无人艇航迹修正方法
CN117890903B (zh) * 2024-03-15 2024-06-07 哈尔滨工业大学（威海） 一种基于雷视匹配的无人艇航迹修正方法

Similar Documents

Publication Publication Date Title
CN110414396B (zh) 一种基于深度学习的无人艇感知融合算法
CN117075112A (zh) 一种方位角航迹匹配的无人艇雷达光电融合方法
Musman et al. Automatic recognition of ISAR ship images
CN109239709B (zh) 一种无人船的局部环境地图自主构建方法
CN109409283A (zh) 一种海面舰船跟踪和监控的方法、系统和存储介质
CN112766221B (zh) 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN109471098B (zh) 利用fod雷达相位相干性信息的机场跑道异物检测方法
CN111323756B (zh) 一种基于深度学习的航海雷达目标检测方法及装置
CN113359097A (zh) 一种毫米波雷达和相机联合标定的方法
CN111709968B (zh) 一种基于图像处理的低空目标探测跟踪方法
CN112487912B (zh) 基于改进YOLOv3的任意方向舰船检测方法
CN112184749B (zh) 基于视频sar跨域联合的动目标跟踪方法
CN116168028B (zh) 低可见度下基于边缘滤波的高铁原始图像处理方法和系统
CN111046877A (zh) 一种毫米波图像可疑物品检测方法和系统
CN115184917A (zh) 一种融合毫米波雷达与相机的区域目标跟踪方法
CN114549642B (zh) 一种低对比度红外弱小目标检测方法
CN115346155A (zh) 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法
CN111323757A (zh) 一种航海雷达目标检测方法及装置
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
CN112669332A (zh) 一种基于双向局部极大值和峰值局部奇异性判断海天条件和检测红外目标的方法
CN106991682B (zh) 自动港口货船的提取方法及装置
CN117113284A (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN115639536B (zh) 基于多传感器融合的无人船感知目标检测方法及装置
CN115346133A (zh) 一种基于光学卫星影像的舰船检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination