CN113484864A - 面向无人艇的航海雷达与光电吊舱协同环境感知方法 - Google Patents

面向无人艇的航海雷达与光电吊舱协同环境感知方法 Download PDF

Info

Publication number
CN113484864A
CN113484864A CN202110757283.4A CN202110757283A CN113484864A CN 113484864 A CN113484864 A CN 113484864A CN 202110757283 A CN202110757283 A CN 202110757283A CN 113484864 A CN113484864 A CN 113484864A
Authority
CN
China
Prior art keywords
layer
target
photoelectric pod
radar
fusion module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110757283.4A
Other languages
English (en)
Other versions
CN113484864B (zh
Inventor
左震
吴鹏
孙备
苏绍璟
郭晓俊
童小钟
郭润泽
钱翰翔
张家菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110757283.4A priority Critical patent/CN113484864B/zh
Publication of CN113484864A publication Critical patent/CN113484864A/zh
Application granted granted Critical
Publication of CN113484864B publication Critical patent/CN113484864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

面向无人艇的航海雷达与光电吊舱协同环境感知方法，包括以下步骤：S1：无人艇上安装固定航海雷达与光电吊舱，进行参数初始化；S2：航海雷达对环境区域进行扫描，获得航海雷达图像，对航海雷达图像进行滤波处理，并进行目标筛选及目标特性分析，形成雷达感知目标分布图；S3：光电吊舱对环境区域进行扫描，获得光电吊舱图像，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，得到目标类别；同时利用光电吊舱的激光测距仪对检测到的目标进行测距，形成光电吊舱感知目标分布图；S4：对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理，得到最终的目标分布图。本发明搜索效率更高，能适应目标更多的场景。

Description

面向无人艇的航海雷达与光电吊舱协同环境感知方法
技术领域
本发明涉及目标感知技术领域，具体是涉及一种面向无人艇的航海雷达与光电吊舱协同环境感知方法。
背景技术
水面无人艇作为水面无人系统和作战平台的代表性装备，在国防和经济发展方面具有重要意义。在军事领域，无人艇可配备自主巡航系统，执行军事探查与监视任务。此外，由于其高速机动性和快速反应能力，无人艇可作为水面侦察装备，有效弥补星载、机载侦察系统以及水下潜航器侦察系统不足，在巡逻、导航、排雷、反潜等领域有着巨大的应用价值。在民用领域，不论在内河还是海洋，无人艇均可以进行资源探测和夜间水面监测以缓解水上工作人员的压力，在发生自然灾害时也可以执行水上救援，物资输送等任务。
准确可靠的对海面目标环境进行探测是无人艇自主感知、决策的基础。通常，受复杂水面的浪涌、水雾以及阳光反射等因素影响，海面目标呈现尺度小、形变大、纹理弱等特点，如何实现实时精准的检测，提升无人艇视觉感知综合性能，是一项兼具挑战与实际意义的事情。通过携带多种传感器，无人艇可对水面、水下目标及障碍物进行检测识别，为执行各类任务提供重要支撑。无人艇侦察系统通常包括可见光、红外、激光测距、航海雷达等关键传感器。由于单一传感器可观测性的局限性，单独采用雷达或光电吊舱实现海面目标的准确感知跟踪是非常困难的。雷达作为一种主动无线电侦察设备，具有全天候、全天时工作的优点，但缺点是无法对目标成像，目标的判定相对困难，细节分辨率能力不够。而光电吊舱作为一种光电探测设备，具有能成像、细节分辨率能力强的优势，缺点是受能见度的影响较大，视场范围不够宽。因此，实现光电传感器和雷达传感器的联动融合，有效地把雷达和光电传感器的使用同步起来，提高环境感知性能。
传统的基于雷达和光电吊舱的联合环境感知方法是雷达扫描发现目标后，雷达将目标的距离、方位和运动方向等信息等打包传输给光电传感器，引导光电系统光轴转向目标位置，以便进一步的细节分析和判断，由光电传感器对可疑目标进行探测，判定其类别、危险性等。在实际环境中，传统方法的雷达引导光电吊舱方法适用于目标较少的场合，当水面环境目标较多且噪声点更密集时，目标方位列表中的目标个数较多，雷达引导光电吊舱去遍历目标方位列表时将会花费大量时间，造成很大延迟和滞后。当前，亟需一种高效的航海雷达与光电吊舱协同环境感知方法，有效地把雷达和光电传感器的使用同步起来，大大提高海面目标的探测效率。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种面向无人艇的航海雷达与光电吊舱协同环境感知方法，搜索效率更高，能适应目标更多的场景。
本发明解决其技术问题采用的技术方案是，一种面向无人艇的航海雷达与光电吊舱协同环境感知方法，包括以下步骤：
S1：无人艇上安装固定航海雷达与光电吊舱，并进行参数初始化；
S2：航海雷达对环境区域进行扫描，获得航海雷达图像，对航海雷达图像进行滤波处理，并进行目标筛选及目标特性分析，形成雷达感知目标分布图；
S3：光电吊舱对环境区域进行扫描，获得光电吊舱图像，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，得到目标类别；同时利用光电吊舱的激光测距仪对检测到的目标进行测距，形成光电吊舱感知目标分布图；
S4：对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理，得到最终的目标分布图。
进一步，所述步骤S2中，采用形态学滤波方法对航海雷达图像进行滤波处理。
进一步，所述形态学滤波方法为闭运算，卷积核参数为(50，50)。
进一步，所述步骤S3，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，具体包括以下步骤：
S2-1：设计改进的SSD目标检测网络；
S2-2：对改进的SSD目标检测网络进行训练，得到网络模型参数；
S2-3：计算损失函数，得到损失函数最小的网络模型参数；
S2-4：利用损失函数最小的网络模型参数对光电吊舱图像进行目标检测得到目标类别。
进一步，所述S2-1中，所述改进的SSD目标检测网络包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层，以及第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块、决策层；第一卷积层、第二卷积层分别与第一多尺度特征融合模块相连，第二卷积层、第五卷积层分别与第二多尺度特征融合模块相连，第六卷积层、第七卷积层分别与第三多尺度特征融合模块相连，第九卷积层、第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块分别与决策层相连。
进一步，所述第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块的网络结构相同，包括第一通道卷积层、第一ReLU层、第一BN层、第二通道卷积层、反卷积层、第二ReLU层、第二BN层、第十卷积层、第三ReLU层、第三BN层，第一通道卷积层与第一ReLU层相连，第一ReLU层与第一BN层相连；第二通道卷积层与反卷积层相连，反卷积层与第二ReLU层相连，第二ReLU层与第二BN层相连，第一ReLU层、第二ReLU层分别与第十卷积层相连，第十卷积层与第三ReLU层相连，第三ReLU层与第三BN层相连。
进一步，所述步骤S4中，对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理的方法如下：
设雷达感知目标分布图中各目标点的坐标为pi＝(xi，yi)，i∈{1,2,...,N}，光电吊舱感知目标分布图中各目标点的坐标为qj＝(xj，yj)，j∈{1,2,...,M}，设定欧几里得距离阈值为z，对雷达感知目标分布图和光电吊舱感知目标分布图中的任意两个点(xi，yi)和(xj，yj)，若有
(xi-xj)2+(yi-yj)2≤z2
则将该两个点判定为一个目标点，即将在半径为z的圆中的点判定为同一个目标点。
进一步，设置距离阈值z为9-11m。
进一步，所述步骤S2中，航海雷达以0.785rad/s的角速度对环境区域进行扫描。
进一步，所述步骤S3中，光电吊舱以0.785rad/s的角速度对环境区域进行扫描。
与现有技术相比，本发明的优点如下：
相比于传统的航海雷达先扫描探测，再对光电吊舱进行引导的方法，本发明方法的搜索效率更高，能适应目标更多的场景。
附图说明
图1是本发明实施例的流程示意图。
图2是本发明实施例航海雷达图像形态学滤波处理前的图。
图3是本发明实施例航海雷达图像形态学滤波处理后的图。
图4是本发明实施例改进后的SSD网络结构的结构示意图。
图5是是本发明实施例多尺度特征融合模块的结构示意图。
图6是本发明实施例与原始SSD方法在典型海面场景数据集下准确率与召回率的对比图。
图7是本发明实施例航海雷达与光电吊舱协同探测结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
如图1所示，本实施面向无人艇的航海雷达与光电吊舱协同环境感知方法包括以下步骤：
S1：无人艇上安装固定航海雷达与光电吊舱，并进行参数初始化；
S2：航海雷达以一定角速度对环境区域进行扫描，获得航海雷达图像，对航海雷达图像进行形态学滤波处理，并进行目标筛选及目标特性分析，形成雷达感知目标分布图；雷达感知目标分布图包括方位、距离等信息；
S3：光电吊舱以一定角速度对环境区域进行扫描，获得光电吊舱图像，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，得到目标类别；同时利用光电吊舱的激光测距仪对检测到的目标进行测距，形成光电吊舱感知目标分布图；光电吊舱感知目标分布图包括目标类别、方位、距离等信息；
S4：对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理，得到最终的目标分布图，包括目标类别、方位、距离等信息。
本实施例是在湛江某海域开展的实验测试，实验平台如图2所示，航海雷达安装在无人艇上且距离海平面2.5m高度，光电吊舱安装在无人艇上距离海平面1m，光电吊舱包括可见光相机、红外成像仪、激光测距仪三种光学传感器。本实施例在1级海况下进行，海域范围为3km×3km，实验时，航海雷达与光电吊舱均按照角速度0.785rad/s扫描与转动。在开始前，采用角度校准装置对航海雷达与光电吊舱的0°方向进行校准对齐。
与光学图像相比，雷达图像数据组成相对简单。雷达图像是灰度图像，主要由灰度级较高的目标区(陆地、礁石和船舶等)和灰度级较低的黑色背景区组成。本实施例中，对航海雷达图像的处理采用形态学滤波的方法，通过采用闭运算对航海雷达图像做简单处理，将独立目标与岸边、桥墩等成片区域分离，用来突出单个目标。闭运算将需要先执行膨胀操作，再执行腐蚀操作。膨胀是形态学的重要算子之一，图像膨胀可以对图像中的空洞进行填充，也可以使关心的目标更加醒目，腐蚀则正好相反，其中，卷积核参数为(50，50)。如图2、3所示，为航海雷达图像经形态学滤波处理前后，以出港场景图像为例，岸边区域经过滤波处理后被连成一体，单个目标被突出显示，有利于得到目标距离、方位，进而对目标进行筛选及特性分析，从而得到雷达感知目标分布图。
本实施例中，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，具体包括以下步骤：
S2-1：设计改进的SSD目标检测网络；
S2-2：对改进的SSD目标检测网络进行训练，得到网络模型参数；
S2-3：计算损失函数，得到损失函数最小的网络模型参数；
S2-4：利用损失函数最小的网络模型参数对光电吊舱图像进行目标检测得到目标类别。
本发明采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测的重点在于步骤S2-1：设计改进的SSD目标检测网络，步骤S2-2～S2-4为现有SSD目标检测算法的常规步骤，本实施例予以简略。在设计好的网络结构的基础上，网络训练、损失函数计算、目标检测方法同现有的SSD目标检测方法。
步骤S2-1中，本实施例在现有SSD网络结构的基础上，设计了一个新的改进的SSD网络结构，改进后的SSD网络结构示意图如图4所示。改进后的SSD网络结构包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层，以及第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块、决策层；第一卷积层、第二卷积层分别与第一多尺度特征融合模块相连，第二卷积层、第五卷积层分别与第二多尺度特征融合模块相连，第六卷积层、第七卷积层分别与第三多尺度特征融合模块相连，第九卷积层、第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块分别与决策层相连。
输入图像(即光电吊舱图像)依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层进行卷积处理，输入图像分辨率为300×300，经第一卷积层输出分辨率为75×75的特征图；经第二卷积层输出分辨率为38×38的特征图；经第三卷积层输出分辨率为19×19的特征图；经第四卷积层输出分辨率为19×19的特征图；经第五卷积层输出分辨率为19×19的特征图；经第六卷积层输出分辨率为10×10的特征图；经第七卷积层输出分辨率为5×5的特征图；经第八卷积层输出分辨率为3×3的特征图；经第九卷积层输出分辨率为1×1的特征图；第一卷积层输出的特征图与第二卷积层输出的特征图经第一多尺度特征融合模块进行特征融合，第二卷积层输出的特征图与第五卷积层输出的特征图经第二多尺度特征融合模块进行特征融合，第六卷积层输出的特征图与第七卷积层输出的特征图经第三多尺度特征融合模块进行特征融合，第一多尺度特征融合模块输出的特征图、第二多尺度特征融合模块输出的特征图、第三多尺度特征融合模块输出的特征图、第九卷积层输出的特征图经决策层进行决策处理，得到预测的目标类别和位置偏移。
第一卷积层中采用更大的75×75的特征图，将第一卷积层和第二卷积层的输出特征图输入至第一多尺度特征融合模块，进行特征融合，采用特征融合机制来增强特征提取过程。同时将第二卷积层和第五卷积层的输出特征图输入至第二特征多尺度特征融合模块，进行特征融合，第六卷积层和第七卷积层的输出特征图输入至第三多尺度特征融合模块，进行特征融合。通过多层卷积来充分融合多尺度特征，用于增强目标特征的提取过程。决策层采用非极大值抑制算法(NMS，Non-Maximum Suppression)进行决策处理，过滤掉多余的预测框，保留得分最高的预测框，得到预测的目标类别和位置偏移。
图4中的第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块的网络结构相同，具体网络结构设计如图5所示，包括第一通道卷积层、第一ReLU层、第一BN层、第二通道卷积层、反卷积层、第二ReLU层、第二BN层、第十卷积层、第三ReLU层、第三BN层，第一通道卷积层与第一ReLU层相连，第一ReLU层与第一BN层相连；第二通道卷积层与反卷积层相连，反卷积层与第二ReLU层相连，第二ReLU层与第二BN层相连，第一ReLU层、第二ReLU层分别与第十卷积层相连，第十卷积层与第三ReLU层相连，第三ReLU层与第三BN层相连。
输入特征图像1依次经过第一通道卷积层、第一ReLU层、第一BN层，输入特征图像2依次经过第二通道卷积层、反卷积层、第二ReLU层、第二BN层，第一BN层的输出特征图与第二BN层的输出特征图叠加，然后依次经过第十卷积层、第三ReLU层、第三BN层，得到融合特征图。
为了优化计算，第一通道卷积层对输入特征图1(分辨率M×M)进行特征提取，第一通道卷积层的输出特征图分辨率与输入特征图1分辨率保持一致；第二通道卷积层对输入特征图2(分辨率N×N)进行特征提取，第二通道卷积层的输出特征图分辨率与输入特征图2分辨率保持一致。然后基于反卷积将输入特征图2的分辨率调整到M×M，与输入特征图1的分辨率相同。卷积或反卷积后接ReLU激活函数层(ReLU层)和批量归一化层(BN层)，用于提升模型的非线性表达能力，并保证不同尺度的特征图具有相似分布和取值范围，以防止特征差异过大造成的特征发散。
步骤S2-3中，本实施例计算损失函数采用定位损失Lloc和分类损失Lconf两部分，损失函数的计算公式如下：
Figure BDA0003147607140000111
其中，分类损失Lconf利用softmax损失函数进行衡量，定位损失Lloc利用Smooth L1损失函数进行衡量，α为权重系数，根据经验值设置为1。
为了评估本发明所改进的SSD网络的性能，本实施例基于典型海面场景数据集进行了实验，通过实验采集和人工手动标注的方式建立典型海面场景数据集，类别包括“渔船(boat)”“桥墩(pier)”“水鼓(drum)”“浮标(buoy)”。数据集共包含1200张图像，3901个标注目标，原始图像的尺寸为1920×1080像素。其中1000张图像用于训练，200张图像用于测试。如图6所示，为本发明与原始SSD方法在典型海面场景数据集下准确率与召回率的关系，可以看到，当召回率为60％时，原始SSD方法的准确率为80％，本发明的准确率为95％，本发明具有更好的检测性能。
本实施例中，光电吊舱以一定角速度对环境区域进行扫描，采用改进的SSD目标检测算法进行实时检测，得到目标类别，同时利用光电吊舱的激光测距仪对检测到的目标进行测距，形成光电吊舱感知目标分布图。本实施例S4中，对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理，采用基于欧几里得距离阈值的融合处理方法。设雷达感知目标分布图中各目标点的坐标为pi＝(xi，yi)，i∈{1,2,...,N}，光电吊舱感知目标分布图中各目标点的坐标为qj＝(xj，yj)，j∈{1,2,...,M}。针对实验系统的硬件精度条件，设定欧几里得距离阈值为z，对雷达感知目标分布图和光电吊舱感知目标分布图中的任意两个点(xi，yi)和(xj，yj)，若有
(xi-xj)2+(yi-yj)2≤z2
则，将该两个点判定为一个目标点，即将在半径为z的圆中的点判定为同一个目标点。本实施例中，根据航海雷达和激光测距的误差，设置距离阈值z为10m。
如图7所示，为本实施例中航海雷达与光电吊舱协同探测结果图，采用雷达与光电吊舱协同环境感知的方式对海面目标进行确认，最终得到目标相对船艏向的角度为76.289°，距离为188.086m，并可计算出目标的经纬度为(110.41654E，21.26144N)。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (10)

1.一种面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：包括以下步骤：
S1：无人艇上安装固定航海雷达与光电吊舱，并进行参数初始化；
S2：航海雷达对环境区域进行扫描，获得航海雷达图像，对航海雷达图像进行滤波处理，并进行目标筛选及目标特性分析，形成雷达感知目标分布图；
S3：光电吊舱对环境区域进行扫描，获得光电吊舱图像，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，得到目标类别；同时利用光电吊舱的激光测距仪对检测到的目标进行测距，形成光电吊舱感知目标分布图；
S4：对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理，得到最终的目标分布图。
2.如权利要求1所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述步骤S2中，采用形态学滤波方法对航海雷达图像进行滤波处理。
3.如权利要求2所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述形态学滤波方法为闭运算，卷积核参数为(50，50)。
4.如权利要求1所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述步骤S3，采用改进的SSD目标检测算法对光电吊舱图像进行实时目标检测，具体包括以下步骤：
S2-1：设计改进的SSD目标检测网络；
S2-2：对改进的SSD目标检测网络进行训练，得到网络模型参数；
S2-3：计算损失函数，得到损失函数最小的网络模型参数；
S2-4：利用损失函数最小的网络模型参数对光电吊舱图像进行目标检测得到目标类别。
5.如权利要求4所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述S2-1中，所述改进的SSD目标检测网络包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层，以及第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块、决策层；第一卷积层、第二卷积层分别与第一多尺度特征融合模块相连，第二卷积层、第五卷积层分别与第二多尺度特征融合模块相连，第六卷积层、第七卷积层分别与第三多尺度特征融合模块相连，第九卷积层、第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块分别与决策层相连。
6.如权利要求5所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述第一多尺度特征融合模块、第二多尺度特征融合模块、第三多尺度特征融合模块的网络结构相同，包括第一通道卷积层、第一ReLU层、第一BN层、第二通道卷积层、反卷积层、第二ReLU层、第二BN层、第十卷积层、第三ReLU层、第三BN层，第一通道卷积层与第一ReLU层相连，第一ReLU层与第一BN层相连；第二通道卷积层与反卷积层相连，反卷积层与第二ReLU层相连，第二ReLU层与第二BN层相连，第一ReLU层、第二ReLU层分别与第十卷积层相连，第十卷积层与第三ReLU层相连，第三ReLU层与第三BN层相连。
7.如权利要求1或4所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述步骤S4中，对雷达感知目标分布图和光电吊舱感知目标分布图进行融合处理的方法如下：
设雷达感知目标分布图中各目标点的坐标为pi＝(xi，yi)，i∈{1,2,...,N}，光电吊舱感知目标分布图中各目标点的坐标为qj＝(xj，yj)，j∈{1,2,...,M}，设定欧几里得距离阈值为z，对雷达感知目标分布图和光电吊舱感知目标分布图中的任意两个点(xi，yi)和(xj，yj)，若有
(xi-xj)2+(yi-yj)2≤z2
则将该两个点判定为一个目标点，即将在半径为z的圆中的点判定为同一个目标点。
8.如权利要求7所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：设置距离阈值z为9-11m。
9.如权利要求1或4所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述步骤S2中，航海雷达以0.785rad/s的角速度对环境区域进行扫描。
10.如权利要求1或4所述的面向无人艇的航海雷达与光电吊舱协同环境感知方法，其特征在于：所述步骤S3中，光电吊舱以0.785rad/s的角速度对环境区域进行扫描。
CN202110757283.4A 2021-07-05 2021-07-05 面向无人艇的航海雷达与光电吊舱协同环境感知方法 Active CN113484864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110757283.4A CN113484864B (zh) 2021-07-05 2021-07-05 面向无人艇的航海雷达与光电吊舱协同环境感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110757283.4A CN113484864B (zh) 2021-07-05 2021-07-05 面向无人艇的航海雷达与光电吊舱协同环境感知方法

Publications (2)

Publication Number Publication Date
CN113484864A true CN113484864A (zh) 2021-10-08
CN113484864B CN113484864B (zh) 2022-05-31

Family

ID=77940818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110757283.4A Active CN113484864B (zh) 2021-07-05 2021-07-05 面向无人艇的航海雷达与光电吊舱协同环境感知方法

Country Status (1)

Country Link
CN (1) CN113484864B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184909A (zh) * 2022-07-11 2022-10-14 中国人民解放军国防科技大学 一种基于目标检测的车载多谱系激光雷达标定系统与方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107560592A (zh) * 2017-08-21 2018-01-09 河南中光学集团有限公司 一种用于光电跟踪仪联动目标的精确测距方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110210527A (zh) * 2019-05-14 2019-09-06 中国舰船研究设计中心 基于机器视觉联合感知的海上执法侦察系统
CN110414396A (zh) * 2019-07-19 2019-11-05 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法
CN110472500A (zh) * 2019-07-09 2019-11-19 北京理工大学 一种基于高速无人艇的水面视觉目标快速检测算法
CN110516560A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于fpga异构深度学习的光学遥感图像目标检测方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107560592A (zh) * 2017-08-21 2018-01-09 河南中光学集团有限公司 一种用于光电跟踪仪联动目标的精确测距方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110210527A (zh) * 2019-05-14 2019-09-06 中国舰船研究设计中心 基于机器视觉联合感知的海上执法侦察系统
CN110472500A (zh) * 2019-07-09 2019-11-19 北京理工大学 一种基于高速无人艇的水面视觉目标快速检测算法
CN110414396A (zh) * 2019-07-19 2019-11-05 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法
CN110516560A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于fpga异构深度学习的光学遥感图像目标检测方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHEPING ZHAI等: "DF-SSD: An Improved SSD Object Detection", 《IEEE ACCESS》 *
张筱晗等: "双向特征融合的数据自适应SAR图像舰船目标检测模型", 《中国图象图形学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184909A (zh) * 2022-07-11 2022-10-14 中国人民解放军国防科技大学 一种基于目标检测的车载多谱系激光雷达标定系统与方法

Also Published As

Publication number Publication date
CN113484864B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN110414396B (zh) 一种基于深度学习的无人艇感知融合算法
CN109583369B (zh) 一种基于目标区域分割网络的目标识别方法及装置
CN102081801B (zh) 多特征自适应融合船舶跟踪和航迹检测方法
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
WO2016112708A1 (zh) 一种船舶辅助泊岸方法和系统
WO2016112714A1 (zh) 一种船舶辅助泊岸方法和系统
Lee et al. Image-based ship detection and classification for unmanned surface vehicle using real-time object detection neural networks
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN105184816A (zh) 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法
US20210319221A1 (en) Vessel Height Detection Through Video Analysis
CN112487912B (zh) 基于改进YOLOv3的任意方向舰船检测方法
CN105225251A (zh) 基于机器视觉的超视距海上运动目标快速识别与定位装置及方法
CN111968046A (zh) 一种基于拓扑结构的雷达光电传感器目标关联融合方法
Wu et al. A new multi-sensor fusion approach for integrated ship motion perception in inland waterways
CN113484864B (zh) 面向无人艇的航海雷达与光电吊舱协同环境感知方法
CN114926400A (zh) 一种基于改进YOLOv5的风机叶片缺陷检测方法
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
Wang et al. Research of obstacle recognition method for USV based on laser radar
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
Yao et al. LiDAR based navigable region detection for unmanned surface vehicles
Fu et al. Real-time infrared horizon detection in maritime and land environments based on hyper-laplace filter and convolutional neural network
Lu et al. Study on Marine Fishery Law Enforcement Inspection System based on Improved YOLO V5 with UAV
CN115639536B (zh) 基于多传感器融合的无人船感知目标检测方法及装置
CN111626129A (zh) 基于卫星ais与红外相机的舰船目标联合探测方法
CN115346133A (zh) 一种基于光学卫星影像的舰船检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant