CN114581675A - 一种基于机器视觉与多源数据融合的海上船舶检测方法 - Google Patents

一种基于机器视觉与多源数据融合的海上船舶检测方法 Download PDF

Info

Publication number
CN114581675A
CN114581675A CN202111596103.5A CN202111596103A CN114581675A CN 114581675 A CN114581675 A CN 114581675A CN 202111596103 A CN202111596103 A CN 202111596103A CN 114581675 A CN114581675 A CN 114581675A
Authority
CN
China
Prior art keywords
data
ship
target
information
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111596103.5A
Other languages
English (en)
Inventor
王驰明
樊博彦
李亚楠
林忠
陈久虎
苏孙新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN202111596103.5A priority Critical patent/CN114581675A/zh
Publication of CN114581675A publication Critical patent/CN114581675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供的一种基于机器视觉与多源数据融合的海上船舶检测方法，获取目标船舶的数据，并通过YOLOv5目标检测算法训练得到所需船舶的目标检测模型，训练时采用Pixels‑IoU函数来代替YOLOv5目标检测算法中原有的GIoU损失函数；通过所述目标检测模型得到目标船舶的数据，并用图像坐标表示，得到图像信息；获取AIS信息和雷达数据，将雷达数据转换为AIS下的同一坐标系，得到数据信息；根据所述图像信息和数据信息进行融合后对海上船舶进行检测，引入Pixels‑IoU函数代替原有的GIoU损失函数，使得回归损失更加精确、目标框回归更加稳定，有效的提高了船舶识别的准确率，并加入注意力机制层，提高船舶识别准确率。

Description

一种基于机器视觉与多源数据融合的海上船舶检测方法
技术领域
本发明涉及船舶检测技术领域，特别涉及一种基于机器视觉与多源数据融合的海上船舶检测方法。
背景技术
随着国家航海事业的飞速发展，航道上的航船不断增加，许多船舶不开船舶自动识别系统(AIS)或套牌AIS，对船舶日常航行造成许多困扰。监控、雷达和AIS，是船舶对周边环境感知的手段，提高船舶航行安全。
雷达在航海中能远距离感知，但它无法判断障碍物类型，并存在漏报和近处盲区等缺陷。监控内容直观，但只能近距离感知且不能获取目标信息。
目前船舶信息融合方法主要是雷达与AIS融合，但视觉感知是克服部分缺陷、提高感知精度的一个重要手段。在海上航行中，利用单源传感器进行环境感知，虽然每种传感器都有自己的优势，但是感知效果略显不足，海上环境非常复杂，尤其是遇到大雾、大雨等极端气候，感知效果会直线下降。
因此，需要一种基于机器视觉与多源数据融合的海上船舶检测方法，能够将目标检测、雷达及AIS进行有效融合，提高探测目标的准确度
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题，本发明提供一种基于机器视觉与多源数据融合的海上船舶检测方法，引入Pixels-IoU函数代替原有的GIoU损失函数，使得回归损失更加精确、目标框回归更加稳定，有效的提高了船舶识别的准确率，并加入注意力机制层，提高船舶识别准确率。
(二)技术方案
为了达到上述目的，本发明采用的技术方案为：
一种基于机器视觉与多源数据融合的海上船舶检测方法,包括步骤：
S1、获取目标船舶的数据，并通过YOLOv5目标检测算法训练得到所需船舶的目标检测模型，训练时采用Pixels-IoU函数来代替YOLOv5目标检测算法中原有的GIoU损失函数；
S2、通过所述目标检测模型得到目标船舶的数据，并用图像坐标表示，得到图像信息；
S3、获取AIS信息和雷达数据，将雷达数据转换为AIS下的同一坐标系，得到数据信息；
S4、根据所述图像信息和数据信息进行融合后对海上船舶进行检测。
(三)有益效果
本发明的有益效果在于：获取目标船舶的数据，并通过YOLOv5目标检测算法训练得到所需船舶的目标检测模型，训练时采用Pixels-IoU函数来代替YOLOv5目标检测算法中原有的GIoU损失函数；通过所述目标检测模型得到目标船舶的数据，并用图像坐标表示，得到图像信息；获取AIS信息和雷达数据，将雷达数据转换为AIS下的同一坐标系，得到数据信息；根据所述图像信息和数据信息进行融合后对海上船舶进行检测，引入Pixels-IoU函数代替原有的GIoU损失函数，使得回归损失更加精确、目标框回归更加稳定，有效的提高了船舶识别的准确率，并加入注意力机制层，提高船舶识别准确率。
附图说明
图1为本发明实施例的基于机器视觉与多源数据融合的海上船舶检测方法流程图；
图2为本发明实施例的相机标定板示意图；
图3为本发明实施例的Pixels-IoU原理图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
实施例一
请参照图1至3，一种基于机器视觉与多源数据融合的海上船舶检测方法,包括步骤：
S1、获取目标船舶的数据，并通过YOLOv5目标检测算法训练得到所需船舶的目标检测模型，训练时采用Pixels-IoU函数来代替YOLOv5目标检测算法中原有的GIoU损失函数；
所述的获取目标船舶的数据具体为：
通过传感器采集网络上的目标船舶图片和实船摄像头拍摄的目标船舶图片，并利用labelImg将所有采集的图片标记为yolo格式文件。
所述Pixels-IoU函数具体为：
Figure BDA0003431192430000031
式中，
Figure BDA0003431192430000032
Figure BDA0003431192430000033
Sb∪b′＝w*h+w′*h-Sb∪b′
其中，p(i,j)为图像中的一个像素点，c为OBB框的中心点，w为OBB框的宽度，h为OBB框的高度，t(i,j)为p到box中心线的垂线的交点，p到t的距离记为dh(i,j)，c到t的距离记为dw(i,j)，b为预测框，b'为真实框，F为取两个内核的乘积，w'为真实框b'的宽度，h'为真实框b'的高度，Bb,b'为包围b和b'的最小正方形pi,j∈Bb,b'。
步骤S1还包括：
将由空间注意力和通道注意力共同组成的注意力机制模块添加至YOLOv5目标检测算法的船舶特征提取网络中，对船舶特征向量进行筛选加权，使重要的船舶目标特征占有更大的网络处理比重，增强网络对船舶目标的学习能力，提高对船舶目标检测的准确率。
具体地，通过对YOLOv5目标检测算法的网络结构进行更改后，新加入的注意力模块需加入在YOLOv5的船舶预测部分之前，使网络在注意力模块输出的全局注意力图上预测船舶。
S2、通过所述目标检测模型得到目标船舶的数据，并用图像坐标表示，得到图像信息；
步骤S2具体为：
S21、通过目标检测模型得到目标船舶的数据，所述目标船舶的数据包括目标船舶的类型和位置信息；
S22、将所述目标船舶的位置信息用图像坐标表示，得到图像信息。
S3、获取AIS信息和雷达数据，将雷达数据转换为AIS下的同一坐标系，得到数据信息；
步骤S3具体为：
S31、利用张正友相机标定法对摄像机进行标定，得到所述相机的内参、外参和畸变系数；
S32、通过传感器获取AIS信息和雷达数据进行对准处理，并将所述雷达数据转换为AIS信息的同一坐标系下，得到3D坐标数据集；
S33、根据所述相机的内参、外参、畸变系数和3D坐标数据集求解投影后的2D坐标，并转换到图像坐标系，得到数据信息。
S4、根据所述图像信息和数据信息进行融合后对海上船舶进行检测。
步骤S4具体为：
对所述图像信息和数据信息分配权重，得到融合后的数据，根据所述融合后的数据对海上船舶进行检测。
实施例二
本实施例和实施例一的区别在于，本实施例将结合具体的应用场景，进一步说明本发明上述基于机器视觉与多源数据融合的海上船舶检测方法具体是如何实现的：
步骤1，通过传感器采集网络上的目标船舶图片和实船摄像头拍摄的目标船舶图片，并利用labelImg将所有采集的图片标记为yolo格式文件；
步骤2，利用张正友相机标定法对摄像机进行标定，得到所述相机的内参、外参和畸变系数；
步骤3，根据步骤1中标记得到的yolo格式文件通过YOLOv5目标检测算法训练得到所需船舶的目标检测模型，训练时采用Pixels-IoU函数来代替YOLOv5目标检测算法中原有的GIoU损失函数；
所述Pixels-IoU函数具体为：
Figure BDA0003431192430000051
式中，
Figure BDA0003431192430000052
Figure BDA0003431192430000053
Sb∪b′＝w*h+w′*h-Sb∪b′
其中，p(i,j)为图像中的一个像素点，c为OBB框的中心点，w为OBB框的宽度，h为OBB框的高度，t(i,j)为p到box中心线的垂线的交点，p到t的距离记为dh(i,j)，c到t的距离记为dw(i,j)，b为预测框，b'为真实框，F为取两个内核的乘积，w'为真实框b'的宽度，h'为真实框b'的高度，Bb,b'为包围b和b'的最小正方形pi,j∈Bb,b'。
步骤4，通过传感器获取AIS信息和雷达数据进行对准处理后；
具体地，所述的对准处理具体为根据空间对准和速度插值算法实现，将AIS数据信息转换到本船的坐标系下，对其运动轨迹进行预测，估算出任意时刻AIS船舶中的位置坐标；
步骤5，将步骤4中对准后的雷达数据转换为AIS信息的同一坐标系下，得到3D坐标数据集；
步骤6，根据所述相机的内参、外参、畸变系数和3D坐标数据集求解投影后的2D坐标，并转换到图像坐标系，得到数据信息；
步骤7，将步骤3中得到的目标船舶的位置信息用图像坐标表示，得到图像信息；
步骤8，对所述图像信息和数据信息分配权重，得到融合后的数据，根据所述融合后的数据对海上船舶进行检测，分配权重的过程如下：
8.1、计算每个传感器的最优加权因子；
8.2、根据所有传感器的最优加权因子对所述图像信息和数据信息进行融合，得到融合后的数据。
步骤8.1具体为：
计算每个传感器的估计阈值；
Figure BDA0003431192430000061
式中，Xi(k)表示传感器i在第k次测量的测量值，Rii(k)表示传感器i测量k次时测量值的时间估计阈值；
计算不同传感器之间的时间估计阈值Rij(k)；
Figure BDA0003431192430000062
式中，Xi(k)为传感器i第k次测量的测量值，Xj(k)为传感器j第k次测量的测量值，Rij(k)表示传感器i和传感器j第k次测量值的时间估计阈值；
将所有Rij(k)的均值作为k时刻的测量均值Rij；
Figure BDA0003431192430000063
计算每个传感器的方差；
Figure BDA0003431192430000064
式中，σi 2为传感器i的方差；
根据所述方差计算每个传感器的最优加权因子；
Figure BDA0003431192430000071
式中，Wi *为传感器i的最优加权因子。
所述融合后的数据计算过程如下：
Figure BDA0003431192430000072
式中，n为传感器的总数量。
利用多源传感器对船舶周围环境进行探测，可以有效的避免单传感器的不足，提高船舶检测的准确率。利用自适应加权数据融合算法对视觉信息与位置信息进行融合匹配，保证了融合匹配的准确性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于机器视觉与多源数据融合的海上船舶检测方法,其特征在于,包括步骤：
S1、获取目标船舶的数据，并通过YOLOv5目标检测算法训练得到所需船舶的目标检测模型，训练时采用Pixels-IoU函数来代替YOLOv5目标检测算法中原有的GIoU损失函数；
S2、通过所述目标检测模型得到目标船舶的数据，并用图像坐标表示，得到图像信息；
S3、获取AIS信息和雷达数据，将雷达数据转换为AIS下的同一坐标系，得到数据信息；
S4、根据所述图像信息和数据信息进行融合后对海上船舶进行检测。
2.根据权利要求1所述的基于机器视觉与多源数据融合的海上船舶检测方法，其特征在于，所述的获取目标船舶的数据具体为：
通过传感器采集网络上的目标船舶图片和实船摄像头拍摄的目标船舶图片，并利用labelImg将所有采集的图片标记为yolo格式文件。
3.根据权利要求1所述的基于机器视觉与多源数据融合的海上船舶检测方法，其特征在于，步骤S2具体为：
S21、通过目标检测模型得到目标船舶的数据，所述目标船舶的数据包括目标船舶的类型和位置信息；
S22、将所述目标船舶的位置信息用图像坐标表示，得到图像信息。
4.根据权利要求1所述的基于机器视觉与多源数据融合的海上船舶检测方法，其特征在于，步骤S3具体为：
S31、利用张正友相机标定法对摄像机进行标定，得到所述相机的内参、外参和畸变系数；
S32、通过传感器获取AIS信息和雷达数据进行对准处理，并将所述雷达数据转换为AIS信息的同一坐标系下，得到3D坐标数据集；
S33、根据所述相机的内参、外参、畸变系数和3D坐标数据集求解投影后的2D坐标，并转换到图像坐标系，得到数据信息。
5.根据权利要求1所述的基于机器视觉与多源数据融合的海上船舶检测方法，其特征在于，步骤S4具体为：
对所述图像信息和数据信息分配权重，得到融合后的数据，根据所述融合后的数据对海上船舶进行检测。
6.根据权利要求1所述的基于机器视觉与多源数据融合的海上船舶检测方法，其特征在于，步骤S1还包括：
将由空间注意力和通道注意力共同组成的注意力机制模块添加至YOLOv5目标检测算法的船舶特征提取网络中，对船舶特征向量进行筛选加权。
7.根据权利要求1所述的基于机器视觉与多源数据融合的海上船舶检测方法，其特征在于，所述Pixels-IoU函数具体为：
Figure FDA0003431192420000021
式中，
Figure FDA0003431192420000022
Figure FDA0003431192420000023
Sb∪b′＝w*h+w′*h-Sb∩b′
其中，p(i,j)为图像中的一个像素点，c为OBB框的中心点，w为OBB框的宽度，h为OBB框的高度，t(i,j)为p到box中心线的垂线的交点，p到t的距离记为dh(i,j)，c到t的距离记为dw(i,j)，b为预测框，b'为真实框，F为取两个内核的乘积，w'为真实框b'的宽度，h'为真实框b'的高度，Bb,b'为包围b和b'的最小正方形。
CN202111596103.5A 2021-12-24 2021-12-24 一种基于机器视觉与多源数据融合的海上船舶检测方法 Pending CN114581675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111596103.5A CN114581675A (zh) 2021-12-24 2021-12-24 一种基于机器视觉与多源数据融合的海上船舶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111596103.5A CN114581675A (zh) 2021-12-24 2021-12-24 一种基于机器视觉与多源数据融合的海上船舶检测方法

Publications (1)

Publication Number Publication Date
CN114581675A true CN114581675A (zh) 2022-06-03

Family

ID=81769158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111596103.5A Pending CN114581675A (zh) 2021-12-24 2021-12-24 一种基于机器视觉与多源数据融合的海上船舶检测方法

Country Status (1)

Country Link
CN (1) CN114581675A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861839A (zh) * 2022-07-07 2022-08-05 三亚海兰寰宇海洋信息科技有限公司 一种目标数据的处理方法、装置及设备
CN115560640A (zh) * 2022-12-06 2023-01-03 中国人民解放军海军工程大学 一种基于双站观测的弹丸脱靶量在线自动检测方法及系统
CN115620172A (zh) * 2022-12-21 2023-01-17 中国电子科技集团公司第十四研究所 一种基于跨域多特征海上舰船目标智能化综合识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861839A (zh) * 2022-07-07 2022-08-05 三亚海兰寰宇海洋信息科技有限公司 一种目标数据的处理方法、装置及设备
CN114861839B (zh) * 2022-07-07 2022-10-21 三亚海兰寰宇海洋信息科技有限公司 一种目标数据的处理方法、装置及设备
CN115560640A (zh) * 2022-12-06 2023-01-03 中国人民解放军海军工程大学 一种基于双站观测的弹丸脱靶量在线自动检测方法及系统
CN115560640B (zh) * 2022-12-06 2023-03-10 中国人民解放军海军工程大学 一种基于双站观测的弹丸脱靶量在线自动检测方法及系统
CN115620172A (zh) * 2022-12-21 2023-01-17 中国电子科技集团公司第十四研究所 一种基于跨域多特征海上舰船目标智能化综合识别方法

Similar Documents

Publication Publication Date Title
CN114581675A (zh) 一种基于机器视觉与多源数据融合的海上船舶检测方法
Shao et al. Saliency-aware convolution neural network for ship detection in surveillance video
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN111523465A (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN112598733B (zh) 一种基于多模态数据融合补偿自适应优化的船舶检测方法
CN109145747A (zh) 一种水面全景图像语义分割方法
CN111652097A (zh) 一种图像毫米波雷达融合目标检测方法
CN110910327B (zh) 一种基于掩模增强网络模型的无监督深度补全方法
CN115082855A (zh) 基于改进yolox算法的行人遮挡检测方法
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN110667783A (zh) 一种无人艇辅助驾驶系统及其方法
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统
CN111222502A (zh) 一种红外小目标图像标注方法及系统
CN110211190B (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
CN115830140A (zh) 一种海上近程光电监控方法、系统、介质、设备及终端
CN115639536B (zh) 基于多传感器融合的无人船感知目标检测方法及装置
CN113256711A (zh) 一种单目相机的位姿估计方法及系统
Lu et al. Towards Generalizable Multi-Camera 3D Object Detection via Perspective Debiasing
CN113537397A (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN112966594A (zh) 一种环境感知方法
TW202223843A (zh) 船舶輔助校正系統及其運作方法
CN110895680A (zh) 一种基于区域建议网络的无人艇水面目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination