CN115147723B - 一种内河船舶识别与测距方法、系统、介质、设备及终端 - Google Patents

一种内河船舶识别与测距方法、系统、介质、设备及终端 Download PDF

Info

Publication number
CN115147723B
CN115147723B CN202210810325.0A CN202210810325A CN115147723B CN 115147723 B CN115147723 B CN 115147723B CN 202210810325 A CN202210810325 A CN 202210810325A CN 115147723 B CN115147723 B CN 115147723B
Authority
CN
China
Prior art keywords
point
network
ship
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210810325.0A
Other languages
English (en)
Other versions
CN115147723A (zh
Inventor
郑元洲
钱龙
秦世权
刘欣宇
吕学孟
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210810325.0A priority Critical patent/CN115147723B/zh
Publication of CN115147723A publication Critical patent/CN115147723A/zh
Application granted granted Critical
Publication of CN115147723B publication Critical patent/CN115147723B/zh
Priority to US18/325,069 priority patent/US11948344B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于内河船舶识别与测距技术领域，公开了一种内河船舶识别与测距方法、系统、介质、设备及终端，在船舶识别阶段，以经典YOLO‑V4网络模型为基础，采用MobileNetV1网络取代YOLO‑V4模型的特征提取网络CSPDarknet53；在船舶测距阶段，建立双目立体视觉测距模型，采用FSRCNN网络对原始图像对进行超分辨率重建，增强船舶特征信息；使用ORB算法实现在亚像素级别的特征检测与匹配，得到图像对间的视差值，通过三角测量原理和坐标转换得到船舶目标的深度信息。本发明丰富了船舶对航行环境的感知手段，提高了内河船舶航行的安全性，推动了未来智能船舶的发展，对于未来智能船舶的发展具有重要意义。

Description

一种内河船舶识别与测距方法、系统、介质、设备及终端
技术领域
本发明属于内河船舶识别与测距技术领域，尤其涉及一种内河船舶识别与测距方法、系统、介质、设备及终端。
背景技术
目前，随着经济全球化在21世纪的不断深入，水路运输作为一种重要的交通运输方式，承载了全球大宗贸易近9成的货运量，极大推动了世界和区域经济的发展。目前，我国航运业也取得了重大进步，海洋尤其是内河船舶数量逐年上升，在促进国家经济发展的同时，也导致船舶交通事故呈现不断上升的趋势，因此在交通密度高，条件复杂的港口或水域，提高船舶航行的安全性是一个关键问题。船舶交通服务(Vessel Traffic Service，VTS)可以有效监管船舶航行态势，一定程度上降低了海上交通事故的发生，然而内河环境复杂多变，航道中船舶密集程度高，使得VTS的作用受到极大限制。船舶安全航行的关键在于对周围航行环境的有效感知，驾驶员能够依据得到的信息做出及时、正确的决策。船舶自动识别系统(AIS)是目前航运业主要的环境感知手段，但由于部分船舶不按规定保持AIS处于正常工作状态、不按规定在设备中输入本船准确信息等行为时常发生，一定程度上影响着船舶的航行安全。因此，如何弥补现有感知手段的不足，进一步提高海事监管能力，成为船舶安全领域的一个热点问题。
目前，智能航运逐渐成为新的发展趋势，世界各国都在进行水上交通智能化方向的研究，利用各类传感器、通信设备等方法，智能感知和接收船舶数据、航行环境、进出港口以及码头等方面的信息，采用大数据、机器学习、图像处理、模式识别等方式进行信息的有效处理，从而进行分析、评估与决策，以提高船舶航行的安全性。计算机视觉作为一种交叉性学科，进一步推动了智能航运的发展。
双目立体视觉技术作为计算机视觉领域的一个分支逐步走向成熟，其主要由双目相机标定、图像立体匹配和深度计算三部分组成，通过模拟人的“眼睛”，以两台摄像机同时拍摄相同的目标场景，直接处理周围环境信息，由三角测量原理实现对三维场景中目标的识别与距离测量。该技术结构简单，具有较高的灵活性和可靠性，被广泛应用于三维图像重建、机器人导航、工业产品的质量检测等方面。华盛顿大学和微软公司将双目立体视觉技术安装在火星勘测轨道飞行器上，通过在不同位置拍摄星体图像，利用坐标转换恢复空间点的三维坐标，可以得到较为精准的天体景观。Ma等将UAV与双目立体视觉感知技术相结合，构建了输电线路自动检测系统，实现了对输电线路部件的自动实时检测，具有较好的鲁棒性和准确性。Zhang建立了一种基于深度学习和双目视觉的目标距离测量模型，通过标定得到相机的内外参数，利用Faster R-CNN算法对目标进行识别，将获取的特征点带入到双目立体模型，进而得到目标物体的深度信息，但此模型只实现了对单一目标的识别和测距，适用性较弱。Ding提出了一种基于双目立体视觉的可靠稳定的运动目标定位方法，首先采用O-DHS算法将所识别目标从复杂背景进行分离，采用S-DM算法对提取的特征点进行深度匹配，最后通过坐标转换进行距离和三维坐标的计算，该方法具有较高的定位精度和识别准确性，但算法执行的时间较长，且在复杂环境下的效果差强人意。Li以双目立体视觉原理为基础，建立了一种非接触式位移测量系统，采用模板匹配提取测量点的图像坐标，并通过欧式三维重建恢复其空间位置信息，极大提高了测量系统的实用性，但该算法对于模板匹配的尺寸大小较为敏感，一定程度上影响着位置信息的计算。Liu对双目立体视觉中的相机标定进行了重点研究，提出了一种基于双平行圆柱靶目标和直线激光投影仪的在线标定方法，该方法不需要目标图像的特征点或轮廓信息，通过获取目标图像的激光条带，即可完成相机的标定过程，但算法的计算成本较高，普适性较弱。现有技术提出了一种适用于超高分辨率双目图像的高速立体匹配算法，以小尺寸图像匹配近景目标，大尺寸图像匹配远景目标，通过合并层次匹配的结果得到左右图像的视差图，通过图像金字塔策略计算匹配成本，大大缩短了匹配过程中的时间消耗，但其匹配精度有待进一步提高。
传统的YOLOv4网络结构过于庞大，所计算的参数量也十分巨大，使得训练出来的网络模型具有较大的规模，不适用于在运算能力和内存不足的设备上进行目标检测。因此，亟需设计一种新的内河船舶识别与测距方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有目标识别与距离测量方法只实现了单一目标的识别和测距，适用性较弱；同时算法执行的时间较长，且在复杂环境下的效果差强人意。
(2)现有目标识别与距离测量方法对模板匹配的尺寸大小较为敏感，影响位置信息的计算；算法的计算成本较高，普适性较弱，匹配精度较低。
(3)传统YOLOv4网络结构庞大，计算参数量巨大，训练得到的网络模型具有较大规模，不适用于在运算能力和内存不足的设备上进行目标检测。
发明内容
针对现有技术存在的问题，本发明提供了一种内河船舶识别与测距方法、系统、介质、设备及终端，尤其涉及一种基于双目立体视觉的内河船舶识别与测距方法、系统、介质、设备及终端。
本发明是这样实现的，一种内河船舶识别与测距方法，所述内河船舶识别与测距方法包括：
在船舶目标识别阶段，采用MobileNetV1网络作为YOLO-V4模型的特征提取模块；在船舶目标测距阶段，以ORB算法为基础，提出基于亚像素级别的特征点检测与匹配算法，采用FSRCNN算法对原始图像进行超分辨率重建。
进一步，所述内河船舶识别与测距方法还包括：
在船舶识别阶段，以经典YOLO-V4网络模型为基础，采用MobileNetV1网络取代YOLO-V4模型的特征提取网络CSPDarknet53；在船舶测距阶段，建立双目立体视觉测距模型，采用FSRCNN网络对原始图像对进行超分辨率重建，增强船舶特征信息；使用ORB算法实现在亚像素级别的特征检测与匹配，得到图像对间的视差值，通过三角测量原理和坐标转换得到船舶目标的深度信息。
进一步，所述内河船舶识别与测距方法包括以下步骤：
步骤一，构建双目立体视觉测距模型；
步骤二，构建相机标定模型；
步骤三，构建MobilenetV1-YOLOv4船舶识别模型；
步骤四，进行船舶特征点检测与匹配。
进一步，所述步骤一中的双目立体视觉测距模型的构建包括：
双目立体视觉测距技术通过拟人化的方法感知周围环境的深度，获取真实世界中目标的三维信息。根据三角形测量原理，使用两个平行且共面的相机从不同角度对同一场景进行拍摄成像，通过计算图像对间的视差值恢复深度信息。左、右相机的光心位置分别为Ol和Or，OlXlYlZl和OrXrYrZr为左右相机坐标系；b是相机光心Ol和Or之间的水平距离，称为基线距离；相机的焦距为f；对于三维空间点P(X,Y,Z)，在左右相机的成像坐标系中的投影点坐标分别为p(xl,yl)和p(xr,yr)。将三维模型投影到XOZ平面，由三角形相似原理得：
Figure BDA0003740545380000031
计算得：
Figure BDA0003740545380000041
式中，xl-xr称为视差d，表示点P在左右相机上对应投影点的偏移量；z为点P的深度值；在参数f和b确定的情况下，通过求解目标点在左右相机的像素坐标系下的x或y坐标的差值，求得目标点的深度z。
计算所述点在左右相机成像平面的投影点坐标pl(xl,yl)和pr(xr,yr)，通过坐标系之间的转换得到所述点的三维信息，进而得到目标点P的深度信息。
所述步骤二中的相机标定模型的构建包括：
根据小孔成像原理可知，当三维世界坐标系中一点Pw(Xw,Yw,Zw)，所述点在相机坐标系中的投影坐标为Pc(Xc,Yc,Zc)，在图像坐标系中的坐标为P(x,y)，在像素坐标系中的坐标P(u,v)，Oc为相机光心位置，OcZc为相机光轴。则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的数学表达式为：
Figure BDA0003740545380000042
令
Figure BDA0003740545380000043
称为相机的内参矩阵，则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的数学表达式化简为：
Figure BDA0003740545380000051
式中，
Figure BDA0003740545380000052
dx和dy分别表示每个像素在图像平面x和y方向上的物理尺寸，u0和v0表示图像中心点坐标，R为旋转矩阵，T为平移向量，两者构成相机的外参矩阵
Figure BDA0003740545380000053
而相机的外参和内参矩阵均可由相机标定获得。
进一步，所述步骤三中的MobilenetV1-YOLOv4船舶识别模型的构建包括：
以YOLOv4模型为基础构建船舶目标的识别模型，网络结构由Backbone、Neck和Head组成。YOLOv4网络采用CSPDarknet53作为特征提取的主干网络，结合跨阶段局部结构CSP和残差网络。Neck模块由空间金字塔和路径聚合网络组成，空间金字塔采用5×5，9×9和13×13三种不同规模的池化层。路径聚合网络作为特征融合模块，在特征金字塔网络的基础上增加自底向上的路径；利用Head模块对目标进行检测，输出13×13，26×26和52×52三个不同尺寸的特征图。
设输入图像的尺寸为DK×DK，输入通道为M，卷积核个数为N，卷积核尺寸为DF×DF，则输出的特征图尺寸为DC×DC，输出通道为N。
在传统卷积运算中，需要计算的参数量为：
Params1＝DF×DF×M×N；
而在深度可分离卷积的参数量的计算分为两部分，一部分为深度卷积参数，另一部分为点卷积参数，点卷积核尺寸为1×1，故需要计算的参数量为：
Params2＝DF×DF×M+M×N；
则深度可分离卷积与标准卷积方法的参数量之比为：
Figure BDA0003740545380000054
MobileNetv1网络以深度可分离卷积模块为基础，深度可分离卷积模块采用3×3大小的卷积核进行深度卷积并提取特征信息，在深度卷积和点卷积之间连接一个BN层和一个ReLU层，经过点卷积后通过一个BN层和一个ReLU层输出特征信息。MobileNetv1网络共有28层，第一层为标准3×3卷积，搭建13个深度可分离卷积模块，在全连接层前，采用一个平均池化层将空间分辨率降低到1，通过softmax层对所需识别的每个类别进行概率输出。
将YOLOv4的骨干网络Dark net53替换为MobileNetv1，将MobileNetv1提取的三个不同尺度特征层与传统YOLOv4模型的空间金字塔和路径聚合网络模块相连接，构建Mobilenetv1-YOLOv4目标检测模型。
进一步，所述步骤四中的船舶特征点检测与匹配包括：
FSRCNN网络模型由五部分组成：特征提取、缩小、映射、放大和反卷积，其中前4个部分为卷积层，最后一部分为反卷积层。
FSRCNN网络直接将原始低分辨率图像作为输入，同时采用带参数的线性整流函数PReLU作为激活函数。FSRCNN网络采用d个5×5大小的卷积核进行特征提取，采用s个1×1大小的卷积核对提取的特征进行收缩，采用m个3×3大小的卷积进行串联作为映射层，并采用d个1×1大小的卷积核进行扩张，在网络的最后采用1个9×9大小的卷积核进行反卷积从而得到高分辨率图像。
PReLU如下式所示：
Figure BDA0003740545380000061
FSRCNN网络训练时采用均方误差作为损失函数，如下式所示：
Figure BDA0003740545380000062
其中，Ys i和Xi分别是训练数据中第i对超分辨率图像和低分辨率图像。
Figure BDA0003740545380000063
为网络输出，θ为网络中的超参数。
ORB算法用于对图像中的关键特征点快速创建特征向量，从而识别图像中对应的目标，包括以下步骤：
(1)特征点提取
ORB算法采用FAST算法寻找图像中的显著特征点，若图像中某一像素与周围邻域内足够多的像素点相差较大，则像素可能就是特征点，具体步骤如下：
①选择待检测图像中某个像素点P，像素点的像素值为IP，以P为圆心，半径为3确定一个圆，所确定的圆上有16个像素，分别表示为：P1，P2，…，P16；
②确定一个阈值：t；
③计算所确定的圆上的所有像素值与P的像素值的差值，若存在连续N个点满足下式，其中Ix表示圆上16个像素中的某一点，将所述点作为一个候选点，令N＝12；对于每个像素点都检测第1，9，5，13号像素点，如果四个点中至少有三个满足下式，则所述点为候选检测点，并采用极大值抑制删除多余候选点：
Figure BDA0003740545380000071
(2)BRIEF描述符创建
ORB算法采用BRIEF对所检测关键特征点创建二进制描述符，描述特征向量仅包含0和1，具体步骤如下：
①对待检测图像进行高斯滤波处理；
②BRIEF将候选特征点P作为中心点，取S×S大小的区域，在所述区域内随机选取两个点Px和Py，比较两个点像素的大小，并进行如下赋值：
Figure BDA0003740545380000072
式中，Px和Py分别为区域内随机点x(u1,v1)和y(u2,v2)的像素值；
③在S×S的区域内随机选取n个像素点对，并重复进行二进制赋值，编码过程就是对图像中特征点的描述，就是特征描述子，n的取值为128，258或512；图像特征由n位二进制向量进行描述：
Figure BDA0003740545380000073
ORB算法具有旋转不变的特性，采用关键特征点的主方向对BRIEF描述子进行旋转，其具体过程如下：
①对图像中的任一特征点，在S×S邻域内位置为(xi,yi)的n对像素值，可以用2×n的矩阵来进行表示：
Figure BDA0003740545380000074
②利用FAST求出的特征点的主方向θ：以角点p的邻域圆作为一个图像块B，可以定义图像块B的距为：
Figure BDA0003740545380000075
通过式(14)可以找到图像块B的质心：
Figure BDA0003740545380000076
连接图像块的几何中心O与质心C就可得到一个方向向量
Figure BDA0003740545380000077
此时，特征点的方向可以定义为：θ＝arctan(m01/m10)。
③计算对应的旋转矩阵Rθ和S：
由步骤②所计算的特征点方向可知：
Figure BDA0003740545380000081
因此，Sθ＝RθS。
④计算旋转描述子：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ (15)
式(15)中，
Figure BDA0003740545380000082
即BRIEF的描述子。由此可以实现ORB算法的旋转不变特性。
(3)特征点匹配
计算图像对中特征描述符间的汉明距离，也就是计算特征点之间的相似度，若小于给定的阈值，则将两个特征点进行匹配。
本发明的另一目的在于提供一种应用所述的内河船舶识别与测距方法的内河船舶识别与测距系统，所述内河船舶识别与测距系统包括：
视觉测距模型构建模块，用于进行双目立体视觉测距模型的构建；
相机标定模型构建模块，用于根据小孔成像原理进行相机标定模型的构建；
MobilenetV1-YOLOv4船舶识别模型构建模块，用于将MobileNetv1提取的三个不同尺度特征层与传统YOLOv4模型的SPP和PANet模块相连接，构建Mobilenetv1-YOLOv4目标检测模型；
船舶特征点检测与匹配模块，用于通过采用FAST算法进行特征点提取后，采用BRIEF对所检测关键特征点创建二进制描述符，再进行特征点匹配。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的内河船舶识别与测距方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的内河船舶识别与测距方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的内河船舶识别与测距系统。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
本发明将双目立体视觉技术应用于内河船舶的识别与测距中，该工作主要分为船舶识别与测距两个阶段。在船舶目标识别阶段，以经典YOLO-V4网络模型为基础，考虑到该模型庞大的网络参数所带来的计算压力，提出采用一种轻量化的网络来完成识别任务，即采用MobileNetV1网络取代YOLO-V4模型的特征提取网络CSPDarknet53，在保证识别准确率的同时，极大地降低了计算量。在船舶目标测距阶段，首先建立双目立体视觉测距模型，然后采用FSRCNN网络对原始图像对进行超分辨率重建，进一步增强船舶特征信息，接着使用ORB算法实现在亚像素级别的特征检测与匹配，由此得到图像对之间的视差值，最后通过三角测量原理和坐标转换得到船舶目标的深度信息。
为提高内河船舶航行的安全性，丰富其环境感知手段，本发明对双目立体视觉的内河船舶识别与测距进行了相关分析。在船舶识别阶段，考虑到经典YOLOv4模型庞大的网络参数所带来的计算压力，本发明提出采用MobileNetV1网络作为YOLO-V4模型的特征提取模块，结果表明MobileNetV1-YOLO-V4模型的mAP值达到了89.25％，骨干网络的权重大小仅为47.6M，在保证识别准确率的同时，极大地降低了计算量。在船舶测距阶段，本发明以ORB算法为基础，提出了一种基于亚像素级别的特征点检测与匹配算法，即首先采用FSRCNN算法对原始图像进行超分辨率重建，进一步增加图像特征点的稠密度及检测精度，从而更有利于图像视差值的计算。船舶测距结果表明，当距离目标300m左右时，其测距误差在3％以下，具有较高的测距精度，能够满足内河船舶的测距需要。
本发明所提出的双目立体视觉测距技术可以实现对不同距离的船舶进行测距。以激光测距仪为标准时，该技术所计算的距离存在一定的误差，当目标距离在300m左右时，误差在±2％以下，当目标距离大于300m时，误差有所增加，原因在于随着目标距离的增大，对特征点的检测与匹配难度也会进一步加大，影响了视差的计算结果，由此造成误差在一定程度上呈现增大的趋势，但整体上，误差均在±3％以下。在内河船舶航行过程中，在300m左右的距离即可满足船舶做出相对应的决策。因此，该技术可以满足内河船舶的测距需求，对于未来智能船舶的发展具有重要的研究意义。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明提供的双目立体视觉测距技术弥补了现有环境感知手段的不足，一定程度上提高了船舶航行安全性，极大推动了未来智能船舶的发展。本发明所提出的双目立体视觉技术进一步丰富了船舶对航行环境的感知手段，提高了内河船舶航行的安全性，对于未来智能船舶的发展具有重要的研究意义。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案填补了国内外业内技术空白：
船舶安全航行的关键在于航行过程中对周围环境的有效感知，并做出及时有效的决策。但目前环境感知手段还是以AIS和雷达为主，两者均有一定的弊端。本发明将双目立体视觉技术应用于内河复杂的环境下，通过为船舶装备“双眼”，智能感知航行环境，一定程度上弥补AIS和雷达的不足。该技术不需要向航行环境中的目标物体发射信号，通过视觉信息收集目标的轮廓、形状以及纹理信息，以这些特征信息进行目标的深度信息还原，为船舶决策提供辅助，该技术较其他传感器有着明显的优势和良好的应用前景。
(2)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：
目前，智能船舶是航运业主要的发展趋势，通过安装各种船载传感器，有效感知船舶航行环境进而提高船舶的安全航行。但目前的技术无法对远距离的目标进行有效识别与距离测量，如：他船、礁石和冰川等障碍物以及助航标志，一定程度上影响了船舶的航行安全。基于此，本发明将双目立体视觉技术应用于内河船舶的识别与测距中，通过实验证明可知，在内河复杂的大环境下，该技术可以有效识别出各类目标船舶，并准确测量与目标船之间的距离信息，船舶目标识别和距离测量精度均较高，具有一定的实时性，满足内河船舶在突然状况下及时做出有效决策。
(3)本发明的技术方案是否克服了技术偏见：
目前，随着计算机视觉的不断发展，双目立体视觉技术逐渐走向成熟，但主要应用于小场景，如：工业中的机械臂、医学领域以及机器人抓取等。相对于内河复杂环境来说较为困难。为此，本发明以工业枪型相机为基础搭建双目设备，通过增大基线距离来扩大视野范围，同时，为了增加目标特征点的稠密度，提出了一种亚像素级别的特征点检测与匹配方法，进一步提高视差值的计算准确度，进而提高目标的距离测量精度。此外，该技术考虑了工程应用的实时性，构建了更为轻量化的目标识别模型，在保证识别准确率的前提下进一步提高了识别效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的内河船舶识别与测距方法流程图；
图2是本发明实施例提供的双目立体视觉三维定位模型示意图；
图3是本发明实施例提供的双目立体视觉模型的XOZ投影面示意图；
图4是本发明实施例提供的相机成像模型示意图；
图5是本发明实施例提供的YOLOv4网络结构示意图；
图6是本发明实施例提供的标准卷积和深度可分离卷积示意图；
图7是本发明实施例提供的深度可分离卷积模块示意图；
图8是本发明实施例提供的Mobilenetv1-YOLOv4网络结构示意图；
图9是本发明实施例提供的FSRCNN模型流程图；
图10是本发明实施例提供的FAST特征点检测示意图；
图11是本发明实施例提供的相机标定的重投影误差示意图；
图12是本发明实施例提供的船舶图像数据及标注示意图；图(a)为船舶图像，图(b)为Labelimg标注过程；
图13是本发明实施例提供的Mobilev1-yolov4网络Loss曲线图；
图14是本发明实施例提供的Mobilev1-yolov4网络船舶识别效果图；
图15是本发明实施例提供的FSRCNN网络重建效果示意图；
图16是本发明实施例提供的左右目图像特征点匹配示意图；
图17是本发明实施例提供的双目测距效果示意图；
图18是本发明实施例提供的Bulk cargo carrier跟踪测距示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种内河船舶识别与测距方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的内河船舶识别与测距方法包括以下步骤：
S101，构建双目立体视觉测距模型；
S102，构建相机标定模型；
S103，构建MobilenetV1-YOLOv4船舶识别模型；
S104，进行船舶特征点检测与匹配。
作为优选实施例，本发明实施例提供的内河船舶识别与测距方法具体包括：
1.双目立体视觉测距模型
双目立体视觉测距技术通过拟人化的方法来感知周围环境的深度，获取真实世界中目标的三维信息。根据三角形测量原理，使用两个平行且共面的相机从不同角度对同一场景进行拍摄成像，通过计算图像对之间的视差值进而恢复深度信息。如图2所示，左、右相机的光心位置分别为Ol和Or，OlXlYlZl和OrXrYrZr为左右相机坐标系；b是相机光心Ol和Or之间的水平距离，称为基线距离；相机的焦距为f；对于三维空间点P(X,Y,Z)，其在左右相机的成像坐标系中的投影点坐标分别为p(xl,yl)和p(xr,yr)。
将上述三维模型投影到XOZ平面，如图3所示。
由三角形相似原理可得：
Figure BDA0003740545380000121
计算可得：
Figure BDA0003740545380000122
式(2)中，xl-xr称为视差d，表示点P在左右相机上对应投影点的偏移量；z即为点P的深度值；由式(2)可知，在参数f和b确定的情况下，只需求解目标点在左右相机的像素坐标系下的x或y坐标的差值，即可求得目标点的深度z。
因此，为了得到目标点P的深度信息，需计算该点在左右相机成像平面的投影点坐标pl(xl,yl)和pr(xr,yr)，通过坐标系之间的转换即可得到该点的三维信息。
2.相机标定模型
双目立体视觉测距技术中，为得到目标点的三维信息，必须建立相机成像的几何模型，也就是相机的内外参数，求解参数的过程就称为相机标定，而标定结果的精度及稳定性也会对测距结果造成一定的影响。相机的成像过程采用小孔成像模型，其原理如图4所示。现实中使用相机进行拍摄时，物体反射的光线通过相机镜头投影在成像平面，展示了三维空间中的点通过坐标转换投影在二维图像上，此过程主要涉及四个坐标系之间的变换：世界坐标系、相机坐标系、图像坐标系以及像素坐标系。
根据小孔成像原理可知，在图4中，假设三维世界坐标系中一点Pw(Xw,Yw,Zw)，该点在相机坐标系中的投影坐标为Pc(Xc,Yc,Zc)，在图像坐标系中的坐标为P(x,y)，在像素坐标系中的坐标P(u,v)，Oc为相机光心位置，OcZc为相机光轴。则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的数学表达式为：
Figure BDA0003740545380000131
令
Figure BDA0003740545380000132
称为相机的内参矩阵，则上式可化简为：
Figure BDA0003740545380000133
式(3)～(4)中，
Figure BDA0003740545380000134
dx和dy分别表示每个像素在图像平面x和y方向上的物理尺寸，u0和v0表示图像中心点坐标，R为旋转矩阵，T为平移向量，两者构成相机的外参矩阵
Figure BDA0003740545380000135
而相机的外参和内参矩阵均可由相机标定获得。
3.MobilenetV1-YOLOv4船舶识别模型
3.1YOLOv4网络
YOLO(you only look once)是Redmon等在2016年提出的一种one-stage目标检测算法，该算法将传统目标检测的分类问题转化为回归问题，用一个卷积神经网络就可以直接从输入图像上预测目标的位置和概率，实现了端到端的目标检测算法。本发明以YOLOv4模型为基础构建船舶目标的识别模型，其网络结构主要由Backbone、Neck和Head组成，如图5所示。
YOLOv4网络采用CSPDarknet53作为特征提取的主干网络，此外结合了跨阶段局部结构(CSP)和残差网络，有效解决了Darknet53网络中梯度信息重复的问题，并可以提取更高级别的特征信息，在减少模型参数的同时，进一步增强了Backbone网络的特征提取能力。Neck模块主要由空间金字塔(SPP)和路径聚合网络(PANet)组成，SPP采用了三种不同规模的池化层：5×5，9×9和13×13，输入特征经过最大池化后，可以极大地增加感受野的范围，从而消除输入图像尺度不一致的影响，并产生固定长度的输出。PANet网络则作为特征融合模块，其在特征金字塔网络(FPN)的基础上增加了自底向上的路径，以此来提高模型对不同层次特征的提取能力。最后，利用Head模块来对目标进行检测，并输出三个不同尺寸的特征图：13×13，26×26和52×52。
3.2MobileNetv1网络
MobileNet是专门为移动和嵌入式设备提出的高效轻量级网络，它基于深度可分离卷积(depth wise separable convolution)方法，将标准卷积分解为深度卷积和卷积核大小为1×1的点卷积，深度卷积对输入图像的每个通道进行卷积，而点卷积则用于组合通道卷积输出，这种卷积方法可以有效减少计算量，降低模型的规模。标准卷积和深度可分离卷积效果如图6所示。
设输入图像的尺寸为DK×DK，输入通道为M，卷积核个数为N，卷积核尺寸为DF×DF，则输出的特征图尺寸为DC×DC，输出通道为N。
在传统卷积运算中，需要计算的参数量为：
Params1＝DF×DF×M×N (5)
而在深度可分离卷积的参数量的计算分为两部分，一部分为深度卷积参数，另一部分为点卷积参数，这里点卷积核尺寸为1×1。因此，需要计算的参数量为：
Params2＝DF×DF×M+M×N (6)
则深度可分离卷积与标准卷积方法的参数量之比为：
Figure BDA0003740545380000141
由式(7)可知，通过设置不同大小的卷积核尺寸，就可以在一定程度上减小网络的参数量。MobileNetv1网络以深度可分离卷积模块为基础，深度可分离卷积模块如图7所示，采用了3×3大小的卷积核进行深度卷积并提取特征信息，在深度卷积和点卷积之间连接了一个BN层和一个ReLU层，经过点卷积后通过一个BN层和一个ReLU层输出特征信息，其参数量相对减少了8到9倍，但卷积效果与标准卷积相当。现有技术给出了MobileNetv1网络的基本架构，该网络共有28层，第一层为标准3×3卷积，然后搭建13个深度可分离卷积模块，在全连接层前，采用一个平均池化层将空间分辨率降低到1，最后通过softmax层对所需识别的每个类别进行概率输出。
3.3Mobilenetv1-YOLOv4网络结构
考虑到传统YOLOv4网络结构过于庞大，所计算的参数量也十分巨大，使得训练出来的网络模型具有较大的规模，不适用于在运算能力和内存不足的设备上进行目标检测，本发明将YOLOv4的骨干网络Dark net53替换为MobileNetv1，即把MobileNetv1提取的三个不同尺度特征层与传统YOLOv4模型的SPP和PANet模块相连接，构建Mobilenetv1-YOLOv4目标检测模型，使得模型的参数量和运算量都大大降低，Mobilenetv1-YOLOv4网络结构如图8所示。
4.船舶特征点检测与匹配
4.1FSRCNN网络
FSRCNN网络模型由五部分组成：特征提取、缩小、映射、放大和反卷积，其中前4个部分为卷积层，最后一部分为反卷积层，该网络具体操作流程如图9所示。
FSRCNN网络直接将原始低分辨率图像作为输入，同时采用带参数的线性整流函数(parametric rectified linear unit，PReLU)作为激活函数，PReLU如式(8)所示。FSRCNN网络首先采用d个5×5大小的卷积核进行特征提取，然后采用s个1×1大小的卷积核对提取的特征进行收缩，接着采用m个3×3大小的卷积进行串联作为映射层，并采用d个1×1大小的卷积核进行扩张，在网络的最后采用1个9×9大小的卷积核进行反卷积从而得到高分辨率图像。
Figure BDA0003740545380000151
FSRCNN网络训练时采用均方误差作为损失函数，如式(9)所示：
Figure BDA0003740545380000152
其中，Ys i和Xi分别是训练数据中第i对超分辨率图像和低分辨率图像。
Figure BDA0003740545380000153
为网络输出，θ为网络中的超参数。
4.2ORB算法
ORB(Oriented Fast and Rotated BRIEF)算法可以用来对图像中的关键特征点快速创建特征向量，从而识别图像中对应的目标，其主要特点是检测速度快，且基本上不受噪声点和图像旋转变换的约束，该算法主要分为三个步骤：
(1)特征点提取
ORB算法首先采用FAST(Features From Accelerated Segment Test)算法寻找图像中的显著特征点，其主要思想是：若图像中某一像素与其周围邻域内足够多的像素点相差较大，则该像素可能就是特征点。算法具体步骤如下：
①选择待检测图像中某个像素点P，如图10所示。该像素点的像素值为IP，然后以P为圆心，半径为3确定一个圆，此时所确定的圆上有16个像素，分别表示为：P1，P2，…，P16。
②确定一个阈值：t
③计算所确定的圆上的所有像素值与P的像素值的差值，若存在连续N个点满足式(10)，其中Ix表示圆上16个像素在的某一点，那么就可以把该点作为一个候选点，根据经验，一般令N＝12。通常情况下，为了减少计算量并加快特征点寻找效率，对于每个像素点都检测第1，9，5，13号像素点，如果这四个点中至少有三个满足式(10)，则该点为候选检测点。
Figure BDA0003740545380000161
经过候选点检测之后，一般会检测出多个特征点，而这些特征点很可能彼此之间相邻，为了解决这一问题，可以采用极大值抑制来删除多余候选点。
(2)BRIEF描述符创建
ORB算法采用BRIEF(Binary Robust Independent Elementary Features)对所检测关键特征点创建二进制描述符，其描述特征向量仅包含0和1，进而加快了特征描述符的建立，具体步骤如下：
①为了进一步降低特征点对噪声的敏感性，首先对待检测图像进行高斯滤波处理。
②BRIEF将候选特征点P作为中心点，取S×S大小的区域，在此区域内随机选取两个点Px和Py，然后比较两个点像素的大小，并进行如下的赋值：
Figure BDA0003740545380000162
式(11)中，Px和Py分别为区域内随机点x(u1,v1)和y(u2,v2)的像素值。
③在S×S的区域内随机选取n个像素点对，并重复式(12)进行二进制赋值，此编码过程就是对图像中特征点的描述，即为特征描述子，n的取值通常为128，258或512。此时，图像特征可以由n位二进制向量进行描述，即：
Figure BDA0003740545380000171
ORB算法具有旋转不变的特性，采用关键特征点的主方向来对BRIEF描述子进行旋转。其具体过程如下：
①对图像中的任一特征点，在S×S邻域内位置为(xi,yi)的n对像素值，可以用2×n的矩阵来进行表示：
Figure BDA0003740545380000172
②利用FAST求出的特征点的主方向θ：以角点p的邻域圆作为一个图像块B，可以定义图像块B的距为：
Figure BDA0003740545380000173
通过式(14)可以找到图像块B的质心：
Figure BDA0003740545380000174
连接图像块的几何中心O与质心C就可得到一个方向向量
Figure BDA0003740545380000175
此时，特征点的方向可以定义为：θ＝arctan(m01/m10)。
③计算对应的旋转矩阵Rθ和S：
由步骤②所计算的特征点方向可知：
Figure BDA0003740545380000176
因此，Sθ＝RθS。
④计算旋转描述子：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ (15)
式(15)中，
Figure BDA0003740545380000177
即BRIEF的描述子。由此可以实现ORB算法的旋转不变特性。
(4)特征点匹配
计算图像对中特征描述符之间的汉明距离，即特征点之间的相似度，若小于给定的阈值，则将两个特征点进行匹配。
5、结论
随着经济全球化的不断深入，水路运输逐渐成为国际贸易最主要的运输方式之一。目前，船舶数量、种类和新的航线不断增加，虽使航运业呈现出欣欣向荣的气象，但也会使得航道拥挤、负载增大，进而影响着船舶航行安全，并严重威胁着船舶人员的生命和财产安全，而由航运事故调查分析可知，人为失误是造成海上及内河事故的主要原因。船舶安全航行的关键在于对周围航行环境的感知，并有效利用各种感知信息进行正确的分析与决策，AIS作为一种常用的航行环境感知手段，其在接收和发送船舶信息过程中存在一定的弊端，并制约了船舶的操纵行为，对船舶的安全航行造成一定程度的影响。
本发明针对内河船舶航行过程中现有环境感知手段的不足，将双目立体视觉技术应用于内河船舶的识别与测距中，该工作主要分为船舶识别与测距两个阶段。在船舶目标识别阶段，以经典YOLO-V4网络模型为基础，考虑到该模型庞大的网络参数所带来的计算压力，提出采用一种轻量化的网络来完成识别任务，即将MobileNetV1网络取代YOLO-V4模型的特征提取网络CSPDarknet53，结果表明MobileNetV1-YOLO-V4模型的mAP值达到了89.25％，骨干网络的权重大小仅为经典YOLOv4网络的20％，在保证识别准确率的同时，极大地降低了计算量。在船舶测距阶段，提出了一种基于亚像素级别的特征点检测与匹配算法，即以ORB算法为基础，采用FSRCNN网络对图像对进行超分辨率重建，进一步增强船舶特征信息，更有利于图像视差值的计算。通过对内河船舶的测距实验可知，当距离目标300m左右时，其测距误差在3％以下，具有较高的测距精度。本发明所提出的双目立体视觉技术进一步丰富了船舶对航行环境的感知手段，提高了内河船舶航行的安全性，对于未来智能船舶的发展具有重要的研究意义。
本发明实施例提供的内河船舶识别与测距系统包括：
视觉测距模型构建模块，用于进行双目立体视觉测距模型的构建；
相机标定模型构建模块，用于根据小孔成像原理进行相机标定模型的构建；
MobilenetV1-YOLOv4船舶识别模型构建模块，用于将MobileNetv1提取的三个不同尺度特征层与传统YOLOv4模型的SPP和PANet模块相连接，构建Mobilenetv1-YOLOv4目标检测模型；
船舶特征点检测与匹配模块，用于通过采用FAST算法进行特征点提取后，采用BRIEF对所检测关键特征点创建二进制描述符，再进行特征点匹配。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
双目立体视觉技术作为一种精度高、速度快、操作简便的非接触式目标识别与测量方法，已经在国防、航空测绘、生物医学、机器人导航、工业检测等领域取得了广泛的应用。
在视觉导航领域，其应用于车辆无人驾驶、移动机器人导航和无人机等；在工业产品检测领域，将图像和视觉技术应用于生产自动化中，可以加快生产速度，保证产品质量的一致性，还可以避免工作人员因疲劳和注意力不集中而产生的失误；在生物医学领域，该技术主要用于辅助医生进行医学图像分析，不仅如此，还可以用于生物和化学分析，如血细胞计数自动分类、染色体分析、癌细胞识别等；在航空、航天、兵器和测绘等领域，该技术可以减少训练中的损伤，也可以提高工作效率。同时，在武器装备上建立了立体系统，如自动导航车辆，可以提高士兵在战场上的生存能力，该技术在战场上发挥着重要作用；在虚拟现实领域，该技术包括三维计算机图形学、广角立体显示技术、场景建模、战场环境模拟等。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
实验结果与分析
1.实验环境及设备
实验采用Windows10系统进行，处理器为i7-11800H 2.30GHz，GPU为NVIDIAGeForce RTX3060Ti，实验软件采用Matlab2021b、pycharm2018.3.7、Tensor flow深度学习框架与OpenCV计算机视觉库。其中Matlab2021b主要用来对双目相机进行标定，进而得到相应的内参和外参矩阵，pycharm2018.3.7、Tensor flow与OpenCV则进行目标识别、特征点检测与匹配以及测距任务。
本发明实验地点选择湖北省武汉市南岸嘴江滩公园。采用华下工业枪型摄像机采集内河船舶数据，相机参数如表1所示。通过相机底部云台可实现水平旋转与俯仰角度调节，双目相机之间的水平距离可调节范围为[0.3，1.5](单位：米)。
表1相机参数
Figure BDA0003740545380000191
2.相机标定分析
相机标定是双目立体视觉测距技术的基础工作，标定结果的精度与测距效果息息相关。在设备搭建过程中，相机的结构参数、环境等因素对标定结果造成一定的影响，实验中将相机水平间距设置为50cm，并与江面保持水平。为了增加实验灵活性和可操作性，本发明采用张正友标定法进行相机标定实验，该标定法集成在MATLAB工具箱Stereo CameraCalibration，并与Heikkil and Silven提出的内参模型、畸变模型相结合，且标定结果精度较高，是目前比较常用的一种相机标定方法。
实验首先制作一个16×9的黑白棋盘格标定板，每个网格的大小为60mm，采用双目相机从不同角度对标定板进行拍摄，实验中拍摄了30组标定板图像，经筛选后选择18组数据进行相机标定，标定结果如表2所示。
表2相机标定结果
Figure BDA0003740545380000201
表2中，由相机的内参矩阵可知，相机焦距近似相同，且旋转矩阵相似于单位矩阵，说明两相机基本处于平行状态。相机的重投影误差如图11所示，可知，标定误差最大为0.40个像素，平均误差为0.24个像素，均小于1个像素，达到了可供实验使用的标准，使用获取的标定参数即可对左右目图像进行立体校正处理。
3.船舶目标识别分析
3.1数据采集与标注
实验采用双目立体相机共采集了2000张内河船舶图像，分辨率为1280×720，共三类船舶，分别为：container ship、passenger ship、ore carrier。将船舶图像数据输入到mobilev1-yolov4网络之前需要对图像进行一定的标注操作，本发明采用LabelImg工具对船舶目标进行标注，标注结果包含了船舶目标框的位置信息即目标的坐标值，类别信息等，部分船舶图像数据和标注过程如图12所示。
3.2评价指标
深度学习中目标检测评价指标是衡量检测结果质量的依据，本发明实验综合考虑了检测结果的精确性(Precision)、召回率(Recall)以及类别评价准确率mAP(meanAverage Precision)，Precision、Recall和mAP的数学表达式如式(16)～(18)所示：
Figure BDA0003740545380000211
Figure BDA0003740545380000212
Figure BDA0003740545380000214
其中，TP(True positives)表示正样本被正确检测为正样本的数量；FN(Falsenegatives)表示正样本被检测为负样本的数量；FP(False positives)表示负样本被检测为正样本的数量，mAP表示多个样本Precision-reacll曲线下面积的均值，在目标检测中用于检测精度的度量。
3.3船舶目标识别分析
在目标识别环节，首先使用K-means算法获得船舶目标候选框，每个尺度产生三个不同大小的候选框，因此这里产生了9个候选框，每个候选框的大小如表3所示。
表3每个候选框的大小
Figure BDA0003740545380000213
目标识别环节本发明综合考虑拍摄目标场景的多样性，采用Mosaic数据增强方法对所采集的船舶图像进行多角度随机裁剪与拼接，更进一步丰富了数据样本。实验中将数据集按9：1的比例随机分为训练集和测试集，为了验证所改进的YOLOv4算法的有效性，采用经典YOLOv4算法进行对比实验，网络关键参数设置如下：learning_rate＝0.001，batch_size＝4，optimizer＝SGD，epoch＝300。Mobilev1-yolov4网络训练的loss曲线如图13所示。可以看出，在经过300次网络训练后，loss值不断下降并最终收敛于0.1，得到一个较好的训练模型。
将测试集数据输入到已训练好的模型中，模型识别效果如图14所示，可以看出，Mobilv1-yolov4模型可以准确识别出不同种类的船舶目标，且具有较高的精度。
在网络性能量化评估阶段，为了更好地比较两种模型的优劣，两者均在python平台进行，模型关键参数均设置为：learning_rate＝0.001，optimizer＝SGD，实现300次迭代进行网络训练。采用Precision、Recall、mAP、FPS和骨干网络权重大小Backbone_weights6个指标进行评估分析，经典Yolov4模型和Mobilv1-yolov4模型的实验对比结果如表4所示。
表4经典Yolov4模型和Mobilv1-yolov4模型的实验对比
Figure BDA0003740545380000221
表4显示了两种模型的对比实验结果，可以看出两者在不同指标下表现出不同的优劣，在相同输入维度下，Yolov4模型和Mobilev1-yolov4模型对三种类型船舶的识别结果均表现出较强的优势，其中对于container ship类型的船舶，其Precision和Recall两项指标均达到了100％，相比之下ore carrier和passenger ship船舶的识别效果则略低，原因在于所拍摄的场景中container ship类型的船舶数量较多，更有利于模型训练，orecarrier和passenger ship类型船舶较少，一定程度上影响了识别效果，总体上，两者的mAP值均达到了90％左右。对于骨干网络的权重大小指标上，Mobilev1-yolov4模型的权重大小仅为Yolov4模型的20％左右，极大缓解了计算机的计算和内存压力，并且Mobilev1-yolov4模型的FPS达到了66.23，而Yolov4模型仅为26.11，可见，将Mobilev1网络取代经典Yolov4网络的特征提取模块，在保证较高识别精度的基础上极大地减少了网络参数，提高计算速度，并具有较高的实时性。
4.船舶测距分析
4.1船舶特征点检测与匹配分析
在实际应用中，由于环境及相机等因素，在使用基于灰度相关的匹配算法时，图像中特征点较为稀疏，不易于特征点检测与识别，难以获得准确的图像匹配结果，不易进行视差值的计算，进而影响测距效果。针对这些问题，本发明提出了一种基于区域的亚像素特征点匹配方法，首先采用mobilev1-yolov4网络输出的船舶目标边界框提取船舶区域，然后采用FSRCNN网络对船舶区域进行超分辨率增强，进一步增加特征点数量，最后采用ORB算法进行船舶特征点的检测与匹配。
本发明采用通用数据集ImageNet-91对FSRCNN网络进行训练，测试集采用自己制作的图像数据集Set14，FSRCNN网络训练过程中learning_rate＝10-5，优化器为Adam，epoch＝60K。经FSRCNN网络重建后效果如图15所示，可以看出，船舶图像经过超分辨率重建后，增强了图像中的边缘特征信息，使得图像更加清晰，一定程度上达到了去噪的效果。
为了进一步量化FSRCNN网络的性能，采用峰值信噪比(Peak Signal to NoiseRatio，PSNR)进行评估，并与ESPCN方法进行对比实验，测试集部分图片实验结果如表5所示。由表5可知，采用FSRCNN方法重建的图像PSNR较高，则说明图像质量越好，失真越小；对于不同大小的图像，两种方法的重建时间表现相当，总体上两者的重建时间都较短。
表5测试集图像重建效果
Figure BDA0003740545380000231
对经过超分辨率重建后的船舶图像采用ORB算法进行特征点提取和匹配过程，该算法通过构建图像金字塔进行下采样特征提取，并基于FAST算法对每个下采样的图像进行特征点检测，船舶特征点提取与匹配效果如图16所示，可知ORB算法可以获得较好的特征点匹配效果，匹配对包含了图像大量边缘及轮廓信息，分布更加均匀，更有利于视差的计算。
4.2船舶距离测量分析
实验中，采用ORB算法会检测出多个特征点，并得到较多的视差值，本发明采用单个目标的所有特征点的平均视差值来进行目标深度的计算。船舶目标测距效果如图17所示。
实验中，以某艘Bulk cargo carrier为例进行船舶目标的连续测距，如图18所示，坐标(0,0)为相机所在位置。双目相机所拍摄船舶大多处于直航状态，船舶大致以直线航路航行，可知，对于Bulk cargo carrier船的测距，其距离计算值波动较小，基本保持稳定的状态，与船舶航行状态基本保持一致。
为了进一步说明双目测距实验的有效性，本发明采用SNDWAY-1000A激光测距仪进行验证，该设备在1000m以内的距离测量误差为±0.5m，以测距仪所测距离为标准进行误差分析。实验中对10艘船舶进行分析，结果如表6所示。
表6船舶距离测量对比结果
Figure BDA0003740545380000232
Figure BDA0003740545380000241
由表6可以看出，本发明所提出的双目立体视觉测距技术可以实现对不同距离的船舶进行测距。以激光测距仪为标准时，该技术所计算的距离存在一定的误差，当目标距离在300m左右时，误差在±2％以下，当目标距离大于300m时，误差有所增加，原因在于随着目标距离的增大，对特征点的检测与匹配难度也会进一步加大，影响了视差的计算结果，由此造成误差在一定程度上呈现增大的趋势，但整体上，误差均在±3％以下。在内河船舶航行过程中，在300m左右的距离即可满足船舶做出相对应的决策。因此，该技术可以满足内河船舶的测距需求，对于未来智能船舶的发展具有重要的研究意义。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种内河船舶识别与测距方法，其特征在于，所述内河船舶识别与测距方法包括：
在船舶目标识别阶段，采用MobileNetV1网络作为YOLO-V4模型的特征提取模块；在船舶目标测距阶段，以ORB算法为基础，提出基于亚像素级别的特征点检测与匹配算法，采用FSRCNN算法对原始低分辨率图像进行超分辨率重建；在船舶识别阶段，以YOLO-V4网络模型为基础，采用MobileNetV1网络取代YOLO-V4模型的特征提取网络CSPDarknet53；在船舶测距阶段，建立双目立体视觉测距模型，采用FSRCNN网络对原始低分辨率图像对进行超分辨率重建，增强船舶特征信息；使用ORB算法实现在亚像素级别的特征检测与匹配，得到图像对间的视差值，通过三角测量原理和坐标转换得到船舶目标的深度信息；
所述内河船舶识别与测距方法包括以下步骤：
步骤一，构建双目立体视觉测距模型；
步骤二，构建相机标定模型；
步骤三，构建MobilenetV1-YOLOv4船舶识别模型；
步骤四，进行船舶特征点检测与匹配；
所述步骤四中的船舶特征点检测与匹配包括：
FSRCNN网络模型由五部分组成：特征提取、缩小、映射、放大和反卷积，其中前4个部分为卷积层，最后一部分为反卷积层；
FSRCNN网络直接将原始低分辨率图像作为输入，同时采用带参数的线性整流函数PReLU作为激活函数；FSRCNN网络采用d个5×5大小的卷积核进行特征提取，采用s个1×1大小的卷积核对提取的特征进行收缩，采用m个3×3大小的卷积进行串联作为映射层，并采用d个1×1大小的卷积核进行扩张，在网络的最后采用1个9×9大小的卷积核进行反卷积从而得到高分辨率图像；
PReLU如下式所示：
Figure FDA0004162332760000011
FSRCNN网络训练时采用均方误差作为损失函数，如下式所示：
Figure FDA0004162332760000012
其中，
Figure FDA0004162332760000013
和Xi分别是训练数据中第i对超分辨率图像和低分辨率图像；
Figure FDA0004162332760000014
为网络输出，θ为网络中的超参数；
ORB算法用于对图像中的关键特征点快速创建特征向量，从而识别图像中对应的目标，包括以下步骤：
(1)特征点提取
ORB算法采用FAST算法寻找图像中的显著特征点，若图像中某一像素与周围邻域内足够多的像素点相差较大，则像素就是特征点，具体步骤如下：
①选择待检测图像中某个像素点P，像素点的像素值为IP，以P为圆心，半径为3确定一个圆，所确定的圆上有16个像素，分别表示为：P1，P2，…，P16；
②确定一个阈值：t；
③计算所确定的圆上的所有像素值与P的像素值的差值，若存在连续N个点满足下式，其中Ix表示圆上16个像素中的某一点，将所述点作为一个候选点，令N＝12；对于每个像素点都检测第1，9，5，13号像素点，如果四个点中至少有三个满足下式，则所述点为候选检测点，并采用极大值抑制删除多余候选点：
Figure FDA0004162332760000021
(2)BRIEF描述符创建
ORB算法采用BRIEF对所检测关键特征点创建二进制描述符，描述特征向量仅包含0和1，具体步骤如下：
②对待检测图像进行高斯滤波处理；
②BRIEF将候选特征点P′作为中心点，取S×S大小的区域，在所述区域内随机选取两个点P′x和P′y，比较两个点像素的大小，并进行如下赋值：
Figure FDA0004162332760000022
式中，P′x和P′y分别为区域内随机点x(u1,v1)和y(u2,v2)的像素值；
③在S×S的区域内随机选取n个像素点对，并重复进行二进制赋值，编码过程就是对图像中特征点的描述，就是特征描述子，n的取值为128，256或512；图像特征由n位二进制向量进行描述：
Figure FDA0004162332760000023
ORB算法具有旋转不变的特性，采用关键特征点的主方向对BRIEF描述子进行旋转；其具体过程如下：
①对图像中的任一特征点，在S×S邻域内位置为(xi,yi)的n对像素值，用2×n的矩阵来进行表示：
Figure FDA0004162332760000024
②利用FAST求出的特征点的主方向θ′：以角点P″的邻域圆作为一个图像块B，定义图像块B的矩为：
Figure FDA0004162332760000025
找到图像块B的质心：
Figure FDA0004162332760000026
连接图像块的几何中心O与质心C就可得到一个方向向量
Figure FDA0004162332760000027
此时，特征点的方向定义为：θ′＝arctan(m01/m10)；
③计算对应的旋转矩阵Rθ和S：
由步骤②所计算的特征点方向可知：
Figure FDA0004162332760000031
因此，Sθ＝RθS；
④计算旋转描述子：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ
式中，
Figure FDA0004162332760000032
即BRIEF的描述子；由此实现ORB算法的旋转不变特性；
(3)特征点匹配
计算图像对中特征描述符间的汉明距离，也就是计算特征点之间的相似度，若小于给定的阈值，则将两个特征点进行匹配。
2.如权利要求1所述的内河船舶识别与测距方法，其特征在于，所述步骤一中的双目立体视觉测距模型的构建包括：
双目立体视觉测距技术通过拟人化的方法感知周围环境的深度，获取真实世界中目标的三维信息；根据三角形测量原理，使用两个平行且共面的相机从不同角度对同一场景进行拍摄成像，通过计算图像对间的视差值恢复深度信息；左、右相机的光心位置分别为Ol和Or，OlXlYlZl和OrXrYrZr为左右相机坐标系；b是相机光心Ol和Or之间的水平距离，称为基线距离；相机的焦距为f；对于三维空间点P(X,Y,Z)，在左右相机的成像坐标系中的投影点坐标分别为p(xl,yl)和p(xr,yr)；将三维模型投影到XOZ平面，由三角形相似原理得：
Figure FDA0004162332760000033
计算得：
Figure FDA0004162332760000034
式中，xl-xr称为视差d，表示点P在左右相机上对应投影点的偏移量；z为点P的深度值；在参数f和b确定的情况下，通过求解目标点在左右相机的像素坐标系下的x或y坐标的差值，求得目标点的深度z；
计算所述点在左右相机成像平面的投影点坐标pl(xl,yl)和pr(xr,yr)，通过坐标系之间的转换得到所述点的三维信息，进而得到目标点P的深度信息；
所述步骤二中的相机标定模型的构建包括：
根据小孔成像原理可知，当三维世界坐标系中一点Pw(Xw,Yw,Zw)，所述点在相机坐标系中的投影坐标为Pc(Xc,Yc,Zc)，在图像坐标系中的坐标为P(x,y)，在像素坐标系中的坐标P(u,v)，Oc为相机光心位置，OcZc为相机光轴；则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的数学表达式为：
Figure FDA0004162332760000041
令
Figure FDA0004162332760000042
称为相机的内参矩阵，则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的数学表达式化简为：
Figure FDA0004162332760000043
式中，
Figure FDA0004162332760000044
dx和dy分别表示每个像素在图像平面x和y方向上的物理尺寸，u0和v0表示图像中心点坐标，R为旋转矩阵，T为平移向量，两者构成相机的外参矩阵
Figure FDA0004162332760000045
而相机的外参和内参矩阵均可由相机标定获得。
3.如权利要求1所述的内河船舶识别与测距方法，其特征在于，所述步骤三中的MobilenetV1-YOLOv4船舶识别模型的构建包括：
以YOLOv4模型为基础构建船舶目标的识别模型，网络结构由Backbone、Neck和Head组成；YOLOv4网络采用CSPDarknet53作为特征提取的主干网络，结合跨阶段局部结构CSP和残差网络；Neck模块由空间金字塔和路径聚合网络组成，空间金字塔采用5×5，9×9和13×13三种不同规模的池化层；路径聚合网络作为特征融合模块，在特征金字塔网络的基础上增加自底向上的路径；利用Head模块对目标进行检测，输出13×13，26×26和52×52三个不同尺寸的特征图；
设输入图像的尺寸为DK×DK，输入通道为M，卷积核个数为N，卷积核尺寸为DF×DF，则输出的特征图尺寸为DC×DC，输出通道为N；
在传统卷积运算中，需要计算的参数量为：
Params1＝DF×DF×M×N；
而在深度可分离卷积的参数量的计算分为两部分，一部分为深度卷积参数，另一部分为点卷积参数，点卷积核尺寸为1×1，故需要计算的参数量为：
Params2＝DF×DF×M+M×N；
则深度可分离卷积与标准卷积方法的参数量之比为：
Figure FDA0004162332760000051
MobileNetv1网络以深度可分离卷积模块为基础，深度可分离卷积模块采用3×3大小的卷积核进行深度卷积并提取特征信息，在深度卷积和点卷积之间连接一个BN层和一个ReLU层，经过点卷积后通过一个BN层和一个ReLU层输出特征信息；MobileNetv1网络共有28层，第一层为标准3×3卷积，搭建13个深度可分离卷积模块，在全连接层前，采用一个平均池化层将空间分辨率降低到1，通过softmax层对所需识别的每个类别进行概率输出；
将YOLOv4的骨干网络Dark net53替换为MobileNetv1，将MobileNetv1提取的三个不同尺度特征层与传统YOLOv4模型的空间金字塔和路径聚合网络模块相连接，构建Mobilenetv1-YOLOv4目标检测模型。
4.一种应用如权利要求1～3任意一项所述的内河船舶识别与测距方法的内河船舶识别与测距系统，其特征在于，所述内河船舶识别与测距系统包括：
视觉测距模型构建模块，用于进行双目立体视觉测距模型的构建；
相机标定模型构建模块，用于根据小孔成像原理进行相机标定模型的构建；
MobilenetV1-YOLOv4船舶识别模型构建模块，用于将MobileNetv1提取的三个不同尺度特征层与传统YOLOv4模型的SPP和PANet模块相连接，构建Mobilenetv1-YOLOv4目标检测模型；
船舶特征点检测与匹配模块，用于通过采用FAST算法进行特征点提取后，采用BRIEF对所检测关键特征点创建二进制描述符，再进行特征点匹配。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～3任意一项所述的内河船舶识别与测距方法的步骤。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～3任意一项所述的内河船舶识别与测距方法的步骤。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述的内河船舶识别与测距系统。
CN202210810325.0A 2022-07-11 2022-07-11 一种内河船舶识别与测距方法、系统、介质、设备及终端 Active CN115147723B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210810325.0A CN115147723B (zh) 2022-07-11 2022-07-11 一种内河船舶识别与测距方法、系统、介质、设备及终端
US18/325,069 US11948344B2 (en) 2022-07-11 2023-05-29 Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810325.0A CN115147723B (zh) 2022-07-11 2022-07-11 一种内河船舶识别与测距方法、系统、介质、设备及终端

Publications (2)

Publication Number Publication Date
CN115147723A CN115147723A (zh) 2022-10-04
CN115147723B true CN115147723B (zh) 2023-05-09

Family

ID=83412272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810325.0A Active CN115147723B (zh) 2022-07-11 2022-07-11 一种内河船舶识别与测距方法、系统、介质、设备及终端

Country Status (2)

Country Link
US (1) US11948344B2 (zh)
CN (1) CN115147723B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090094B (zh) * 2022-12-27 2024-06-04 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备
CN116823838B (zh) * 2023-08-31 2023-11-14 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN118097348A (zh) * 2024-01-19 2024-05-28 南京航空航天大学 基于改进YOLOv7算法的无人船识别系统
CN117726656B (zh) * 2024-02-08 2024-06-04 开拓导航控制技术股份有限公司 基于超分辨率图像的目标跟踪方法、装置、系统和介质
CN117788547B (zh) * 2024-02-26 2024-04-26 南京埃米仪器科技有限公司 一种基于介质微球的白光干涉图像超分辨三维重构方法
CN117953470B (zh) * 2024-03-26 2024-06-18 杭州感想科技有限公司 全景拼接相机的高速公路事件识别方法及装置
CN118050008B (zh) * 2024-04-16 2024-07-16 中国科学院长春光学精密机械与物理研究所 机器人导航系统及其导航方法
CN118115883B (zh) * 2024-04-26 2024-09-03 国网安徽省电力有限公司宿州供电公司 输电线路沿线农作物种植区识别方法、装置及设备
CN118154687B (zh) * 2024-05-09 2024-07-19 广东工业大学 基于单目视觉的送餐机器人目标定位与避障方法及系统
CN118501878B (zh) * 2024-07-18 2024-09-13 北京广安融创房产测绘有限公司 一种不动产测绘方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800838A (zh) * 2020-12-28 2021-05-14 浙江万里学院 一种基于深度学习的航道船舶检测与识别方法
CN113486819A (zh) * 2021-07-09 2021-10-08 广西民族大学 一种基于YOLOv4算法的船舶目标检测方法
CN113569667A (zh) * 2021-07-09 2021-10-29 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2320829B (en) * 1996-12-04 1998-10-21 Lockheed Martin Tactical Sys Method and system for predicting the motion e.g. of a ship or the like
CN108351654B (zh) * 2016-02-26 2021-08-17 深圳市大疆创新科技有限公司 用于视觉目标跟踪的系统和方法
CN107884767A (zh) * 2017-10-31 2018-04-06 暨南大学 一种双目视觉系统测量船舶距离与高度的方法
CN111527463B (zh) * 2018-01-22 2024-02-23 深圳市大疆创新科技有限公司 用于多目标跟踪的方法和系统
WO2020050498A1 (ko) * 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
CN111582007A (zh) * 2019-02-19 2020-08-25 富士通株式会社 物体识别方法、装置和网络
KR102060567B1 (ko) * 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
CN113989613A (zh) * 2021-10-13 2022-01-28 上海海事大学 一种应对复杂环境的轻量级高精度船舶目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800838A (zh) * 2020-12-28 2021-05-14 浙江万里学院 一种基于深度学习的航道船舶检测与识别方法
CN113486819A (zh) * 2021-07-09 2021-10-08 广西民族大学 一种基于YOLOv4算法的船舶目标检测方法
CN113569667A (zh) * 2021-07-09 2021-10-29 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统

Also Published As

Publication number Publication date
CN115147723A (zh) 2022-10-04
US11948344B2 (en) 2024-04-02
US20240013505A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
CN115147723B (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
CN112884760B (zh) 近水桥梁多类型病害智能检测方法与无人船设备
CN111429514B (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
Zong et al. Container ship cell guide accuracy check technology based on improved 3D point cloud instance segmentation
Zhang et al. Vision-based pose estimation for textureless space objects by contour points matching
CN111476822A (zh) 一种基于场景流的激光雷达目标检测与运动跟踪方法
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN115359474A (zh) 适用于移动端的轻量级三维目标检测方法、装置及介质
Zhu et al. Arbitrary-oriented ship detection based on retinanet for remote sensing images
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
Li et al. Vision-based target detection and positioning approach for underwater robots
CN109671109A (zh) 密集点云生成方法及系统
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
CN116579955B (zh) 一种新能源电芯焊缝反光点去噪和点云补全方法及系统
Shao et al. An efficient model for small object detection in the maritime environment
CN113792593A (zh) 一种基于深度融合的水下近距离目标识别跟踪方法及系统
CN117351345A (zh) 一种基于立体视觉的海上目标识别与定位方法
CN115131433B (zh) 一种非合作目标位姿的处理方法、装置及电子设备
Villa et al. Autonomous navigation and dense shape reconstruction using stereophotogrammetry at small celestial bodies
Liu et al. A novel visual measurement method for three-dimensional trajectory of underwater moving objects based on deep learning
Qu et al. Multi-Task Learning-Enabled Automatic Vessel Draft Reading for Intelligent Maritime Surveillance
Duarte et al. Multiple vessel detection in harsh maritime environments
Liu et al. A vision based system for underwater docking
Shilin et al. Application of a Depth Camera for Constructing Complex Three-Dimensional Models in Multiple Scanning Complexes
CN118397257B (zh) Sar图像舰船目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant