CN116337087B - 一种基于ais与摄像头的船只定位方法及系统 - Google Patents

一种基于ais与摄像头的船只定位方法及系统 Download PDF

Info

Publication number
CN116337087B
CN116337087B CN202310620170.9A CN202310620170A CN116337087B CN 116337087 B CN116337087 B CN 116337087B CN 202310620170 A CN202310620170 A CN 202310620170A CN 116337087 B CN116337087 B CN 116337087B
Authority
CN
China
Prior art keywords
ship
target
ais
camera
head camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310620170.9A
Other languages
English (en)
Other versions
CN116337087A (zh
Inventor
杜公证
沈春贤
陈思源
康秀华
欧杰
李大刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jianxin Technology Co ltd
Original Assignee
Guangzhou Jianxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jianxin Technology Co ltd filed Critical Guangzhou Jianxin Technology Co ltd
Priority to CN202310620170.9A priority Critical patent/CN116337087B/zh
Publication of CN116337087A publication Critical patent/CN116337087A/zh
Application granted granted Critical
Publication of CN116337087B publication Critical patent/CN116337087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于AIS与摄像头的船只定位方法及系统,涉及船只定位技术领域,包括:根据AIS接收传感器采集第一云台摄像头的AIS数据,包括经纬坐标和高度,其中,AIS接收传感器嵌于第一云台摄像头上,获取目标船只的AIS数据,进行偏差分析获取第一偏差经纬坐标,输入控制终端,输出初始定位参数集,包括水平偏移转角、垂直偏移转角以及镜头变倍数,控制第一云台摄像头对目标船只进行初始定位,获取船只检测图像,进行识别获取动态定位参数集,控制第一云台摄像头对目标船只进行定位。本发明解决了现有技术中存在船只定位方法主要依赖于AIS信号,而AIS信号可能受到干扰或丢失,导致定位不准确或不可靠的技术问题。

Description

一种基于AIS与摄像头的船只定位方法及系统
技术领域
本发明涉及船只定位技术领域,具体涉及一种基于AIS与摄像头的船只定位方法及系统。
背景技术
在船只监控和跟踪领域,船只定位是关键任务之一,传统的船只定位方法主要依赖于自动识别系统(AIS)信号,然而,AIS信号可能受到干扰或丢失,导致定位不准确或不可靠。这使得现今常用的船只定位方法还存在着一定的弊端,对于船只定位还存在着一定的可提升空间。
发明内容
本申请实施例提供了一种基于AIS与摄像头的船只定位方法及系统,用于针对解决现有技术中存在船只定位方法主要依赖于AIS信号,而AIS信号可能受到干扰或丢失,导致定位不准确或不可靠的技术问题。
鉴于上述问题,本申请实施例提供了一种基于AIS与摄像头的船只定位方法及系统。
第一方面,本申请实施例提供了一种基于AIS与摄像头的船只定位方法,所述方法包括:根据AIS接收传感器采集第一云台摄像头的AIS数据,所述摄像头的AIS数据包括所述第一云台摄像头的经纬坐标和高度,其中,所述AIS接收传感器嵌于所述第一云台摄像头上;根据所述AIS接收传感器获取目标船只的AIS数据,所述目标船只的AIS数据包括所述目标船只的经纬坐标;通过对所述第一云台摄像头的经纬坐标与所述目标船只的经纬坐标进行偏差分析,获取第一偏差经纬坐标;将所述第一偏差经纬坐标和所述第一云台摄像头的高度输入所述第一云台摄像头的控制终端,输出用于控制所述第一云台摄像头转动的初始定位参数集,其中,所述初始定位参数集包括所述第一云台摄像头的水平偏移转角、垂直偏移转角以及镜头变倍数;基于所述初始定位参数集控制所述第一云台摄像头对所述目标船只进行初始定位,获取船只检测图像;对所述船只检测图像进行识别,获取动态定位参数集,根据所述动态定位参数集控制所述第一云台摄像头对所述目标船只进行定位。
第二方面,本申请实施例提供了一种基于AIS与摄像头的船只定位系统,所述系统包括:摄像头数据获取模块,所述摄像头数据获取模块用于根据AIS接收传感器采集第一云台摄像头的AIS数据,所述摄像头的AIS数据包括所述第一云台摄像头的经纬坐标和高度,其中,所述AIS接收传感器嵌于所述第一云台摄像头上;船只数据获取模块,所述船只数据获取模块用于根据所述AIS接收传感器获取目标船只的AIS数据,所述目标船只的AIS数据包括所述目标船只的经纬坐标;偏差分析模块,所述偏差分析模块用于通过对所述第一云台摄像头的经纬坐标与所述目标船只的经纬坐标进行偏差分析,获取第一偏差经纬坐标;初始定位参数获取模块,所述初始定位参数获取模块用于将所述第一偏差经纬坐标和所述第一云台摄像头的高度输入所述第一云台摄像头的控制终端,输出用于控制所述第一云台摄像头转动的初始定位参数集,其中,所述初始定位参数集包括所述第一云台摄像头的水平偏移转角、垂直偏移转角以及镜头变倍数;初始定位模块,所述初始定位模块用于基于所述初始定位参数集控制所述第一云台摄像头对所述目标船只进行初始定位,获取船只检测图像;目标船只定位模块,所述目标船只定位模块用于对所述船只检测图像进行识别,获取动态定位参数集,根据所述动态定位参数集控制所述第一云台摄像头对所述目标船只进行定位。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
根据AIS接收传感器采集第一云台摄像头的AIS数据,包括经纬坐标和高度,其中,AIS接收传感器嵌于第一云台摄像头上,获取目标船只的AIS数据,进行偏差分析获取第一偏差经纬坐标,输入控制终端,输出初始定位参数集,包括水平偏移转角、垂直偏移转角以及镜头变倍数,控制第一云台摄像头对目标船只进行初始定位,获取船只检测图像,进行识别获取动态定位参数集,控制第一云台摄像头对目标船只进行定位。解决了现有技术中存在船只定位方法主要依赖于AIS信号,而AIS信号可能受到干扰或丢失,导致定位不准确或不可靠的技术问题,实现了结合AIS信号和摄像头图像信息,并利用动态目标中心和动态定位参数集,实现对船只的实时定位和跟踪,进而达到提高船只定位的准确性和可靠性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的附图作简单地介绍。明显地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本申请实施例提供了一种基于AIS与摄像头的船只定位方法流程示意图;
图2为本申请实施例提供了一种基于AIS与摄像头的船只定位方法中获取第一云台摄像头的动态定位参数集流程示意图;
图3为本申请实施例提供了一种基于AIS与摄像头的船只定位方法中处理船只检测图像中包含多个船只的流程示意图;
图4为本申请实施例提供了一种基于AIS与摄像头的船只定位系统结构示意图。
附图标记说明:摄像头数据获取模块10,船只数据获取模块20,偏差分析模块30,初始定位参数获取模块40,初始定位模块50,目标船只定位模块60。
具体实施方式
本申请实施例通过提供一种基于AIS与摄像头的船只定位方法,解决了现有技术中存在船只定位方法主要依赖于AIS信号,而AIS信号可能受到干扰或丢失,导致定位不准确或不可靠的技术问题。
实施例一
如图1所示,本申请实施例提供了一种基于AIS与摄像头的船只定位方法,所述方法包括:
步骤S100:根据AIS接收传感器采集第一云台摄像头的AIS数据,所述摄像头的AIS数据包括所述第一云台摄像头的经纬坐标和高度,其中,所述AIS接收传感器嵌于所述第一云台摄像头上;
具体而言,首先,在第一云台摄像头上安装一个AIS接收传感器,AIS(自动识别系统)是一种船舶识别和跟踪系统,通过VHF无线电波发送船舶的动态和静态信息,所述AIS接收传感器用于接收并处理这些信息。安装AIS接收传感器后,采集第一云台摄像头的AIS数据,这些数据包括第一云台摄像头的经纬坐标和高度,具体来说,AIS接收传感器在运行过程中采集附近船舶广播的AIS信号,当接收传感器收到与第一云台摄像头相关的数据时,解码这些信息并将其转换为摄像头当前的经纬坐标和高度数据h,这些数据用于更准确地控制摄像头的转动,从而定位目标船只。
步骤S200:根据所述AIS接收传感器获取目标船只的AIS数据,所述目标船只的AIS数据包括所述目标船只的经纬坐标;
具体而言,AIS接收传感器在运行过程中采集附近船舶广播的AIS信号,AIS信号中包含的船舶信息包括船舶识别号、船名、呼号、船舶类型、船舶尺寸、船舶的经纬度坐标、航速、航向等,在本实施例中,主要关注目标船只的经纬度坐标。设置一个过滤器来筛选特定类型的船舶或满足某些条件的船舶,以确保只关注与目标船只相关的信息,当接收传感器收到与目标船只相关的数据时,解码这些信息并将其转换为到船只的经纬坐标数据
步骤S300:通过对所述第一云台摄像头的经纬坐标与所述目标船只的经纬坐标进行偏差分析,获取第一偏差经纬坐标;
具体而言,将摄像头经纬坐标减去船只经纬坐标/>,即计算摄像头经度与船只经度的差,获得经度偏差,计算摄像头纬度与船只纬度的差,获得纬度偏差,根据经度偏差与纬度偏差获取第一偏差经纬坐标/>。通过获取第一偏差经纬坐标,为后续的船只定位操作提供关键参数,这些参数用于精确地调整摄像头的指向,从而实现对目标船只的有效定位。
步骤S400:将所述第一偏差经纬坐标和所述第一云台摄像头的高度输入所述第一云台摄像头的控制终端,输出用于控制所述第一云台摄像头转动的初始定位参数集,其中,所述初始定位参数集包括所述第一云台摄像头的水平偏移转角、垂直偏移转角以及镜头变倍数;
具体而言,将所述第一偏差经纬坐标和第一云台摄像头的高度数据h,输入所述第一云台摄像头的控制终端,所述控制终端是一个微控制器,其主要功能是接收输入数据并处理相应的控制指令。
根据第一偏差经纬坐标使用三角函数和反三角函数,计算得到摄像头的水平偏转角度/>和摄像头距离目标船只的平面直线距离S。
水平偏转角度:
垂直偏转角度:
平面直线距离:
根据水平直线距离S和摄像头安装高度h,计算出摄像头的垂直偏转角度,其中;获取摄像头总放大倍数Q,根据距离S和摄像头总放大倍数Q和摄像头最远观测距离H,从而得出当前船只距离下的镜头变倍数/>,镜头变倍数/>
所述镜头变倍数用于调整摄像头的焦距,使目标船只的图像在屏幕上达到适当的大小。
将计算得到的水平偏移转角度、垂直偏移转角度/>和镜头变倍数/>组合成一个参数集,这些参数用于实现对目标船只的粗略定位,为后续的图像识别和船只跟踪操作提供基础。
步骤S500:基于所述初始定位参数集控制所述第一云台摄像头对所述目标船只进行初始定位,获取船只检测图像;
具体而言,控制第一云台摄像头的云台驱动器,使摄像头根据水平偏移转角度和垂直偏移转角度/>进行转动,使摄像头的视线对准目标船只;控制第一云台摄像头的镜头调焦系统,根据镜头变倍数/>调整焦距,使目标船只在图像中呈现出合适的大小,方便后续的图像分析和识别。当摄像头完成转动和调焦操作后,捕捉船只检测图像,船只检测图像包含目标船只及其周围环境的视觉信息。实现了对目标船只的初始定位,并获取船只检测图像,这些图像用于后续的图像识别和船只跟踪操作,以便实现对目标船只的精确定位和实时监控。
步骤S600:对所述船只检测图像进行识别,获取动态定位参数集,根据所述动态定位参数集控制所述第一云台摄像头对所述目标船只进行定位。
具体而言,基于神经网络,对所述船只检测图像进行分析和识别,获取目标船只的位置、尺寸、方向等特征,同时识别出其他船只或者水面上的障碍物,以便实现更精确的船只跟踪。根据识别到的目标船只特征,计算动态定位参数集,所述动态定位参数集包括目标船只相对于摄像头的实时位置变化,包括水平偏移、垂直偏移等,以及镜头变倍数的调整,这些参数用于调整摄像头的指向和焦距,实现对目标船只的精确定位。
将动态定位参数集输入到第一云台摄像头的控制终端,控制终端根据接收到的参数实时调整摄像头的转动和镜头调焦,使摄像头始终对准并跟踪目标船只,不断重复以上过程,实现对目标船只的实时跟踪和定位。当目标船只或摄像头位置发生变化时,将重新计算动态定位参数集,并实时调整摄像头的指向和焦距,确保目标船只始终在摄像头视野内。
进一步而言,如图2所示,本申请步骤S600还包括:
步骤S610:通过对所述船只检测图像进行边缘识别,获取船只边缘识别结果;
步骤S620:根据所述船只边缘识别结果进行分析,输出第一中心识别结果;
步骤S630:通过对所述船只检测图像进行船只中心识别,得到第二中心识别结果;
步骤S640:判断基于所述第一中心识别结果和所述第二中心识别结果,获取动态目标中心;
步骤S650:根据所述动态目标中心,获取所述第一云台摄像头的动态定位参数集。
具体而言,对船只检测图像进行预处理,包括去噪、对比度增强和灰度转换等,以提高边缘检测的准确性,采用边缘检测算法,对将预处理后的船只检测图像进行边缘识别,获取图像中的边缘特征,获取目标船只的边缘轮廓信息,以此作为船只边缘识别结果。
确保船只边缘全部处于画面中,通过改进的centeNet算法,使用边缘识别结果进行中心位置估算,例如,通过计算目标船只边缘轮廓内所有像素点的加权平均位置,获取船只的中心位置,其中权重为像素值或其他相关特征。将估算出的中心位置作为第一中心识别结果输出,包含目标船只在图像中的位置
根据图片大小获得图片中心位置,将计算得到的图片中心位置作为第二中心识别结果输出。
比较第一中心识别结果和第二中心识别结果,计算它们之间的距离,使用船只中心位减去图片中心位置/>,得到偏差距离/>
根据偏差距离的x、y的值分别除以图片的宽W、高H,得到比例值,将比例值再分别乘以平视场角、垂直视场角,最终得到摄像头的水平偏移转角/>和垂直偏移转角/>
水平偏移转角
垂直偏移转角
由于船只可能会因距离变化而显得变大或变小,需要调整镜头变倍数以保持船只在图像中的合适大小,根据动态目标中心与云台摄像头当前中心之间的距离以及预期船只在图像中的大小,计算合适的镜头变倍数。将计算得到的水平偏移转角/>、垂直偏移转角/>以及镜头变倍数/>组合成动态定位参数集。
将动态定位参数集输入到第一云台摄像头的控制终端,实时追踪号船只,并实时获取船只距离摄像头的距离S,调整云台摄像头的角度和镜头变倍数,直到船只大于设定距离后,停止识别,实现准确跟踪目标船只。
进一步而言,如图3所示,本申请步骤S610之前,还包括:
步骤S611:对所述船只检测图像进行船只识别,判断所述船只检测图像中是否包括至少两个船只,若所述船只检测图像中包括至少两个船只,对所述船只检测图像进行船只特征提取,得到各个船只对应的船只特征集;
步骤S612:根据所述船只特征集进行目标船只提取,得到标识船只,基于所述标识船只进行识别,得到基于所述标识船只的动态定位参数集。
具体而言,步骤S611和步骤S612是在步骤S610之前执行的,这两个步骤用于处理船只检测图像中包含多个船只的情况,在这种情况下,需要对船只进行特征提取和目标船只提取,以便正确识别和跟踪目标船只。
使用船只识别算法对船只检测图像进行识别,例如卷积神经网络,分析识别结果,统计船只检测图像中船只的数量,如果检测到的船只数量大于等于二,说明图像中包含至少两个船只,对于图像中的每个船只,使用特征提取算法,如SIFT(尺度不变特征变换),提取船只特征,提取每个船只的特征后,得到各个船只对应的船只特征集。
通过特征匹配算法,使用目标船只的特征信息与船只特征集中的每个船只进行匹配,计算每个船只特征与目标船只特征的相似度分数,根据分数,找到与目标船只特征最匹配的船只,将其作为标识船只,这意味着在船只检测图像中,该船只被认为是目标船只。通过对标识船只在船只检测图像中的位置、边界框等进行分析,计算动态定位参数集,包括水平偏移转角、垂直偏移转角以及镜头变倍数。
进一步而言,本申请步骤S612还包括:
步骤S6121:搭建三层全连接的神经网络,其中,所述神经网络包括中心点热力图网络、中心点偏移网络以及特征变换网络;
步骤S6122:以多组标注船只检测图像作为训练数据对所述神经网络进行训练,通过最小化第一损失函数为收敛目标,获取目标检测模型,其中,所述第一损失函数用于进行船只中心点偏移的损失分析;
步骤S6123:将所述船只检测图像进行预处理后输入目标检测模型进行目标船只提取,得到所述标识船只。
具体而言,基于卷积神经网络(CNN)为每个子网络设计合适的网络架构,其中,中心点热力图网络的目标是预测船只的中心位置,因此需要一个输出层,生成热力图表示船只中心的概率;中心点偏移网络用于计算船只中心点的偏移量,需要一个输出层,输出坐标偏移值;特征变换网络用于获取船只的特征信息,需要一个输出层,输出船只的特征向量。通过串联的方式将这些子网络组合在一起,将每个子网络的输出作为下一个子网络的输入,以此将三个子网络连接起来,形成一个完整的神经网络。
构建中心点偏移的损失函数
其中,表征损失函数,N表征训练数据量,/>表征中心点偏移误差,p表征船只中心点,/>表征船只预测中心点,R表征中心半径,该损失函数主要关注船只中心点偏移的损失分析,将多组标注船只检测图像中船只的中心点坐标、中心点偏移以及船只特征提取出来作为训练目标,并将所述检测图像进行缩放、中心化和归一化处理,作为训练数据,将所述训练数据划分为多个批次,每个批次包含一定数量的图像。对于每个批次的数据,神经网络将输入图像传递到网络的各层,进行模型训练,计算损失函数关于网络参数的梯度,并将梯度反向传播到网络的各层,计算得到多个结果,取准确率最高的那个结果对应的权重作为最终模型结果。
将船只检测图像同样进行缩放、中心化和归一化处理,将预处理后的图像输入到训练好的目标检测模型中,模型将自动提取图像中的特征并生成预测结果,包括中心点热力图、中心点偏移以及船只特征。通过寻找热力图中的局部最大值,并根据中心点偏移进行校正,确定船只在图像中的位置;根据船只特征提取结果,获取船只的其他属性,如大小、形状等。根据预先设定的阈值,对预测出的船只进行筛选,例如,根据船只的特征或中心点热力图的信任度来进行筛选,从而得到标识船只。
进一步而言,本申请步骤S6121中,所述特征变换网络包括:尺度变换网络层、卷积提取网络层、特征传递网络层以及预测输出网络层;
步骤S61231:利用所述尺度变换网络层对所述船只检测图像进行多尺度变换,得到多个尺度变换结果;
步骤S61232:利用所述卷积提取网络层对每个尺度变换结果进行卷积特征提取,得到所述多个尺度变换结果对应的多个卷积特征;
步骤S61233:利用所述特征传递网络层对所述多个卷积特征进行特征传递,得到拟合输出特征;
步骤S61234:利用所述预测输出网络层对所述拟合输出特征进行预测,输出预测结果,其中,所述预测结果为所述标识船只。
具体而言,通过插值方法,将船只检测图像调整为多个不同的尺寸,以生成多个尺度的图像,进行多尺度特征提取,示例性地,使用金字塔结构,即在网络中的不同层级上抽取不同尺度的特征,然后在这不同尺度的特征上分别进行预测,在每个层级上,特征图的尺寸会逐渐缩小,但特征的感受野增大,以此实现不同层级上捕捉到不同尺度的目标,其中,所述感受野为感受器受到刺激兴奋时,一个神经元所反应的刺激区域。
为每个尺度变换结果创建一个卷积神经网络(CNN),CNN 由多个卷积层、激活函数和池化层组成,其中,卷积层负责提取输入图像中的局部特征,池化层则负责降低特征图的尺寸。
将每个尺度变换结果分别输入到对应的 CNN 中,卷积层使用卷积核对输入图像进行滑动窗口操作,从而提取局部特征;激活函数(如 ReLU)随后应用于卷积层的输出,以引入非线性;在卷积操作之后,池化层(如最大池化)对特征图进行降采样,从而减少特征图的尺寸,减小计算复杂度。将每个 CNN 的输出收集起来,得到多个尺度变换结果对应的多个卷积特征。
采用特征融合技术,将来自不同尺度的卷积特征整合在一起,示例性地,将来自不同尺度的卷积特征进行上采样,使它们具有相同的空间尺寸,将这些上采样后的特征图逐像素相加或按通道相加,通过一个或多个额外的卷积层进一步提取融合后的特征,最后输出一个拟合输出特征,包含了来自不同尺度的卷积特征的信息。
预测输出网络层包括一系列卷积层和激活函数,这些层用于从拟合输出特征中提取更高层次的特征表示。在所述预测输出网络层的最后一层,应用一个激活函数,用于将网络输出转换为概率分布,表示输入图像中每个像素点对应目标船只类别的概率。输出预测结果,包括目标船只的类别概率和边界框坐标。
进一步而言,本申请步骤S620还包括:
步骤S621:获取所述船只边缘识别结果,其中,所述船只边缘识别包括船只边缘轮廓;
步骤S622:随机从所述船只边缘轮廓上筛选N个边缘像素点,计算每个边缘像素点与邻近的图像边界像素点的动态像素距离,得到N个动态像素距离,其中,所述N个边缘像素点处于所述船只边缘轮廓上的不包括四角的边线上,且N为大于等于2的正整数;
步骤S623:以所述N个动态像素距离为坐标点生成动态像素曲线,当所述动态像素曲线的斜率趋于0时收敛所述N个动态像素距离的距离值,输出所述第一中心识别结果。
具体而言,在船只边缘轮廓上的不包括四角的边界线上,找到N个随机的边缘像素点,N表示要选取的点的数量,它是一个大于等于2的正整数,示例性地,选取1000个随机的边缘像素点,其中,选取的点越多,分析得到的结果可能越准确,但计算复杂度也会相应增加。使用欧几里得距离公式,对于选取的每个边缘像素点,计算其到图像边界的距离,所述图像边界指与船只边缘像素点最近的图像边框,得到N个动态像素距离。
使用N个动态像素距离作为坐标点,生成一条动态像素曲线,找到曲线上斜率趋于0的点,这意味着在这一点处,动态像素距离变化较小,这样的点即可被判定为船只的中心位置。通过观察曲线上斜率趋于0的点,收敛到一个更准确的船只中心位置,并将其作为第一中心识别结果输出,从而更精确地跟踪船只在图像中的位置。
进一步而言,本申请步骤S623还包括:
步骤S6231:当所述像素曲线的斜率趋于0时,随机从所述船只边缘轮廓上筛选M个边缘像素点,其中,M为大于等于4的整数倍,其中,所述M个边缘像素点处于所述船只边缘轮廓上的四角上,且所述M个边缘像素点呈均匀分布;
步骤S6232:通过对所述M个边缘像素点进行交叉连接,输出所述第一中心识别结果。
具体而言,当像素曲线的斜率趋于0时,表示动态像素距离已经收敛到一个相对稳定的状态,此时,为了进一步提高船只中心位置识别的精度,从船只边缘轮廓的四角上随机筛选M个边缘像素点,M是大于等于4的整数倍,且M个边缘像素点呈均匀分布,例如,假设M=8,那么在每个角落有两个边缘像素点,这样可以确保每个角的数量差不多,且都至少有一个像素点参与计算。
将每个边缘像素点与其他边缘像素点相连接,形成一系列线段,例如,如果M=8,则总共有8个边缘像素点需要相互连接,形成28条线段。找到这些线段的交叉点,理论上,这些线段的交叉点应该接近于船只的中心位置。计算所有交叉点的平均位置,得到一个估计的船只中心位置,将这个估计位置作为第一中心识别结果。
综上所述,本申请实施例所提供的一种基于AIS与摄像头的船只定位方法及系统具有如下技术效果:
根据AIS接收传感器采集第一云台摄像头的AIS数据,包括经纬坐标和高度,其中,AIS接收传感器嵌于第一云台摄像头上,获取目标船只的AIS数据,进行偏差分析获取第一偏差经纬坐标,输入控制终端,输出初始定位参数集,包括水平偏移转角、垂直偏移转角以及镜头变倍数,控制第一云台摄像头对目标船只进行初始定位,获取船只检测图像,进行识别获取动态定位参数集,控制第一云台摄像头对目标船只进行定位。解决了现有技术中存在船只定位方法主要依赖于AIS信号,而AIS信号可能受到干扰或丢失,导致定位不准确或不可靠的技术问题,实现了结合AIS信号和摄像头图像信息,并利用动态目标中心和动态定位参数集,实现对船只的实时定位和跟踪,进而达到提高船只定位的准确性和可靠性的技术效果。
实施例二
基于与前述实施例中一种基于AIS与摄像头的船只定位方法相同的发明构思,如图4所示,本申请提供了一种基于AIS与摄像头的船只定位系统,所述系统包括:
摄像头数据获取模块10,所述摄像头数据获取模块10用于根据AIS接收传感器采集第一云台摄像头的AIS数据,所述摄像头的AIS数据包括所述第一云台摄像头的经纬坐标和高度,其中,所述AIS接收传感器嵌于所述第一云台摄像头上;
船只数据获取模块20,所述船只数据获取模块20用于根据所述AIS接收传感器获取目标船只的AIS数据,所述目标船只的AIS数据包括所述目标船只的经纬坐标;
偏差分析模块30,所述偏差分析模块30用于通过对所述第一云台摄像头的经纬坐标与所述目标船只的经纬坐标进行偏差分析,获取第一偏差经纬坐标;
初始定位参数获取模块40,所述初始定位参数获取模块40用于将所述第一偏差经纬坐标和所述第一云台摄像头的高度输入所述第一云台摄像头的控制终端,输出用于控制所述第一云台摄像头转动的初始定位参数集,其中,所述初始定位参数集包括所述第一云台摄像头的水平偏移转角、垂直偏移转角以及镜头变倍数;
初始定位模块50,所述初始定位模块50用于基于所述初始定位参数集控制所述第一云台摄像头对所述目标船只进行初始定位,获取船只检测图像;
目标船只定位模块60,所述目标船只定位模块60用于对所述船只检测图像进行识别,获取动态定位参数集,根据所述动态定位参数集控制所述第一云台摄像头对所述目标船只进行定位。
进一步而言,所述系统还包括:
边缘识别模块,用于通过对所述船只检测图像进行边缘识别,获取船只边缘识别结果;
边缘识别结果分析模块,用于根据所述船只边缘识别结果进行分析,输出第一中心识别结果;
中心识别模块,用于通过对所述船只检测图像进行船只中心识别,得到第二中心识别结果;
动态目标中心获取模块,用于判断基于所述第一中心识别结果和所述第二中心识别结果,获取动态目标中心;
动态定位参数获取模块,用于根据所述动态目标中心,获取所述第一云台摄像头的动态定位参数集。
进一步而言,所述系统还包括:
船只识别模块,用于对所述船只检测图像进行船只识别,判断所述船只检测图像中是否包括至少两个船只,若所述船只检测图像中包括至少两个船只,对所述船只检测图像进行船只特征提取,得到各个船只对应的船只特征集;
目标船只提取模块,用于根据所述船只特征集进行目标船只提取,得到标识船只,基于所述标识船只进行识别,得到基于所述标识船只的动态定位参数集。
进一步而言,所述系统还包括:
神经网络搭建模块,用于搭建三层全连接的神经网络,其中,所述神经网络包括中心点热力图网络、中心点偏移网络以及特征变换网络;
神经网络训练模块,用于以多组标注船只检测图像作为训练数据对所述神经网络进行训练,通过最小化第一损失函数为收敛目标,获取目标检测模型,其中,所述第一损失函数用于进行船只中心点偏移的损失分析;
提取模块,用于将所述船只检测图像进行预处理后输入目标检测模型进行目标船只提取,得到所述标识船只。
进一步而言,所述系统还包括:
多尺度变换模块,用于利用所述尺度变换网络层对所述船只检测图像进行多尺度变换,得到多个尺度变换结果;
卷积特征提取模块,用于利用所述卷积提取网络层对每个尺度变换结果进行卷积特征提取,得到所述多个尺度变换结果对应的多个卷积特征;
特征传递模块,用于利用所述特征传递网络层对所述多个卷积特征进行特征传递,得到拟合输出特征;
预测模块,用于利用所述预测输出网络层对所述拟合输出特征进行预测,输出预测结果,其中,所述预测结果为所述标识船只。
进一步而言,所述系统还包括:
边缘识别结果获取模块,用于获取所述船只边缘识别结果,其中,所述船只边缘识别包括船只边缘轮廓;
动态像素距离获取模块,用于随机从所述船只边缘轮廓上筛选N个边缘像素点,计算每个边缘像素点与邻近的图像边界像素点的动态像素距离,得到N个动态像素距离,其中,所述N个边缘像素点处于所述船只边缘轮廓上的不包括四角的边线上,且N为大于等于2的正整数;
动态像素曲线生成模块,用于以所述N个动态像素距离为坐标点生成动态像素曲线,当所述动态像素曲线的斜率趋于0时收敛所述N个动态像素距离的距离值,输出所述第一中心识别结果。
进一步而言,所述系统还包括:
边缘像素点筛选模块,用于当所述像素曲线的斜率趋于0时,随机从所述船只边缘轮廓上筛选M个边缘像素点,其中,M为大于等于4的整数倍,其中,所述M个边缘像素点处于所述船只边缘轮廓上的四角上,且所述M个边缘像素点呈均匀分布;
交叉连接模块,用于通过对所述M个边缘像素点进行交叉连接,输出所述第一中心识别结果。
本说明书通过前述对一种基于AIS与摄像头的船只定位方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种基于AIS与摄像头的船只定位方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于AIS与摄像头的船只定位方法,其特征在于,所述方法包括:
根据AIS接收传感器采集第一云台摄像头的AIS数据,所述摄像头的AIS数据包括所述第一云台摄像头的经纬坐标和高度,其中,所述AIS接收传感器嵌于所述第一云台摄像头上;
根据所述AIS接收传感器获取目标船只的AIS数据,所述目标船只的AIS数据包括所述目标船只的经纬坐标;
通过对所述第一云台摄像头的经纬坐标与所述目标船只的经纬坐标进行偏差分析,获取第一偏差经纬坐标;
将所述第一偏差经纬坐标和所述第一云台摄像头的高度输入所述第一云台摄像头的控制终端,输出用于控制所述第一云台摄像头转动的初始定位参数集,其中,所述初始定位参数集包括所述第一云台摄像头的水平偏移转角、垂直偏移转角以及镜头变倍数;
基于所述初始定位参数集控制所述第一云台摄像头对所述目标船只进行初始定位,获取船只检测图像;
对所述船只检测图像进行识别,获取动态定位参数集,根据所述动态定位参数集控制所述第一云台摄像头对所述目标船只进行定位;
对所述船只检测图像进行识别,获取动态定位参数集,包括:
通过对所述船只检测图像进行边缘识别,获取船只边缘识别结果;
根据所述船只边缘识别结果进行分析,输出第一中心识别结果;
通过对所述船只检测图像进行船只中心识别,得到第二中心识别结果;
判断基于所述第一中心识别结果和所述第二中心识别结果,获取动态目标中心;
根据所述动态目标中心,获取所述第一云台摄像头的动态定位参数集;
根据所述船只边缘识别结果进行分析,输出第一中心识别结果,包括:
获取所述船只边缘识别结果,其中,所述船只边缘识别包括船只边缘轮廓;
随机从所述船只边缘轮廓上筛选N个边缘像素点,计算每个边缘像素点与邻近的图像边界像素点的动态像素距离,得到N个动态像素距离,其中,所述N个边缘像素点处于所述船只边缘轮廓上的不包括四角的边线上,且N为大于等于2的正整数;
以所述N个动态像素距离为坐标点生成动态像素曲线,当所述动态像素曲线的斜率趋于0时收敛所述N个动态像素距离的距离值,输出所述第一中心识别结果;
输出所述第一中心识别结果,还包括:
当所述像素曲线的斜率趋于0时,随机从所述船只边缘轮廓上筛选M个边缘像素点,其中,M为大于等于4的整数倍,其中,所述M个边缘像素点处于所述船只边缘轮廓上的四角上,且所述M个边缘像素点呈均匀分布;
通过对所述M个边缘像素点进行交叉连接,输出所述第一中心识别结果。
2.如权利要求1所述的方法,其特征在于,对所述船只检测图像进行边缘识别之前,方法包括:
对所述船只检测图像进行船只识别,判断所述船只检测图像中是否包括至少两个船只,若所述船只检测图像中包括至少两个船只,对所述船只检测图像进行船只特征提取,得到各个船只对应的船只特征集;
根据所述船只特征集进行目标船只提取,得到标识船只,基于所述标识船只进行识别,得到基于所述标识船只的动态定位参数集。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
搭建三层全连接的神经网络,其中,所述神经网络包括中心点热力图网络、中心点偏移网络以及特征变换网络;
以多组标注船只检测图像作为训练数据对所述神经网络进行训练,通过最小化第一损失函数为收敛目标,获取目标检测模型,其中,所述第一损失函数用于进行船只中心点偏移的损失分析;
将所述船只检测图像进行预处理后输入目标检测模型进行目标船只提取,得到所述标识船只。
4.如权利要求3所述的方法,其特征在于,所述特征变换网络包括:尺度变换网络层、卷积提取网络层、特征传递网络层以及预测输出网络层;
利用所述尺度变换网络层对所述船只检测图像进行多尺度变换,得到多个尺度变换结果;
利用所述卷积提取网络层对每个尺度变换结果进行卷积特征提取,得到所述多个尺度变换结果对应的多个卷积特征;
利用所述特征传递网络层对所述多个卷积特征进行特征传递,得到拟合输出特征;
利用所述预测输出网络层对所述拟合输出特征进行预测,输出预测结果,其中,所述预测结果为所述标识船只。
5.一种基于AIS与摄像头的船只定位系统,其特征在于,所述系统执行如权利要求1至4任一项所述的方法,所述系统包括:
摄像头数据获取模块,所述摄像头数据获取模块用于根据AIS接收传感器采集第一云台摄像头的AIS数据,所述摄像头的AIS数据包括所述第一云台摄像头的经纬坐标和高度,其中,所述AIS接收传感器嵌于所述第一云台摄像头上;
船只数据获取模块,所述船只数据获取模块用于根据所述AIS接收传感器获取目标船只的AIS数据,所述目标船只的AIS数据包括所述目标船只的经纬坐标;
偏差分析模块,所述偏差分析模块用于通过对所述第一云台摄像头的经纬坐标与所述目标船只的经纬坐标进行偏差分析,获取第一偏差经纬坐标;
初始定位参数获取模块,所述初始定位参数获取模块用于将所述第一偏差经纬坐标和所述第一云台摄像头的高度输入所述第一云台摄像头的控制终端,输出用于控制所述第一云台摄像头转动的初始定位参数集,其中,所述初始定位参数集包括所述第一云台摄像头的水平偏移转角、垂直偏移转角以及镜头变倍数;
初始定位模块,所述初始定位模块用于基于所述初始定位参数集控制所述第一云台摄像头对所述目标船只进行初始定位,获取船只检测图像;
目标船只定位模块,所述目标船只定位模块用于对所述船只检测图像进行识别,获取动态定位参数集,根据所述动态定位参数集控制所述第一云台摄像头对所述目标船只进行定位。
CN202310620170.9A 2023-05-30 2023-05-30 一种基于ais与摄像头的船只定位方法及系统 Active CN116337087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310620170.9A CN116337087B (zh) 2023-05-30 2023-05-30 一种基于ais与摄像头的船只定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310620170.9A CN116337087B (zh) 2023-05-30 2023-05-30 一种基于ais与摄像头的船只定位方法及系统

Publications (2)

Publication Number Publication Date
CN116337087A CN116337087A (zh) 2023-06-27
CN116337087B true CN116337087B (zh) 2023-08-04

Family

ID=86893389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310620170.9A Active CN116337087B (zh) 2023-05-30 2023-05-30 一种基于ais与摄像头的船只定位方法及系统

Country Status (1)

Country Link
CN (1) CN116337087B (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455797B (zh) * 2013-09-07 2017-01-11 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN105430326A (zh) * 2015-11-03 2016-03-23 中国电子科技集团公司第二十八研究所 一种cctv船舶视频平滑跟踪方法
KR101883188B1 (ko) * 2016-10-11 2018-07-31 서울시립대학교 산학협력단 선박 위치 결정 방법 및 시스템
CN109583425B (zh) * 2018-12-21 2023-05-02 西安电子科技大学 一种基于深度学习的遥感图像船只集成识别方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110780327B (zh) * 2019-10-29 2022-04-08 中国人民解放军军事科学院国防科技创新研究院 基于星载ais与红外相机的海上目标协同定位方法
CN110909666B (zh) * 2019-11-20 2022-10-25 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111091095B (zh) * 2019-12-19 2022-03-29 华中科技大学 一种遥感图像中船只目标的检测方法
CN112687127B (zh) * 2020-12-18 2022-04-22 华南理工大学 一种基于ais与图像分析辅助的船舶定位与抓拍方法
CN112364843A (zh) * 2021-01-11 2021-02-12 中国科学院自动化研究所 插拔式航拍图像目标定位检测方法、系统、设备
CN113780127A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种船舶定位与监控系统及方法
CN114066860A (zh) * 2021-11-19 2022-02-18 东南大学 基于多摄像头的结合双差计算的船舶图像目标定位的方法
CN114625911A (zh) * 2021-12-16 2022-06-14 中国电子科技集团公司第十五研究所 一种基于ais数据检索的遥感图像自动数据标注方法

Also Published As

Publication number Publication date
CN116337087A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
KR101856584B1 (ko) 교통 표지의 인식 방법 및 장치
JP6739517B2 (ja) 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
CN112257609B (zh) 一种基于自适应关键点热图的车辆检测方法及装置
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
CN112947419B (zh) 避障方法、装置及设备
CN114396945B (zh) 无人船沿边清扫路径规划方法、装置、设备及存储介质
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN115019201B (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
CN112037220A (zh) 一种图像处理方法、装置、设备和存储介质
CN116337087B (zh) 一种基于ais与摄像头的船只定位方法及系统
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN108959355B (zh) 一种船只分类方法、装置及电子设备
WO2024011831A1 (en) Vehicle license plate recognition method, device, terminal and computer-readable storage medium
CN116630216A (zh) 基于雷达和影像的目标融合方法、装置、设备及存储介质
CN115690711A (zh) 一种目标检测方法、装置及智能车辆
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
CN113808040A (zh) 直播图像的轮廓矫正方法、装置、设备及存储介质
CN114022775A (zh) 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant