CN111523465B - 基于摄像机标定及深度学习算法的船舶身份识别系统 - Google Patents

基于摄像机标定及深度学习算法的船舶身份识别系统 Download PDF

Info

Publication number
CN111523465B
CN111523465B CN202010326181.2A CN202010326181A CN111523465B CN 111523465 B CN111523465 B CN 111523465B CN 202010326181 A CN202010326181 A CN 202010326181A CN 111523465 B CN111523465 B CN 111523465B
Authority
CN
China
Prior art keywords
ship
vgg16
target
image
ais
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010326181.2A
Other languages
English (en)
Other versions
CN111523465A (zh
Inventor
龚昊
乔婷婷
夏金锋
石志国
张灿
刘淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cssc Pengli Nanjing Technology Group Co ltd
China Shipbuilding Pengli Nanjing Atmospheric And Ocean Information System Co ltd
Original Assignee
Cssc Pengli Nanjing Technology Group Co ltd
China Shipbuilding Pengli Nanjing Atmospheric And Ocean Information System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cssc Pengli Nanjing Technology Group Co ltd, China Shipbuilding Pengli Nanjing Atmospheric And Ocean Information System Co ltd filed Critical Cssc Pengli Nanjing Technology Group Co ltd
Priority to CN202010326181.2A priority Critical patent/CN111523465B/zh
Publication of CN111523465A publication Critical patent/CN111523465A/zh
Application granted granted Critical
Publication of CN111523465B publication Critical patent/CN111523465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于摄像机标定及深度学习算法的船舶身份识别系统,包括步骤为:训练YOLO图像检测器,对实时视频流每帧图像进行船舶检测;设计KCF多目标跟踪器,实时获取其在图像中准确位置;通过摄像机标定算法将AIS信号与图像检测跟踪结果进行关联,对未关联上船舶采用深度特征匹配的方法进行识别。本发明由于采用摄像机标定算法,相较于传统身份识别方式,AIS关联成功率大大提高;另外由于采用了3D定位方法进行标定,避免了繁琐的棋盘格标定方法带来的误差;同时,相对于传统的基于sift、lbp等特征的图像检索,本发明对未关联AIS船舶采用深度特征匹配的方法,相似度检索成功率大大提高。

Description

基于摄像机标定及深度学习算法的船舶身份识别系统
技术领域
本发明涉及船舶身份识别领域,特别是一种基于摄像机标定及深度学习算法的船舶身份识别系统。
背景技术
我国拥有众多的江海湖泊,传统的海事监管方式是依靠人力通过海巡艇随机巡视水域进行监管,这种方式耗费巨大的人力物力,难以自动准确识别航道卡口水域船舶。在海警、海事、船舶管理系统等军民用领域中,视频监控成为一种重要的信息来源。海事监管部门2016 年以来,一直致力于发展水上智能监控,大力发展水上视频高清监控项目,沿江水域安装大量CCTV设备。通过集成AIS、CCTV等传感器,从实时视频监控中快速有效的提取船舶目标,对船舶身份进行自动判别,对船舶异常行为进行告警,成为一个重要的应用领域。
在目标检测技术中,应用比较广泛的有背景差分法、帧间差分法、光流法等,背景差分法易受环境光线变化的影响,不适用于背景变化很大的情况;帧间差分法帧间时间间隔的选取很重要,只能提取出目标边界;光流法对硬件要求比较高,计算较复杂,抗噪性差。
目前计算机视觉和模式识别技术发展迅速,在陆地智能交通领域取得显著成效。但水上智能交通领域仍存在以下难点:
(1)水上背景不固定,受到光照、雨雾天气影响较大。
(2)雷达及AIS设备无法直观监控水域,巡视船舶交通现场。
(3)传统特征如surf、lbp特征等无法提取船舶深层次特征,检索准确率不高。
因此,如何快速有效的检测船舶目标,结合其它来源信息,对船舶身份和行为进行判别成为一个重要发展趋势。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,而提供一种基于摄像机标定及深度学习算法的船舶身份识别系统,该基于摄像机标定及深度学习算法的船舶身份识别系统集成CCTV和AIS基站等设备,采用基于摄像机标定的AIS融合算法,获取船舶的AIS静态信息,相较于传统海事监管,自动化程度高、抓拍准确且信息全面。对于未开AIS船舶,为识别其身份,采用深度学习算法提取船舶的VGG16特征,建立船舶特征数据库,按最小余弦距离检索出相似性最大的船舶,识别出船舶身份信息。
为解决上述技术问题,本发明采用的技术方案是:
一种基于摄像机标定及深度学习算法的船舶身份识别系统,包括如下步骤。
步骤1,建立船舶检测器,包括如下步骤。
步骤11,确定YOLO模型的网络结构:YOLO模型网络结构包括输入层、隐含层和输出层。其中,输入层为视频帧图像,输出层为视频帧图像中是否含有船舶以及船舶在其中的像素位置。
步骤12,训练YOLO模型:首先设定YOLO模型中的batch size及网络输入大小。然后,收集CCTV视频数据,抽取视频帧中含有船舶的图像进行样本标注,形成数据集样本。采用数据集对步骤11确定的YOLO模型网络结构进行训练,确定连接权值。训练完成的YOLO模型,称为船舶检测器。
步骤2,船舶检测:采用步骤1建立的船舶检测器对实时视频流中的每一帧图像进行船舶检测,判断当前视频帧中是否含有船舶以及检测出船舶在视频帧图像中的像素位置。
步骤3,船舶跟踪:设计KCF多目标跟踪器,对步骤2中检测出的船舶目标进行跟踪。
步骤4,获取船舶AIS像素坐标:标定相机的内参和外参。接入AIS信号,获取船舶实时的经纬度及身份信息,通过四个坐标系的转换关系,并结合相机的内参和外参,将船舶的经纬度坐标转换为视频帧图像中的船舶AIS像素坐标。
步骤5,匹配船舶位置:将步骤4中获取的船舶AIS像素坐标和步骤3中检测出船舶在视频帧图像中的像素位置进行匹配。
步骤6,船舶身份识别:当步骤5中匹配成功时,则直接利用步骤4获取的船舶身份信息。当未匹配成功,则认为跟踪船舶是未开AIS船舶,利用深度学习方法识别船舶身份。采用深度学习识别船舶身份的方法,包括如下步骤:
步骤61、建立船舶特征数据集:采集各种类型船舶的全景图片,提取VGG16特征进行训练,建立船舶特征数据集。
步骤62,深度学习识别船舶身份:对于未开AIS船舶的图片,提取该船舶的VGG16特征,并采用最小余弦距离在步骤61中建立的船舶特征数据集中进行检索,得到未开AIS船舶的身份信息。
步骤61中,船舶特征数据集的建立方法,包括如下步骤:
步骤61A)、确定VGG16模型的网络结构:VGG16模型网络结构包括VGG16输入层、VGG16 隐含层和VGG16输出层。其中,VGG16输入层为船舶的全景图片,VGG16输出层为VGG16特征。 VGG16输入层、VGG16隐含层和VGG16输出层中各节点之间采用损失函数L进行连接,损失函数L的计算公式为:
Figure SMS_1
式中,L为损失函数,yi为像素真实值,y′i为网络对该位置像素的预测值,n为像素总数。
步骤61B)、预训练VGG16模型:为了减少VGG模型网络的过拟合并增强数据量,人为采集12000张含有船舶的照片,随机裁剪成大小为224*224的图片,并随机对裁剪后的图像进行-20到20°的中心旋转和随机RGB色差调整,生成若干样本,作为VGG16输入层,将船舶身份制作成标签,对VGG16网络进行训练,网络收敛后即得到VGG16特征提取网络。
步骤5,匹配船舶位置时,匹配方法采用全局最优算法,也即按照全局距离E最小原则进行匹配:
Figure SMS_2
式中(ui,vi)表示视频检测到船舶在图像中的坐标位置,(u′j,v′j)表示经纬度转换到图像坐标系的位置,dis表示欧式距离。N表示视频跟踪船舶数,M表示AIS转换到画面个数。
步骤3中,船舶跟踪时,先在CCTV视频画面中划定检测区,一旦在检测区中出现步骤2 检测出的船舶,即将检测框赋给KCF多目标跟踪器对该船舶进行目标跟踪,并判断是否为新目标。若为新目标,则分配一个新的KCF跟踪器对该目标框进行跟踪。若非新目标,则继续当前跟踪器跟踪的结果。
步骤3中,采用判断iou方法判断检测船舶是否为新目标,具体判断方法为:先计算交并比,当前一帧与当前帧目标检测的交并比大于0.3,则认为是非新目标,跟踪框位置为船舶当前时刻的位置。否则,则为新的船舶目标。
步骤3中,采用尺度池方法进行KCF多目标跟踪器的设计,对目标远近变化带来的跟踪框大小进行自适应调节。
步骤4中,计算从世界坐标系转图像坐标系时,引入径向和切向畸变矫正。
径向畸变矫正公式为:
u′=u(1+k1r2+k2r4+k3r6)
v′=v(1+k1r2+k2r4+k3r6)
式中,u′和v′为畸变矫正后的像素坐标,u和v分别为矫正前像素坐标,k1、k2和k3为径向畸变矫正系数,r是像素点与距离中心距离。
切向畸变矫正公式为:
u′=u+[2p1v+p2(r2+2u2)]
v′=v+[p1(r2+2v2)+2p2u]
式中,u′和v′为畸变矫正后的像素坐标,u和v分别为矫正前像素坐标,p1和p2为切向畸变矫正系数,r是像素点与距离中心距离。
步骤4中,图像坐标与相机坐标下的转换关系如下:
Figure SMS_3
Figure SMS_4
Figure SMS_5
式中,xc、yc和zc是相机坐标系下的坐标,u、v是图像坐标系下的坐标,dx、dy分别是图像x、y方向上单位毫米像素个数,h是相机安装高度,θ是相机的俯仰角,u0和v0是图像中心点像素位置,f表示相机焦距。
本发明具有如下有益效果:采用摄像机标定技术将AIS的经纬度及静态信息映射到图像中,再和图像检测跟踪的结果融合,与传统船舶身份融合技术相比,船舶身份识别准确性大大提高且更加直观。另外,采用深度学习技术提取船舶的深度特征建立数据库,对未开AIS 船舶利用深度特征库进行检索,相较于传统特征检索,大大提高了检索成功率。
附图说明
图1显示了本发明一种基于摄像机标定及深度学习算法的船舶身份识别系统的流程图。
图2显示了本发明中船舶身份识别系统的框架图。
图3显示了船舶跟踪的效果图。
图4显示了采用本发明实现船舶身份叠加在视频中的效果图。
具体实施方式
下面结合附图和具体较佳实施方式对本发明作进一步详细的说明。
本发明的描述中,需要理解的是,术语“左侧”、“右侧”、“上部”、“下部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,“第一”、“第二”等并不表示零部件的重要程度,因此不能理解为对本发明的限制。本实施例中采用的具体尺寸只是为了举例说明技术方案,并不限制本发明的保护范围。
如图1和图2所示,一种基于摄像机标定及深度学习算法的船舶身份识别系统,包括如下步骤。
步骤1,建立船舶检测器,包括如下步骤:
步骤11,确定YOLO模型的网络结构:YOLO模型网络结构包括输入层、隐含层和输出层。其中,输入层为视频帧图像,输出层为视频帧图像中是否含有船舶以及船舶在其中的像素位置。此处采用YOLO模型,对目标网络的检测效果好。
步骤12,训练YOLO模型:首先设定YOLO模型中的batch size及网络输入大小。然后,收集CCTV视频数据,抽取视频帧中含有船舶的图像进行样本标注,形成数据集样本。采用数据集对步骤11确定的YOLO模型网络结构进行训练,确定连接权值。训练完成的YOLO模型,称为船舶检测器。
步骤2,船舶检测:采用步骤1建立的船舶检测器对实时视频流中的每一帧图像进行船舶检测,判断当前视频帧中是否含有船舶以及检测出船舶在视频帧图像中的像素位置。
步骤3,船舶跟踪:设计KCF多目标跟踪器,对步骤2中检测出的船舶目标进行跟踪。
上述KCF为现有技术,该算法为单目标跟踪,在本发明中,通过计算预测框和检测框的交并比实现目标之间的关联,从而实现多目标跟踪,进而实现了实时画面的多目标跟踪。
本步骤的跟踪是为了当画面中有多个目标或新目标出现时,系统能将前后帧检测到的目标一一对应起来。如果没有跟踪,将会出现重复抓拍等现象。如图3所示,由于设置船舶跟踪,船舶的id才不会发生交替。
另外,本步骤3中的目标跟踪关联是为了将AIS与图像跟踪船舶的结果融合,若融合成功则船舶身份信息即得到;对于融合不成功的情况,采用步骤6的身份识别来得到船舶身份。
上述船舶跟踪时,先在CCTV视频画面中划定检测区,一旦在检测区中出现步骤2检测出的船舶,即将检测框赋给KCF多目标跟踪器对该船舶进行目标跟踪,并优选采用iou方法判断是否为新目标。若为新目标,则分配一个新的KCF跟踪器对该目标框进行跟踪。若非新目标,则继续当前跟踪器跟踪的结果。
上述iou方法判断检测船舶是否为新目标,具体优选判断方法为:先计算交并比,当前一帧与当前帧目标检测的交并比大于0.3,则认为是非新目标,跟踪框位置为船舶当前时刻的位置。否则,则为新的船舶目标。
步骤4,获取船舶AIS像素坐标:
步骤41、标定相机内参。
相机内参包括焦距、x/y方向单位长度像素数、图像中心位置。
具体标定方法,包括如下步骤:
步骤41A)、计算场角:将相机调整至合适位置,采用3D定位的方法,根据传感器尺寸、比例及焦距计算出视场角,公式为:
θ1=2arctan(w/2f)
θ2=2arctan(h/2f)
上式中,θ1是水平视场角,θ2是垂直视场角,w和h是CMOS的宽和高,f为相机焦距。
步骤41B)、视频画面偏转:将视频画面中心对准某一参照物,按照下面公式旋转一定偏转角转动到相应位置。画面中心对准选定点即相机焦距、传感器尺寸为正确值。
Figure SMS_6
Figure SMS_7
上式中,P是水平偏转角,T是垂直偏转角,w0是图像宽度中心,h0是图像高度中心,θ1和θ2分别是相机的水平视场角和垂直视场角。x、y表示需要居中的图像坐标位置。
步骤42、标定相机外参。
在测量得到相机内参后,使用DGPS测量相机安装位置经纬度及相机安装高度,水面上选取参考点并测量其经纬度,按照坐标转换关系得到参考点映射到CCTV画面中,根据画面中物体的实际位置和映射位置调整相机的水平、俯仰、旋转角,使得实际位置和映射位置一致即得到相机的外参
步骤43,获取船舶AIS像素坐标:接入AIS信号,获取船舶实时的经纬度及身份信息,通过四个坐标系的转换关系,并结合相机的内参和外参,将船舶的经纬度坐标转换为视频帧图像中的船舶AIS像素坐标。
然后接入AIS信号,获取船舶实时的经纬度及身份信息,通过四个坐标系的转换关系,并结合相机的内参和外参,将船舶的经纬度坐标转换为视频帧图像中的船舶AIS像素坐标。
图像坐标与相机坐标下的转换关系如下:
Figure SMS_8
Figure SMS_9
Figure SMS_10
式中,xc、yc和zc是相机坐标系下的坐标,u、v是图像坐标系下的坐标,dx、dy分别是图像x、y方向上单位毫米像素个数,h是相机安装高度,θ是相机的俯仰角,u0和v0是图像中心点像素位置,f表示相机焦距,对1920*1080分辨率图像而言,u0=960,v0=540。
另外,计算从世界坐标系转图像坐标系时,引入径向和切向畸变矫正。
径向畸变矫正公式为:
u′=u(1+k1r2+k2r4+k3r6)
v′=v(1+k1r2+k2r4+k3r6)
式中,u′和v′为畸变矫正后的像素坐标,u和v分别为矫正前像素坐标,k1、k2和k3为径向畸变矫正系数,r是像素点与距离中心距离。
切向畸变矫正公式为:
u′=u+[2p1v+p2(r2+2u2)]
v′=v+[p1(r2+2v2)+2p2u]
式中,u′和v′为畸变矫正后的像素坐标,u和v分别为矫正前像素坐标,p1和p2为切向畸变矫正系数,r是像素点与距离中心距离。上述畸变矫正可以视觉上更近似真实场景,也减小了坐标转换误差。
步骤5,匹配船舶位置:将步骤4中获取的船舶AIS像素坐标和步骤3中检测出船舶在视频帧图像中的像素位置进行匹配。
进一步,匹配船舶位置时,匹配方法优选采用全局最优算法,也即按照全局距离E最小原则进行匹配:
Figure SMS_11
式中(ui,vi)表示视频检测到船舶在图像中的坐标位置,(u′j,v′j)表示经纬度转换到图像坐标系的位置,dis表示欧式距离。N表示视频跟踪船舶数,M表示AIS转换到画面个数。
步骤6,船舶身份识别:当步骤5中匹配成功时,则直接利用步骤4获取的船舶身份信息。当未匹配成功,则认为跟踪船舶是未开AIS船舶,利用深度学习方法识别船舶身份。
上述采用深度学习识别船舶身份的方法,优选包括如下步骤:
步骤61、建立船舶特征数据集:采集各种类型船舶的全景图片,提取VGG16特征进行训练,建立船舶特征数据集。
步骤61中,船舶特征数据集的建立方法,包括如下步骤:
步骤61A)、确定VGG16模型的网络结构:VGG16模型网络结构包括VGG16输入层、VGG16 隐含层和VGG16输出层。其中,VGG16输入层为船舶的全景图片,VGG16输出层为VGG16特征。VGG16输入层、VGG16隐含层和VGG16输出层中各节点之间采用损失函数L进行连接,损失函数L的计算公式为:
Figure SMS_12
式中,L为损失函数,yi为像素真实值,y′i为网络对该位置像素的预测值,n为像素总数。
步骤61B)、预训练VGG16模型:为了减少VGG模型网络的过拟合并增强数据量,人为采集12000张含有船舶的照片,随机裁剪成大小为224*224的图片,并随机对裁剪后的图像进行-20到20°的中心旋转和随机RGB色差调整,生成若干样本,作为VGG16输入层。将船舶身份制作成标签,对VGG16网络进行训练,网络收敛后即得到VGG16特征提取网络。
步骤62,深度学习识别船舶身份:对于未开AIS船舶的图片,提取该船舶的VGG16特征,并采用最小余弦距离在步骤61中建立的船舶特征数据集中进行检索,得到未开AIS船舶的身份信息。
上述“最小余弦距离”是数学里通用定义,和欧式距离类似,指的是当前船舶特征向量与船舶数据库特征向量的最小距离,遍历数据库中船舶特征向量与当前船舶的余弦距离,距离最小代表该船舶和数据库中已有船舶相似程度最高。好处是实现简单并能够衡量不同长度向量的相似度。
本发明,采用摄像机标定技术将AIS的经纬度及静态信息映射到图像中,再和图像检测跟踪的结果融合,与传统船舶身份融合技术相比,船舶身份识别准确性大大提高且更加直观。另外,采用深度学习技术提取船舶的深度特征建立数据库,对未开AIS船舶利用深度特征库进行检索,相较于传统特征检索,大大提高了检索成功率。
因为水面背景不固定、受光照雨雾影响,传统船舶检测抓拍的成功率较低,改用基于 YOLO的船舶检测以及KCF跟踪算法,大大提高了船舶检测跟踪的成功率。具体分析如下:
1、传统的AIS及雷达不够直观,采用本系统相机标定算法可以实现船舶身份叠加在视频中的效果,如图4所示,其中横框为跟踪框、经纬度转化为圆圈区域、上方显示船名。
2、对于没有开启AIS船舶,无法通过相机标定算法实现视频检测的船舶与船舶身份信息的融合,本发明通过提前建立船舶特征数据库(用VGG16特征代替传统的surf和lbp等特征),提取船舶图像的VGG16特征数据与特征数据库进行比对,实现了离线的船舶身份识别。
以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。

Claims (6)

1.基于摄像机标定及深度学习算法的船舶身份识别系统,其特征在于:包括如下步骤:
步骤1,建立船舶检测器,包括如下步骤:
步骤11,确定YOLO模型的网络结构:YOLO模型网络结构包括输入层、隐含层和输出层;其中,输入层为视频帧图像,输出层为视频帧图像中是否含有船舶以及船舶在其中的像素位置;
步骤12,训练YOLO模型:首先设定YOLO模型中的batch size及网络输入大小;然后,收集CCTV视频数据,抽取视频帧中含有船舶的图像进行样本标注,形成数据集样本;采用数据集对步骤11确定的YOLO模型网络结构进行训练,确定连接权值;训练完成的YOLO模型,称为船舶检测器;
步骤2,船舶检测:采用步骤1建立的船舶检测器对实时视频流中的每一帧图像进行船舶检测,判断当前视频帧中是否含有船舶以及检测出船舶在视频帧图像中的像素位置;
步骤3,船舶跟踪:设计KCF多目标跟踪器,对步骤2中检测出的船舶目标进行跟踪;
步骤4,获取船舶AIS像素坐标:标定相机的内参和外参;接入AIS信号,获取船舶实时的经纬度及身份信息,通过四个坐标系的转换关系,并结合相机的内参和外参,将船舶的经纬度坐标转换为视频帧图像中的船舶AIS像素坐标;
其中,计算从世界坐标系转图像坐标系时,引入径向和切向畸变矫正;
径向畸变矫正公式为:
u′=u(1+k1r2+k2r4+k3r6)
v′=v(1+k1r2+k2r4+k3r6)
式中,u′和v′为畸变矫正后的像素坐标,u和v分别为矫正前像素坐标,k1、k2和k3为径向畸变矫正系数,r是像素点与距离中心距离;
切向畸变矫正公式为:
u′=u+[2p1v+p2(r2+2u2)]
v′=v+[p1(r2+2v2)+2p2u]
式中,u′和v′为畸变矫正后的像素坐标,u和v分别为矫正前像素坐标,p1和p2为切向畸变矫正系数,r是像素点与距离中心距离;
图像坐标与相机坐标下的转换关系如下:
Figure FDA0004130710080000011
Figure FDA0004130710080000012
Figure FDA0004130710080000013
式中,xc、yc和zc是相机坐标系下的坐标,u、v是图像坐标系下的坐标,dx、dy分别是图像x、y方向上单位毫米像素个数,h是相机安装高度,θ是相机的俯仰角,u0和v0是图像中心点像素位置,f表示相机焦距;
步骤5,匹配船舶位置:将步骤4中获取的船舶AIS像素坐标和步骤3中检测出船舶在视频帧图像中的像素位置进行匹配;
步骤6,船舶身份识别:当步骤5中匹配成功时,则直接利用步骤4获取的船舶身份信息;当未匹配成功,则认为跟踪船舶是未开AIS船舶,利用深度学习方法识别船舶身份;采用深度学习识别船舶身份的方法,包括如下步骤:
步骤61、建立船舶特征数据集:采集各种类型船舶的全景图片,提取VGG16特征进行训练,建立船舶特征数据集;
步骤62,深度学习识别船舶身份:对于未开AIS船舶的图片,提取该船舶的VGG16特征,并采用最小余弦距离在步骤61中建立的船舶特征数据集中进行检索,得到未开AIS船舶的身份信息。
2.根据权利要求1所述的基于摄像机标定及深度学习算法的船舶身份识别系统,其特征在于:步骤61中,船舶特征数据集的建立方法,包括如下步骤:
步骤61A)、确定VGG16模型的网络结构:VGG16模型网络结构包括VGG16输入层、VGG16隐含层和VGG16输出层;其中,VGG16输入层为船舶的全景图片,VGG16输出层为VGG16特征;VGG16输入层、VGG16隐含层和VGG16输出层中各节点之间采用损失函数L进行连接,损失函数L的计算公式为:
Figure FDA0004130710080000021
式中,L为损失函数,yi为像素真实值,y′i为网络对该位置像素的预测值,n为像素总数;
步骤61B)、预训练VGG16模型:为了减少VGG模型网络的过拟合并增强数据量,人为采集12000张含有船舶的照片,随机裁剪成大小为224*224的图片,并随机对裁剪后的图像进行20到20°的中心旋转和随机RGB色差调整,生成若干样本,作为VGG16输入层,将船舶身份制作成标签,对VGG16网络进行训练,网络收敛后即得到VGG16特征提取网络。
3.根据权利要求1所述的基于摄像机标定及深度学习算法的船舶身份识别系统,其特征在于:步骤5,匹配船舶位置时,匹配方法采用全局最优算法,也即按照全局距离E最小原则进行匹配:
Figure FDA0004130710080000022
式中(ui,vi)表示视频检测到船舶在图像中的坐标位置,(u′j,v′j)表示经纬度转换到图像坐标系的位置,dis表示欧式距离;N表示视频跟踪船舶数,M表示AIS转换到画面个数。
4.根据权利要求1所述的基于摄像机标定及深度学习算法的船舶身份识别系统,其特征在于:步骤3中,船舶跟踪时,先在CCTV视频画面中划定检测区,一旦在检测区中出现步骤2检测出的船舶,即将检测框赋给KCF多目标跟踪器对该船舶进行目标跟踪,并判断是否为新目标;若为新目标,则分配一个新的KCF跟踪器对该目标框进行跟踪;若非新目标,则继续当前跟踪器跟踪的结果。
5.根据权利要求4所述的基于摄像机标定及深度学习算法的船舶身份识别系统,其特征在于:步骤3中,采用判断iou方法判断检测船舶是否为新目标,具体判断方法为:先计算交并比,当前一帧与当前帧目标检测的交并比大于0.3,则认为是非新目标,跟踪框位置为船舶当前时刻的位置;否则,则为新的船舶目标。
6.根据权利要求1所述的基于摄像机标定及深度学习算法的船舶身份识别系统,其特征在于:步骤3中,采用尺度池方法进行KCF多目标跟踪器的设计,对目标远近变化带来的跟踪框大小进行自适应调节。
CN202010326181.2A 2020-04-23 2020-04-23 基于摄像机标定及深度学习算法的船舶身份识别系统 Active CN111523465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326181.2A CN111523465B (zh) 2020-04-23 2020-04-23 基于摄像机标定及深度学习算法的船舶身份识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326181.2A CN111523465B (zh) 2020-04-23 2020-04-23 基于摄像机标定及深度学习算法的船舶身份识别系统

Publications (2)

Publication Number Publication Date
CN111523465A CN111523465A (zh) 2020-08-11
CN111523465B true CN111523465B (zh) 2023-06-27

Family

ID=71903123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326181.2A Active CN111523465B (zh) 2020-04-23 2020-04-23 基于摄像机标定及深度学习算法的船舶身份识别系统

Country Status (1)

Country Link
CN (1) CN111523465B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131966A (zh) * 2020-09-01 2020-12-25 深圳中兴网信科技有限公司 泥头车监控方法、系统和存储介质
CN112116529A (zh) * 2020-09-23 2020-12-22 浙江浩腾电子科技股份有限公司 一种基于ptz相机的gps坐标与像素坐标的转换方法
CN112444805A (zh) * 2020-11-01 2021-03-05 复旦大学 基于雷达的分布式多目标检测、定位跟踪与身份识别系统
CN112598733B (zh) * 2020-12-10 2021-08-03 广州市赋安电子科技有限公司 一种基于多模态数据融合补偿自适应优化的船舶检测方法
CN112750104B (zh) * 2020-12-29 2023-01-17 广东鉴面智能科技有限公司 一种多相机监控船舶自动匹配最优相机的方法及装置
CN113093726A (zh) * 2021-03-05 2021-07-09 华南理工大学 一种基于Yolo_v4算法的目标检测与跟踪方法
CN113569647B (zh) * 2021-06-29 2024-02-20 广州赋安数字科技有限公司 一种基于ais的船舶高精度坐标映射方法
CN113808282B (zh) * 2021-08-26 2023-09-26 交通运输部水运科学研究所 一种多通航要素数据融合方法
CN113780127A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种船舶定位与监控系统及方法
CN114022775B (zh) * 2021-09-14 2024-04-30 南京智慧水运科技有限公司 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法
CN113763484A (zh) * 2021-09-17 2021-12-07 交通运输部水运科学研究所 基于视频图像分析技术的船舶目标定位及速度估算方法
CN113566720A (zh) * 2021-09-26 2021-10-29 武汉理工大学 船舶水上高度自动测量方法、系统、设备及存储介质
CN113920462A (zh) * 2021-10-19 2022-01-11 广东邦鑫数据科技股份有限公司 基于人工智能的船舶智能检测方法及系统
CN114463640A (zh) * 2022-04-08 2022-05-10 武汉理工大学 一种局部特征融合的多视角船舶身份识别方法
CN114822169B (zh) * 2022-05-06 2023-06-09 辽宁科技大学 一种教练车驾驶辅助练习方法及装置
CN114821494B (zh) * 2022-06-27 2022-10-14 杭州声飞光电技术有限公司 船舶信息匹配方法及装置
CN116468598B (zh) * 2023-03-16 2023-11-17 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 高分航空影像与低分卫星影像匹配方法、设备及存储设备
CN117061712B (zh) * 2023-10-12 2023-12-29 常州市佐安电器有限公司 一种采煤机自动跟机监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886051A (zh) * 2017-10-19 2018-04-06 中国电子科技集团公司第二十八研究所 基于图像的船舶身份识别方法
CN108806334A (zh) * 2018-04-27 2018-11-13 中船重工鹏力(南京)大气海洋信息系统有限公司 一种基于图像的智能船舶身份识别方法
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901939B1 (ko) * 2016-06-14 2018-09-27 한국전자통신연구원 해상 교통 정보 관제 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886051A (zh) * 2017-10-19 2018-04-06 中国电子科技集团公司第二十八研究所 基于图像的船舶身份识别方法
CN108806334A (zh) * 2018-04-27 2018-11-13 中船重工鹏力(南京)大气海洋信息系统有限公司 一种基于图像的智能船舶身份识别方法
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严忠贞.内河在航船舶动态跟踪和航迹融合方法研究.《中国博士学位论文全文数据库 工程科技Ⅱ辑》.2014,(第6期),全文. *
王鹏.面向内河港运管理的船舶识别方法研究.《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》.2019,(第8期),全文. *

Also Published As

Publication number Publication date
CN111523465A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523465B (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
US11410002B2 (en) Ship identity recognition method based on fusion of AIS data and video data
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN111968046B (zh) 一种基于拓扑结构的雷达光电传感器目标关联融合方法
WO2020220522A1 (zh) 一种智能视觉采样方法、系统及装置
CN113808282A (zh) 一种多通航要素数据融合方法
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN108596117B (zh) 一种基于二维激光测距仪阵列的场景监控方法
CN112083437A (zh) 一种船用激光雷达与视频联合目标捕捉系统及方法
Zwemer et al. Ship Detection in Harbour Surveillance based on Large-Scale Data and CNNs.
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN111856445B (zh) 一种目标检测方法、装置、设备及系统
Liao et al. Se-calib: Semantic edges based lidar-camera boresight online calibration in urban scenes
CN113569647A (zh) 一种基于ais的船舶高精度坐标映射方法
CN112488022A (zh) 一种环视全景监控方法、装置及系统
CN113850864B (zh) 一种面向室外移动机器人的gnss/lidar回环检测方法
CN116246096A (zh) 一种基于前景强化知识蒸馏的点云3d目标检测方法
CN113688819B (zh) 一种基于标记点的目标物期望点跟踪匹配方法
CN116027319A (zh) 一种基于雷达光电目标融合的雷达自动标注系统及方法
CN114120236A (zh) 对低空目标进行识别定位的方法
CN110738167A (zh) 一种基于多域空间属性关联分析的行人辨识方法
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
EP4296968A1 (en) Method for labelling a water surface within an image, method for providing a training dataset for training, validating, and/or testing a machine learning algorithm, machine learning algorithm for detecting a water surface in an image, and water surface detection system
Wu et al. Multimodal Collaboration Networks for Geospatial Vehicle Detection in Dense, Occluded, and Large-Scale Events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 211153 No.32 Changqing street, Jiangning Development Zone, Nanjing City, Jiangsu Province

Applicant after: China Shipbuilding Pengli (Nanjing) Atmospheric and Ocean Information System Co.,Ltd.

Applicant after: CSSC Pengli (Nanjing) Technology Group Co.,Ltd.

Address before: 211153 No.32 Changqing street, Jiangning Development Zone, Nanjing City, Jiangsu Province

Applicant before: CSIC PRIDE (NANJING) ATMOSPHERE MARINE INFORMATION SYSTEM Co.,Ltd.

Applicant before: CSIC NANJING PRIDE TECHNOLOGY GROUP CO.,LTD.

GR01 Patent grant
GR01 Patent grant