CN111985363B - 一种基于深度学习框架的船舶名称识别系统及方法 - Google Patents

一种基于深度学习框架的船舶名称识别系统及方法 Download PDF

Info

Publication number
CN111985363B
CN111985363B CN202010783146.3A CN202010783146A CN111985363B CN 111985363 B CN111985363 B CN 111985363B CN 202010783146 A CN202010783146 A CN 202010783146A CN 111985363 B CN111985363 B CN 111985363B
Authority
CN
China
Prior art keywords
ship
ship name
image
maritime
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010783146.3A
Other languages
English (en)
Other versions
CN111985363A (zh
Inventor
马勇
王京
徐扬
严新平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010783146.3A priority Critical patent/CN111985363B/zh
Publication of CN111985363A publication Critical patent/CN111985363A/zh
Application granted granted Critical
Publication of CN111985363B publication Critical patent/CN111985363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习框架的船舶名称识别系统及方法，属于深度学习领域，本系统主要由海事监管无人机、机载图像处理模块、机载通信模块及海事监管中心组成。无人机通过对海事监管区域进行巡航，采集监管区域违法船舶图像信息并传递给图像处理模块；图像处理模块采用深度学习人工智能算法判断出船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到目标船舶图像中的船舶名称信息，并通过机载通信模块将船舶名称信息传递至海事监控中心，对海事违法行为进行依法管控。通过本发明可以有效地识别出违法船舶名称信息，为海事监管中的船名识别问题提供了一种有效的解决方法。

Description

一种基于深度学习框架的船舶名称识别系统及方法
技术领域
本发明属于深度学习领域，更具体地，涉及一种基于深度学习框架的船舶名称识别系统及方法。
背景技术
在海事监管中，船舶的身份识别一直是一个很重要的课题，其中船舶名称是其最重要的身份信息之一，标识着船舶基本身份信息。根据国际海事组织(InternationalMaritime Organization，IMO)规定，300总吨以上的非国际航行船舶以及500总吨以上的国际航行船舶，必须强制安装船舶自动识别系统(Automatic Identification System，AIS)设备。上述规定尚未对300总吨以下的船舶做出强制安装AIS的规定。同时，部分营运船舶出于节省燃油成本、逃避主管机关监管及AIS设备故障等原因，擅自关闭AIS设备的情况时有发生。AIS的缺失或者暂停工作的情况，导致了海事监管出现管理的盲区。为此，海事主管单位有必要针对上述问题，提出行之有效的船名识别方法，以增进海事监管水平。
目前基于深度学习的图像检测与识别技术已经趋于成熟，然而，目前基于计算机视觉等技术的智能交通研究大部分集中于陆路交通，鲜见用于水路交通的研究。依据行业参照，将图像处理、计算机视觉等相关技术应用于智能交通领域具有较大的潜在应用价值。
传统的字符识别方法中所选择的分类器的拟合能力较差，且识别精度十分依赖识别前的预处理工作(如字符矫正、字符分割等)，对字符长度不一、特征多样的船名识别能力有限。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于深度学习框架的船舶名称识别系统及方法，用于预置神经网络对船舶名称进行识别。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习框架的船舶名称识别系统，包括：海事监管无人机、机载图像处理模块、机载通信模块及海事监控中心；
所述海事监管无人机搭载所述机载图像处理模块与所述机载通信模块，所述机载通信模块与所述海事监控中心相连；
所述海事监管无人机采集目标船舶图像并将所述目标船舶图像传递至所述机载图像处理模块，其中，所述目标船舶图像中包括船舶名称信息；
所述机载图像处理模块采用深度学习人工智能算法判断出所述船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到所述目标船舶图像中的船舶名称信息，并通过所述机载通信模块将所述船舶名称信息传递至所述海事监控中心；
所述海事监控中心根据所述船舶名称信息向对应船舶发出警示信息。
优选地，所述机载图像处理模块包括船舶图像信息存储单元、识别模型存储单元以及处理单元；
所述船舶图像信息存储单元存储接收的所述目标船舶图像以扩充船名识别系统数据集；
所述识别模型存储单元用于存储深度学习识别模型；
所述处理单元接收所述海事监管无人机传递的所述目标船舶图像，并调用所述识别模型存储单元存储的所述深度学习识别模型，将所述目标船舶图像作为所述深度学习识别模型的输入，判断出所述船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到所述目标船舶图像中的船舶名称信息。
优选地，所述海事监控中心包括监管平台及海事违法行为处理端；
所述监管平台接收记录所述船舶名称信息，并根据所述船舶名称信息控制所述海事违法行为处理端进行相应处罚及通过所述海事监管无人机发出声音警示。
优选地，所述海事监管无人机包括海事无人机以及吊舱；
所述海事无人机与所述吊舱由所述海事监控中心根据海事监管距离、海事监管类型及监管设备载重进行选择。
按照本发明的另一方面，提供了一种基于深度学习框架的船舶名称识别方法，包括：
S1：通过海事监管无人机拍摄含有船舶名称的目标船舶图像；
S2：将所述目标船舶图像作为训练好的深度学习识别模型的输入，提取所述目标船舶图像中疑似船舶名称的图像特征，并形成目标物；
S3：检测出目标物阈值，并对所述目标物进行标注，在所述目标船舶图像中形成包含船舶名称信息的标注框，基于所述训练好的深度学习识别模型定位船舶名称信息所处的位置，并结合所述标注框得到目标物的置信度；
S4：判断所述目标物的置信度是否大于等于所述目标物阈值；若为否，则重新输入船舶图像至所述训练好的深度学习识别模型；若为是，则判断出所述船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到所述目标船舶图像中的船舶名称信息。
优选地，由
Figure BDA0002620970430000031
确定所述目标物的置信度，其中，P表示通过所述深度学习识别模型定位到的船舶名称信息所处的位置，区域S表示通过标注得到的真实船舶名称信息所处的位置。
优选地，所述深度学习识别模型包括：卷积层、循环层及转录层，所述卷积层对输入的船舶图像进行特征序列提取得到船舶名称信息的特征序列，特征序列交由所述循环层进行预测并输出单帧检测结果，最后通过所述转录层将单帧预测结果转录为船舶名称信息输出。
优选地，所述深度学习识别模型的训练方法包括：
通过无人机拍摄与实地拍摄获取含有船舶名称的船舶图像；
对各所述船舶图像进行标注，生成与各所述船舶图像对应的含有船舶名称位置信息的目标格式文件，由各所述目标格式文件形成船舶名称识别数据集；
由深度学习识别模型进行预处理定位所述船舶名称识别数据集中各图像中船舶名称信息所处的位置，然后由卷积层对船名位置区域包含的字符信息进行特征提取得到特征序列，特征序列交由所述循环层进行预测并输出单帧检测结果，最后通过所述转录层将单帧预测结果转录为船舶名称信息输出。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
无人机通过对海事监管区域进行巡航，采集监管区域违法船舶图像信息并传递给图像处理模块；图像处理模块通过深度学习对在航船舶进行船舶名称位置检测与船名识别，而后通过通信模块将船舶名称信息传递给海事监控中心，对海事违法行为进行依法管控，为海事监管中的船名识别问题提供了一种有效的解决方法，以消除海事监管出现管理的盲区。
附图说明
图1是本发明实施例提供的一种基于深度学习的船名识别系统构成图；
图2是本发明实施例提供的一种基于深度学习的船名识别方法流程图；
图3是本发明实施例提供的一种基于深度学习的船名识别方法流程图；
图4是本发明实施例提供的一种船名识别网络卷积循环神经网络结构示意图；
图5是本发明实施例提供的一种基于卷积循环神经网络的船名识别网络结构参数图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于深度学习框架的船舶名称识别系统，该系统主要由海事监管无人机、机载图像处理器、机载通信设备及海事监控中心组成。无人机通过对海事监管区域进行巡航，采集监管区域违法船舶图像信息并传递给图像处理设备；图像处理设备通过深度学习算法对在航船舶进行船舶名称进行船名识别，而后通过通信模块将船舶名称信息传递给海事监管中心，对海事违法行为进行依法管控。船名识别是指在完成船名位置检测的基础上，对船名位置区域包含的字符信息进行识别。船名识别的准确性，反映出船名检测与识别工作的可靠性，直接影响着海事管理的监管质量，直接决定了海事监管水平。传统的字符识别方法中所选择的分类器的拟合能力较差，且识别精度十分依赖识别前的预处理工作(如字符矫正、字符分割等)，对字符长度不一、特征多样的船名识别能力有限。鉴于深度学习强大的特征学习能力与数据拟合能力，本发明针对船名识别任务具有尺度复杂和类别多样的特点，提出一种基于卷积循环神经网络(Convolutional Recurrent NeuralNetwork，CRNN)的船名识别系统，为海事监管中的船名识别问题提供了一种有效的解决方法。
实施例一
如图1所示是本发明实施例提供的一种基于深度学习的船舶名称识别系统的结构示意图，包括：海事监管无人机、机载图像处理模块、机载通信模块及海事监控中心；
海事监管无人机搭载机载图像处理模块与机载通信模块，机载通信模块与海事监控中心相连；
海事监管无人机采集目标船舶图像并将目标船舶图像传递至机载图像处理模块，其中，目标船舶图像中包括船舶名称信息；
机载图像处理模块采用深度学习人工智能算法判断出船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到目标船舶图像中的船舶名称信息，并通过机载通信模块将船舶名称信息传递至海事监控中心；
海事监控中心根据船舶名称信息向对应船舶发出警示信息。
进一步地，机载图像处理模块包括船舶图像信息存储单元、识别模型存储单元以及处理单元；
船舶图像信息存储单元存储接收的目标船舶图像以扩充船名识别系统数据集；
识别模型存储单元用于存储深度学习识别模型；
处理单元接收海事监管无人机传递的目标船舶图像，并调用识别模型存储单元存储的深度学习识别模型，将目标船舶图像作为深度学习识别模型的输入，判断出船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到目标船舶图像中的船舶名称信息。
进一步地，海事监控中心包括监管平台及海事违法行为处理端；
监管平台接收记录船舶名称信息，并根据船舶名称信息控制海事违法行为处理端进行相应处罚及通过海事监管无人机发出声音警示。
进一步地，海事监管无人机包括海事无人机以及吊舱；
海事无人机与吊舱由海事监控中心根据海事监管距离、海事监管类型及监管设备载重进行选择。
实施例二
如图2及图3所示是本发明实施例提供的一种基于深度学习的船舶名称识别方法的流程示意图，包括以下步骤：
S1：通过海事监管无人机拍摄含有船舶名称的目标船舶图像；
S2：将目标船舶图像作为训练好的深度学习识别模型的输入，提取目标船舶图像中疑似船舶名称的图像特征，并形成目标物；
S3：检测出目标物阈值，并对目标物进行标注，在目标船舶图像中形成包含船舶名称信息的标注框，基于训练好的深度学习识别模型定位船舶名称信息所处的位置，并结合标注框得到目标物的置信度；
在本发明实施例中，目标物阈值表示目标船舶图像的阈值。
在本发明实施例中，对目标物进行标注可以通过以下方式实现：
首先对含有船舶名称的船舶图形进行预处理，含有船舶名称的图像预处理主要包括对面向海事监管的船名图像尺度的处理及船名位置区域标注。在预处理阶段，由于船名图像数据集中的船名图片尺寸差异较大，若直接将船名图片放入船名识别网络中训练会致使网络参数指数式增长，不利于船名识别网络的训练学习。因此可以通过随机裁剪的方式将船名图片统一裁剪为目标大小，以减少网络参数数量加快网络训练。
船名区域标注是指对船名图像中有效的船名区域以轴对齐矩形框(即矩形框边界与船名图像边界垂直或平行)的形式标注出来，作为船名识别网络训练和测试的标注数据。可以选取Labelme对船名图像区域进行标注并生成json文件，进一步将json文件转化为可被网络接收训练的info.yaml及labnel.png文件。
S4：判断目标物的置信度是否大于等于目标物阈值；若为否，则重新输入船舶图像至训练好的深度学习识别模型；若为是，则判断出船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到目标船舶图像中的船舶名称信息。
在本发明实施例中，目标物的置信度可以通过以下方式实现：
由
Figure BDA0002620970430000081
确定目标物的置信度，其中，P表示通过深度学习识别模型定位到的船舶名称信息所处的位置，区域S表示通过标注得到的真实船舶名称信息所处的位置。
对于目标检测而言，还需要设置一个目标物阈值T，通过比较T与IOU值的大小，来判断是否正确定位到了目标位置。若IOU≥T则表示正确的定位到了目标区域，反之则表示定位失败。
在本发明实施例中，船名识别是指在完成船名位置检测的基础上，对船名位置区域包含的字符信息进行识别。传统的字符识别方法中所选择的分类器的拟合能力较差，且识别精度十分依赖识别前的预处理工作(如字符矫正、字符分割等)，对字符长度不一、特征多样的船名识别能力有限。鉴于深度学习强大的特征学习能力与数据拟合能力，将针对船名识别任务具有尺度复杂和类别多样的特点，采用卷积循环神经网络解决船名识别问题。基于卷积循环神经网络的船名识别网络将输入的船名图片视作一个字符序列，直接对检测到的船名位置区域图像进行字符识别并输出船名，实现了端到端的船名识别。相较于传统的字符识别方法，能消除字符矫正、字符分割等预处理过程带来的累积误差，极大提高船名识别效率。
进一步地，如图4所示，卷积循环神经网络主要由卷积层、循环层、转录层(即图3中的翻译层)三部分组成。卷积层对输入的船名图片进行特征序列提取，特征序列交由循环层进行预测并输出单帧检测结果，最后转录层将单帧预测结果转录为船名输出。船名识别网络模型卷积循环神经网络将船名识别问题建模为字符序列识别问题，基于序列的建模可以识别任意长度的船名，这一特性对于字符个数不统一的船名字符的识别十分有利。此外，卷积循环神经网络中包含了不同类型的网络模型，但共用了一个损失函数，极大降低了模型训练的难度。
进一步地，基于卷积循环神经网络的船名识别网络结构参数如图5所示，船名识别网络卷积层借鉴了VGG-VeryDeep的网络结构，并根据船名识别任务的特点进行调整。具体而言是将船名识别网络中第3个和第4个最大池化层的池化窗口转化为1×2的矩形池化窗口，而非标准的2×2正方形池化窗口。在船名识别任务中体现为船名图片特征映射的宽度得以更多的保留，进一步经循环层转化会得到更多的船名图片特征序列。同时由于船名字符标签序列的长度总是小于或者等于船名字符特征序列，更长的船名字符特征序列赋予了船名识别网络对于较长船名的识别能力。循环层由两个双向LSTM结构组成，每个LSTM隐含层节点数为256，用以对船名字符特征序列的标签进行预测，最后经转录层输出船名图片中包含的船名字符信息，实现船名识别。
进一步地，深度学习识别模型的训练方法包括：
通过无人机拍摄与实地拍摄获取含有船舶名称的船舶图像；
对各船舶图像进行标注，生成与各船舶图像对应的含有船舶名称位置信息的目标格式文件，由各目标格式文件形成船舶名称识别数据集；
由深度学习识别模型进行预处理定位船舶名称识别数据集中各图像中船舶名称信息所处的位置，然后由卷积层对船名位置区域包含的字符信息进行特征提取得到特征序列，特征序列交由所述循环层进行预测并输出单帧检测结果，最后通过所述转录层将单帧预测结果转录为船舶名称信息输出。
具体地，在本发明实施例中可以使用912311张模拟船名图片对船名识别网络模型进行预训练；再将经过数据增强以及仿射变换的真实船名图片作为测试集喂入船名识别网络模型并调整超参数，监测船名识别模型在训练时的移动情况，根据模型是否出现过拟合为条件判定是否停止训练；最后将部分真实船名图片作为测试集以评估船名识别模型的泛化能力，真实船名图片仅调用一次，以避免使用测试集为训练样本使得船名识别模型的准确率的贡献来源于测试集。基于卷积循环神经网络的船名识别模型包含了深层卷积循环神经网络以及深度循环神经网络，2种网络模型训练难度较大。在训练过程中发现批归一化方法对模型的训练极为有利。因此在训练过程中，在网络的3个卷积层上添加了BN操作。船名识别网络的训练过程中采用了随机梯度下降算法，在船名识别网络的转录层中，误差通过前向-后向算法进行传递，使用ADADELTA优化方法对船名识别网络进行优化。在对船名识别网络的预训练过程中，初始学习率为，最大迭代次数50次，在对船名识别模型进行微调时初始学习率为5×10-5，最大迭代次数4000次。
实施例三
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现方法实施例中的基于深度学习框架的船舶名称识别方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习框架的船舶名称识别方法，其通过基于深度学习框架的船舶名称识别系统实现，其特征在于，所述系统包括：海事监管无人机、机载图像处理模块、机载通信模块及海事监控中心；所述海事监管无人机搭载所述机载图像处理模块与所述机载通信模块，所述机载通信模块与所述海事监控中心相连；所述海事监管无人机采集目标船舶图像并将所述目标船舶图像传递至所述机载图像处理模块，其中，所述目标船舶图像中包括船舶名称信息；所述机载图像处理模块采用深度学习人工智能算法判断出所述船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到所述目标船舶图像中的船舶名称信息，并通过所述机载通信模块将所述船舶名称信息传递至所述海事监控中心；所述海事监控中心根据所述船舶名称信息向对应船舶发出警示信息，所述方法包括：
S1：通过海事监管无人机拍摄含有船舶名称的目标船舶图像；
S2：将所述目标船舶图像作为训练好的深度学习识别模型的输入，提取所述目标船舶图像中疑似船舶名称的图像特征，并形成目标物；
S3：检测出目标物阈值，并对所述目标物进行标注，在所述目标船舶图像中形成包含船舶名称信息的标注框，基于所述训练好的深度学习识别模型定位船舶名称信息所处的位置，并结合所述标注框得到目标物的置信度，其中，由
Figure FDA0003427841040000011
确定所述目标物的置信度，其中，P表示通过所述深度学习识别模型定位到的船舶名称信息所处的位置，区域S表示通过标注得到的真实船舶名称信息所处的位置；
S4：判断所述目标物的置信度是否大于等于所述目标物阈值；若为否，则重新输入船舶图像至所述训练好的深度学习识别模型；若为是，则判断出所述船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到所述目标船舶图像中的船舶名称信息；
其中，步骤S3中对目标物进行标注通过以下方式实现：对含有船舶名称的船舶图形进行预处理，含有船舶名称的图像预处理主要包括对面向海事监管的船名图像尺度的处理，具体为通过随机裁剪的方式将船名图片统一裁剪为目标大小；以及对船名位置区域标注，具体为选取Labelme对船名图像区域进行标注并生成json文件，进一步将json文件转化为可被网络接收训练的info.yaml及labnel.png文件；
所述深度学习识别模型包括：卷积层、循环层及转录层，所述卷积层对输入的船舶图像进行特征序列提取得到船舶名称信息的特征序列，特征序列交由所述循环层进行预测并输出单帧检测结果，最后通过所述转录层将单帧预测结果转录为船舶名称信息输出，卷积层借鉴VGG-VeryDeep的网络结构，且将VGG-VeryDeep的网络结构中第3个和第4个最大池化层的池化窗口转化为1×2的矩形池化窗口，训练过程中在网络的3个卷积层上添加了BN操作，循环层由两个双向LSTM结构组成，在转录层中，误差通过前向-后向算法进行传递，使用ADADELTA优化方法对船名识别网络进行优化。
2.根据权利要求1所述的方法，其特征在于，所述深度学习识别模型的训练方法包括：
通过无人机拍摄与实地拍摄获取含有船舶名称的船舶图像；
对各所述船舶图像进行标注，生成与各所述船舶图像对应的含有船舶名称位置信息的目标格式文件，由各所述目标格式文件形成船舶名称识别数据集；
由所述深度学习识别模型进行预处理定位所述船舶名称识别数据集中各图像中船舶名称信息所处的位置，然后所述卷积层对船名位置区域包含的字符信息进行特征提取得到特征序列，特征序列交由所述循环层进行预测并输出单帧检测结果，最后通过所述转录层将单帧预测结果转录为船舶名称信息输出。
3.根据权利要求1所述的方法，其特征在于，所述机载图像处理模块包括船舶图像信息存储单元、识别模型存储单元以及处理单元；
所述船舶图像信息存储单元存储接收的所述目标船舶图像以扩充船名识别系统数据集；
所述识别模型存储单元用于存储深度学习识别模型；
所述处理单元接收所述海事监管无人机传递的所述目标船舶图像，并调用所述识别模型存储单元存储的所述深度学习识别模型，将所述目标船舶图像作为所述深度学习识别模型的输入，判断出所述船舶名称信息所处的位置，然后对船名位置区域包含的字符信息进行识别，得到所述目标船舶图像中的船舶名称信息。
4.根据权利要求3所述的方法，其特征在于，所述海事监控中心包括监管平台及海事违法行为处理端；
所述监管平台接收记录所述船舶名称信息，并根据所述船舶名称信息控制所述海事违法行为处理端进行相应处罚及通过所述海事监管无人机发出声音警示。
5.根据权利要求4所述的方法，其特征在于，所述海事监管无人机包括海事无人机以及吊舱；
所述海事无人机与所述吊舱由所述海事监控中心根据海事监管距离、海事监管类型及监管设备载重进行选择。
CN202010783146.3A 2020-08-06 2020-08-06 一种基于深度学习框架的船舶名称识别系统及方法 Active CN111985363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783146.3A CN111985363B (zh) 2020-08-06 2020-08-06 一种基于深度学习框架的船舶名称识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783146.3A CN111985363B (zh) 2020-08-06 2020-08-06 一种基于深度学习框架的船舶名称识别系统及方法

Publications (2)

Publication Number Publication Date
CN111985363A CN111985363A (zh) 2020-11-24
CN111985363B true CN111985363B (zh) 2022-05-06

Family

ID=73445207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783146.3A Active CN111985363B (zh) 2020-08-06 2020-08-06 一种基于深度学习框架的船舶名称识别系统及方法

Country Status (1)

Country Link
CN (1) CN111985363B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438454A (zh) * 2021-07-06 2021-09-24 广州嘉航通信科技有限公司 海上风电场船舶视频监测方法、系统、设备及介质
CN113657151A (zh) * 2021-07-07 2021-11-16 东南大学 一种基于yolo目标检测算法的水上交通违章行为检测方法
CN114202581A (zh) * 2021-12-09 2022-03-18 云赛智联股份有限公司 一种长江禁渔智能管控系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230390A (zh) * 2017-06-26 2017-10-03 山东中创软件工程股份有限公司 一种船舶安全监管方法及装置
CN110060508A (zh) * 2019-04-08 2019-07-26 武汉理工大学 一种用于内河桥区的船舶自动检测方法
CN110766002A (zh) * 2019-10-08 2020-02-07 浙江大学 一种基于深度学习的船名字符区域检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818571B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN109977897A (zh) * 2019-04-03 2019-07-05 厦门兴康信科技股份有限公司 一种基于深度学习的船舶特征重识别方法、应用方法及系统
CN110175535B (zh) * 2019-05-08 2023-07-04 广州中交通信有限公司 一种基于深度学习的船舶识别系统及其识别方法
CN110127000B (zh) * 2019-05-27 2021-10-22 武汉理工大学 一种面向运输船舶的智能航行眼系统
CN110569844B (zh) * 2019-08-26 2022-02-08 中国人民解放军91550部队 基于深度学习的船舶识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230390A (zh) * 2017-06-26 2017-10-03 山东中创软件工程股份有限公司 一种船舶安全监管方法及装置
CN110060508A (zh) * 2019-04-08 2019-07-26 武汉理工大学 一种用于内河桥区的船舶自动检测方法
CN110766002A (zh) * 2019-10-08 2020-02-07 浙江大学 一种基于深度学习的船名字符区域检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像分析和深度学习的船名标识字符检测与识别研究;刘宝龙;《中国博士学位论文全文数据库 工程科技II辑》;20190115(第12期);第38-40页3.2.2部分，第112-117页6.5部分 *
基于深度学习的自然场景文字检测与识别方法研究;石葆光;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20190415;第39-47页3.2部分，第48-50页3.3.2部分 *

Also Published As

Publication number Publication date
CN111985363A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111985363B (zh) 一种基于深度学习框架的船舶名称识别系统及方法
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN111985362A (zh) 一种基于深度学习框架的船舶名称检测系统及方法
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
KR102373499B1 (ko) 자율 주행 네트워크의 검출 프로세스를 검증하는 설명 가능한 인공지능을 사용하여 운전자에게 잠재적 위험 상황에 대해 경고함으로써 기능적 안전성을 제공하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
WO2020038138A1 (zh) 样本标注方法及装置、损伤类别的识别方法及装置
US11508163B2 (en) Method and apparatus for training lane line identifying model, device, and storage medium
CN115410420B (zh) 一种船舶安全航行管理方法和系统
KR102053906B1 (ko) 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
CN110852358A (zh) 一种基于深度学习的车辆类型判别方法
CN110969213A (zh) 一种基于Faster RCNN的船只检测方法、装置及电子设备
CN114529821A (zh) 一种基于机器视觉的海上风电安全监测与预警方法
CN113989624B (zh) 红外低慢小目标检测方法、装置、计算设备及存储介质
CN117765482B (zh) 基于深度学习的海岸带垃圾富集区的垃圾识别方法及系统
CN111553183A (zh) 一种船只检测模型训练方法、船只检测方法及装置
CN115953746B (zh) 一种船只监测方法及装置
CN112016373B (zh) 一种基于视觉感知与计算的水上遇险人员智能辅助搜救系统
CN116863288A (zh) 基于深度学习的目标检测和报警方法、装置及设备
CN116630907A (zh) 一种基于遥感的船舶航行数字孪生方法、系统、终端及存储介质
CN115187936B (zh) 一种海上平台防登临监控系统及方法
CN116595049A (zh) 船舶智能航行虚拟测试场景生成方法、系统及存储介质
CN115937536A (zh) 基于光刻sem图像的轮廓提取方法、装置、设备及存储介质
CN113361405B (zh) 一种基于yolo v3的亚洲象识别方法及系统
KR20230102082A (ko) 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템
CN113139077A (zh) 一种识别船舶身份的方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant