CN112926426A - 基于监控视频的船舶识别方法、系统、设备及存储介质 - Google Patents

基于监控视频的船舶识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112926426A
CN112926426A CN202110187134.9A CN202110187134A CN112926426A CN 112926426 A CN112926426 A CN 112926426A CN 202110187134 A CN202110187134 A CN 202110187134A CN 112926426 A CN112926426 A CN 112926426A
Authority
CN
China
Prior art keywords
ship
image
frame
training
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110187134.9A
Other languages
English (en)
Inventor
林格
全绍军
刘海亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longse Technology Co ltd
Original Assignee
Longse Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longse Technology Co ltd filed Critical Longse Technology Co ltd
Priority to CN202110187134.9A priority Critical patent/CN112926426A/zh
Publication of CN112926426A publication Critical patent/CN112926426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于监控视频的船舶识别方法。包括：标定船舶图像对应的边界框、船舶类型；利用船舶图像与边界框构造训练集；根据边界框，找出船舶图像中匹配的先验框，作为用于训练的预测框；利用训练集、船舶类型、预测框，输入到神经网络模型中进行训练，训练后模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值；输入待处理船舶图像到模型中，得到识别结果。本发明还公开了一种基于监控视频的船舶识别系统、计算机设备及计算机可读存储介质。本发明通过水面监控摄像头所采集的图像即可进行船舶识别分类，不需要借助其他技术手段，相对于借助卫星遥感、无人机等额外设备且计算量大的识别方法，本发明成本低、效率高且应用范围广。

Description

基于监控视频的船舶识别方法、系统、设备及存储介质
技术领域
本发明涉及计算机视觉、目标检测技术领域，具体涉及一种基于监控视频的船舶识别方法、基于监控视频的船舶识别系统、计算机设备及计算机可读存储介质。
背景技术
近年来，随着我国航运技术发展，以船运为主的水上运输已成为交通运输系统中不可或缺的一部分。因此，对于船舶的识别与监控也在水域监控技术中占有愈发重要的地位。目前常见的船舶识别方法以基于卫星遥感图像、无人机拍摄、雷达、AIS(船舶自动识别系统)的技术为主，缺少通过监控摄像头进行识别的方法。然而，雷达和AIS无法直观显示水面的图像，且不适用于通过外观特征识别船舶类型的应用。而卫星遥感图像和无人机拍摄则存在成本较高的劣势，难以广泛应用。
目前的现有技术之一，专利“一种星载遥感光学图像的船舶目标检测识别方法和系统”，采集星载遥感图像，从图像中寻找到船舶目标后，根据其主方向进行旋转并提取船舶的图像特征，将目标特征输入到船舶分类器中，筛选并判断船舶的类型，而后输出船舶目标的船舶类型和坐标信息。该技术的缺点是基于星载遥感图像，硬件设置成本高。且相较地面计算处理，星上计算速度慢，且星载遥感图像数据量大，因此在江面、河面等较小范围航道监控应用中效率低下。
目前的现有技术之二，专利“一种基于AIS的船舶身份识别系统”，AIS终端实时搜索附近范围内船舶发射的AIS目标信息或AIS基站代发射的AIS信息，通过网络链接至船舶身份查询系统中，查询船舶身份与违法违规信息。该方法的缺点是应用于以AIS标识为基准的船舶身份识别，必须对船舶的AIS信息进行采集，因此会产生设置AIS终端的额外成本。同时，此方案无法直观获取航道图像，不能应用于对船舶类型进行分类。
发明内容
本发明的目的是克服现有方法的不足，提出了基于监控视频的船舶识别方法、系统、设备及存储介质。本发明解决的主要问题，一是现有基于卫星遥感图像、无人机的船舶识别技术硬件设置成本高，且计算速度慢、效率低，不适合广泛应用于江面、河面航道监控系统中。二是现有基于AIS的船舶识别技术主要应用于识别船舶身份与位置，即多图像场景中的船舶是否为同一个体，缺少能通过外观特征识别船舶类型的方法。即如何通过江面或河道的彩色监控摄像头对船舶类型进行识别的问题。
为了解决上述问题，本发明提出了一种基于监控视频的船舶识别方法，所述方法包括：
收集船舶图像数据集，将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型；
利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集；
在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框；
利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，得到训练后的模型，模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值；
输入待处理船舶图像到所述训练后的模型中，利用其输出的船舶位置的预测值及船舶类型的预测值，在图像中标出船舶的预测框与其类型，并显示标记后的图像。
优选地，所述将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型，具体为：
对所有船舶图像做尺寸与像素统一的处理；
若一张船舶图像中存在多个船舶边界框，即图像中存在多个船舶，则需将图像复制多份，按照一张船舶图像、一个船舶边界框、一个船舶类型对应整理为一组数据。
优选地，所述利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集，具体为：
以特定选择概率从所述船舶图像数据集中选择图像进行放大，无论放大与否，随机切割出图像局部，再以特定选择概率将切割后的图像左右翻转；
选择性地完成放大、切割与翻转等操作后，重新将完成上述操作的船舶图像缩放为统一的尺寸与像素。
优选地，所述在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框，具体为：
在所述预处理后的船舶图像中设置先验框的数量与尺寸；
上述设置的所有先验框与该船舶图像中的船舶边界框进行比较，计算每个先验框的面积与该船舶边界框的面积的交集与并集比值(IoU，Intersection over Union)；
设定阈值，IoU值大于阈值的先验框作为正样本，IoU值小于阈值的先验框作为负样本，阈值的数值设置应保证正样本与负样本的比例为1∶3；
将IoU大于阈值的先验框认定为与边界框匹配的框，若所有先验框的IoU都未超过阈值，则选取IoU最大的框，匹配的先验框作为用于训练的预测框。
优选地，所述利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，其损失函数具体为：
Figure BDA0002940598630000041
其中，c为船舶类型置信度预测值，l为预测框，g为训练集中的船舶边界框，Lconf(x，c)为判断船舶类型精确度的置信度损失，Lloc(x，l，g)为判断预测框位置精确度的位置损失，N为与船舶边界框匹配的预测框数量，α为调整置信度损失与位置损失比例的参数，默认α＝1；
置信度损失是船舶类型的预测值与船舶类型的真实值之间的Softmax损失，所述的正样本与负样本的损失都需要计算，具体方法如下：
Figure BDA0002940598630000042
Figure BDA0002940598630000043
其中，Pos为所述正样本，Neg为所述负样本，而
Figure BDA0002940598630000044
代表第i个预测框匹配到了第j个船舶类型为p的船舶边界框；
位置损失是预测框与船舶边界框的中心坐标及宽高比的L1损失，仅计算正样本的损失，具体方法如下：
Figure BDA0002940598630000051
Figure BDA0002940598630000052
Figure BDA0002940598630000053
Figure BDA0002940598630000054
Figure BDA0002940598630000055
其中，cx为框中心的x坐标，cy为框中心的y坐标，w为框宽度，h为框高度。
相应地，本发明还提供了一种基于监控视频的船舶识别系统，包括：
数据预处理单元，用于收集船舶图像数据集，将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型；
训练集构造单元，用于利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集；
预测框提取单元，用于在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框；
模型训练单元，用于利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，得到训练后的模型，模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值；
标记显示单元，用于输入待处理船舶图像到所述训练后的模型中，利用其输出的船舶位置的预测值及船舶类型的预测值，在图像中标出船舶的预测框与其类型，并显示标记后的图像。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述船舶识别方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述船舶识别方法的步骤。
实施本发明，具有如下有益效果：
本发明通过水面监控摄像头所采集的图像即可进行船舶识别分类，不需要借助其他技术手段，相比较于借助卫星遥感、无人机等需要设置额外设备且计算量大的识别方法，成本低、效率高且应用范围广；由监控摄像头拍摄的包含船舶与水面的视频还可应用于其他水域监控相关技术中，进一步降低水域监控系统的成本并拓宽其应用范围。
附图说明
图1是本发明实施例的基于监控视频的船舶识别方法的总体流程图；
图2是本发明实施例的基于监控视频的船舶识别系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于监控视频的船舶识别方法的总体流程图，如图1所示，该方法包括：
S1，收集船舶图像数据集，将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型；
S2，利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集；
S3，在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框；
S4，利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，得到训练后的模型，模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值；
S5，输入待处理船舶图像到所述训练后的模型中，利用其输出的船舶位置的预测值及船舶类型的预测值，在图像中标出船舶的预测框与其类型，并显示标记后的图像。
步骤S1，具体如下：
S1-1，对所有船舶图像做尺寸与像素统一的处理，本实施例中，统一处理为300×300的尺寸。
S1-2，若一张船舶图像中存在多个船舶边界框，即图像中存在多个船舶，则需将图像复制多份，按照一张船舶图像、一个船舶边界框、一个船舶类型对应整理为一组数据。
步骤S2，具体如下：
以特定选择概率从所述船舶图像数据集中选择图像进行放大，无论放大与否，随机切割出图像局部，再以特定选择概率将切割后的图像左右翻转，本实施例中，以50％作为选择概率；
选择性地完成放大、切割与翻转等操作后，重新将完成上述操作的船舶图像缩放为统一的尺寸与像素，本实施例中，统一为300×300的尺寸。
步骤S3，具体如下：
S3-1，在所述预处理后的船舶图像中设置先验框的数量与尺寸，具体为：
在SSD300模型中共有6个特征图，各特征图的每个像素点所设置的先验框数量为[4，6，6，6，4，4]，即第一个特征图设置4个先验框，第二个特征图设置6个先验框，以此类推；
先验框尺寸的决定方法为，首先记录船舶图像数据集中所有船舶边界框的最小尺寸Smin与最大尺寸Smax。根据以下公式计算出第k个特征图的先验框的最小尺寸min_size与最大尺寸max_size：
min_size＝300×Sk
max_size＝300×Sk+1
其中，300为图片输入的尺寸，而Sk的计算方法如下：
Figure BDA0002940598630000081
由于SSD300中有6个特征图，将m设置为5，接着根据min_size与max_size选取合适的宽高比，宽高比的通常选取方法为：
Figure BDA0002940598630000082
宽：
Figure BDA0002940598630000083
高：
Figure BDA0002940598630000084
S3-2，上述设置的所有先验框与该船舶图像中的船舶边界框进行比较，计算每个先验框的面积与该船舶边界框的面积的交集与并集比值(IoU，Intersection overUnion)。
S3-3，设定阈值，IoU值大于阈值的先验框作为正样本，IoU值小于阈值的先验框作为负样本，阈值的数值设置应保证正样本与负样本的比例为1∶3。
S3-4，将IoU大于阈值的先验框认定为与边界框匹配的框，若所有先验框的IoU都未超过阈值，则选取IoU最大的框，匹配的先验框作为用于训练的预测框。
步骤S4，具体如下：
S4-1，SSD300模型使用6个不同特征图各自进行卷积，对不同尺度的目标进行检测以提高检测精确度。低层用于预测小目标，而高层用于预测大目标。6个特征图的大小分别为：38×38，19×19，10×10，5×5，3×3，1×1。
S4-2，根据损失函数进行训练，直到损失函数的结果达到收敛。SSD300的损失计算函数如下：
Figure BDA0002940598630000091
其中，c为船舶类型置信度预测值，l为预测框，g为训练集中的船舶边界框，Lconf(x，c)为判断船舶类型精确度的置信度损失，Lloc(x，l，g)为判断预测框位置精确度的位置损失，N为与船舶边界框匹配的预测框数量，α为调整置信度损失与位置损失比例的参数，默认α＝1；
置信度损失是船舶类型的预测值与船舶类型的真实值之间的Softmax损失，所述的正样本与负样本的损失都需要计算，具体方法如下：
Figure BDA0002940598630000092
Figure BDA0002940598630000101
其中，Pos为所述正样本，Neg为所述负样本，而
Figure BDA0002940598630000102
代表第i个预测框匹配到了第j个船舶类型为p的船舶边界框；
位置损失是预测框与船舶边界框的中心坐标及宽高比的L1损失，仅计算正样本的损失，具体方法如下：
Figure BDA0002940598630000103
Figure BDA0002940598630000104
Figure BDA0002940598630000105
Figure BDA0002940598630000106
Figure BDA0002940598630000107
其中，cx为框中心的x坐标，cy为框中心的y坐标，w为框宽度，h为框高度。
相应地，本发明还提供了一种基于监控视频的船舶识别系统，如图2所示，包括：
数据预处理单元1，用于收集船舶图像数据集，将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型。
具体地，对所有船舶图像做尺寸与像素统一的处理，本实施例中，统一处理为300×300的尺寸；若一张船舶图像中存在多个船舶边界框，即图像中存在多个船舶，则需将图像复制多份，按照一张船舶图像、一个船舶边界框、一个船舶类型对应整理为一组数据。
训练集构造单元2，用于利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集。
具体地，以特定选择概率从所述船舶图像数据集中选择图像进行放大，无论放大与否，随机切割出图像局部，再以特定选择概率将切割后的图像左右翻转，本实施例中，以50％作为选择概率；选择性地完成放大、切割与翻转等操作后，重新将完成上述操作的船舶图像缩放为统一的尺寸与像素，本实施例中，统一为300×300的尺寸。
预测框提取单元3，用于在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框。
具体地，在所述预处理后的船舶图像中设置先验框的数量与尺寸，包括：在SSD300模型中共有6个特征图，各特征图的每个像素点所设置的先验框数量为[4，6，6，6，4，4]，即第一个特征图设置4个先验框，第二个特征图设置6个先验框，以此类推；先验框尺寸的决定方法为，首先记录船舶图像数据集中所有船舶边界框的最小尺寸Smin与最大尺寸Smax，采用S3-1中的公式计算出第k个特征图的先验框的最小尺寸min_size与最大尺寸max_size，接着根据min_size与max_size选取合适的宽高比
Figure BDA0002940598630000111
宽：
Figure BDA0002940598630000112
高：
Figure BDA0002940598630000113
上述设置的所有先验框与该船舶图像中的船舶边界框进行比较，计算每个先验框的面积与该船舶边界框的面积的交集与并集比值(IoU，Intersection over Union)；设定阈值，IoU值大于阈值的先验框作为正样本，IoU值小于阈值的先验框作为负样本，阈值的数值设置应保证正样本与负样本的比例为1∶3；将IoU大于阈值的先验框认定为与边界框匹配的框，若所有先验框的IoU都未超过阈值，则选取IoU最大的框，匹配的先验框作为用于训练的预测框。
模型训练单元4，用于利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，得到训练后的模型，模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值。
具体地，SSD300模型使用6个不同特征图各自进行卷积，对不同尺度的目标进行检测以提高检测精确度。低层用于预测小目标，而高层用于预测大目标。6个特征图的大小分别为：38×38，19×19，10×10，5×5，3×3，1×1；训练所用的损失函数、置信度损失与位置损失采用S4-2中所列损失函数、置信度损失与位置损失的计算方法。
标记显示单元5，用于输入待处理船舶图像到所述训练后的模型中，利用其输出的船舶位置的预测值及船舶类型的预测值，在图像中标出船舶的预测框与其类型，并显示标记后的图像。
因此，本发明通过水面监控摄像头所采集的图像即可进行船舶识别分类，不需要借助其他技术手段，相比较于借助卫星遥感、无人机等需要设置额外设备且计算量大的识别方法，成本低、效率高且应用范围广；由监控摄像头拍摄的包含船舶与水面的视频还可应用于其他水域监控相关技术中，进一步降低水域监控系统的成本并拓宽其应用范围。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述船舶识别方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述船舶识别方法的步骤。
以上对本发明实施例所提供的基于监控视频的船舶识别方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种基于监控视频的船舶识别方法，其特征在于，所述方法包括：
收集船舶图像数据集，将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型；
利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集；
在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框；
利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，得到训练后的模型，模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值；
输入待处理船舶图像到所述训练后的模型中，利用其输出的船舶位置的预测值及船舶类型的预测值，在图像中标出船舶的预测框与其类型，并显示标记后的图像。
2.如权利要求1所述的基于监控视频的船舶识别方法，其特征在于，所述将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型，具体为：
对所有船舶图像做尺寸与像素统一的处理；
若一张船舶图像中存在多个船舶边界框，即图像中存在多个船舶，则需将图像复制多份，按照一张船舶图像、一个船舶边界框、一个船舶类型对应整理为一组数据。
3.如权利要求1所述的基于监控视频的船舶识别方法，其特征在于，所述利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集，具体为：
以特定选择概率从所述船舶图像数据集中选择图像进行放大，无论放大与否，随机切割出图像局部，再以特定选择概率将切割后的图像左右翻转；
选择性地完成放大、切割与翻转等操作后，重新将完成上述操作的船舶图像缩放为统一的尺寸与像素。
4.如权利要求1所述的基于监控视频的船舶识别方法，其特征在于，所述在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框，具体为：
在所述预处理后的船舶图像中设置先验框的数量与尺寸；
上述设置的所有先验框与该船舶图像中的船舶边界框进行比较，计算每个先验框的面积与该船舶边界框的面积的交集与并集比值(IoU，Intersection over Union)；
设定阈值，IoU值大于阈值的先验框作为正样本，IoU值小于阈值的先验框作为负样本，阈值的数值设置应保证正样本与负样本的比例为1∶3；
将IoU大于阈值的先验框认定为与边界框匹配的框，若所有先验框的IoU都未超过阈值，则选取IoU最大的框，匹配的先验框作为用于训练的预测框。
5.如权利要求4所述的基于监控视频的船舶识别方法，其特征在于，所述利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，其损失函数具体为：
Figure FDA0002940598620000031
其中，c为船舶类型置信度预测值，l为预测框，g为训练集中的船舶边界框，Lconf(x，c)为判断船舶类型精确度的置信度损失，Lloc(x，l，g)为判断预测框位置精确度的位置损失，N为与船舶边界框匹配的预测框数量，α为调整置信度损失与位置损失比例的参数，默认α＝1；
置信度损失是船舶类型的预测值与船舶类型的真实值之间的Softmax损失，所述的正样本与负样本的损失都需要计算，具体方法如下：
Figure FDA0002940598620000032
Figure FDA0002940598620000033
其中，Pos为所述正样本，Neg为所述负样本，而
Figure FDA0002940598620000034
代表第i个预测框匹配到了第j个船舶类型为p的船舶边界框；
位置损失是预测框与船舶边界框的中心坐标及宽高比的L1损失，仅计算正样本的损失，具体方法如下：
Figure FDA0002940598620000035
Figure FDA0002940598620000036
Figure FDA0002940598620000037
Figure FDA0002940598620000041
Figure FDA0002940598620000042
其中，cx为框中心的x坐标，cy为框中心的y坐标，w为框宽度，h为框高度。
6.一种基于监控视频的船舶识别系统，其特征在于，所述系统包括：
数据预处理单元，用于收集船舶图像数据集，将船舶图像数据集中的船舶图像进行预处理，并标定船舶图像对应的船舶边界框、船舶类型；
训练集构造单元，用于利用所述预处理后的船舶图像与船舶边界框，以一定的选择概率进行同步切割与变形，构造训练集；
预测框提取单元，用于在所述预处理后的船舶图像中设置多个先验框，根据所述船舶边界框，找出与其匹配的先验框，将其作为用于训练的预测框；
模型训练单元，用于利用所述训练集、所述船舶类型、所述预测框，输入到SSD300神经网络模型中进行参数训练，得到训练后的模型，模型的输出结果为图像中船舶位置的预测值及船舶类型的预测值；
标记显示单元，用于输入待处理船舶图像到所述训练后的模型中，利用其输出的船舶位置的预测值及船舶类型的预测值，在图像中标出船舶的预测框与其类型，并显示标记后的图像。
7.如权利要求6所述的基于监控视频的船舶识别系统，其特征在于，所述数据预处理单元，需要对所有船舶图像做尺寸与像素统一的处理；若一张船舶图像中存在多个船舶边界框，即图像中存在多个船舶，则需将图像复制多份，按照一张船舶图像、一个船舶边界框、一个船舶类型对应整理为一组数据。
8.如权利要求6所述的基于监控视频的船舶识别系统，其特征在于，所述训练集构造单元，需要以特定选择概率从所述船舶图像数据集中选择图像进行放大，无论放大与否，随机切割出图像局部，再以特定选择概率将切割后的图像左右翻转；选择性地完成放大、切割与翻转等操作后，重新将完成上述操作的船舶图像缩放为统一的尺寸与像素。
9.如权利要求6所述的基于监控视频的船舶识别系统，其特征在于，所述预测框提取单元，需要在所述预处理后的船舶图像中设置先验框的数量与尺寸；上述设置的所有先验框与该船舶图像中的船舶边界框进行比较，计算每个先验框的面积与该船舶边界框的面积的IoU值；设定阈值，IoU值大于阈值的先验框作为正样本，IoU值小于阈值的先验框作为负样本，阈值的数值设置应保证正样本与负样本的比例为1∶3；将IoU大于阈值的先验框认定为与边界框匹配的框，若所有先验框的IoU都未超过阈值，则选取IoU最大的框，匹配的先验框作为用于训练的预测框。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202110187134.9A 2021-02-09 2021-02-09 基于监控视频的船舶识别方法、系统、设备及存储介质 Pending CN112926426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110187134.9A CN112926426A (zh) 2021-02-09 2021-02-09 基于监控视频的船舶识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110187134.9A CN112926426A (zh) 2021-02-09 2021-02-09 基于监控视频的船舶识别方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112926426A true CN112926426A (zh) 2021-06-08

Family

ID=76171529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110187134.9A Pending CN112926426A (zh) 2021-02-09 2021-02-09 基于监控视频的船舶识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112926426A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705567A (zh) * 2021-08-25 2021-11-26 浙江国际海运职业技术学院 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN116543398A (zh) * 2023-07-06 2023-08-04 浙江华是科技股份有限公司 一种船名和违章识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110610165A (zh) * 2019-09-18 2019-12-24 上海海事大学 一种基于yolo模型的船舶行为分析方法
US20200167601A1 (en) * 2017-12-11 2020-05-28 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN111582012A (zh) * 2019-12-24 2020-08-25 珠海大横琴科技发展有限公司 一种检测小目标船只方法及装置
CN111914935A (zh) * 2020-08-03 2020-11-10 哈尔滨工程大学 一种基于深度学习的船舶图像目标检测方法
CN112163530A (zh) * 2020-09-30 2021-01-01 江南大学 基于特征增强和样本选择的ssd小目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167601A1 (en) * 2017-12-11 2020-05-28 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110610165A (zh) * 2019-09-18 2019-12-24 上海海事大学 一种基于yolo模型的船舶行为分析方法
CN111582012A (zh) * 2019-12-24 2020-08-25 珠海大横琴科技发展有限公司 一种检测小目标船只方法及装置
CN111914935A (zh) * 2020-08-03 2020-11-10 哈尔滨工程大学 一种基于深度学习的船舶图像目标检测方法
CN112163530A (zh) * 2020-09-30 2021-01-01 江南大学 基于特征增强和样本选择的ssd小目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705567A (zh) * 2021-08-25 2021-11-26 浙江国际海运职业技术学院 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN113705567B (zh) * 2021-08-25 2024-02-02 浙江国际海运职业技术学院 船舶裂纹检测方法、系统、设备及计算机可读存储介质
CN116543398A (zh) * 2023-07-06 2023-08-04 浙江华是科技股份有限公司 一种船名和违章识别方法及系统
CN116543398B (zh) * 2023-07-06 2023-09-08 浙江华是科技股份有限公司 一种船名和违章识别方法及系统

Similar Documents

Publication Publication Date Title
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN108009543B (zh) 一种车牌识别方法及装置
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN109145747A (zh) 一种水面全景图像语义分割方法
CN113808282A (zh) 一种多通航要素数据融合方法
CN108090459B (zh) 一种适用于车载视觉系统的交通标志检测识别方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN112801158A (zh) 基于级联融合和注意力机制的深度学习小目标检测方法及装置
CN112560698A (zh) 图像处理方法、装置、设备和介质
CN112926426A (zh) 基于监控视频的船舶识别方法、系统、设备及存储介质
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN113706584A (zh) 基于计算机视觉的街景流量信息采集方法
CN111626241A (zh) 一种人脸检测方法及装置
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
CN115082668A (zh) 遥感图像中感兴趣区域的筛选方法、装置、设备及介质
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN111027526A (zh) 一种提高车辆目标检测识别检测效率的方法
CN111753610A (zh) 天气识别方法及装置
CN113505643A (zh) 违章目标物检测方法及相关装置
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210608