CN110175535B - 一种基于深度学习的船舶识别系统及其识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的船舶识别系统，该系统包括有后台和至少一个前端卡口，前端卡口包括有枪机、球机与交换机，枪机摄录目标水域的全景画面，所述球机跟踪拍摄目标船只，枪机与球机均与交换机交互；交换机与后台通讯连接；后台包括视频分析器和深度学习服务器，视频分析器分析前端卡口摄录的画面，深度学习服务器为视频分析器提供深度学习服务。本发明还提供一种基于深度学习的船舶识别方法，对比传统的通过AIS设备来实现船舶识别的被动监管方式，本方法采用深度学习对监控视频智能识别的主动监管方式，监管部门对目标水域的监管力度加强，其监管效率也得到了大幅提高，海事监管部门可有效监管并掌握辖区水域内的船舶航行情况。

Description

一种基于深度学习的船舶识别系统及其识别方法

技术领域

本发明属于自动识别技术领域，特别涉及船舶识别系统及其识别方法。

背景技术

随着经济社会的发展，水运运输业也得到了全面的发展。为保障水运运输网的正常运作，海事部门的监管必不可少，在现有技术中，海事部门主要采用在船舶上安装AIS船舶自动识别系统、并实时监管随船AIS系统的方法对水面航船进行监管。

例如在专利申请号为“201620194177.4”的专利申请文件中公开了一种基于AIS的船舶身份识别系统。通过手机上的定位模块获取定位信息，由发送端通过互联网发送至数据服务器，再通过第一数据交换系统将定位信息转换成AIS标准格式的信息(加入AIS九位识别码)后发送给AIS基站进行广播；而第一AIS船载终端按照AIS国际标准广播该船的AIS信息；执法船的第二AIS船载终端接收到周边大小船只发送的AIS信息，并提取出九位识别码，然后通过互联网向数据服务器查询，利用九位识别码到船舶身份查询系统中进行身份验证，验证是否有违规通报等消息。

上述实用新型中公开的基于AIS的船舶身份识别系统，利用九位识别码是AIS中固有的且具有唯一性的特点，将其作为识别船舶身份的、验证其合法性的可靠途径。

但是AIS应用在实际的船舶运输过程中时，通常具备以下缺点：

首先，对船载AIS进行监管的方法属于被动监管方法，搭载AIS的船舶一旦关闭船载AIS便可逃脱监管，海事部门也缺乏有效的检测船舶是否正常开启船载AIS系统的方法，无法有效监管；

其次，为逃脱监管，某些船舶上会设置多台AIS设备，且往往多台AIS设备都不是该船舶的合法AIS设备，多台AIS设备将严重干扰监管设备；

最后，AIS设备应用在水运运输的网中也缺乏统计功能，海事部门缺乏有效的对某段时间内某特定水面卡口进行船舶流量统计的技术手段。

发明内容

为解决上述问题，本发明的目的在于提供一种船舶识别系统，该系统利用架设在前端卡口上的枪机与球机摄录船舶画面，将船舶画面传送到后台后，利用后台中的视频分析器与深度学习服务器对船舶画面智能识别，实现对目标水域的智能监管。

本发明的另一个目的在于提供一种船舶识别方法，该方法利用前端卡口与后台的配合，利用深度学习服务器中的船舶识别模型，实现对前端卡口摄录的智能分析。

为实现上述目的，本发明的技术方案如下：

本发明提供一种基于深度学习的船舶识别系统，该系统包括有后台和至少一个前端卡口，前端卡口包括有枪机、球机与交换机，枪机摄录目标水域的全景画面，所述球机跟踪拍摄目标船只，枪机与球机均与交换机交互；交换机与后台通讯连接；后台包括视频分析器和深度学习服务器，视频分析器分析前端卡口摄录的画面，深度学习服务器为视频分析器提供深度学习服务。

枪机与球机架设在前端卡口上，枪机摄录目标水域的全景画面，便是全天候监测目标水域，发现目标后，系统将调用球机有针对性地跟踪拍摄，摄录目标的准确画面。

前端卡口还将设置串口服务器和路由器等部件，系统将利用串口服务器连接AIS接收器，利用路由器连接网络，实现与后台的信息交互，需要强调的是，在前端卡口设置串口服务器与路由器为现有技术，也仅为本发明应用在实际中时实现其功能的一种方式，不是本发明的保护核心。

后台利用视频分析器与深度学习配合分析前端卡口摄录的监控画面，画面传送到视频分析器中，视频分析器配合加深度学习服务器对监控画面智能分析，并根据分析结果智能监管并统计经过目标水域的船舶，提升了监管部门的监管效率，并有效加强了监管。

后台中还将设置应用服务器、NTP服务器、流媒体服务器及监控前端等，这些设置为保障后台实现其视频监管功能的常规设置，本领域技术人员可通过实际需求自由选配，这些设置并非本发明的保护核心，在本申请中不一一赘述。

前端卡口还包括有AIS接收器，AIS接收器检测并接收船载AIS设备发出的信号，AIS接收器也与交换机交互。在前端卡口架设AIS接收器，可方便系统检查目标船舶的AIS使用情况，如存在违规使用，则系统发出告警并报送上级监管部门，如船舶AIS正常使用，则记录其AIS信息，将其与船舶的画面信息一同记录保存并统计。

前端还包括有网络扩音器，网络扩音器通过交换机与后台通讯连接。网络扩音器架设在前端卡口上，可在后台的调配下对违规船舶发出警告，提醒其检查自身船舶违法情况，并提醒驻扎在前端卡口的工作人员注意目标船舶。

本发明还公开了一种基于深度学习的船舶识别方法，该方法为：S1：采用深度学习方法建立前端卡口环境下的初步船舶识别模型；

S2：对初步船舶识别模型输入样本进行训练，完成训练并生成船舶识别模型；

S3：船舶识别系统利用船舶识别模型自动识别船舶；

其中，S3具体为：

S31：枪机发现目标；

S32：系统启动船舶识别模型识别目标并判断是否为船舶，如判断为船舶，则跳转S33，如判断并非船舶，则返回S31；

S33：AIS接收器检测是否收到该船舶的AIS信号，如能收到该船舶的正常的AIS信号，则跳转S34，如不能，则网络扩音器发出报警，并将该船舶画面通过后台报送上级监管部门发出提醒；

S34：球机跟踪摄录该船舶的画面信息，并将该画面信息结合该船舶的AIS信号一同保存在后台留底。

深度学习(Deep Learning)作为最新的机器学习技术，对机器视觉识别有着革命性的影响。神经网络是一类模拟生物神经网络(中枢神经网络，特别是大脑)的模型，用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重，使得神经网络可以自适应输入，并且拥有学习能力。深度学习(Deep Learning)实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，以更少的参数与更深的结构来学习更有用的特征，从而最终提升分类或预测的准确性。

深度学习方法应用在本系统中，用于搭建船舶识别模型并自动识别船舶，方便海事部门对目标水域航船监管。

进一步地，S2具体为：

S21：正样本标注；

S22：先验框匹配；

S23：负样本抽样；

S24：计算误差与置信度；

S25：数据扩增；

S26：调整阈值并生成船舶识别模型。

对初步船舶识别模型进行训练的过程中，工作人员需采集多张拍摄到船舶的图片，并从图片中标注出船舶作为正样本，其次模型将确定训练图片中的真实目标与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。尽管一个真实目标可以与多个先验框匹配，但是真实目标相对先验框还是太少了，所以负样本相对正样本会很多。为了保证正负样本尽量平衡，本训练算法采用对负样本进行抽样的方式，负样本包含海浪负样本，漂浮物负样本，其他负样本，抽样时按照置信度误差(预测背景的置信度越小，误差越大)进行降序排列，选取误差的较大的作为训练的负样本，在对计算位置误差和置信度误差进行计算，最后通过数据扩增的方式，通过水平翻转，随机裁剪加颜色扭曲，随机采集块域获取获取小目标训练样本，设定不同的阈值，最终生成船舶模型。

进一步地，S32具体为：S321：枪机摄录目标水域的全景画面，并将全景画面传送至视频分析器中；

S322：视频分析器发现目标进入画面，则启动深度学习服务器中的船舶识别模型对目标识别检测；

S323：对目标进行数据扩增，并将扩增后的数据放入船舶识别模型中识别；

S324：计算置信度，未达到设定阈值，则判断目标并未船舶，放弃该目标；达到或超过设定阈值，则判定目标为船舶。

本发明的优势在于：相比于现有技术，在本发明当中，利用前端卡口摄录目标水域的画面，监控来往船舶的画面，并将自动识别监控画面中的船舶并记录统计，对比传统的通过AIS设备来实现船舶识别的被动监管方式，本方法采用深度学习对监控视频智能识别的主动监管方式，监管部门对目标水域的监管力度加强，其监管效率也得到了大幅提高，海事监管部门可有效监管并掌握辖区水域内的船舶航行情况。

附图说明

图1是本发明所实现的船舶识别系统的工作流程图。

图2是本发明所实现的初步船舶识别模型的训练方法流程图。

图3是本发明所实现的初步船舶识别模型的识别船舶的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为实现上述目的，本发明的技术方案如下：

参见图1-3所示，本发明提供一种基于深度学习的船舶识别系统，该系统包括有后台和至少一个前端卡口，前端卡口包括有枪机、球机与交换机，枪机摄录目标水域的全景画面，所述球机跟踪拍摄目标船只，枪机与球机均与交换机交互；交换机与后台通讯连接；后台包括视频分析器和深度学习服务器，视频分析器分析前端卡口摄录的画面，深度学习服务器为视频分析器提供深度学习服务。

枪机与球机架设在前端卡口上，枪机摄录目标水域的全景画面，便是全天候监测目标水域，发现目标后，系统将调用球机有针对性地跟踪拍摄，摄录目标的准确画面。

前端卡口还将设置串口服务器和路由器等部件，系统将利用串口服务器连接AIS接收器，利用路由器连接网络，实现与后台的信息交互，需要强调的是，在前端卡口设置串口服务器与路由器为现有技术，也仅为本发明应用在实际中时实现其功能的一种方式，不是本发明的保护核心。

后台利用视频分析器与深度学习配合分析前端卡口摄录的监控画面，画面传送到视频分析器中，视频分析器配合加深度学习服务器对监控画面智能分析，并根据分析结果智能监管并统计经过目标水域的船舶，提升了监管部门的监管效率，并有效加强了监管。

后台中还将设置应用服务器、NTP服务器、流媒体服务器及监控前端等，这些设置为保障后台实现其视频监管功能的常规设置，本领域技术人员可通过实际需求自由选配，这些设置并非本发明的保护核心，在本申请中不一一赘述。

前端卡口还包括有AIS接收器，AIS接收器检测并接收船载AIS设备发出的信号，AIS接收器也与交换机交互。在前端卡口架设AIS接收器，可方便系统检查目标船舶的AIS使用情况，如存在违规使用，则系统发出告警并报送上级监管部门，如船舶AIS正常使用，则记录其AIS信息，将其与船舶的画面信息一同记录保存并统计。

前端还包括有网络扩音器，网络扩音器通过交换机与后台通讯连接。网络扩音器架设在前端卡口上，可在后台的调配下对违规船舶发出警告，提醒其检查自身船舶违法情况，并提醒驻扎在前端卡口的工作人员注意目标船舶。

本发明还公开了一种基于深度学习的船舶识别方法，该方法为：S1：采用深度学习方法建立前端卡口环境下的初步船舶识别模型；

S2：对初步船舶识别模型输入样本进行训练，完成训练并生成船舶识别模型；

S3：船舶识别系统利用船舶识别模型自动识别船舶；

其中，S3具体为：

S31：枪机发现目标；

S32：系统启动船舶识别模型识别目标并判断是否为船舶，如判断为船舶，则跳转S33，如判断并非船舶，则返回S31；

S33：AIS接收器检测是否收到该船舶的AIS信号，如能收到该船舶的正常的AIS信号，则跳转S34，如不能，则网络扩音器发出报警，并将该船舶画面通过后台报送上级监管部门发出提醒；

S34：球机跟踪摄录该船舶的画面信息，并将该画面信息结合该船舶的AIS信号一同保存在后台留底。

深度学习(Deep Learning)作为最新的机器学习技术，对机器视觉识别有着革命性的影响。神经网络是一类模拟生物神经网络(中枢神经网络，特别是大脑)的模型，用来预测(决策问题)或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重，使得神经网络可以自适应输入，并且拥有学习能力。深度学习(Deep Learning)实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，以更少的参数与更深的结构来学习更有用的特征，从而最终提升分类或预测的准确性。

深度学习方法应用在本系统中，用于搭建船舶识别模型并自动识别船舶，方便海事部门对目标水域航船监管。

进一步地，S2具体为：

S21：正样本标注；

S22：先验框匹配；

S23：负样本抽样；

S24：计算误差与置信度；

S25：数据扩增；

S26：调整阈值并生成船舶识别模型。

对初步船舶识别模型进行训练的过程中，工作人员需采集多张拍摄到船舶的图片，并从图片中标注出船舶作为正样本，其中正样本标注需针对船舶航行常见的不同天气航行、多船舶同画面、多船画面重叠等情况分类标注。其次模型将确定训练图片中的真实目标与哪个先验框来进行匹配，与之匹配的先验框所对应的边界框将负责预测它。尽管一个真实目标可以与多个先验框匹配，但是真实目标相对先验框还是太少了，所以负样本相对正样本会很多。为了保证正负样本尽量平衡，本训练算法采用对负样本进行抽样的方式，负样本包含海浪负样本，漂浮物负样本，其他负样本，抽样时按照置信度误差(预测背景的置信度越小，误差越大)进行降序排列，选取误差的较大的作为训练的负样本，在对计算位置误差和置信度误差进行计算，最后通过数据扩增的方式，通过水平翻转，随机裁剪加颜色扭曲，随机采集块域获取获取小目标训练样本，设定不同的阈值，最终生成船舶模型。

进一步地，S32具体为：S321：枪机摄录目标水域的全景画面，并将全景画面传送至视频分析器中；

S322：视频分析器发现目标进入画面，则启动深度学习服务器中的船舶识别模型对目标识别检测；

S323：对目标进行数据扩增，并将扩增后的数据放入船舶识别模型中识别；

S324：计算置信度，未达到设定阈值，则判断目标并未船舶，放弃该目标；达到或超过设定阈值，则判定目标为船舶。

本发明的优势在于：相比于现有技术，在本发明当中，利用前端卡口摄录目标水域的画面，监控来往船舶的画面，并将自动识别监控画面中的船舶并记录统计，对比传统的通过AIS设备来实现船舶识别的被动监管方式，本方法采用深度学习对监控视频智能识别的主动监管方式，监管部门对目标水域的监管力度加强，其监管效率也得到了大幅提高，海事监管部门可有效监管并掌握辖区水域内的船舶航行情况。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度学习的船舶识别系统，该系统包括有后台和至少一个前端卡口，所述前端卡口包括有枪机、球机与交换机，所述枪机摄录目标水域的全景画面，所述球机跟踪拍摄目标船只，所述枪机与球机均与交换机交互；所述交换机与后台通讯连接；所述后台包括视频分析器和深度学习服务器，所述视频分析器分析前端卡口摄录的画面，所述深度学习服务器为视频分析器提供深度学习服务；

所述前端卡口还包括有AIS接收器，所述AIS接收器检测并接收船载AIS设备发出的信号，所述AIS接收器也与交换机交互；

所述前端还包括有网络扩音器，所述网络扩音器通过交换机与后台通讯连接；

该系统还采用了船舶识别方法，该方法为：S1：采用深度学习方法建立前端卡口环境下的初步船舶识别模型；

S2：对初步船舶识别模型输入样本进行训练，完成训练并生成船舶识别模型；

S3：船舶识别系统利用船舶识别模型自动识别船舶；

所述S3具体为：

S31：枪机发现目标；

S32：系统启动船舶识别模型识别目标并判断是否为船舶，如判断为船舶，则跳转S33，如判断并非船舶，则返回S31；

S33：AIS接收器检测是否收到该船舶的AIS信号，如能收到该船舶的正常的AIS信号，则跳转S34，如不能，则网络扩音器发出报警，并将该船舶画面通过后台报送上级监管部门发出提醒；

S34：球机跟踪摄录该船舶的画面信息，并将该画面信息结合该船舶的AIS信号一同保存在后台留底；

所述S2具体为：

S21：正样本标注；

S22：先验框匹配；

S23：负样本抽样；

S24：计算误差与置信度；

S25：数据扩增；

S26：调整阈值并生成船舶识别模型；

所述S32具体为：S321：枪机摄录目标水域的全景画面，并将全景画面传送至视频分析器中；

S322：视频分析器发现目标进入画面，则启动深度学习服务器中的船舶识别模型对目标识别检测；

S323：对目标进行数据扩增，并将扩增后的数据放入船舶识别模型中识别；

S324：计算置信度，未达到设定阈值，则判断目标并非船舶，放弃该目标；达到或超过设定阈值，则判定目标为船舶。

Images