CN106816038A - 一种内河水域异常行为船舶自动识别系统及方法 - Google Patents

Abstract

本发明公开了一种内河水域异常行为船舶自动识别系统及方法，通过实时获取内河水域船舶通航的AIS报文信息、水文气象部门的环境信息、CCTV视频图像和景深图像，分析船舶异常行为模式类别，建立船舶异常行为样本库；建立深度学习网络模型分析船舶行为，获取船舶异常行为模式和GPS定位信息；在CCTV视频图像中检测出船舶，结合景深图像获取船舶的三维空间信息，获取船舶视频定位信息；将GPS定位信息、视频定位信息、船舶异常行为模式、船舶检测特征融合，进行船舶目标关联，在CCTV视频上自动识别出异常行为船舶。本发明有效解决了在CCTV视频上自动识别异常行为船舶难的问题，识别率高，能对水上交通安全预警，进一步提高了海事监管的智能化水平。

Description

一种内河水域异常行为船舶自动识别系统及方法

技术领域

本发明属于内河海事智能监管技术领域，具体涉及一种内河水域异常行为船舶自动识别系统与方法。

背景技术

随着我国长江经济带快速发展，内河水域交通流密度越来越大，通航环境愈加复杂，海事监管压力亦不断增加。为了降低内河水域船舶通航风险，长江海事局贯彻“e-航海(e-Navigation)”理念，组织开发了电子巡航系统，并于2012年全线推广实施。该系统以地理信息系统为平台，通过VTS、AIS、GPS、视频监控系统(Closed Circuit Television，CCTV)、气象、水位等系统获取水上交通数据，形成重点水域监控、重点船舶跟踪、搜救协调等功能的海事监管体系。虽然交通水运信息化达到“中枢神经”的感知层面，但还没有发挥“大脑”的智慧，实现“大脑”的“思考”过程，从中提取真正有价值的信息。

虽然大数据基础已经形成，但是不同数据源之间相互封闭，大数据得不到有效的应用。一方面，船舶行为分析是安全监管的重要内容，其行为规律蕴含于大数据中有待挖掘。目前大多数研究是采用聚类、关联规则、决策树等人工工程设计的数据挖掘方法，对于船舶行为的理解尚停留在较低层次。基于大数据技术如深度学习，能多层次、深层次理解船舶行为特征，是水上智能交通工程研究的热点和方向，但是研究成果很少。另外一方面，现有的基于CCTV视频监控对检测、识别与跟踪的船舶来说是无差别的，单独依靠CCTV视频分析技术是很难识别出异常行为船舶，监管智能化没有得到有效的开发。融合多源异构数据如AIS、环境、CCTV视频数据，利用视频检测、定位技术，开发应用于内河水域的智能监控系统，使CCTV系统能自动识别多目标异常行为船舶，将大大提高海事监管效率，降低人为失误。

因此研制一种内河水域异常行为船舶自动识别系统与方法成为海事智能监管、降低水上交通风险的迫切需求。

发明内容

本发明的目的在于提供一种内河水域交通数据的采集实验系统，建立船舶异常行为模式类别，构建船舶异常行为样本库用于船舶行为分析，采用深度学习模型挖掘船舶行为特征和模式，实现船舶行为预测，获取船舶行为模式和GPS定位信息，结合视频图像分析技术对船舶进行检测与定位，获取船舶特征和视频定位信息，综合上述信息，在CCTV视频上对船舶目标进行关联分析，自动识别出各类异常行为船舶。

为了实现上述目的，本发明的系统所采用的技术方案是：一种内河水域异常行为船舶自动识别系统，其特征在于：包括内河交通数据采集子系统、船舶异常行为样本库子系统、船舶异常行为分析子系统、船舶视频检测与定位子系统、船舶视频自动识别子系统和服务器；

所述内河交通数据采集子系统包括AIS接收机、信息抓取模块、工业摄像头、MSKinect景深摄像头；所述AIS接收机用于接收内河船舶通航时的AIS报文信息，所述信息抓取模块用于采集水文和气象部门数据库的内河环境信息，所述工业摄像头用于采集内河水域CCTV视频图像，所述MS Kinect景深摄像头用于采集内河水域景深图像；上述信息传输到服务器中进行存储；

所述船舶异常行为样本库子系统包括船舶异常行为模式分析模块、船舶操纵模拟器模块、船舶异常行为样本库构建模块；所述船舶异常行为模式分析模块用于深入分析内河水域船舶异常行为模式类别，基于交通事故备案记录，对历史AIS数据进行船舶异常行为模式标记；所述船舶操纵模拟器模块用于模拟船舶异常行为，丰富异常行为模式样本；所述船舶异常行为样本库构建模块用于根据船舶操纵模拟器模块和船舶异常行为模式分析模块处理后的数据，建立完善的内河船舶异常行为样本库；

所述船舶异常行为分析子系统包括船舶行为特征和模式提取模块、船舶异常行为类别提取模块、GPS定位信息提取模块；所述船舶行为特征和模式提取模块用于基于历史AIS数据和船舶异常行为样本库，建立深度学习网络模型，提取船舶行为特征和模式；所述船舶异常行为类别提取模块用于基于实时的AIS数据预测船舶行为，获取船舶异常行为类别信息；所述GPS定位信息提取模块用于基于实时的AIS数据获取GPS定位信息；

所述船舶视频检测与定位子系统包括船舶视频检测模块、船舶定位模块；所述船舶视频检测模块基于CCTV视频图像，提取船舶目标特征；所述船舶定位模块结合内河水域景深图像和船舶目标特征，获取船舶三维空间坐标，得到船舶视频定位信息；

所述船舶视频自动识别子系统基于获取的船舶异常行为类别、GPS定位信息、视频定位信息、船舶目标特征，对船舶进行目标关联分析，在CCTV视频上自动识别出异常行为船舶。

为了实现上述目的，本发明的方法所采用的技术方案是：一种内河水域异常行为船舶自动识别方法，其特征在于，包括以下步骤：

步骤1：采集内河水域船舶通航的AIS报文信息、水文和气象部门的环境信息、CCTV视频图像和景深图像，并将上述信息存储到服务器，并对AIS报文信息和环境信息融合建立AIS大数据；

步骤2：对内河船舶行为模式进行分类，建立完善的船舶异常行为模式类别；

步骤3：基于历史的交通事故记录，对同时段的AIS数据进行异常行为模式标记，并采用船舶操作模拟器模拟船舶行为，建立丰富的船舶异常行为样本库；

步骤4：建立船舶行为分析模型，输入实时的AIS数据，输出得到预测的AIS数据，包括船舶异常行为模式和GPS定位信息；

步骤5：设计内河船舶视频检测算法，结合景深图像，采用三维重建技术，确定船舶的三维空间坐标，获取船舶视频定位信息；

步骤6：基于预测的船舶异常行为类别、GPS定位信息、视频定位信息以及船舶目标特征，对船舶进行目标关联，在CCTV视频上对异常行为船舶自动识别。

本发明产生的有益效果是：本发明的内河水域异常行为船舶自动识别系统与方法能实时采集AIS信息、环境信息、CCTV视频图像以及景深图像，并对数据进行存储，为船舶行为分析、异常行为船舶自动识别提供数据基础；本发明提供建立了一套内河船舶异常行为模式类别以及船舶异常行为样本库，为船舶异常行为识别提供依据；本发明采用深度学习模型，其泛化能力强，能从人、船、桥、环境和管理等多因素全方面的对船舶行为进行分析，保证识别的船舶异常行为的准确性；本发明采用船舶视频检测与定位技术从视觉感知层面确定船舶特征以及定位信息，为在视频上检测出异常行为船舶提供技术支持；本发明采用融合多源信息，在视频上对船舶的异常行为、GPS定位、视频定位以及船舶特征进行目标关联，实现在视频上对船舶进行自动识别。

进一步地，本发明涉及到的数据采集设备安装简单、方便，利用存储在数据库中的数据即可实现异常行为船舶自动识别。

附图说明

图1是本发明实施例的系统结构示意图；

图2是本发明实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种内河水域异常行为船舶自动识别系统，包括内河交通数据采集子系统、船舶异常行为样本库子系统、船舶异常行为分析子系统、船舶视频检测与定位子系统、船舶视频自动识别子系统和服务器；

内河交通数据采集子系统包括AIS接收机、信息抓取模块、工业摄像头、MS Kinect景深摄像头；其中AIS报文信息采集由一台AIS接收机接收内河水域船舶广播的AIS数据，连接RS485转以太网转换器，通过RJ45网线将数据传输到机房交换机，存储到服务器数据库中；视频监控系统(Closed Circuit Television，CCTV)视频图像采集由一台工业摄像头采集内河水域的图像，通过RJ45网线将数据传输到机房交换机，存储到服务器数据库中；景深图像采集由一台MS Kinect景深摄像头采集内河水域的景深图像，通过RJ45网线将数据传输到机房交换机，存储到服务器数据库中；水文气象数据通过RJ45网线从水文气象局服务器传输到机房交换机，存储到数据库中；

AIS接收机能够接收内河航行船舶的船名、航速、航向、GPS坐标、目的地等信息，输出接口为RS485，利用RS485转以太网转换器将数据传输到服务器存储；水文和气象数据从水文气象局获取，包括内河水位、能见度、风速、风向等信息，通过以太网传输到服务器存储；CCTV视频图像通过工业摄像头采集、景深图像通过MS Kinect景深摄像头采集，数据通过以太网传输到服务器存储。

船舶异常行为样本库子系统包括船舶异常行为模式分析模块、船舶操纵模拟器模块、船舶异常行为样本库构建模块；船舶异常行为模式分析模块用于深入分析内河水域船舶异常行为模式类别，基于交通事故备案记录，对历史AIS数据进行船舶异常行为模式标记；船舶操纵模拟器模块用于模拟船舶异常行为，丰富异常行为模式样本；船舶异常行为样本库构建模块用于根据船舶操纵模拟器模块和船舶异常行为模式分析模块处理后的数据，建立完善的内河船舶异常行为样本库；

船舶异常行为模式具体包括：航速异常(速度太高、速度太低、游荡等)以及航迹异常(非法侵占他船领域、船撞桥、没有驶向目的地、航迹终止、不正常航线形状等)；离开历史航迹、不在合法位置(在航道外航行、不在规定的区域内活动、驶向危险区、入侵禁区等)；机载AIS未开启、船只有备案记录等。

船舶异常行为分析子系统包括船舶行为特征和模式提取模块、船舶异常行为类别提取模块、GPS定位信息提取模块；船舶行为特征和模式提取模块用于基于历史AIS数据和船舶异常行为样本库，建立深度学习网络模型，提取船舶行为特征和模式；船舶异常行为类别提取模块用于基于实时的AIS数据预测船舶行为，获取船舶异常行为类别信息；GPS定位信息提取模块用于基于实时的AIS数据获取GPS定位信息。

船舶视频检测与定位子系统包括船舶视频检测模块、船舶定位模块；船舶视频检测模块基于CCTV视频图像，提取船舶目标特征；船舶定位模块结合内河水域景深图像和船舶目标特征，获取船舶三维空间坐标，得到船舶视频定位信息；

船舶视频自动识别子系统基于获取的船舶异常行为类别、GPS定位信息、视频定位信息、船舶目标特征，对船舶进行目标关联分析，在CCTV视频上自动识别出异常行为船舶。

请见图2，本发明提供的一种内河水域异常行为船舶自动识别方法，其特征在于，包括以下步骤：

步骤1：采集内河水域船舶通航的AIS报文信息、水文和气象部门的环境信息、CCTV视频图像和景深图像，并将上述信息存储到服务器，并对AIS报文信息和环境信息融合建立AIS大数据；

步骤2：对内河船舶行为模式进行分类，建立完善的船舶异常行为模式类别；

步骤3：基于历史的交通事故记录，对同时段的AIS数据进行异常行为模式标记，并采用船舶操作模拟器模拟船舶行为，建立丰富的船舶异常行为样本库；

步骤4：建立船舶行为分析模型，输入实时的AIS数据，输出得到预测的AIS数据，包括船舶异常行为模式和GPS定位信息；

步骤5：设计内河船舶视频检测算法，结合景深图像，采用三维重建技术，确定船舶的三维空间坐标，获取船舶视频定位信息；

步骤6：基于预测的船舶异常行为类别、GPS定位信息、视频定位信息以及船舶目标特征，对船舶进行目标关联，在CCTV视频上对异常行为船舶自动识别。

步骤3中的船舶异常行为样本库包括历史AIS数据样本库和船舶操纵模拟器模拟样本库。其中历史AIS数据样本库的建立方法为：首先建立内河水域船舶异常行为模式类别，从监管内河水域的海事部门获取水上交通事故的备案记录，获得事故发生的时间段和事故中的船舶异常行为模式，然后获取该时间段的AIS数据，对其进行模式标记，建立带标签的船舶异常行为样本库；基于船舶操纵模拟器模拟样本的方法为：依据船舶异常行为模式类别，设计不同的船舶模拟航行方案。在专家的指导下，设计不同航线，模拟各种类型、大小的船舶(杂货船、散货船、客船、油船、液化气船、化学品船、高速船、超大型船舶、拖轮等)在不同水域(沿岸、狭水道、内河)、不同天气及能见度(晴天、多云、阴天、雾、雨)、不同水况(风、浪、流、水位)、不同时间条件下(白天、夜晚连续可变)的航行及避碰，利用电子海图显示与信息系统可以获取航行相关数据，并对模拟数据加上行为模式标签，补充样本库。综合两种方法建立丰富完善的内河水域船舶异常行为样本库。

步骤4中建立船舶行为分析模型，是采用深度学习网络模型中的深度信念网络DBNs(Deep Belief Nets)，对于船舶异常行为样本库进行训练学习，获取模型参数，实现船舶行为的各层低维度特征提取；将实时的AIS数据输入到DBNs中，预测出带行为模式标签的AIS时序数据，从而获取船舶异常行为模式和GPS定位信息。

深度学习网络模型，首先建立6层的深可信网络模型(DBNs)，包含1层输入层，1层输出层，4层隐含层，采用自底向上无监督的贪婪算法对模型预训练学习，用无标签的AIS数据样本训练第一层的参数，由于模型的稀疏性约束，使得模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习到第5层后，将第5层的输出作为第6层的输入，训练第6层，由此分别得到各层的参数。预训练结束后，在最后一层，采用有监督的BP训练学习算法，利用船舶异常行为样本库的数据的重构误差率与分类误差率自顶向下微调各层模型的参数。直到误差率满足精度要求即训练结束，由此得到船舶行为预测模型。然后将实时的AIS数据输入到模型中，即可预测出船舶的行为，获得船舶的异常行为模式和GPS定位信息。

步骤5中设计内河船舶视频检测算法，采用Vibe算法，首先采用ViBe算法检测船舶，方法步骤为：利用监控的船舶视频的初始帧建立背景模型；对于后续视频帧，将各个像素点与对应的背景模型进行匹配，并将匹配的像素点分类为背景，反之，则分类为前景；针对分类为背景的像素点，若其被随机选中，则对该点的背景模型进行更新，同时也随机对邻域中的某个像素点的背景模型进行更新，得到船舶视频检测特征。对前景图像进行连通域分析，获取各个船舶的平面坐标位置以及外形信息。

然后基于景深图像，通过摄像机标定来建立视频图像坐标系、景深图像坐标系和摄像机坐标系的映射关系，以及摄像机坐标系和世界坐标系的映射关系。结合景深信息和CCTV视频序列中船舶检测结果，应用三维重建技术获取船舶在摄像机坐标系中的坐标，进而映射到世界坐标系中，计算船舶三维信息，得到船舶视频定位信息。

步骤6中，船舶视频检测和定位信息包括船舶三维空间坐标数据以及船舶的特征，预测的船舶行为包括船舶GPS数据以及该船的异常行为模式，通过将两类定位数据进行比较，可以将船舶的检测特征与船舶的异常行为模式对应，即可以在CCTV视频上对检测的船舶按异常行为模式分别标记，自动识别出异常行为船舶。

本发明针对内河水域通航环境复杂、航行风险高、异常行为船舶监控难的现状，基于结构化数据(AIS数据和环境数据)和非结构化数据(CCTV视频图像和景深图像)的深度融合技术，提出一种能实时预测内河水域的船舶异常行为模式、视频检测与定位船舶的方法，并且结合此方法自行设计了一种内河水域异常行为船舶自动识别系统与方法。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种内河水域异常行为船舶自动识别系统，其特征在于：包括内河交通数据采集子系统、船舶异常行为样本库子系统、船舶异常行为分析子系统、船舶视频检测与定位子系统、船舶视频自动识别子系统和服务器；

所述内河交通数据采集子系统包括AIS接收机、信息抓取模块、工业摄像头、MS Kinect景深摄像头；所述AIS接收机用于接收内河船舶通航时的AIS报文信息，所述信息抓取模块用于采集水文和气象部门数据库的内河环境信息，所述工业摄像头用于采集内河水域CCTV视频图像，所述MS Kinect景深摄像头用于采集内河水域景深图像；上述信息传输到服务器中进行存储；

所述船舶异常行为样本库子系统包括船舶异常行为模式分析模块、船舶操纵模拟器模块、船舶异常行为样本库构建模块；所述船舶异常行为模式分析模块用于深入分析内河水域船舶异常行为模式类别，基于交通事故备案记录，对历史AIS数据进行船舶异常行为模式标记；所述船舶操纵模拟器模块用于模拟船舶异常行为，丰富异常行为模式样本；所述船舶异常行为样本库构建模块用于根据船舶操纵模拟器模块和船舶异常行为模式分析模块处理后的数据，建立完善的内河船舶异常行为样本库；

所述船舶异常行为分析子系统包括船舶行为特征和模式提取模块、船舶异常行为类别提取模块、GPS定位信息提取模块；所述船舶行为特征和模式提取模块用于基于历史AIS数据和船舶异常行为样本库，建立深度学习网络模型，提取船舶行为特征和模式；所述船舶异常行为类别提取模块用于基于实时的AIS数据预测船舶行为，获取船舶异常行为类别信息；所述GPS定位信息提取模块用于基于实时的AIS数据获取GPS定位信息；

所述船舶视频检测与定位子系统包括船舶视频检测模块、船舶定位模块；所述船舶视频检测模块基于CCTV视频图像，提取船舶目标特征；所述船舶定位模块结合内河水域景深图像和船舶目标特征，获取船舶三维空间坐标，得到船舶视频定位信息；

所述船舶视频自动识别子系统基于获取的船舶异常行为类别、GPS定位信息、视频定位信息、船舶目标特征，对船舶进行目标关联分析，在CCTV视频上自动识别出异常行为船舶。

2.根据权利要求1所述的内河水域异常行为船舶自动识别系统，其特征在于：所述AIS报文信息包括内河航行船舶的船名、航速、航向、GPS坐标、目的信息；所述内河环境信息包括内河水位、能见度、风速、风向信息。

3.根据权利要求1所述的内河水域异常行为船舶自动识别系统，其特征在于：所述船舶异常行为模式包括：航速异常以及航迹异常，离开历史航迹、不在合法位置，机载AIS未开启、船只有备案记录；其中航速异常包括速度太高、速度太低或游荡等，航迹异常包括非法侵占他船领域、船撞桥、没有驶向目的地、航迹终止或不正常航线形状，不在合法位置包括在航道外航行、不在规定的区域内活动、驶向危险区、入侵禁区。

4.一种内河水域异常行为船舶自动识别方法，其特征在于，包括以下步骤：

步骤1：采集内河水域船舶通航的AIS报文信息、水文和气象部门的环境信息、CCTV视频图像和景深图像，并将上述信息存储到服务器，并对AIS报文信息和环境信息融合建立AIS大数据；

步骤2：对内河船舶行为模式进行分类，建立完善的船舶异常行为模式类别；

步骤3：基于历史的交通事故记录，对同时段的AIS数据进行异常行为模式标记，并采用船舶操作模拟器模拟船舶行为，建立丰富的船舶异常行为样本库；

步骤4：建立船舶行为分析模型，输入实时的AIS数据，输出得到预测的AIS数据，包括船舶异常行为模式和GPS定位信息；

步骤5：设计内河船舶视频检测算法，结合景深图像，采用三维重建技术，确定船舶的三维空间坐标，获取船舶视频定位信息；

步骤6：基于预测的船舶异常行为类别、GPS定位信息、视频定位信息以及船舶目标特征，对船舶进行目标关联，在CCTV视频上对异常行为船舶自动识别。

5.根据权利要求4所述的内河水域异常行为船舶自动识别方法，其特征在于：步骤4中所述建立船舶行为分析模型，是采用深度学习网络模型中的深度信念网络DBNs，对于船舶异常行为样本库进行训练学习，获取模型参数，实现船舶行为的各层低维度特征提取；将实时的AIS数据输入到DBNs中，预测出带行为模式标签的AIS时序数据，从而获取船舶异常行为模式和GPS定位信息。

6.根据权利要求5所述的内河水域异常行为船舶自动识别方法，其特征在于：步骤4中，深度学习网络模型的DBNs为6层的深可信网络模型，包含1层输入层，1层输出层，4层隐含层，采用自底向上无监督的贪婪算法对模型预训练学习，用无标签的AIS数据样本训练第一层的参数，由于模型的稀疏性约束，使得模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习到第5层后，将第5层的输出作为第6层的输入，训练第6层，由此分别得到各层的参数；预训练结束后，在最后一层，采用有监督的BP训练学习算法，利用船舶异常行为样本库的数据的重构误差率与分类误差率自顶向下微调各层模型的参数；直到误差率满足精度要求即训练结束，由此得到船舶行为分析模型。

7.根据权利要求4所述的内河水域异常行为船舶自动识别方法，其特征在于：步骤5中所述设计内河船舶视频检测算法，采用Vibe算法，检测出视频中全部的船舶特征；结合检测的船舶数据和景深数据，采用三维重建技术，计算出船舶的三维空间坐标，获得船舶视频定位信息。

8.根据权利要求7所述的内河水域异常行为船舶自动识别方法，其特征在于：所述Vibe算法，是利用监控的船舶视频的初始帧建立背景模型；对于后续视频帧，将各个像素点与对应的背景模型进行匹配，并将匹配的像素点分类为背景，反之，则分类为前景；针对分类为背景的像素点，若其被随机选中，则对该点的背景模型进行更新，同时也随机对邻域中的某个像素点的背景模型进行更新，得到船舶视频检测特征；对前景图像进行连通域分析，获取各个船舶的平面坐标位置以及外形信息。

9.根据权利要求4所述的内河水域异常行为船舶自动识别方法，其特征在于：步骤6中，船舶视频检测和定位信息包括船舶三维空间坐标数据以及船舶的特征，预测的船舶行为包括船舶GPS数据以及该船的异常行为模式，通过将两类定位数据进行比较，可以将船舶的检测特征与船舶的异常行为模式对应，即可以在CCTV视频上对检测的船舶按异常行为模式分别标记，自动识别出异常行为船舶。