CN112969049A - 一种船舶违章行为智能侦测系统 - Google Patents

Abstract

本发明公开了一种船舶违章行为智能侦测系统。该系统包括航船监控平台，设置在航船上的船载视频监控子系统，二者之间通过无线通信网络互联，船载视频监控子系统包括视频抓拍主机，以及与所述视频抓拍主机网络连接的摄像头，当所述摄像头拍摄的视频图像传输给所述视频抓拍主机后，所述视频抓拍主机对所述视频图像显示内容进行智能识别，包括识别出人员违章行为和/或自然灾害场景，并对识别结果向所述航船监控平台进行推送。该系统可以对多只航船远程动态监控，通过智能化的视频图像识别和业务应用规则适配，实现多种安全事件监测，提高了航船管理的正规化，减少和避免违规操作，提高了航船安全性。

Description

一种船舶违章行为智能侦测系统

技术领域

本发明涉及船舶管理技术领域，尤其涉及一种船舶违章行为智能侦测系统。

背景技术

随着航船向着体积增大、功能增多的趋势发展，在航船上设置的操作空间、操作设备、操作流程和操作人员也在不断增多，这样就带来了对航船安全监测管理的需求。

现有技术条件下，对航船的安全监测管理难以做到智能化分析提示，不能根据具体的航运管理规定设定有效的监管规则，并将这些监管规则直接应用到监控技术手段中，并获得及时有效的监控预警和预防，同时也存在监测管理的准确度问题和虚警问题，以及对监测管理的数据进行有效存储、传输和调用的问题。

发明内容

本发明主要解决的技术问题是提供一种船舶违章行为智能侦测系统，解决现有技术中对航船监测管理缺乏实时有效的、智能化的并且能够与监管规则直接结合的监测管理手段的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种船舶违章行为智能侦测系统，包括航船监控平台，设置在航船上的船载视频监控子系统，所述船载视频监控子系统与航船监控平台之间通过无线通信网络互联；所述船载视频监控子系统包括视频抓拍主机，以及与所述视频抓拍主机网络连接的摄像头，当所述摄像头拍摄的视频图像传输给所述视频抓拍主机后，所述视频抓拍主机对所述视频图像显示内容进行智能识别，包括识别出人员违章行为和/或自然灾害场景，并对识别结果向所述航船监控平台进行推送。

优选的，所述视频抓拍主机包括视频采集模块、视频解码模块、视频分析模块、业务应用模块和告警输出模块，所述视频采集模块对所述摄像头获取实时的视频流，所述视频解码模块对所述视频流解码得到图像序列，所述视频分析模块对所述图像序列进行图像分析而得到图像特征，所述业务应用模块结合应用规则和图像特征进行告警识别，所述告警输出模块则输出告警识别结果，推送到航船监控平台。

优选的，所述视频分析模块包括对多种事件类型检测图像算法来实现对视频图像的特征提取和识别，再根据这些图像特征与待识别事件进行关联，进而识别出多种不同的事件。

优选的，所述视频分析模块进行图像特征提取的方法包括步骤有：算法设计、数据采集和数据标注。

优选的，所述业务应用模块根据视频分析模块的分析结果，结合用户定义的业务应用规则，形成告警事件记录。

优选的，所述业务应用规则用文件或数据库表的形式存放，多个业务应用规则按照多维矩阵的方式设计，每个告警类型选择与其对应的业务应用规则的维度组合。

优选的，所述视频抓拍主机还包括控制接口模块，用于对图像特征提取方法的参数的标定、业务应用规则的设定，以及来自航船监控平台和用户终端的操作控制。

优选的，所述视频抓拍主机还包括存储管理模块，所述存储管理模块存储的数据包括：主机运行产生的调试数据、主机运行日志和告警数据、主机运行状态数据、主机的配置数据、各种事件记录数据、图片视频录像片段数据。

优选的，所述航船监控平台包括设备管理模块、流媒体模块、数据存储模块，以及接入到所述航船监控平台的操控终端；所述设备管理模块用于对视频抓拍主机、摄像机和操控终端进行管理，所述流媒体模块用于对视频流进行分发与转发，所述数据存储模块用于对多种数据进行分类存储。

优选的，当多个操控终端同时需要查看同一个摄像机的实时视频，只需要向航船监控平台服务器发出视频资源请求，由流媒体模块向前端摄像机获取视频流，在服务器中复制多份，满足多人播放请求。

本发明的有益效果是：本发明公开了一种船舶违章行为智能侦测系统。该系统包括航船监控平台，设置在航船上的船载视频监控子系统，二者之间通过无线通信网络互联，船载视频监控子系统包括视频抓拍主机，以及与所述视频抓拍主机网络连接的摄像头，当所述摄像头拍摄的视频图像传输给所述视频抓拍主机后，所述视频抓拍主机对所述视频图像显示内容进行智能识别，包括识别出人员违章行为和/或自然灾害场景，并对识别结果向所述航船监控平台进行推送。该系统可以对多只航船远程动态监控，通过智能化的视频图像识别和业务应用规则适配，实现多种安全事件监测，提高了航船管理的正规化，减少和避免违规操作，提高了航船安全性。

附图说明

图1是根据本发明船舶违章行为智能侦测系统一实施例的组成图；

图2是根据本发明船舶违章行为智能侦测系统另一实施例中视频抓拍主机的组成模块示意图；

图3是根据本发明船舶违章行为智能侦测系统另一实施例中视频解码流程示意图；

图4是根据本发明船舶违章行为智能侦测系统另一实施例中速度值裁剪示意图；

图5是根据本发明船舶违章行为智能侦测系统另一实施例中速度值标注示意图；

图6是根据本发明船舶违章行为智能侦测系统另一实施例中控制接口示意图；

图7是根据本发明船舶违章行为智能侦测系统另一实施例中航船监控平台的组成模块示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1显示了本发明船舶违章行为智能侦测系统一实施例的架构图。在图1中，包括航船监控平台，设置在航船上的船载视频监控子系统，所述船载视频监控子系统与航船监控平台之间通过无线通信网络互联。进一步的，所述船载视频监控子系统包括视频抓拍主机，以及与所述视频抓拍主机网络连接的摄像头，当所述摄像头拍摄的视频图像传输给所述视频抓拍主机后，所述视频抓拍主机对所述视频图像显示内容进行智能识别，包括识别出人员违章行为和/或自然灾害场景，并对识别结果向所述航船监控平台进行推送。

优选的，如图2所示，所述视频抓拍主机包括视频采集模块1、视频解码模块2、视频分析模块3、业务应用模块4和告警输出模块5，所述视频采集模块1对所述摄像头获取实时的视频流，所述视频解码模块2对所述视频流解码得到图像序列，所述视频分析模块3对所述图像序列进行图像分析而得到图像特征，所述业务应用模块4结合应用规则和图像特征进行告警识别，所述告警输出模块5则输出告警识别结果，推送到航船监控平台。

优选的，所述视频抓拍主机可以连接接入6-8路摄像头，每一个摄像头可以有多个视频流，这里采用了通道和视频流的概念，一个通道代表一个监控摄像头，一个流代表一路实时视频流，一个通道可以包含多个流。本系统要从摄像头取这些视频流进行处理，而且要将处理后的视频流转发输出到航船监控平台。

优选的，因为不同分辨率、帧率和编码参数的视频流对解码性能要求区别很大，例如对于同为25fps的1080P的码流和D1的码流解码性能相差几倍。优选的，摄像头提供多视频流输出，而且是可以每路视频流都可独立设置其分辨率、帧率和GOP间隔、编码质量等参数的。所述视频解码模块要结合每路摄像机要检测分析的事件类型，结合分析算法，选择合适的分辨率和帧率，这样按需配置合适的视频流流编码参数，尽量降低解码压力。优选的，摄像头的编码格式为H.264，所述视频解码模块采用目前常用的FFMpeg。

进一步的，如图3所示，对于视频采集模块和视频解码模块的工作方法包括多线程机制来完成多个步骤功能，主要包括以下视频相关处理线程：(1)采集线程：从前端摄像头采集H.264视频流，放入解码请求队列、视频流输出队列和录像请求队列。(2)解码缩放线程：用FFMpeg解码或libswacle进行解码、缩放和颜色空间变换处理。输出RGB24格式的视频帧，送入显示请求队列和检测请求队列。(3)本地显示线程：显示RGB24格式的视频帧流，可以叠加显示检测结果。(4)检测线程：进行检测分析。(5)视频流输出线程：为管理平台提供实时音视频源。(6)录像线程：循环覆盖录像，为告警记录提供证据照片和录像片段。

以上各个线程除了采集线程外，均有自己的帧队列，缓冲等待处理的帧。前一级的线程将视频帧放入下一级线程的帧队列，并用信号量通知下一级线程处理。在整个机制中有两类帧：压缩编码的H.264视频流和解码出的RGB24帧。

优选的，所述视频分析模块包括对多种事件类型检测图像算法来实现对视频图像的特征提取和识别，再根据这些图像特征与待识别事件进行关联，进而识别出多种不同的事件。优选的，对于这些多种事件类型检测图像算法，需要进行预先标定参数，以配置文件的形式存储，也可以以数据库表的形式存储。

优选的，所述视频分析模块对视频解码模块输入的图像序列提取原始的人、物、车等感兴趣的目标和目标的特征和信息。例如在图像序列中获取监控区域中出现的所有人的各个信息，重点是实现得到尽量丰富而且正确的信息。

优选的，针对航船监测的实际需要，视频分析模块对应的多种事件类型检测图像算法中包括的事件类型，包括临水作业事件、甲板作业事件、航行值班事件、驾驶操控事件、重点水域事件、机舱监控事件、灾害预警事件等。

其中，临水作业事件是对视频图像中临水作业不穿救生衣进行监测管理。甲板作业事件是对甲板作业不戴安全帽、不穿工作服和工作鞋进行监测管理，其中图像算法提取的特征要素包括工作服为长袖、颜色为橘红色且具有夜间反光功能，皮鞋一般为黑色、防滑劳保工作鞋；还包括油船甲板使用手机进行监测，对图像中人员使用手机进行抓拍识别监测。航行值班事件是对航行过程中，值班人员在驾驶台玩手机，互相聊天、疏忽瞭望进行监测管理，可以通过GPS设备数据或其他设备判断航行状态，并抓拍值班人员玩手机、互相聊天、未直视前方的图片，相关行为时长可以通过自定义参数来设置。驾驶操控事件包括对驾驶台值班人员打瞌睡、船舶锚泊时驾驶台无人值班、在驾驶台吸烟和用餐、航行时驾驶台仅一人值班、驾驶台值班人员穿着不规范(穿拖鞋、背心)等行为进行监测管理。重点水域事件是对通过一级监管水域时，对值班人员未站立引航、操舵进行监测管理。机舱监控事件是对机舱监控室值班时打瞌睡睡觉，使用船电时监控室缺人时间过长(30分钟以上)，30分钟之内没有对机舱各运行设备巡查，机舱监控室值班时抽烟、玩手机，进入值班场所穿着背心、短裤、拖鞋等行为进行监测管理，其中打瞌睡视频图片特征包括用户趴着、躺着或呈睡觉姿势，使用船电时通过发电机运行指示判断使用船电并抓拍图片进行监测管理。灾害预警事件主要是对烟雾、火焰、水流等灾害进行监测管理，能正确识别烟雾、火焰、水流等异常情况。

优选的，所述视频分析模块进行图像特征提取的算法包括步骤有：

算法设计，根据视频数据采集情况，采用由简入繁的思路，首先制作违章行为如人员检测、速度检测在白天和夜晚的训练数据集，然后采用基于Darknet框架和OpenPose姿态检测的深度学习网络，设计适用模型，训练保存模型参数，编写调用接口，并提供网络文件和权重矩阵文件，做到实时逐帧检测是否相关事件的情形。

数据采集，根据实际情况，训练样本分为两部分，一部分为采集到的视频数据，另一部分是制作的违章行为负样本数据集，例如：打电话、未佩戴安全帽、抽烟等。数据背景既包括白天又包括夜晚。首先使用Video To picture工具对视频数据拆分获取图像帧，由于实际情景纹理变化幅度小，变化慢，故每隔三秒获取一帧图像，在检测速度时，将速度区域裁剪作为速度检测样本，如图4所示，显示当前的速度值是“16.92”。通过对速度值的采集，用于通过图像分析航船的行驶速度，从而可以和GPS定位系统获取的速度值进行比对，有利于实现从对维度对航船进行监控，特别是对航速、通过重点流域进行监测，有利于与前述的监控事件进行关联，从而增强监控的精准性和相互印证。

数据标注，为了制作训练数据，首先对需要对图像数据进行标注，标注时需事先定义检测类别，例如在检测人员时，需要标注“person”类，检测玩手机时标注“phone”类，标注方式统一采用矩形框标注，框出目标位置并标上对应类别。由于速度检测背景复杂，采用显示深度的方式进行检测，数据标注时将字符类别设置为0到9和小数点“.”共十一个类。如图5所示，显示对速度值的标注。

优选的，对于深度学习目标检测网络，采用基于实时性较强的YoloV3目标检测网络，在Yolov3基础上对特征提取层进行修改，以适应实际摄像头场景，其中速度检测和其他违章检测相比，输入图像为速度区域截图，图像分辨率低，无需检测整张图像，故采用浅层网络模型Yolov3-tiny，而对其他检测如：人员、手机、火灾等，需要分析整张图像纹理，故采用107层的深层模型。修改后的Yolov3网络分别在13*13、26*26、52*52三个尺度上对特征度进行预测并回归得到目标框位置，速度快，精度高。YoloV3-tiny只在两个尺度上进行预测和回归，网络更浅，速度更快。由于数据的差异，采用K-means聚类的方法对人员等检测设定9个anchors先验框进行数据标注，分别为：(24,55,21,74,32,87,22,132,38,107,32,153,41,190,50,164,56,211)。速度检测设定6个anchors先验框进行数据标注，分别为：(42,125,65,319,70,321,77,330,75,347,82,331)。

优选的，视频分析模块对检测分析的结果要直观的表现出来，最好的方法就是将检测结果直接在视频画面上叠加出来。视频有两类显示终端显示，对于本地显示终端，在解码出来的RGB24帧上修改图像数据的方式来显示检测结果，然后送到渲染插件显示，优点是简单，检测结果和帧对应关系明确，缺点是效率低，不能改变透明度。对于远程显示终端：对于大多数时间，用户只能通过远程显示终端来查看检测结果，视频码流必须用压缩的方式才能在网络上传输，将叠加显示的检测结果压缩后回传到远程显示终端，系统开销太大。但远程监控检测结果的需求确实比较迫切，可以采用的方法是：将检测结果打包为一个缓冲区作为图像帧的附加数据附带到尾部，一起通过流传输协议发送到播放器。播放器检测每个视频帧的尾部，提取出附加的检测结果。

优选的，所述业务应用模块根据视频分析模块的结果，根据用户定义的业务应用规则，形成告警事件记录，该记录一般包含日期、时间、地点、照片、视频片段等，构成一个完整的事件证据链。业务应用规则可以用文件也可以用数据库表的形式存放。这样做的优点就是将“视频分析”和“业务需求应用”尽量分开，做到最大的灵活性和可扩展性。根据对应用需求的分析，多个业务应用规则按照“N维矩阵”的方式设计，是否要抓拍取证按照N个维度来检查，根据业务应用规则表最后“触发告警”。多个业务应用规则按照多维矩阵的方式设计，每个告警类型选择与其对应的业务应用规则的维度组合。

优选的，有如下维度，每个告警类型，业务应用规则的维度数目不同：

第一业务应用规则：时间规则，特定的时间段才触发告警抓拍；

第二业务应用规则：位置规则，根据GPS信息确定位置，特定的位置才触发告警抓拍；

第三业务应用规则：船舶工况规则，由AIS系统或用户输入等方式获取船舶处于特定工况下才告警抓拍；

第四业务应用规则：可信度规则，视频分析模块分析结果的可信度高于特定参数才采用；

第五业务应用规则：频度和时刻规则，根据事件发生频度和上次事件发生时刻，用于过滤算法误报和采集设备出现故障等原因造成的大量“虚警”。

这种机制的优点是告警输出是根据N个维度的检查来最终确定的，增加和减少规则不需要改动其他组件构成结构。

优选的，所述业务应用模块包括规则计算部分，目标就是正确产生触发信号。这也是整个系统的核心关键目标，正确性主要有两个指标：一是虚警率：就是错误的告警信号，不应该告警的时候触发了告警占总告警次数的比率。二是漏检率：应该产生告警而没有触发告警的次数占整个应该告警次数的比率。

这两个核心指标主要取决于以下因素：(1)原始信息的正确率、鲁棒性：这是正确率的关键和决定性因素。(2)业务应用模块对数据运用得当：对于原始数据可以进行滤波，奇点消除等措施，对数据进行后处理，能够最大限度发挥数据的功效；(3)规则的正确应用：通过设置一些规则，辅助滤除一些干扰，可以提高触发的正确性。

可以看出，所述业务应用模块处理的数据对象是视频分析模块输出的原始信息。根据设定的业务应用规则，加工处理原始信息，当预设的业务应用规则满足的时候，触发告警，并启动告警输出和告警保存记录任务。

优选的，所述告警输出模块检查所述业务应用模块的各业务应用规则，当各条件具备的时候，产生告警触发信号。告警输出考虑两个途径：第一途径是本地现场告警输出：这部分主要是在本地产生声光告警信号，提请现场人员，声音输出可以由本设备外接扬声器来完成。也可以通过网络或串口或IO端口集成告警输出设备。第二途径是提交给航船监控平台：在告警产生后，调用航船监控平台提供的web service接口，将告警信号提交给航船监控平台，由航船监控平台向对应管理人员的移动终端转发实时告警信号。告警有唯一的流水号，航船监控平台收到后要反馈确认，如果收不到反馈确认，重复提交请求，直到航船监控平台反馈确认告警正确收到。航船监控平台根据流水号滤除重复的告警。

优选的，所述视频抓拍主机还包括记录生成模块，记录生成模块接收到告警触发信号后，执行记录生成流程，记录生成的主要功能有：证据照片的生成：告警证据记录中，需要距离告警信号产生一段时间范围(时长为T)的N张照片作为举证的依据。证据录像片段的生成：告警证据记录中，需要距离告警信号产生一段时间范围(时长为T)的视频录像片段作为举证的依据。

优选的，证据照片和证据录像片段的生成功能实现根据时长T的大小实现机制分为两种：第一种是内存中缓存机制：对于T<30秒的情况，视频抓拍主机开辟内存缓冲区，覆盖式保存最近30+5秒的录像数据，告警信号产生后，从内存缓冲区根据时间中提取N张证据照片和需要时长的录像片段，作为告警记录举证证据。第二种是外存缓存机制：对于T>30秒的情况，内存空间无法满足缓冲要求，必须考虑外部存储设备来解决。

优选的，在记录生成模块中还需要考虑如何从H.264压缩视频流中“截取”指定时刻的JPEG照片，该过程步骤包括：首先，根据时间在内存或外存缓冲区中找到对应的H.264GOP组的所有帧；其次，调用H.264解码模块功能解码H.264GOP组，直到指定时刻的解码帧获取成功；最后，将解码帧送入JPEG编码模块，进行JPEG编码，获取JPEG照片。告警记录生成后，提交给存储系统保存到存储设备中。在前面存储系统设计方案中描述。

优选的，所述视频抓拍主机还包括存储管理模块，所述存储管理模块存储的数据包括：(1)主机运行产生的调试数据：主要是为了开发调试用，记录软件大调试打印输出，覆盖式存储，一般预留20M字节的空间，覆盖式存储。(2)主机运行日志和告警数据：用于主机运行中重要信息的记录，完善的日志和告警功能是系统维护的重要依据。(3)主机运行状态数据：为了记录设备运行历史，每隔5分钟产生一个运行报告记录，覆盖式存储，记录最近一个月以来系统的运行重要信息和状态。用于分析系统运行和故障诊断。(4)主机的配置数据：包括摄像机、网络、运行软件的等各种配置参数。深度学习网络模型、模型配置数据，业务应用规则配置等。(5)各种事件记录数据：动态侦测分析产生事件，这些事件的时间、地点、事件类型等信息。(6)图片视频录像片段数据：动态侦测分析产生的事件对应的图片和视频录像。

优选的，根据上述数据类型不同采取不同的存储类型。(1)采用文件系统存储的数据类型：主机的配置数据，这种类型的数据修改的频度非常低，对文件系统稳定性影响非常小。(2)采用数据库存储的数据类型：主机的日志、告警和运行状态记录，因为属于主机运行自身需要的数据，数据价值不是特别重要。直接采用数据库管理系统来存储维护。检索查询等各方面功能都很强大，实现简单。(3)自定义方式的数据类型：主机运行产生的各种事件记录，包括记录关联的图片和视频流片段，这是主机最重要的数据，而且动态变化，而且需要考虑覆盖式存储。

优选的，对于自定义方式的数据类型，动态侦测抓拍的违章行为记录中证据是最核心的数据元素，证据主要是图片和视频录像。有些告警记录需要的录像举证时间比较长。对于比较短的视频录像片段，和图片处理方式一样，直接请求记录提交保存，对于长时间的录像片段，启用专门的机制，转存到录像片段数据区保存。优选的，1分钟～N分钟覆盖式录像功能：根据不同的需要，设置循环覆盖时间长度N，保存最近N分钟的录像。优选的，提取录像片段功能：当检测分析到一个违章行为时，算法给出录像证据的时间范围，从覆盖式录像数据区中提取M秒的录像。优选的，大录像片段保存功能：保存从N分钟覆盖式录像区中提取的录像。大录像片段保存功能包括：请求保存，当需要请求保存是，先申请存储资源；保存，启动线程，有节奏的从覆盖式录像数据区获取视频帧保存；删除录像，当记录被请求删除时，请求释放资源和存储空间；回放，当用户请求查看录像时，要能够提供回放功能；转存为录像文件。大录像片段保存的存储空间均按照分页式存储结构来分配和管理。

优选的，所述视频抓拍主机还包括控制接口模块，用于对图像特征提取方法的参数的标定、业务应用规则的设定，以及来自航船监控平台和用户终端的操作控制。控制接口模块优选可以提供web service控制接口，这样整个视频抓拍主机对于航船监控平台来说就是一个WebService服务。航船监控平台通过互联网浏览器或WebServices/Web2.0程序连接的形式为用户提供服务。

因此，视频抓拍主机对外就是一个“门户网站”，所有的功能访问都通过这个门户网站来实现。对内部各进程服务的访问都通过这个门户网站代理转发。其中识别服务请求转发路径，是通过虚拟路径映射来实现。

优选的，航船监控平台和视频抓拍主机之间的控制接口如图6所示。航船监控平台和视频抓拍主机直接之间通过网络实现功能交互，航船监控平台作为控制部分，视频抓拍主机作为被管理对象，控制接口分为上行和下行两部分。另外，航船监控平台与视频抓拍主机之间通过实时和历史视频接口获取实时和历史视频资源。

优选的，下行控制接口用于航船监控平台对视频抓拍主机的控制、管理、配置等功能,可分为以下三类接口：(1)设备控制接口：设备启动、停止、重启。(2)设备管理配置接口：网络参数、设备用户权限等配置。(3)参数配置接口：每个摄像机AI模型与参数配置、告警逻辑规则配置等。

优选的，上行数据提交接口是指视频抓拍主机在告警信号产生后，如何将告警信息提交给航船监控平台，包含两部分提交功能：(1)实时告警：告警产生后及时要将告警信号传递到航船监控平台，但告警信号传递中不包含照片和视频片段。当用户要查看这个告警记录的详细信息时，才从视频抓拍主机的存储设备中查看照片和视频录像片段。(2)照片和录像回看：均采用http协议来实现照片和视频录像的回看。(3)告警记录自动提交到航船监控平台：如果每次查看告警记录都从前端视频抓拍主机上获取，会造成很的流量开销，而且查看速度慢，所以有效的告警记录要在网络许可的条件下能自动上传航船监控平台，作为历史告警记录保存在航船监控平台服务器中，用户查看历史告警记录，就直接从本地服务器中获取。另外系统可以根据历史告警记录可以做分析统计和报表功能。

进一步的，如图7所示，所述航船监控平台包括设备管理模块、流媒体模块、数据存储模块，以及接入到所述航船监控平台的操控终端；所述设备管理模块用于对视频抓拍主机、摄像机和操控终端进行管理，所述流媒体模块用于对视频流进行分发与转发，所述数据存储模块用于对多种数据进行分类存储。

优选的，所述设备管理模块用于管理4类设备：摄像机、视频抓拍主机、移动终端和PC终端。各类设备运行时要定期向航船监控平台注册自身状态和信息，航船监控平台根据注册信息就可以及时跟踪掌握这些设备的在线状态和参数，这是管理平台的基础功能。

优选的，设备增加可采用静态注册和动态注册的方法：静态的方法是在系统中预先配置好设备的参数，动态的方法是无需预先系统配置，设备运行时自动将自身参数上报给管理平台，管理平台自动添加设备。

优选的，对视频抓拍主机的增加管理采用动态设备注册机制来实现设备的增加。视频抓拍主机只需要配置好航船监控平台服务器的IP地址，航船监控平台在收到注册信息后，如果发现设备不存在，则增加设备，如果已经存在，则修改平台中视频抓拍主机的各个参数。

由于所述航船监控平台可以接入多个操控终端，如果多个操控终端同时需要查看某一路摄像机的实时视频，直接从摄像机上获取多路视频流，对于到前端摄像机的网络带宽及摄像机本身来说都是不合适的。所以设置实现一个所述流媒体模块用于视频流的分发与转发，这样操控终端只需要向航船监控平台服务器发出视频资源请求，由流媒体模块向前端摄像机获取视频流，在服务器中复制多份，满足多人播放请求。这样大大降低前端摄像机的压力，不管多少终端调取此摄像机的视频，从摄像机到航船监控平台只有一路码流传送。

优选的，所述流媒体模块应用的基本业务流程方法包括：用户在浏览器或手机APP或微信公众号页面上向航船监控平台发起播放请求；航船监控平台的流媒体模块收到播放请求后，解析播放请求，如果航船监控平台连接有多个流媒体服务器可选，则进行负荷平衡算法，选择合适的流媒体服务器，调用web service应用接口，发出播放请求；流媒体服务器收到请求后，分析用户请求的NVR编号、摄像机编号和通道编号(这3个编号的组合唯一确定一个“视频资源”)和用户请求的协议(RTSP、RTMP、HLS等)，如果发现对应的视频资源没有被请求，则流媒体服务器建立到NVR的流连接，并创建相应协议的“流发布端口”；播放器建立和流媒体服务器的“流发布端口”的连接，从“流发布端口”获取实时音视频帧。

通过上述流程分析，可以看出对于一路视频资源来说，当没有任何播放请求的时候，流媒体服务器无需建立和设备的连接，获取音视频帧，所以是“按需取流”，按需创建“流发布端口”。优选的，当一个流媒体服务器的转发能力不足以支持很多播放请求的时候，可以多个流媒体服务器堆叠，并进行负荷均衡。

优选的，所述数据存储模块对应存储在航船监控平台要存储的数据，其中的数据种类如下：(1)平台管理配置数据，具体包括用户、用户分组、用户权限，组织架构：单位、船舶编号、位置等数据，设备分组、组织绑定数据，系统和设备运行日志、告警数据，统计信息导出数据；(2)设备管理配置数据，具体包括设备配置、设备信息、设备状态数据，流媒体服务器配置、运行状态数据，系统和设备运行统计数据；(3)告警记录索引数据，违章告警记录数据，告警记录视频片段和照片文件数据；(4)录像文件数据；(5)设备配置文件数据，包括深度学习网络模型和参数文件数据，告警规则配置文件数据。

将以上数据分为两种类型：(1)结构化；(2)非结构化的。结构化的数据用数据库存储，方便查询、检索和统计。非结构化是指录像文件、图片文件、业务应用规则配置参数文件、深度学习网络网络模型和参数文件等，适合用文件方式来存储。存储路径作为结构化记录的字段存放在数据库。

由此可见，本发明公开了一种船舶违章行为智能侦测系统。该系统包括航船监控平台，设置在航船上的船载视频监控子系统，二者之间通过无线通信网络互联，船载视频监控子系统包括视频抓拍主机，以及与所述视频抓拍主机网络连接的摄像头，当所述摄像头拍摄的视频图像传输给所述视频抓拍主机后，所述视频抓拍主机对所述视频图像显示内容进行智能识别，包括识别出人员违章行为和/或自然灾害场景，并对识别结果向所述航船监控平台进行推送。该系统可以对多只航船远程动态监控，通过智能化的视频图像识别和业务应用规则适配，实现多种安全事件监测，提高了航船管理的正规化，减少和避免违规操作，提高了航船安全性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种船舶违章行为智能侦测系统，其特征在于，包括航船监控平台，设置在航船上的船载视频监控子系统，所述船载视频监控子系统与航船监控平台之间通过无线通信网络互联；

所述船载视频监控子系统包括视频抓拍主机，以及与所述视频抓拍主机网络连接的摄像头，当所述摄像头拍摄的视频图像传输给所述视频抓拍主机后，所述视频抓拍主机对所述视频图像显示内容进行智能识别，包括识别出人员违章行为和/或自然灾害场景，并对识别结果向所述航船监控平台进行推送。

2.根据权利要求1所述的船舶违章行为智能侦测系统，其特征在于，所述视频抓拍主机包括视频采集模块、视频解码模块、视频分析模块、业务应用模块和告警输出模块，所述视频采集模块对所述摄像头获取实时的视频流，所述视频解码模块对所述视频流解码得到图像序列，所述视频分析模块对所述图像序列进行图像分析而得到图像特征，所述业务应用模块结合应用规则和图像特征进行告警识别，所述告警输出模块则输出告警识别结果，推送到航船监控平台。

3.根据权利要求2所述的船舶违章行为智能侦测系统，其特征在于，所述视频分析模块包括对多种事件类型检测图像算法来实现对视频图像的特征提取和识别，再根据这些图像特征与待识别事件进行关联，进而识别出多种不同的事件。

4.根据权利要求3所述的船舶违章行为智能侦测系统，其特征在于，所述视频分析模块进行图像特征提取的方法包括步骤有：算法设计、数据采集和数据标注。

5.根据权利要求2所述的船舶违章行为智能侦测系统，其特征在于，所述业务应用模块根据视频分析模块的分析结果，结合用户定义的业务应用规则，形成告警事件记录。

6.根据权利要求5所述的船舶违章行为智能侦测系统，其特征在于，所述业务应用规则用文件或数据库表的形式存放，多个业务应用规则按照多维矩阵的方式设计，每个告警类型选择与其对应的业务应用规则的维度组合。

7.根据权利要求2所述的船舶违章行为智能侦测系统，其特征在于，所述视频抓拍主机还包括控制接口模块，用于对图像特征提取方法的参数的标定、业务应用规则的设定，以及来自航船监控平台和用户终端的操作控制。

8.根据权利要求2所述的船舶违章行为智能侦测系统，其特征在于，所述视频抓拍主机还包括存储管理模块，所述存储管理模块存储的数据包括：主机运行产生的调试数据、主机运行日志和告警数据、主机运行状态数据、主机的配置数据、各种事件记录数据、图片视频录像片段数据。

9.根据权利要求1至8任一项所述的船舶违章行为智能侦测系统，其特征在于，所述航船监控平台包括设备管理模块、流媒体模块、数据存储模块，以及接入到所述航船监控平台的操控终端；所述设备管理模块用于对视频抓拍主机、摄像机和操控终端进行管理，所述流媒体模块用于对视频流进行分发与转发，所述数据存储模块用于对多种数据进行分类存储。

10.根据权利要求9所述的船舶违章行为智能侦测系统，其特征在于，当多个操控终端同时需要查看同一个摄像机的实时视频，只需要向航船监控平台服务器发出视频资源请求，由流媒体模块向前端摄像机获取视频流，在服务器中复制多份，满足多人播放请求。

Images