CN112686130A - 一种智慧渔船监管决策系统 - Google Patents

Abstract

本发明公开了一种智慧渔船监管决策系统，涉及一种监管决策系统，属于智慧渔船监管技术领域；利用智能盒子从摄像头获取实时视频流进行实现智能分析，如果检测到异常行为，一是通过警示设备进行现场警示，二是结合4G通信和北斗短报文将识别结果回传，智慧渔船管理平台收到异常行为信息后，将异常信息分发通知给监管人员，解决了异常行为事中监控的痛点。另外监管平台保存了各艘渔船的异常信息为信息，一是可供事后追溯，二是基于这些异常数据进行统计分析，分析结果供监管人员进行进一部的决策；本监控决策系统，能够对船仓异常行为进行事中监督预警，又可以事后进行分析和辅助决策，不仅节省大量的人力成本，又可以提高可靠性，从而减少驾驶舱内部安全隐患。

Description

一种智慧渔船监管决策系统

技术领域

本发明涉及一种监管决策系统，具体为一种智慧渔船监管决策系统，属于智慧渔船监管技术领域。

背景技术

近年来，渔船事故频发，渔船安全问题备受关注。在航行中，渔船驾驶人员玩手机、打瞌睡、抽烟、擅离岗位等等违规行为，都为渔船的航行埋下了安全隐患。

对异常行为的监控，传统的做法，是在驾驶舱安装普通摄像头进行监控，但是由于渔船出海，往往没有移动通信信号，于是无法对现场情况进行实时监督，无法做到事中监控预警；二是积累的监控离线视频，往往没有进一步利用和分析，因此无法对事后分析决策提供帮助。

为此，提出一种智慧渔船监管决策系统。

发明内容

本发明的目的在于提供一种智慧渔船监管决策系统，利用智能盒子从摄像头获取实时视频流进行实现智能分析，如果检测到异常行为，一是通过警示设备进行现场警示，二是结合4G通信和北斗短报文将识别结果回传，智慧渔船管理平台收到异常行为信息后，将异常信息分发通知给监管人员，解决了异常行为事中监控的痛点。另外监管平台保存了各艘渔船的异常信息为信息，一是可供事后追溯，二是基于这些异常数据进行统计分析，分析结果供监管人员进行进一部的决策。本监控决策系统，能够对船仓异常行为进行事中监督预警，又可以事后进行分析和辅助决策，不仅节省大量的人力成本，又可以提高可靠性，从而减少驾驶舱内部安全隐患。

本发明的目的可以通过以下技术方案实现：

一种智慧渔船监管决策系统，包括摄像头、智能盒子、告警器、北斗系统终端、行为识别模块、监管平台、服务器、统计分析模块以及可视化模块；所述摄像头、北斗系统终端以及告警器均安装在智慧渔船的内部，所述摄像头用于实时采集驾驶舱内部场景的视频数据，所述摄像头、北斗系统终端以及告警器均通过网线与智能盒子，所述行为识别模块用于识别驾驶舱内部的人员行为类型，并将识别出的人员行为类型发送至监管平台与服务器，具体的识别的过程包括以下步骤：

步骤一：数据采集；

利用摄像头实时采集驾驶舱内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储，使用4G移动信号和北斗系统终端进行北斗短报文通信；

步骤二：算法识别；

将驾驶舱内部场景的视频数据发送至行为识别模块，行为识别模块将视频数据处理成为图像帧；使用行为识别算法，对图像帧进行检测；

使用主干网络提取人体的特征图，若没有检测到人体，则直接输出擅离岗位信号；

若检测到人体，通过关键点置信度网络，预测人体关键点，所述人体关键点为指肢体关节点，利用关键点亲和度向量预测网络进行聚类，得到每个人的所有关键点；

基于检测到的每个人的人体关键点，作为输入数据，使用机器学习分类算法输出行为的种类，所述行为的种类包括玩手机、打瞌睡、抽烟；

步骤三：数据传输；

若输出的行为的种类为玩手机、打瞌睡、抽烟其中的一种或多种，则智能盒子发送异常行为告警信号至告警器，告警器进行告警，同时智能盒子结合4G移动网络和北斗短报文将异常行为告警信号发送至监管平台；

步骤四：监管决策；

当监管平台收到来自智慧渔船的异常行为告警信号后，监管平台将异常行为告警信号分解为异常行为告警信息，将异常行为告警信息分发给监管人员；监管平台汇集所有的异常行为告警信息，并通过统计分析模块进行统计和分析，通过可视化模块提供可视化展示。

进一步地，所述智能盒子通过行为识别模块检测到擅离岗位和异常行为之后，将发生时的上下文视频进行截取并存储到本地，将异常行为和视频通过唯一id进行标识；

若此时有4G信号，则将视频数据和异常行为通过4G网络进行统一传输；若没有4G信号，则将视频数据缓存到本地队列，异常行为通过北斗短报文发送到监管平台，等有4G信号之后，将缓存的视频数据按照时间顺序重新进行发送，监管平台通过唯一id对视频和异常信息进行绑定。

进一步地，所述监管平台将智能盒子与具体智慧渔船进行绑定，对各个智慧渔船发送的异常行为告警信号和相应的视频进行绑定并存储。

进一步地，统计分析模块将收到的异常行为告警信号，根据摄像头ID，从海事大数据系统中获取关联智慧渔船ID_ship，获取船只驾驶人身份；通过时间顺序，统计分析出特定船只的违规行为类型，违规次数，持续时间，聚合分析数据，按照船只、行为类型，时间维度进行统计。

与现有技术相比，本发明的有益效果是：

1、本发明利用成熟的人工智能人体行为建模和识别技术，通过对摄像头视频流进行建模和分析，识别出驾驶舱的各种异常行为，使渔船监控自动化，大大节省了成本，提高了响应速度与效率。

2、本发明提供基于移动通信网络和北斗短报文结合的通信方式，在有移动通信信号的时候使用移动网络进行通信，在渔船出海，没有移动通信讯号的时候，自动切换为北斗短报文通信对异常行为告警进行传输，大大提高了监管的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的原理框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，一种智慧渔船监管决策系统，包括摄像头、智能盒子、告警器、北斗系统终端、行为识别模块、监管平台、服务器、统计分析模块以及可视化模块；所述摄像头、北斗系统终端以及告警器均安装在智慧渔船的内部，所述摄像头用于实时采集驾驶舱内部场景的视频数据，所述摄像头、北斗系统终端以及告警器均通过网线与智能盒子，所述行为识别模块用于识别驾驶舱内部的人员行为类型，并将识别出的人员行为类型发送至监管平台与服务器，具体的识别的过程包括以下步骤：

将驾驶舱内部场景的视频数据发送至行为识别模块，行为识别模块将视频数据处理成为图像帧；使用行为识别算法，对图像帧进行检测；

使用主干网络提取人体的特征图，若没有检测到人体，则直接输出擅离岗位信号；

若检测到人体，通过关键点置信度网络，预测人体关键点，所述人体关键点为指肢体关节点，利用关键点亲和度向量预测网络进行聚类，得到每个人的所有关键点；

基于检测到的每个人的人体关键点，作为输入数据，使用机器学习分类算法输出行为的种类，所述行为的种类包括正常行为和异常行为；所述异常行为包括玩手机、打瞌睡、抽烟；

若输出的行为的种类为玩手机、打瞌睡、抽烟其中的一种或多种，则智能盒子发送异常行为告警信号至告警器，告警器进行告警，同时智能盒子结合4G移动网络和北斗短报文将异常行为告警信号发送至监管平台。

其中，所述智能盒子通过行为识别模块检测到擅离岗位和异常行为之后，将发生时的上下文视频进行截取并存储到本地，将异常行为和视频通过唯一id进行标识；

若此时有4G信号，则将视频数据和异常行为通过4G网络进行统一传输；若没有4G信号，则将视频数据缓存到本地队列，异常行为通过北斗短报文发送到监管平台，等有4G信号之后，将缓存的视频数据按照时间顺序重新进行发送，监管平台通过唯一id对视频和异常信息进行绑定。

其中，所述监管平台将智能盒子与具体智慧渔船进行绑定，对各个智慧渔船发送的异常行为告警信号和相应的视频进行绑定并存储。

其中，统计分析模块将收到的异常行为告警信号，根据摄像头ID，从海事大数据系统中获取关联智慧渔船ID_ship，获取船只驾驶人身份；通过时间顺序，统计分析出特定船只的违规行为类型，违规次数，持续时间，聚合分析数据，按照船只、行为类型，时间维度进行统计。

其中，具体的智慧渔船监管决策系统的工作方法包括以下步骤：

步骤一：数据采集；

利用摄像头实时采集驾驶舱内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储，使用4G移动信号和北斗系统终端进行北斗短报文通信；

步骤二：算法识别；

将驾驶舱内部场景的视频数据发送至行为识别模块，行为识别模块将视频数据处理成为图像帧；使用行为识别算法，对图像帧进行检测；

使用主干网络提取人体的特征图，若没有检测到人体，则直接输出擅离岗位信号；

若检测到人体，通过关键点置信度网络，预测人体关键点，所述人体关键点为指肢体关节点，利用关键点亲和度向量预测网络进行聚类，得到每个人的所有关键点；

基于检测到的每个人的人体关键点，作为输入数据，使用机器学习分类算法输出行为的种类，所述行为的种类包括玩手机、打瞌睡、抽烟；

步骤三：数据传输；

若输出的行为的种类为玩手机、打瞌睡、抽烟其中的一种或多种，则智能盒子发送异常行为告警信号至告警器，告警器进行告警，同时智能盒子结合4G移动网络和北斗短报文将异常行为告警信号发送至监管平台；

步骤四：监管决策；

当监管平台收到来自智慧渔船的异常行为告警信号后，监管平台将异常行为告警信号分解为异常行为告警信息，将异常行为告警信息分发给监管人员；监管平台汇集所有的异常行为告警信息，并通过统计分析模块进行统计和分析，通过可视化模块提供可视化展示。

本发明的工作原理：数据采集；利用摄像头实时采集驾驶舱内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储，使用4G移动信号和北斗系统终端进行北斗短报文通信；将驾驶舱内部场景的视频数据发送至行为识别模块，行为识别模块将视频数据处理成为图像帧；使用行为识别算法，对图像帧进行检测；使用主干网络提取人体的特征图，若没有检测到人体，则直接输出擅离岗位信号；若检测到人体，通过关键点置信度网络，预测人体关键点，所述人体关键点为指肢体关节点，利用关键点亲和度向量预测网络进行聚类，得到每个人的所有关键点；基于检测到的每个人的人体关键点，作为输入数据，使用机器学习分类算法输出行为的种类，所述行为的种类包括玩手机、打瞌睡、抽烟；若输出的行为的种类为玩手机、打瞌睡、抽烟其中的一种或多种，则智能盒子发送异常行为告警信号至告警器，告警器进行告警，同时智能盒子结合4G移动网络和北斗短报文将异常行为告警信号发送至监管平台；当监管平台收到来自智慧渔船的异常行为告警信号后，监管平台将异常行为告警信号分解为异常行为告警信息，将异常行为告警信息分发给监管人员；监管平台汇集所有的异常行为告警信息，并通过统计分析模块进行统计和分析，通过可视化模块提供可视化展示。

在本发明所提供的实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。另对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (5)

1.一种智慧渔船监管决策系统，其特征在于，包括摄像头、智能盒子、告警器、北斗系统终端、行为识别模块、监管平台、服务器、统计分析模块以及可视化模块；所述摄像头、北斗系统终端以及告警器均安装在智慧渔船的内部，所述摄像头用于实时采集驾驶舱内部场景的视频数据，所述摄像头、北斗系统终端以及告警器均通过网线与智能盒子，所述行为识别模块用于识别驾驶舱内部的人员行为类型，并将识别出的人员行为类型发送至监管平台与服务器，具体的识别的过程包括以下步骤：

将驾驶舱内部场景的视频数据发送至行为识别模块，行为识别模块将视频数据处理成为图像帧；使用行为识别算法，对图像帧进行检测；

使用主干网络提取人体的特征图，若没有检测到人体，则直接输出擅离岗位信号；

若检测到人体，通过关键点置信度网络，预测人体关键点，所述人体关键点为指肢体关节点，利用关键点亲和度向量预测网络进行聚类，得到每个人的所有关键点；

基于检测到的每个人的人体关键点，作为输入数据，使用机器学习分类算法输出行为的种类，所述行为的种类包括正常行为和异常行为；所述异常行为包括玩手机、打瞌睡、抽烟；

若输出的行为的种类为玩手机、打瞌睡、抽烟其中的一种或多种，则智能盒子发送异常行为告警信号至告警器，告警器进行告警，同时智能盒子结合4G移动网络和北斗短报文将异常行为告警信号发送至监管平台。

2.根据权利要求1所述的一种智慧渔船监管决策系统，其特征在于：所述智能盒子通过行为识别模块检测到擅离岗位和异常行为之后，将发生时的上下文视频进行截取并存储到本地，将异常行为和视频通过唯一id进行标识；

若此时有4G信号，则将视频数据和异常行为通过4G网络进行统一传输；若没有4G信号，则将视频数据缓存到本地队列，异常行为通过北斗短报文发送到监管平台，等有4G信号之后，将缓存的视频数据按照时间顺序重新进行发送，监管平台通过唯一id对视频和异常信息进行绑定。

3.根据权利要求1所述的一种智慧渔船监管决策系统，其特征在于：所述监管平台将智能盒子与具体智慧渔船进行绑定，对各个智慧渔船发送的异常行为告警信号和相应的视频进行绑定并存储。

4.根据权利要求1所述的一种智慧渔船监管决策系统，其特征在于：统计分析模块将收到的异常行为告警信号，根据摄像头ID，从海事大数据系统中获取关联智慧渔船ID_ship，获取船只驾驶人身份；通过时间顺序，统计分析出特定船只的违规行为类型，违规次数，持续时间，聚合分析数据，按照船只、行为类型，时间维度进行统计。

5.根据权利要求1所述的一种智慧渔船监管决策系统，其特征在于：具体的智慧渔船监管决策系统的工作方法包括以下步骤：

步骤一：数据采集；

利用摄像头实时采集驾驶舱内部场景的视频数据，使用智能盒子对接摄像头视频流，在本地进行计算和存储，使用4G移动信号和北斗系统终端进行北斗短报文通信；

步骤二：算法识别；

将驾驶舱内部场景的视频数据发送至行为识别模块，行为识别模块将视频数据处理成为图像帧；使用行为识别算法，对图像帧进行检测；

使用主干网络提取人体的特征图，若没有检测到人体，则直接输出擅离岗位信号；

若检测到人体，通过关键点置信度网络，预测人体关键点，所述人体关键点为指肢体关节点，利用关键点亲和度向量预测网络进行聚类，得到每个人的所有关键点；

基于检测到的每个人的人体关键点，作为输入数据，使用机器学习分类算法输出行为的种类，所述行为的种类包括玩手机、打瞌睡、抽烟；

步骤三：数据传输；

若输出的行为的种类为玩手机、打瞌睡、抽烟其中的一种或多种，则智能盒子发送异常行为告警信号至告警器，告警器进行告警，同时智能盒子结合4G移动网络和北斗短报文将异常行为告警信号发送至监管平台；

步骤四：监管决策；

当监管平台收到来自智慧渔船的异常行为告警信号后，监管平台将异常行为告警信号分解为异常行为告警信息，将异常行为告警信息分发给监管人员；监管平台汇集所有的异常行为告警信息，并通过统计分析模块进行统计和分析，通过可视化模块提供可视化展示。

Images