CN111274441A - 基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法 - Google Patents

Abstract

本发明涉及一种基于深度学习和目标检测实现海事视频数据筛选处理的系统，包括视频过滤模块，用于筛选有船舶通航的视频段，结构化保存为相应的片段和图像；船舶检索模块，与所述的视频过滤模块相连接，用于检索生成对应的船舶数据表单；船舶流量统计模块，与所述的船舶检索模块相连接，用于对过往船舶进行跟踪，绘制船舶航行轨迹，并对江面船舶流量进行统计。采用了本发明的基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法，对视频进行压缩筛选，减小视频存储所需空间，降低存储成本。能够自动检测船只类型和船只尺寸，结构化地将视频数据、图像数据进行存储，提高了流量监测的自动化水平与效率。

Description

基于深度学习和目标检测实现海事视频数据筛选处理的系统 及其方法

技术领域

本发明涉及海事视频处理领域，尤其涉及目标检测、视频浓缩及流量统计领域，具体是指一种基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法。

背景技术

目前交管部门通常采用AIS(Automatic Identification System，船舶自动识别系统)，雷达，CCTV(Closed Circuit Television，闭路电视)等对在航船舶实施监控。

船舶航行时，自身装载的AIS设备会通过甚高频依照一定频率向交管中心及其它船舶发送实时信息(包括船名、船长、船位、船速、航向等)，交管中心及周围船舶通过所接收到信息了解船舶实时状态。因此，运用AIS设备可识别周围船只，对目标船舶进行追踪，对提高船舶航行安全有较大帮助，国际海事组织规定载重300总吨以上船舶必须装载AIS设备。然而，运用AIS监测在航船舶会出现漏船现象，且所发送报文时常出现错误信息，对在航船舶监控造成误导；另一方面，雷达受地型因素影响较大，在多遮挡物的位置中，如弯曲河道、高山等会对雷达造成干扰，且价格昂贵，投资起点较高。

相较于雷达及AIS设备，CCTV有低成本、使用方便等优势，对提高航行速度，保障船舶安全，实现动态监控，减少水上环境污染，预防交通事故发生，有至关重要的作用。但CCTV通常用来监视目标，不能对其实施手动操控，而当航道出现事故时，需快速准确提取监控视频，人工查询视频需耗费大量时间与精力：并且获取的只是一段视频或者一张照片，没有建立一个船舶结构化的知识库，归档和后续检索比较麻烦；最后，存储下的视频冗余信息比较多，很多画面没有有效信息，浪费了大量的存储空间，这样就大大降低了监控系统的实时性，降低了监控性能与效率。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足性能高、实时性好、适用范围较为广泛的基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法。

为了实现上述目的，本发明的基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法如下：

该基于深度学习和目标检测实现海事视频数据筛选处理的系统，其主要特点是，所述的系统包括：

视频过滤模块，用于筛选有船舶通航的视频段，结构化保存为相应的片段和图像；

船舶检索模块，与所述的视频过滤模块相连接，用于检索生成对应的船舶数据表单；

船舶流量统计模块，与所述的船舶检索模块相连接，用于对过往船舶进行跟踪，绘制船舶航行轨迹，并对江面船舶流量进行统计。

较佳地，所述的视频过滤模块对船舶划分唯一识别id，并根据日期、地点、id号和事件结构化保存为相应的片段和图像。

较佳地，所述的系统统计了船舶的尺寸、大小、速度、航向和上下行数量。

较佳地，所述的船舶检索模块生成的船舶数据表单包括船舶类型、尺寸、航速和航行艏向。

较佳地，所述的船舶流量统计模块从单目标跟踪和双目标跟踪两个方向对过往船舶进行跟踪。

该利用上述的系统实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其主要特点是，所述的方法包括以下步骤：

(1)采集或导入视频数据；

(2)检测是否有船航行经过，如果是，则继续步骤(3)；否则，删除视频帧；

(3)检测船舶类型，统计船舶流量。

较佳地，所述的步骤(3)具体包括以下步骤：

(3.1)结构化保存为特定的视频片段或图片；

(3.2)生成基于船舶类型的流量统计表。

较佳地，所述的步骤(3.1)具体包括以下步骤：

(3.1.1)针对船舶抓拍图片，将船舶信息结构化存储，同时针对检测视频设置跳帧数，按照跳帧后的结果存储为视频片段；

(3.1.2)跟踪对应船舶的航行轨迹。

较佳地，所述的步骤(3.2)具体包括以下步骤：

根据船舶航行轨迹，计算船舶平均航速和航行艏向，生成含有船舶信息的数据报表。

较佳地，所述的步骤(3)还包括以下步骤：

(3.3)生成每艘船舶对应的内置识别ID，通过内置识别ID结合数据报表、传播图片和船舶视频片段。

采用了本发明的基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法，对视频进行压缩筛选，减小视频存储所需空间，降低存储成本。针对连续的长视频进行船舶检测，剔除无船通航画面，将连续大量的视频缩减成有效的视频片断，降低对视频存储的硬盘和空间要求。为船舶定位、事故的追踪溯源提供了结构化的图像数据，降低了原有监管设备投入的成本。能够自动检测船只类型和船只尺寸，结构化地将视频数据、图像数据进行存储，便于后期检索和后续其他系统的关联使用。降低流量监测的人员投入，提高了流量监测的自动化水平与效率。能够自动统计江面通航船舶数量，使得船只统计工作更加方便，快捷，直观。

附图说明

图1为本发明的基于深度学习和目标检测实现海事视频数据筛选处理的系统的整体结构图。

图2为本发明的基于深度学习和目标检测实现基于深度学习和目标检测的海事视频数据筛选处理的方法的流程图。

图3为本发明的基于深度学习和目标检测实现海事视频数据筛选处理的系统的实施例的硬件结构部署图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于深度学习和目标检测实现海事视频数据筛选处理的系统，其中包括：

视频过滤模块，用于筛选有船舶通航的视频段，结构化保存为相应的片段和图像；

船舶检索模块，与所述的视频过滤模块相连接，用于检索生成对应的船舶数据表单；

船舶流量统计模块，与所述的船舶检索模块相连接，用于对过往船舶进行跟踪，绘制船舶航行轨迹，并对江面船舶流量进行统计。

作为本发明的优选实施方式，所述的视频过滤模块对船舶划分唯一识别id，并根据日期、地点、id号和事件结构化保存为相应的片段和图像。

作为本发明的优选实施方式，所述的系统统计了船舶的尺寸、大小、速度、航向和上下行数量。

作为本发明的优选实施方式，所述的船舶检索模块生成的船舶数据表单包括船舶类型、尺寸、航速和航行艏向。

作为本发明的优选实施方式，所述的船舶流量统计模块从单目标跟踪和双目标跟踪两个方向对过往船舶进行跟踪。

本发明的该利用上述系统实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其中包括以下步骤：

(1)采集或导入视频数据；

(2)检测是否有船航行经过，如果是，则继续步骤(3)；否则，删除视频帧；

(3)检测船舶类型，统计船舶流量。

(3.1)结构化保存为特定的视频片段或图片；

(3.1.1)针对船舶抓拍图片，将船舶信息结构化存储，同时针对检测视频设置跳帧数，按照跳帧后的结果存储为视频片段；

(3.1.2)跟踪对应船舶的航行轨迹；

(3.2)生成基于船舶类型的流量统计表；

根据船舶航行轨迹，计算船舶平均航速和航行艏向，生成含有船舶信息的数据报表；

(3.3)生成每艘船舶对应的内置识别ID，通过内置识别ID结合数据报表、传播图片和船舶视频片段。

本发明的具体实施方式中，视频数据筛选系统结合了计算机视觉技术和智能视频监控系统，对视频流进行实时的处理，实现连续视频自动过滤、船舶数据结构化存储与检索、船舶流量自动统计等功能。视频数据筛选技术通过运用智能算法，能够实时对数据进行处理，能够达到不需要人工干预的情况下全天候运行。

视频数据筛选技术主要是指“自动地提取视频源中的关键信息，进行智能化分析，并通过设置一定的条件和规则筛选出大量视频数据中的关键信息，判断是否需要告警”。基于计算机视觉的视频智能分析，能够在图像及图像描述之间建立映射关系，对视频中的关键信息进行自动的分析和判断。前端设备(如摄像机)就好比人的眼睛，智能视频分析技术就好比人的大脑，依靠现代计算机强大的计算能力，高速分析处理视频中的信息数据，将传统的用来记录存储抓拍船只的视频片段信息浓缩摘要成一张船舶照片和相关的结构化描述信息，建立一套可视化的船舶结构化信息库，方便后续的检索和调用，降低了存储的成本。

视频数据筛选技术研究主要应用于3个方面：

第一，能够检测江面是否有船舶航行，自动筛选出视频中存在船舶行驶的画面，并保存为特定的视频短片或图像，降低存储空间及存储成本；

第二，能够自动检测船只类型和船只尺寸，方便过往船只的结构化数据存储及后期检索；

第三，能够区分统计江面上游和下游来往船只的数量，使得船只统计工作更加方便，快捷，直观。

结合海事系统目前的CCTV视频监控系统功能和针对海事监控系统的需求分析及调研，我们总结整理出以下几点智能化视频分析功能，研发形成一套面向海事视频监控系统的视频筛选功能模块，包括：

1、视频过滤模块。基于深度学习的目标检测在检测速度和准确率上面都已超过传统的目标检测方案。我们选择基于深度学习的目标检测作为检测手段，针对算法现有的缺陷和不足，优化并改进检测效果。实现在连续的长视频中，剔除无船通航的视频画面，筛选出有船舶通航的视频段，结构化保存为相应的视频片段和图像，供后续检索；

2、船舶检索模块。长视频经过筛选之后，生成对应视频片段和图像，视频中过往船舶经检测后会生成对应的船舶类型、尺寸、航速、航艏向等数据表单。视频片段、图像、数据表单通过唯一的船舶识别号进行关联，便于查找、检索及后续船舶追溯；

3、船舶流量统计模块。从单目标跟踪，多目标跟踪两个方向去实现江面过往船舶的跟踪，并绘制船舶航行轨迹，对江面船舶流量进行统计。同时针对KCF算法进行优化和改进，提升目标跟踪的准确率和跟踪速度。针对特殊船舶类型，根据船舶的运动轨迹及方向，对船舶航行区域进行预测与告警。

系统整体结构及相关技术如图1所示，本专利创新点主要有以下三点：

1、将目标检测技术与目标跟踪技术结合起来，提高船舶信息提取、船舶流量统计的准确率；

2、按照识别的船舶类型，结合船舶航行轨迹与航艏向，分别统计江面上下游各种类型船舶的流量，更加细致直观；

3、将单纯的连续长视频，结构化分为图片、视频片段、船舶信息报表、船舶统计报表，结构化存储下来，并互相关联，便于后续检索追溯。

如图2所示，本发明的系统检测流程如下：

将摄像头实时采集的视频数据，或已备份的以往视频数据导入到本软件。

开启检测后，软件自动检测画面中江面上是否有船舶经过，若没有船舶经过，将该视频帧删除；若有船舶经过，

软件将识别船舶类型，检测船舶的尺寸。针对船舶抓拍一张图片，按照拍摄地点、拍摄时间、船舶类型等信息结构化存储，同时针对检测视频设置跳帧数，将有船舶经过的视频按照跳帧之后的结果存储为视频片段，片段按照起始帧到结束帧.avi的格式命令，便于后续检索。在船舶检测的同时生成对应船舶的跟踪模块，跟踪船舶的航行轨迹。

依据船舶航行轨迹，计算出船舶平均航速和航艏向，生成含有船舶信息的数据报表。在检测时对应每艘船舶会生成唯一内置识别id，通过船舶id将数据报表、船舶图片、船舶视频片段结合起来，便于针对性地检索。

如图3所示，在本发明的具体实施例中，某国家直属海事局，架设的摄像机每天不停的拍摄江面船舶经过画面，并保存为高清本地文件，占用大量存储空间，机房中多个机柜，多台硬盘录像机在存储视频；当江面出现事故，监控人员只能找到当前拍摄的视频，将24小时，48小时或更长时间存储的视频浏览一遍，以确定事故船舶经过的区域，及事故责任；此外，江面船舶流量统计人员分3人3班倒，通过望远镜人为统计经过的船舶数量，工作量大，工作任务繁重。

按照图3部署一套视频筛选系统，通过局域网或者互联网接入摄像头实时拍摄的江面船舶过往画面，或者导入海事局已存储的视频文件；视频数据筛选服务器会对接收到的视频进行船舶检测、视频筛选、流量统计；监控人员可以在显示设备上直接看到实时的检测结果，同时可以打开视频片段、船舶图片、流量统计报表等相关文件，进行船舶检索和追溯。

该系统主要有下面几点优势：

1、筛选之后的视频容量只有原视频容量的1/30～1/40，大大减小了视频存储占用空间；

2、结构化保存下的视频片段、船舶图片，流量统计报表通过唯一的船舶识别id关联起来，便于事故发生后监控人员的追溯与检索；

3、提升船舶流量统计的工作效率，大量减少船舶流量统计人员工作量，统计人员可以直观、便捷的获取经过船舶的类型、数量等相关信息。

采用了本发明的基于深度学习和目标检测实现海事视频数据筛选处理的系统及其方法，对视频进行压缩筛选，减小视频存储所需空间，降低存储成本。针对连续的长视频进行船舶检测，剔除无船通航画面，将连续大量的视频缩减成有效的视频片断，降低对视频存储的硬盘和空间要求。为船舶定位、事故的追踪溯源提供了结构化的图像数据，降低了原有监管设备投入的成本。能够自动检测船只类型和船只尺寸，结构化地将视频数据、图像数据进行存储，便于后期检索和后续其他系统的关联使用。降低流量监测的人员投入，提高了流量监测的自动化水平与效率。能够自动统计江面通航船舶数量，使得船只统计工作更加方便，快捷，直观。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种基于深度学习和目标检测实现海事视频数据筛选处理的系统，其特征在于，所述的系统包括：

视频过滤模块，用于筛选有船舶通航的视频段，结构化保存为相应的片段和图像；

船舶检索模块，与所述的视频过滤模块相连接，用于检索生成对应的船舶数据表单；

船舶流量统计模块，与所述的船舶检索模块相连接，用于对过往船舶进行跟踪，绘制船舶航行轨迹，并对江面船舶流量进行统计。

2.根据权利要求1所述的基于深度学习和目标检测实现海事视频数据筛选处理的系统，其特征在于，所述的视频过滤模块对船舶划分唯一识别id，并根据日期、地点、id号和事件结构化保存为相应的片段和图像。

3.根据权利要求1所述的基于深度学习和目标检测实现海事视频数据筛选处理的系统，其特征在于，所述的系统统计了船舶的尺寸、大小、速度、航向和上下行数量。

4.根据权利要求1所述的基于深度学习和目标检测实现海事视频数据筛选处理的系统，其特征在于，所述的船舶检索模块生成的船舶数据表单包括船舶类型、尺寸、航速和航行艏向。

5.根据权利要求1所述的基于深度学习和目标检测实现海事视频数据筛选处理的系统，其特征在于，所述的船舶流量统计模块从单目标跟踪和双目标跟踪两个方向对过往船舶进行跟踪。

6.一种利用权利要求1所述的系统实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其特征在于，所述的方法包括以下步骤：

(1)采集或导入视频数据；

(2)检测是否有船航行经过，如果是，则继续步骤(3)；否则，删除视频帧；

(3)检测船舶类型，统计船舶流量。

7.根据权利要求6所述的实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)结构化保存为特定的视频片段或图片；

(3.2)生成基于船舶类型的流量统计表。

8.根据权利要求7所述的实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其特征在于，所述的步骤(3.1)具体包括以下步骤：

(3.1.1)针对船舶抓拍图片，将船舶信息结构化存储，同时针对检测视频设置跳帧数，按照跳帧后的结果存储为视频片段；

(3.1.2)跟踪对应船舶的航行轨迹。

9.根据权利要求7所述的实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其特征在于，所述的步骤(3.2)具体包括以下步骤：

根据船舶航行轨迹，计算船舶平均航速和航行艏向，生成含有船舶信息的数据报表。

10.根据权利要求6所述的实现基于深度学习和目标检测的海事视频数据筛选处理的方法，其特征在于，所述的步骤(3)还包括以下步骤：

(3.3)生成每艘船舶对应的内置识别ID，通过内置识别ID结合数据报表、传播图片和船舶视频片段。

Images