CN115100477A - 一种基于数字孪生的智能渔港监管系统及方法 - Google Patents

Abstract

本发明公开了一种基于数字孪生的智能渔港监管系统，包括：物理监控系统、数字孪生管理控制系统、AI算法和存储系统；能够有效解决现有渔港监管系统存在的监控摄像模块拍摄视场角有限、数据分析与可视化能力差、无法对渔船进行自动检测和识别的问题。

Description

一种基于数字孪生的智能渔港监管系统及方法

技术领域

本发明属于智能化港口管理领域，尤其涉及一种基于数字孪生的智能渔港监管系统及方法。

背景技术

近年来，随着自由贸易试验区和自由贸易港的不断发展，海洋经济已成为拉动沿海城市经济的有利引擎。渔业作为海洋经济的重要组成部分，随着，水上运输业的快速发展以及水产品市场需求的急剧增长滋生了许多“三无渔船”，采用套牌、假牌、冒牌逃避监管。在休渔期、涉外海域违法作业，造成过度捕捞，严重破坏渔业水域生态环境的持续健康发展。据调研，目前我国各地区基层渔政部门均面临(1)执法海域面积大，人手、装备不足等困难且部分地区渔政执法人员年龄出现缺员断层，难以满足日益繁重的执法工作需要。(2)假牌、套牌渔船混迹于合法渔船中，隐蔽性强，进出港口管辖区域严重破环渔港管理秩序，加大监管部门管理难度。(3)设备陈旧、技术落后的渔船存在渔业安全生产隐患，严重危害渔民人身、财产安全。(4)在休渔期、涉外海域违法作业渔船的取证困难，难以监管。如何智能化掌握渔船港口区域活动信息；留存违法渔船证据；排查不合格渔船，降低生产隐患。同时提高渔港监管效率成为渔港监管的重要问题。

在物理信息系统CPS(Cyber Physical Systems)中数字孪生技术以物理实体为参照建立静态模型，通过实时数据采集、远程协调和实时监控，动态跟踪物理实体的状态，将物理空间中的物理实体在信息空间进行重建，形成具有感知、分析、决策、执行能力的数字孪生体。应用于渔港监管的数字孪生技术能够利用三维仿真设计，使得真实世界的渔港、渔船运行状态能够实时、精确地反映在虚拟空间中，实现了信息的双向流动，利用信息的反馈机制对渔港、渔船进行精确控制。将数字孪生运用于渔港智能化监管，诸多数据需要实时处理，同时渔港渔船运动复杂多变，这些都要求智能计算的支撑。AI算法能够实时处理视频信息等二维数据，通过大规模目标数据训练出的模型进行快速，准确的进行目标检测识别，与数据分析。满足渔港智能化监管在快速响应、数据分析、智能分析与判断等方面的关键需求。

当前渔港监管系统主要以进行屏幕拼接的方式展示渔港、渔船进出港情况，这样的渔港监管系统存在不直观、不及时、不智能的缺点。严重的影响了渔港监管效率，渔船的安全隐患的排查，因此、存在待改进之处。

发明内容

针对现有技术不足，本发明的目的在于提供一种基于数字孪生的智能渔港监管系统及方法，能够有效解决现有渔港监管系统存在的监控摄像模块拍摄视场角有限、数据分析与可视化能力差、无法对渔船进行自动检测和识别的问题。

本发明提供如下技术方案：

一种基于数字孪生的智能渔港监管系统，包括：物理监控系统、数字孪生管理控制系统、AI算法和存储系统；

物理监控系统：包括全景视频拍摄装置、AIS装置、雷达扫描装置、数据缓存与传输模块；全景视频拍摄装置实时获取360度全景监控数据以及按需启动长焦摄像头获取高清局部视频数据；AIS装置，实时获取渔船状态信息；雷达扫描装置，实时获取渔港、渔船的三维空间信息；

所述数字孪生管理控制平台包括：三维仿真模块、数据显示模块、数据缓冲模块、控制响应采集和发送模块，结合数字孪生概念与前沿三维仿真，对渔港、渔船进行模型构建与仿真，以数字可视化化的方式智能监管、完整记录整个渔港渔船的实际运行情况；

AI算法和存储系统，包括：渔船检测与跟踪模型、船牌识别模型、数据存储模块、数据分析模型，计算模块。

优选的，所述全景视频拍摄装置外围包括多个光学摄像头，每个镜头光心与其焦点的反向延长线重合于一点，达到360度快速同时拍摄的效果，构成全景拍摄子模块，全景拍摄子模块下方搭载相机云台控制的长焦摄像头，实现远距离拍摄，由全景拍摄子模块和长焦摄像头共同构成全景视频拍摄装置。

优选的，所述数字孪生管理控制平台，利用雷达扫描数据或监控视频数据，以及结合数字孪生概念与前沿三维仿真技术，对渔港、渔船进行模型构建与仿真，以数字可视化化的方式智能监管、完整记录整个渔港渔船的实际运行情况。

优选的，所述数字孪生管理控制平台中的控制响应采集和发送模块，实现用户、数字孪生管理控制平台、渔港渔船、AI算法与存储系统四者之间的互联互通。

优选的，所述AI算法和存储系统中的数据分析模型存储有不同的数据分析模型，包括有设备故障状态预测模型、设备使用寿命预测模型、渔船调度优化模型。

一种基于数字孪生的智能渔港监管方法，对渔船检测与跟踪，对船牌的识别。

优选的，所述渔船检测与跟踪方法,包括以下步骤：

S1、针对特定渔港，采集渔船视频和图像数据并做增强处理；

S2、建立渔船数据集，对每个所述图像数据进行标注预处理并存入渔船数据集；

S3、在AI算法与存储系统，建立目标检测模型，通过渔船数据集对目标检测模型进行训练，获得渔船检测模型；

S4、基于渔船检测模型，通过AI算法与存储系统中的计算模块，对全景视频拍摄装置采集的视频数据中的渔船进行检测，计算渔船在图像内位置的变化实现渔船跟踪。

优选的，在步骤S2中，所述预处理工具可采用labelImg；yolo mark；Vatic；VoTT。

优选的，在步骤S3中，所述渔船检测模型是基于YOLO V3的算法模型，目标检测模型训练步骤包括：

a、预处理，去噪、图像增强、并缩放图片为适于处理的大小；

b、特征提取，将渔船数据集中的图像数据输入到YOLO V3的主干网络中进行卷积计算，最终获得特征层；

c、特征融合，将特征层输入特征金字塔网络用于特征融合；

d、模型训练完成，将融合后的特征经下一步网络处理获得预测参数，将预测参数与实际参数进行比较，计算误差，当误差收敛时，模型训练完成。

优选的，所述船牌识别方法包括以下步骤：

F1、针对特定渔港，采集渔船船牌图像数据并做增强处理；

F2、建立渔船船牌数据集，对每个所述图像数据进行标注预处理并存入船牌数据集；

F3、在AI算法与存储系统，建立文本检测和识别模型，通过渔船船牌数据集对检测和识别模型进行训练，获得船牌文本检测和识别模型；

F4、基于船牌文本检测和识别模型，通过AI算法与存储系统中的计算模块，对检测到的渔船中的船牌进行检测定位和识别。

优选的，在步骤F3中，采用基于回归的文本检测方法，文本识别步骤包括：

a、预处理：去噪、图像增强、缩放，其目的是去除背景或者噪点，突出文字部分，并缩放图片为适于处理的大小；

b、特征抽取：常用特征：边缘特征、笔画特征、结构特征；

c、文本识别：可采用分类器，随机森林、SVM、卷积神经网络进行识别。

与现有技术相比，本发明具有以下有益效果：

(1)本发明一种基于数字孪生的智能渔港监管系统及方法，通过全景视频拍摄装置能够实现360度全方位实时监控渔港运行情况，利用全景拼接技术能实现画面的连贯性，降低了监管人员的观察难度；通过数字孪生管理控制平台把物理世界中渔港渔船的运行情况在虚拟空间进行了实时映射，增强了数据可视化的能力，优化了渔港监管流程、提高了渔港监管系统的信息映射效率和工作效率。

(2)本发明一种基于数字孪生的智能渔港监管系统及方法，根据渔船的多样性和身份牌照的唯一性特点，采用基于YOLO V3的渔船检测与跟踪模型，实现了对渔船的实时的、高准确率的检测和跟踪，采用全景视频拍摄装置的长焦摄像头和渔船船牌识别模型实现了对船牌号快速的、低误差的识别。实现了渔港的智能化监管、渔船的智能化识别，极大的提高了渔港、渔船智能化监管水平。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明提出的基于数字孪生的智能渔港监管系统结构示意图；

图2是本发明提出的基于数字孪生的智能渔港监管系统各部分模块构成图；

图3是本发明的基于数字孪生的智能渔港监管系统的运行流程图；

图4是本发明的渔船检测与跟踪方法流程图；

图5是本发明的渔船船牌识别方法流程图；

图6是本发明的全景视频拍摄装置结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例一

如图1-6所示，一种基于数字孪生的智能渔港监管系统，包括：物理监控系统、数字孪生管理控制系统、AI算法和存储系统；

物理监控系统：包括全景视频拍摄装置、AIS装置、雷达扫描装置、数据缓存与传输模块；全景视频拍摄装置实时获取360度全景监控数据以及按需启动长焦摄像头获取高清局部视频数据；AIS装置，实时获取渔船状态信息，采集跟踪渔船坐标位置；雷达扫描装置，实时获取渔港、渔船的三维空间信息，数据传输；

所述数字孪生管理控制平台包括：三维仿真模块、数据显示模块、数据缓冲模块、控制响应采集和发送模块,所述三维仿真模块用于数字可视化，对港口范围内的渔船与港口各个作业单元进行仿真，实现在三维数字空间实时重构渔港各个作业单元，渔船的进出港、停靠、装卸货物、转运、事故等真实情况，进行真实场景的虚拟监控与分析，同时记录各个时间段的监控信息；数据显示模块用于显示数据，数据缓存模块用于数据缓存，控制响应采集和发送模块用于请求、设备状态指令传输，结合数字孪生概念与前沿三维仿真，对渔港、渔船进行模型构建与仿真，以数字可视化化的方式智能监管、完整记录整个渔港渔船的实际运行情况；AI算法和存储系统，包括：渔船检测与跟踪模型、船牌识别模型、数据存储模块、数据分析模型，计算模块,用于渔船检测与跟踪，船牌识别，数据分析。数字孪生管理控制平台分别与物理监控系统、AI算法和存储系统、用户端相连。首先，需要接收全景视频数据和渔船实时状态数据、雷达扫描的三维空间信息。其次，与AI算法和存储系统相连，获取渔船检测、船牌识别数据、历史存储数据、数据分析结果；AI算法和存储系统，在视频数据，渔港、渔船状态信息的基础上，通过AI算法，实现渔船的智能检测与跟踪、渔船身份智能识别、渔船当前状态的健康性智能判断，并在显示平台标记显示。对于违反规定的船只，人员及时抓拍取证并反馈信息。

所述全景视频拍摄装置外围包括多个光学摄像头，每个镜头光心与其焦点的反向延长线重合于一点，达到360度快速同时拍摄的效果，构成全景拍摄子模块，全景拍摄子模块下方搭载相机云台控制的长焦摄像头，实现远距离拍摄，由全景拍摄子模块和长焦摄像头共同构成全景视频拍摄装置，全景视频拍摄装置通过视频采集卡与数据缓存与传输模块链接；

所述数字孪生管理控制平台，利用雷达扫描数据或监控视频数据，以及结合数字孪生概念与前沿三维仿真技术，对渔港、渔船进行模型构建与仿真，以数字可视化化的方式智能监管、完整记录整个渔港渔船的实际运行情况。

所述数字孪生管理控制平台中的控制响应采集和发送模块，实现用户、数字孪生管理控制平台、渔港渔船、AI算法与存储系统四者之间的互联互通。

所述AI算法和存储系统中的数据分析模型存储有不同的数据分析模型，包括有设备故障状态预测模型、设备使用寿命预测模型、渔船调度优化模型。

实施例二

结合图4所示，一种基于数字孪生的智能渔港监管方法，对渔船检测与跟踪，所述渔船检测与跟踪方法,包括以下步骤：

S1、针对特定渔港，采集渔船视频和图像数据并做增强处理，通过对图像进行旋转、模糊、遮挡等操作实现数据的增强；

S2、建立渔船数据集，对每个所述图像数据进行标注预处理并存入渔船数据集；

S3、在AI算法与存储系统，建立目标检测模型，通过渔船数据集对目标检测模型进行训练，获得渔船检测模型；

S4、基于渔船检测模型，通过AI算法与存储系统中的计算模块，对全景视频拍摄装置采集的视频数据中的渔船进行检测，计算渔船在图像内位置的变化实现渔船跟踪，同一个目标，因为物体移动是平滑缓慢的，通过IOU(Intersection over Union)，即前后两帧中目标检测框的重叠程度来计算渔船在图像内位置的变化实现渔船跟踪。

在步骤S2中，所述预处理工具可采用labelImg；yolo mark；Vatic；VoTT对图像数据进行逐个标注，形成数据集中的xml文件，该文件主要包括位置参数(标注目标中心的横纵坐标和待标注目标区域的大小)。

在步骤S3中，所述渔船检测模型是基于YOLO V3的算法模型，目标检测模型训练步骤包括：

a、预处理，去噪(滤波算法)、图像增强、并缩放图片为适于处理的大小；

b、特征提取，将渔船数据集中的图像数据输入到YOLO V3的主干网络中进行卷积计算，最终获得特征层；

c、特征融合，将特征层输入特征金字塔网络用于特征融合；

d、模型训练完成，将融合后的特征经下一步网络处理获得预测参数，将预测参数与实际参数进行比较，计算误差，当误差收敛时，模型训练完成。

在步骤d中我们衡量误差的一个重要指标就是IoU(Intersection over Union)，即产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。模型优劣评估常用错误率和准确率来定量。错误率的计算方法如公式(1)，准确率的计算方法如公式(2)：

实施例三

结合图5所示，所述船牌识别方法包括以下步骤：

F1、针对特定渔港，采集渔船船牌图像数据并做增强处理；

F2、建立渔船船牌数据集，对每个所述图像数据进行标注预处理并存入船牌数据集；

F3、在AI算法与存储系统，建立文本检测和识别模型，通过渔船船牌数据集对检测和识别模型进行训练，获得船牌文本检测和识别模型；

F4、基于船牌文本检测和识别模型，通过AI算法与存储系统中的计算模块，对检测到的渔船中的船牌进行检测定位和识别。

在步骤F3中，采用基于回归的文本检测方法，文本识别步骤包括：

a、预处理：去噪、图像增强、缩放，其目的是去除背景或者噪点，突出文字部分，并缩放图片为适于处理的大小；

b、特征抽取：常用特征：边缘特征、笔画特征、结构特征；

c、文本识别：可采用分类器，随机森林、SVM、卷积神经网络进行识别。

实施例四

结合图3所示，一种基于数字孪生的智能渔港监管系统的运行流程图，包括以下步骤：

步骤1、物理监控系统实时采集渔港物理信息传输至数字孪生管理控制平台，利用三维仿真模块对渔港、渔船进行模型构建与仿真，然后通过数据显示模块实时地进行可视化展示；

步骤2、物理监控系统将视频监控数据、GPS位置信息、设备状态传输至AI算法与存储系统；

步骤3、AI算法与存储系统根据渔船检测与跟踪模型、船牌识别模型、数据分析算法，对渔港船只进行实时检测，对渔船进行船牌识别，对不同类别数据进行分析；

步骤4、数字孪生管理控制平台根据接收到的AI算法与存储系统数据分析结果向用户反馈异常，以及接收用户操作指令；

步骤5、数字孪生管理控制平台根据用户操作指令对AI算法与存储系统进行设置和数据调；

步骤6、数字孪生管理控制平台根据用户操作指令和AI算法与存储系统数据分析结果对渔船进行调度和维护；

步骤7、用户对物理监控系统相关软硬件进行维护或更换。

实施例五

采用本发明的基于数字孪生的智能渔港监管系统的渔船出港监控，分为以下步骤：

步骤1、物理监控系统的数据缓存与传输模块将渔船实时状态数据，全景监控模块拍摄的监控视频数据以及雷达扫描装置的扫描结果发送至数字孪生管理控制平台的数据缓冲模块，将出港请求发送至控制响应采集和发送模块，将监控视频数据和渔船实时状态、渔船设备状态信息发送至AI算法与存储系统；

步骤2、数字孪生管理控制平台的控制响应采集和发送模块传回请求通过指令，然后数据缓存模块将达扫描结果数据分配给三维仿真模块，进行模型构建与仿真，并实时将仿真结果传送至数据显示模块进行显示，将监控视频数据和渔船实时状态分配给数据显示模块进行显示；

步骤3、在数字孪生管理控制平台的控制响应采集和发送模块传回请求通过指令后，启动计算模块、渔船检测与跟踪模型；

步骤4、如果在视频监控画面中渔船检测与跟踪模型检测出渔船，通过在全景画面中对渔船的跟踪定位开启搭载长焦摄像头的相机云台并旋转至指定的位，将长焦摄像头采集的视频数据传输至AI算法与存储系统的数据存储模块；

步骤5、开启船牌识别模型、调取数据存储模块中长焦摄像头采集的视频数据，并对视频数据中的船牌进行识别，然后将识别的船牌号实时发送至数字孪生管理控制平台的数据显示模块进行显示，同时将渔船检测结果、船牌识别结果、渔船实时状态数据，时间信息存放至数据存储模块中；

步骤6、利用数据分析模型对该船只的进出港情况、被处罚情况、渔船设备状态等数据进行分析判别，并将分析判别结果发送至数字孪生管理控制平台的数据显示模块进行显示，如果渔船不满足出港要求，则主动或自动通过控制平台的控制响应采集和发送模块向渔船发送拦截指令；

步骤7、如果渔船满足出港要求，渔船顺利出港。

通过上述技术方案得到的装置是一种基于数字孪生的智能渔港监管系统及方法，能够有效解决现有渔港监管系统存在的监控摄像模块拍摄视场角有限、数据分析与可视化能力差、无法对渔船进行自动检测和识别的问题。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数字孪生的智能渔港监管系统，其特征在于，包括：物理监控系统、数字孪生管理控制系统、AI算法和存储系统；

物理监控系统：包括全景视频拍摄装置、AIS装置、雷达扫描装置、数据缓存与传输模块；全景视频拍摄装置实时获取360度全景监控数据以及按需启动长焦摄像头获取高清局部视频数据；AIS装置，实时获取渔船状态信息；雷达扫描装置，实时获取渔港、渔船的三维空间信息；

所述数字孪生管理控制平台包括：三维仿真模块、数据显示模块、数据缓冲模块、控制响应采集和发送模块，结合数字孪生概念与前沿三维仿真，对渔港、渔船进行模型构建与仿真，以数字可视化化的方式智能监管、完整记录整个渔港渔船的实际运行情况；

AI算法和存储系统，包括：渔船检测与跟踪模型、船牌识别模型、数据存储模块、数据分析模型，计算模块。

2.根据权利要求1所述一种基于数字孪生的智能渔港监管系统，其特征在于，所述全景视频拍摄装置外围包括多个光学摄像头，每个镜头光心与其焦点的反向延长线重合于一点，达到360度快速同时拍摄的效果，构成全景拍摄子模块，全景拍摄子模块下方搭载相机云台控制的长焦摄像头，实现远距离拍摄，由全景拍摄子模块和长焦摄像头共同构成全景视频拍摄装置。

3.根据权利要求1所述一种基于数字孪生的智能渔港监管系统，其特征在于，所述数字孪生管理控制平台，利用雷达扫描数据或监控视频数据，以及结合数字孪生概念与三维仿真技术，对渔港、渔船进行模型构建与仿真，以数字可视化化的方式智能监管、完整记录整个渔港渔船的实际运行情况。

4.根据权利要求1所述一种基于数字孪生的智能渔港监管系统，其特征在于，所述数字孪生管理控制平台中的控制响应采集和发送模块，实现用户、数字孪生管理控制平台、渔港渔船、AI算法与存储系统四者之间的互联互通。

5.根据权利要求1所述一种基于数字孪生的智能渔港监管系统，其特征在于，所述AI算法和存储系统中的数据分析模型存储有不同的数据分析模型，包括有设备故障状态预测模型、设备使用寿命预测模型、渔船调度优化模型。

6.一种基于数字孪生的智能渔港监管方法，其特征在于，对渔船检测与跟踪，对船牌的识别。

7.根据权利要求6所述一种基于数字孪生的智能渔港监管方法，其特征在于，所述渔船检测与跟踪方法,包括以下步骤：

S1、针对特定渔港，采集渔船视频和图像数据并做增强处理；

S2、建立渔船数据集，对每个所述图像数据进行标注预处理并存入渔船数据集；

S3、在AI算法与存储系统，建立目标检测模型，通过渔船数据集对目标检测模型进行训练，获得渔船检测模型；

S4、基于渔船检测模型，通过AI算法与存储系统中的计算模块，对全景视频拍摄装置采集的视频数据中的渔船进行检测，计算渔船在图像内位置的变化实现渔船跟踪。

8.根据权利要求7所述一种基于数字孪生的智能渔港监管方法，其特征在于，在步骤S3中，所述渔船检测模型是基于YOLO V3的算法模型，目标检测模型训练步骤包括：

a、预处理，去噪、图像增强、并缩放图片为适于处理的大小；

b、特征提取，将渔船数据集中的图像数据输入到YOLO V3 的主干网络中进行卷积计算，最终获得特征层；

c、特征融合，将特征层输入特征金字塔网络用于特征融合；

d、模型训练完成，将融合后的特征经下一步网络处理获得预测参数，将预测参数与实际参数进行比较，计算误差，当误差收敛时，模型训练完成。

9.根据权利要求6所述一种基于数字孪生的智能渔港监管方法，其特征在于，所述船牌识别方法包括以下步骤：

F1、针对特定渔港，采集渔船船牌图像数据并做增强处理；

F2、建立渔船船牌数据集，对每个所述图像数据进行标注预处理并存入船牌数据集；

F3、在AI算法与存储系统，建立文本检测和识别模型，通过渔船船牌数据集对检测和识别模型进行训练，获得船牌文本检测和识别模型；

F4、基于船牌文本检测和识别模型，通过AI算法与存储系统中的计算模块，对检测到的渔船中的船牌进行检测定位和识别。

10.根据权利要求9所述一种基于数字孪生的智能渔港监管方法，其特征在于，在步骤F3中，采用基于回归的文本检测方法，文本识别步骤包括：

a、预处理：去噪、图像增强、缩放，其目的是去除背景或者噪点，突出文字部分，并缩放图片为适于处理的大小；

b、特征抽取：常用特征：边缘特征、笔画特征、结构特征；

c、文本识别：可采用分类器，随机森林、SVM、卷积神经网络进行识别。

Images