CN114401354A - 一种面向海上船舶的超视距监控的智能化控制方法及系统 - Google Patents

Abstract

本发明公开了一种面向海上船舶的超视距监控的智能化控制方法及系统。本发明可以提升海上船舶的可视化监管水平，实现对通航、停泊、搭靠作业的船舶进行可视化监控与抓拍记录，智能分析识别船舶目标的类型、船名与特征信息，从而可以关联相关业务系统对船舶行为实施有效监管提供直接执法依据，并且可关联分析可疑行为自动提醒有关监管部门实施有效的监管与现场执法，从而为打击违规违法港口作业行为，打击潜在走私活动，科学防范境外疫情从海上输入提供科学决策支撑。

Description

一种面向海上船舶的超视距监控的智能化控制方法及系统

技术领域

本发明涉及海上船舶可视化监测技术领域，具体涉及一种面向海上船舶的超视距监控的智能化控制方法、一种面向海上船舶的超视距视频智能抓拍系统。

背景技术

不同吨级和功能的船舶在港口和航道中同时航行、停泊和作业，如何处理好纷繁复杂的交通局面，实施可视化、智能化的监管，对可疑或异常船舶智能拍照取证，为进一步执法留存直接证据，保障港口安全生产，如何直观、有效监管海上船舶，成为摆在涉海监管部门面前的一个巨大挑战。

当前对于海上船舶的监管主要依托海事的VTS系统，然而存在如下问题： (1)AIS与雷达融合信息仅能识别发现海上船舶目标，受海杂波的影响，不可避免存在雷达虚警目标；(2)超视距监控可实现较远范围内的船舶可视化监测，然而船舶距站点较远距离导致直接根据船舶目标控制云台摄像机存在无法对准目标的问题，现有系统需要用户反复手动控制，操作繁琐。(3)海上抓拍仍然需要手动触发，存在抓拍时机不好，无法兼顾细节与全局，抓拍效率低等问题。

发明内容

为改善上述技术问题至少之一，本发明第一方面的技术方案提供了一种面向海上船舶的超视距监控的智能化控制方法。

本发明第一方面的一个技术方案所提供的面向海上船舶的超视距监控的智能化控制方法，包括如下步骤：

步骤S1，船舶目标触发；

步骤S2，初始联动：根据触发的船舶目标位置，控制监控设备在低倍光变状态下对准船舶目标，使船舶目标置于监控设备的视频图像的中央位置，并通过自动对焦使视频图像的画面清晰；

步骤S3，船舶目标检测：实时检测视频图像中的船舶目标，并摆正船舶目标在视频图像中的位置：

步骤S4，精细联动：根据检测到的船舶目标，将船舶目标的中心点对准视频图像的正中央，再调整光学变倍，使得船舶目标在视频图像中占设定比例大小；

步骤S5，细节抓拍：对检测到的船舶目标沿船舶目标的船艏至船艉的方向或沿船艉至船艏的方向进行多次细节抓拍，并使连续两张细节抓拍图片具有设定比例的重叠；

步骤S6，拼接合成：将细节抓拍的多张船舶图片进行图像拼接，形成一张完整的船舶图片。

本技术方案所提供的面向海上船舶的超视距监控的智能化控制方法，通过步骤S2，对前端抓拍系统实施智能化联动控制，实现对海上船舶目标的检测、跟踪、细节抓拍与特征分析，并通过步骤S4、步骤S5建立重拍机制来提升抓拍效果，实现对监管海域内船舶目标完整、细节丰富的船舶图片抓拍，从而可以根据抓拍图片进行定制化船舶图像数据库构建，提供抓拍记录的查询检索服务，为海上监管执法提供直接依据。

在上述技术方案中，步骤S4包括：在船舶目标上套设矩形外框，并将船舶目标的中心点对准视频图像的正中央；根据船舶目标的矩形外框进行尺寸估算，根据尺寸估算结果调整监控装置的光学变倍，使船舶目标的外框长度处于矩形的视频图像的长边长度的第一设定比例范围内；在步骤S5中，在细节抓拍过程中，根据尺寸估算结果调整监控装置的光学变倍，使船舶目标的外框高度处于视频图像的高度的第二设定比例范围内；其中，第二设定比例的数值大于等于第一设定比例的数值。

本技术方案通过调大光学变倍，使船舶目标位于视频图像中的合适比例，既能保障船舶目标在图像中显示完全，又能凸显船舶目标上的细节，便于后续图片拼接与细节识别。

优选地，第一设定比例为70％，第二设定比例为80％。

另外，在船舶目标上套设矩形外框的步骤可以在步骤S4之前进行，比如在步骤S3中，有助于船舶目标在视频图像中的位置摆正。

在上述技术任一方案中，步骤S6包括：

对全部抓拍图片进行检测，滤除全部抓拍图片中，对焦失败的抓拍图片；

沿抓拍顺序，依次拼接两张连续抓拍图片：拼接前过滤抓拍图片中的背景，选取两张抓拍图片的重叠部分中若干个特征点作为连续两张抓拍图片的连接点，根据连接点拼接两张抓拍图片；

完成全部对焦成功的抓拍图片拼接，得到完整的船舶目标的合成图片。

本技术方案针对海上船舶目标距离远的情况，通过对抓拍图片进行检测，消除抖动场景下拍摄出的图片，有助于提高抓拍图片拼接的精细度，并通过图片背景过滤，降低图片中的干扰要素，并通过设置若干个特征点，完成连续两张抓拍图片的连接。

值得说明的是，若干个特征点的数量为至少3个，且没有2个以上的特征点共线。即将视频图像的长边延伸方向设为X轴，短边方向设为Y轴，特征点的坐标为(X，Y)，若干个特征点中，最多仅有两个特征点的X轴坐标相同，且最多仅有两个特征点的Y轴坐标相同。

在上述技术任一方案中，在步骤S3中，摆正船舶目标在视频图像中的位置的指使视频图像中的船舶目标的长轴平行于矩形视频图像的长边。

本技术方案通过将船舶目标摆正，用于使船舶目标相对于视频图像的姿态不变，一方面是提高连续抓拍的稳定性，使沿船舶目标的长度方向抓拍过程中，减少船舶目标在图片上下方向中发生位移，从而减少抖动，另一方面，图片拼接中，能够是连续两张图片中的同一特征点的Y轴坐标相同，提高拼接准确度。

其中，船舶目标的长轴也可以指船舶目标的矩形外框的长边。同样地，也可以使船舶目标的矩形外框的短边与视频图像的短边平行。

在上述技术任一方案中，在步骤S5中，相邻两张细节抓拍图片重叠部分占每张细节抓拍图片的至少75％。

本技术方案通过设置重叠部分的占比，提高连续抓拍的频率，通过较多的图片数量，提高抓拍图像中船舶目标的完整性，以为后续识别流程提供充足的识别细节。并通过使用占比较高的重叠部分，使得若干个特征点能够尽量分散，便于提高图片拼接的准确性。

在上述技术任一方案中，在步骤S6后还包括：步骤S7，图像质量检测：对拼接合成后的抓拍图片进行图像质量检测，如果图像质量不符合要求，则返回步骤S4；直至获取满足图像质量要求的合成图片。

在上述技术任一方案中，在步骤S7后还包括：

步骤S8，船舶特征识别：对抓拍细节丰富的船舶图像，则进行图片细节识别，包括：船舶类型判别、船名提取、船舶特征提取、船舶超载识别中的一个或多个的组合；

步骤S9，业务数据关联：通过图片细节识别结果，获取船舶信息，包括：船名信息、关联船舶的AIS数据、港口作业申报数据、进出港申报数据。

本技术方案所提供的方法通过进行船舶特征识别和业务数据关联，将合成图片中的细节进行识别，可以获取该船舶的相关信息，以方便直观、有效的监管海上船舶。

在上述技术任一方案中，在步骤S9后还包括：

步骤S10，记录存储：关联完成抓拍的船舶图片所处环境信息及监控装置的姿态信息，并进行存储入，用于构建本地化船舶图像数据库，地化船舶图像数据库中的数据用于生成训练数据集，为船舶智能识别的强化学习提供基础。

本技术方案通过存储抓拍的船舶图片等相关数据构建本地化船舶图像数据库，将该本地化船舶图像数据库用于自学习网络，通过评价抓拍和拼接的质量，优化监控装置的抓拍时机和拍摄角度等，从而通过不断自我学习提升船舶识别抓拍的准确性。

综上，本发明所提供的面向海上船舶的超视距监控的智能化控制方法，至少能够具有以下有益效果：

1、对宽阔海域上船舶进行远距离的自动化、智能化的精细抓拍记录，克服现有仅抓拍一个船舶目标轮廓的不足，从而为对船舶进行人工智能分析提供细节丰富的船舶目标图像。

2、利用人工智能对抓拍到的船舶目标图像识别分析船型、船舶特征提取、船名提取等，从而构建海域船舶图像库。

3、通过关联港航、海事、口岸等相关业务信息对特定海域内船舶实施综合监管记录与异常提醒，从而优化提升海上执法的针对性与有效性。

本发明第二方面的技术方案提供了一种面向海上船舶的超视距视频智能抓拍系统，包括船舶识别系统、抓拍系统、智能处理平台。其中，智能处理平台包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，能够实现本发明第一方面技术方案中任一项的面向海上船舶的超视距监控的智能化控制方法的步骤。

由于本发明第二方面的技术方案中面向海上船舶的超视距视频智能抓拍系统，能够实现本发明第一方面技术方案中任一项的面向海上船舶的超视距监控的智能化控制方法的步骤，因此具有上述本发明第一方面任一项技术方案中任一项的全部有益效果，在此不再赘述。

附图说明

图1为本发明一个实施例中的面向海上船舶的超视距监控的智能化控制方法的流程框图。

图2为本发明一个实施例中的面向海上船舶的超视距视频智能抓拍系统的组成示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明的主要目的是对宽阔海域上船舶进行远距离的自动化、智能化的精细抓拍记录，克服现有仅抓拍一个船舶目标轮廓的不足，从而为对船舶进行人工智能分析提供细节丰富的船舶目标图像。

次要目的是利用人工智能对抓拍到的船舶目标图像识别分析船型、船舶特征提取、船名提取等，从而构建海域船舶图像库。

再次目的是关联港航、海事、口岸等相关业务信息对特定海域内船舶实施综合监管记录与异常提醒，从而优化提升海上执法的针对性与有效性。

为实现上述目标，本发明的一个实施例提供了一种面向海上船舶的超视距监控的智能化控制方法。

如图1所示，本实施例中的面向海上船舶的超视距监控的智能化控制方法包括如下步骤：

1、船舶目标触发：可根据不同应用场景设计不同的船舶目标抓拍触发条件，如特定海域电子围栏，海上航道报告线，未开启AIS等触发条件，当有船舶进入触发条件，进入下一步。

2、初始联动：根据触发的船舶目标位置，计算最合适观测的监控装置，并计算监控与船舶目标的相对位置关系，控制监控设备在低倍光变状态下对准目标，将目标置于视频画面的中央位置，并自动对焦形成清晰目标图像。

在一些具体情况中，由于AIS数据存在延迟，联动控制存在误差等因素，船舶目标未必准确居中。本实施例基于空间模型融合AIS或雷达的联动控制，通过AI检测识别船舶目标，在精细化联动控制超视距视频监控，使目标保持居中。

3、船舶目标检测：基于视频图像处理，实时检测视频图像中的船舶目标，判断是否为船舶目标，如果是则获取船舶目标的轴对齐矩形框(中心点位置以及长宽归一值)。

另外，考虑到检测算法的性能与实时性要求，采用Yolo 5算法作为海上船舶目标识别模型的基础算法。

4、精细联动：根据检测到的船舶目标，将船舶中心点置于视频图像中央，再调大光学变倍，使得船舶目标在视频图像中处于一个合适的比例大小。

在一些具体实施例中，现根据检测的船舶目标的外框长宽估计，调大光学变倍，使得船舶目标的船长处于视频图像中的70％，细节抓拍时，再根据检测的船舶目标的外框长宽估计的船高，调大光学变倍，使船舶目标的船高在视频图像中的高度占比为80％。

5、细节抓拍：根据检测到的船舶目标大小，考虑到船舶在视频图像中多为长条状，需要移动监控从船头到船尾多次抓拍细节，确保相邻两张细节抓拍图片具有一定比例的重叠。

6、多张拼接合成：将细节抓拍的多张船舶图片进行图像拼接，形成一张完整的船舶图片。

在一些具体实施例中，多张拼接合成的步骤包括：对抓拍图片进行抖动检测，滤除对焦失败的冗余图片；利用远距离连拍图片拼接算法，过滤海背景，选取船舶目标的特征点对连拍图片进行拼接。

7、图像质量检测：对拼接合成后的抓拍图片进行图像质量检测，包括抓拍船舶的完整性、图像的清晰度等，如果识别到船舶抓拍不完整、存在抖动导致的图片模糊等情况，则触发重拍，返回步骤4；如果图像质量良好，则进入下一步。

8、船舶特征识别：对抓拍细节丰富的船舶图像，利用深度学习技术进行船舶类型判别、船名提取、船舶特征(船长、船宽)提取、船舶超载识别等。其中船舶特征需要关联超视距监控的姿态数据、参考点数据等；船舶超载识别通过检测船舶的吃水线和船舷线，再利用像素信息估计两根线之间的距离进行判别。

9、业务数据关联：通过识别的船名信息、关联船舶的AIS数据、港口作业申报数据、进出港申报数据等。

10、记录存储：对完成抓拍的船舶图片可关联所处背景环境、不同水文条件、不同气象条件、不同拍摄角度等，以及拍摄的超视距监控的具体姿态参数、镜头参数等信息进行存储，并提示用户进行标注与确认，从而构建本地化船舶图像数据库，利用标记图片，生成训练数据集，为船舶智能识别的强化学习提供基础。

基于上述实施例，本发明的一个实施例还提供了一种面向海上船舶的超视距视频智能抓拍系统。针对海上场景下的船舶可视化、智能化抓拍服务，融合视频 AI技术与联动控制。用于实现对海上船舶目标的智能检测、跟踪、细节抓拍，为进一步构建对海上船舶的特征提取、船脸识别等智能化应用奠定基础。

具体地，本实施例中的面向海上船舶的超视距视频智能抓拍系统包含船舶识别系统、抓拍系统和智能处理平台3部分，如图2所示。其中，船舶识别系统通过整合AIS、VTS雷达、场景监控以及电磁侦测等感知手段，实现对监控海域内船舶的综合识别；抓拍系统可选配超视距监控、热红外监控以及激光补光灯，从而一定程度上实现不同光照条件、气候条件下对海上船舶目标的清晰抓拍成像记录；智能处理平台包含船舶综合识别、视频联动控制、视频图像处理和船舶图像数据库4个部分。其中，船舶综合识别是通过人工智能、大数据技术实现多源数据的船舶目标判别，识别船舶目标的类型、大小及其特征信息等；视频联动控制是采用ONVIF等协议实现对前端监控终端设备的自动化控制，可实现根据目标位置、大小、速度、方向等信息特点进行自动化对准、对焦成像；视频图像处理是采用深度学习算法模型实现对视频图像中船舶目标的识别与分析处理，包括目标截取、拼接、成像质量分析等；船舶图像数据是汇集管理不同背景、环境、时间段、夜间环境、不同类型船舶的标注图片数据，并可滚动整合抓拍识别的船舶目标图像，实现针对监控场景下船舶识别的强化学习，通过不断自我学习提升船舶识别抓拍的准确性。

此外，在一些相关技术中，采用激光雷达、红外摄像机对通航船舶经过特定的河道卡口位置时触发抓拍摄像机对经过的船舶进行全身完整细节抓拍，通常是直接的联动抓拍，并不涉及抓拍摄像机的控制。在一些相关技术中，监控设备针对大桥场景，通过激光单元扫描识别船舶目标，触发高清抓拍单元对通过大桥的船舶进行图像抓拍。然而通常激光扫描单元探测距离仅数十米，无法适用于海上环境下对船舶的探测识别。在一些相关技术中，通过热成像仪采集监控区域热成像视频，通过视频分析技术识别出船舶，触发抓拍机自动抓拍船舶图像。然而热成像视频典型探测距离在1-3公里，适用于内河环境，却不满足海上环境下对船舶的探测识别，同时直接触发抓拍机抓拍到的船舶图像，船舶在图像中占比小，细节信息少，不满足监管需求。在一些相关技术中，通过从多光电(摄像机)设备中选定具备最佳拍摄角度的光电设备对船舶目标进行抓拍，并考虑到船舶目标在图像中的位置与比例问题进行自动调节，然而海上场景中，由于船舶目标可能距离摄像机距离较远，单一探测目标位置存在不可避免的误差，导致单纯根据目标位置换算来控制摄像机会导致船舶目标不居中、抓拍图像中船舶目标不完整等问题。同时船舶在监控图像中多为长条状，单次抓拍可能还会存在抓拍信息不足的问题。在一些相关技术中，通过摄像机标定算法将AIS信号与图像检测跟踪结果进行关联，对未关联上船舶采用深度特征匹配的方法进行识别。然而该技术针对的是内河场景，通过定向摄像机做场景船舶检测，其探测范围至多2-3公里，且易受限于气象条件影响，并不适用于海上环境。

综上，与相关技术相比，本发明可以提升海上船舶的可视化监管水平，实现对通航、停泊、搭靠作业的船舶进行可视化监控与抓拍记录，智能分析识别船舶目标的类型、船名与特征信息，从而可以关联相关业务系统对船舶行为实施有效监管提供直接执法依据，并且可关联分析可疑行为自动提醒有关监管部门实施有效的监管与现场执法。

在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明的权利要求的保护范围。

Claims (10)

1.一种面向海上船舶的超视距监控的智能化控制方法，其特征在于，包括：

步骤S1，船舶目标触发；

步骤S2，初始联动：根据触发的船舶目标位置，控制监控设备在低倍光变状态下对准船舶目标，使船舶目标置于监控设备的视频图像的中央位置，并通过自动对焦使视频图像的画面清晰；

步骤S3，船舶目标检测：实时检测视频图像中的船舶目标，并摆正船舶目标在视频图像中的位置；

步骤S4，精细联动：根据检测到的船舶目标，将船舶目标的中心点对准视频图像的正中央，再调整光学变倍，使得船舶目标在视频图像中占设定比例大小；

步骤S5，细节抓拍：对检测到的船舶目标沿船舶目标的船艏至船艉的方向或沿船艉至船艏的方向进行多次细节抓拍，并使连续两张细节抓拍图片具有设定比例的重叠；

步骤S6，拼接合成：将细节抓拍的多张船舶图片进行图像拼接，形成一张完整的船舶图片。

2.根据权利要求1所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，

所述步骤S4包括：船舶目标上套设有矩形外框，并将船舶目标的中心点对准视频图像的正中央；根据船舶目标的矩形外框进行尺寸估算，根据尺寸估算结果调整监控装置的光学变倍，使船舶目标的外框长度处于矩形的视频图像的长边长度的第一设定比例范围内；

在步骤S5中，在细节抓拍过程中，根据尺寸估算结果调整监控装置的光学变倍，使船舶目标的外框高度处于视频图像的高度的第二设定比例范围内；

其中，第二设定比例的数值大于等于第一设定比例的数值。

3.根据权利要求2所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，

第一设定比例为70％，第二设定比例为80％。

4.根据权利要求1至3中任一项所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，步骤S6包括：

对全部抓拍图片进行检测，滤除全部抓拍图片中，对焦失败的抓拍图片；

沿抓拍顺序，依次拼接两张连续抓拍图片：拼接前过滤抓拍图片中的背景，选取两张抓拍图片的重叠部分中若干个特征点作为连续两张抓拍图片的连接点，根据连接点拼接两张抓拍图片；

完成全部对焦成功的抓拍图片拼接，得到完整的船舶目标的合成图片。

5.根据权利要求1至3中任一项所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，

在步骤S3中，摆正船舶目标在视频图像中的位置的指使视频图像中的船舶目标的长轴平行于矩形视频图像的长边。

6.根据权利要求1至3中任一项所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，

在步骤S5中，相邻两张细节抓拍图片重叠部分占每张细节抓拍图片的至少75％。

7.根据权利要求1至3中任一项所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，还包括：

步骤S7，图像质量检测：对拼接合成后的抓拍图片进行图像质量检测，如果图像质量不符合要求，则返回步骤S4；直至获取满足图像质量要求的合成图片。

8.根据权利要求7所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，还包括：

步骤S8，船舶特征识别：对抓拍细节丰富的船舶图像，则进行图片细节识别，包括：船舶类型判别、船名提取、船舶特征提取、船舶超载识别中的一个或多个的组合；

步骤S9，业务数据关联：通过图片细节识别结果，获取船舶信息，包括：船名信息、关联船舶的AIS数据、港口作业申报数据、进出港申报数据。

9.根据权利要求8所述的面向海上船舶的超视距监控的智能化控制方法，其特征在于，还包括：

步骤S10，记录存储：关联完成抓拍的船舶图片所处环境信息及所述监控装置的姿态信息，并进行存储入，用于构建本地化船舶图像数据库，所述本地化船舶图像数据库中的数据用于生成训练数据集，为船舶智能识别的强化学习提供基础。

10.一种面向海上船舶的超视距视频智能抓拍系统，其特征在于，包括：

船舶识别系统；

抓拍系统；

智能处理平台，与所述船舶识别系统、所述抓拍系统相连，所述智能处理平台包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，能够实现如权利要求1至9中任一项所述的面向海上船舶的超视距监控的智能化控制方法的步骤。

Images