CN115439745A - 一种面向船舶图像特征的航标搭载式监视系统及方法 - Google Patents

Abstract

本发明涉及一种面向船舶图像特征的航标搭载式监视系统及采集方法，通过分析关键节点及关键航段，选择合适的监视点位，并在点位上设置监视装置，通过船舶的AIS数据，启动相应的监视装置进行拍摄，并结合船舶的AIS数据为拍摄的图像建立特征标签，进而实现了船舶图像特征的全面地采集，并建立船舶特征库为未来做准备。相比于现有技术，本发明选取的监视点位最为合理，并且在航标上布设船舶图像特征采集装置，能够在不影响通航环境和通航安全的前提下，通过最少的监视装置实现多机位、多角度地图像采集，同时能够提高数据采集精度，降低系统能耗，此外还避免了现有图像识别技术识别船舶时容错率低、识别率低的问题，实现对船舶图像更全面地采集。

Description

一种面向船舶图像特征的航标搭载式监视系统及方法

技术领域

本发明涉及船舶监视技术领域，尤其涉及一种面向船舶图像特征的航标搭载式监视系统及方法。

背景技术

对于船舶的监视监控是海事管理与航海安全保障的重点内容。目前，采用雷达、AIS、CCTV及VHF等手段对船舶进行跟踪、识别和管理，是海事管理部门所掌握的重要手段。但是，基于AIS对船舶进行识别存在一些问题，主要包括船舶关闭AIS设备后无法识别、容易假冒他船电子身份等；另一方面，基于VHF通信来识别船舶身份需要监控人员进行无线电询问，效果差且很难实现自动化。采用视频识别和跟踪的方式，来对船舶进行跟踪和比对，能够有效地弥补AIS自动识别的不足之处。

目前视频识别的精度有了较大的提升，逐步达到了行业应用的精度要求，主要得益于神经网络和深度学习等技术的长足发展。但是，由于同类型船舶的结构、颜色及建筑布局相似度都较高，而可以用来识别船舶身份的船名或船身文字性内容对于不同的船舶，其在船上的分布及图像特征又往往不同，因此，在使用视频识别和跟踪方式监视船舶前，需要先多角度、多机位地对船舶进行拍照，并将船舶身份信息并和其图像特征匹配，以便更好地监视船舶。

而实际中，由于港口水域面积大、范围广，船舶航行的自由度高，在港口水域不同的航道等级，交通流量与船舶类型有所不同，独立的监视装置无法实现对船舶图像的多角度、多机位地采集，信息收集不够全面。并且在水上额外布设采集设备，有可能对通航环境和通航安全造成影响，造成安全隐患。

发明内容

有鉴于此，有必要提供一种面向船舶图像特征的航标搭载式监视系统及方法，用以解决现有技术无法全面地采集船舶图像的问题。

为达到上述技术目的，本发明采取了以下技术方案：

第一方面，本发明提供了一种面向船舶图像特征的航标搭载式监视系统，包括：

监视点位排布模块，包括环境分析单元和监视点位选择单元，其中所述环境分析单元用于根据采集水域及历史航行轨迹，得到关键节点及关键航段；所述监视点位选择单元用于根据所述关键节点和所述关键航段，得到多个监视点位；

多个监视装置，分别设置于多个位于所述监视点位的航标上，所述监视装置用于获取并根据船舶的AIS数据，对进入其监视范围内的船舶进行拍摄，得到拍摄图像；

特征提取模块，用于根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库。

第二方面，本发明还提供一种船舶图像特征采集方法，应用于上述面向船舶图像特征的航标搭载式监视系统，所述船舶图像特征采集方法包括：

根据采集水域及历史航行轨迹，得到关键节点及关键航段；

根据所述关键节点和所述关键航段，得到多个监视点位；

在多个监视点位上分别设置航标，并在所述航标上设置监视装置；

获取并根据船舶的AIS数据，对进入所述监视装置的监视范围内的船舶进行拍摄，得到拍摄图像；

根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库。

进一步的，所述根据采集水域及历史航行轨迹，得到关键节点及关键航段，包括：

网格化所述采集水域，得到多个备选网格；

获取多个所述历史航行轨迹；

根据所述历史航行轨迹的行进方向特征，并基于多个所述备选网格，得到所述关键节点；

根据所述历史航行轨迹的数量特征，并基于多个所述备选网格，得到所述关键航段。

进一步的，所述根据所述历史航行轨迹的方向特征，并基于多个所述备选网格，得到所述关键节点，包括：

根据所述备选网格及所述历史航行轨迹的行进方向特征，将所述历史航行轨迹分解为多个航行子向量；

将位于同一备选网格内，且方向相同的多个航行子向量作为一个航向簇；

选择所述航向簇的数量大于设定方向数量阈值的所述备选网格作为交汇网格；

聚类所述交汇网格，并将同一类的所述交汇网格的中心作为原点，以设定半径建立圆形区域，得到关键节点。

进一步的，所述根据所述历史航行轨迹的数量特征，并基于多个所述备选网格，得到所述关键航段，包括：

根据所述备选网格及所述历史航行轨迹的数量特征，得到每个所述备选网格的权重值，所述权重值为所述备选网格内经过的所述历史航行轨迹的数量；

选择所述权重值大于设定权重阈值的所述备选网格作为航段网格；

根据所述航段网格，得到所述关键航段。

进一步的，所述根据所述关键节点和所述关键航段，得到多个监视点位，包括：

选择距离所述关键节点中心预设范围内的若干位置作为所述监视点位；

以设定间隔在所述关键航段上选取多个位置，得到候选点位；

判断所述关键航段的两端之间是否存在其他所述关键航段，若是，则选择航次较多的所述关键航段对应的所述候选点位作为所述监视点位；若否，则将所述关键航段对应的所述候选点位作为所述监视点位。

进一步的，所述获取并根据船舶的AIS数据，对进入所述监视装置的监视范围内的船舶进行拍摄，得到拍摄图像，包括：

将所述监视装置的监视范围划分为多个警戒区，所述监控装置包括多个拍摄相机，多个所述拍摄相机和多个所述警戒区一一对应；

获取并根据所述船舶的AIS数据，得到所述船舶的位置信息；

根据所述船舶的位置信息，对进入所述监视范围的船舶进行标记；

判断已标记的所述船舶所位于的所述警戒区，并调用该所述警戒区对应的所述拍摄相机进行拍摄；

根据所述船舶的位置信息，取消驶出所述监视范围的船舶的标记，得到拍摄图像。

进一步的，所述根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库：

根据所述拍摄图像，基于Yolov5网络识别船舶的位置，得到船舶的图像识别坐标；

根据所述AIS数据，基于插值法得到船舶的连续轨迹，并得到船舶的真实轨迹坐标；

判断所述图像识别坐标和所述真实轨迹坐标是否符合预设匹配条件，若是，则为所述拍摄图像建立所述船舶特征标签；

根据已建立所述船舶特征标签的所述拍摄图像，建立船舶特征库。

进一步的，所述预设匹配条件包括：

所述真实轨迹坐标在所述拍摄图像中的映射坐标，与所述图像识别坐标的欧式距离小于设定阈值。

进一步的，还包括：

获取进入所述采集水域的船舶和待匹配的所述监视装置，并构建匹配模型，所述匹配模型为二分图，所述二分图中的两个子集分别为进入所述采集水域的船舶的集合以及待匹配的所述监视装置的集合；

根据所述匹配模型为进入所述采集水域的船舶分别匹配对其进行拍摄的所述监视装置。

本发明提供的一种面向船舶图像特征的航标搭载式监视系统及方法，通过分析关键节点及关键航段，选择合适的监视点位，并在点位上设置监视装置，通过船舶的AIS数据，启动相应的监视装置进行拍摄，并结合船舶的AIS数据为拍摄的图像建立特征标签，进而实现了船舶图像特征的全方位、多角度、全面地采集，并建立船舶特征库为未来的检索、人工智能训练、检测识别等任务做准备。相比于现有技术，本发明通过分析关键节点及关键航段，使得选取的监视点位最为合理，并且在航标上布设船舶图像特征采集装置，能够在不影响通航环境和通航安全的前提下，实现多机位、多角度地图像采集，达到通过最少的监视装置实现尽可能全面的采集船舶图像数据的目的，同时基于AIS数据，有针对性地调用相应地监视装置，提高数据采集精度，降低系统能耗，此外还根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，避免了现有图像识别技术识别船舶时容错率低、识别率低的问题，实现对船舶图像更全面地采集。

附图说明

图1为本发明提供的面向船舶图像特征的航标搭载式监视系统一实施例的系统架构图；

图2为本发明提供的面向船舶图像特征的航标搭载式监视系统一实施例中的监视装置的结构示意图；

图3为图2所示的监视装置的图像采集过程示意图；

图4为本发明提供的面向船舶图像特征的航标搭载式监视系统又一实施例中的监视装置的结构示意图；

图5为本发明提供的面向船舶图像特征的航标搭载式监视系统一实施例中监视装置的分布式框架示意图；

图6为本发明提供的船舶图像特征采集方法一实施例的方法流程图；

图7为图6中步骤S601的执行过程示意图；

图8为本发明提供的船舶图像特征采集方法一实施例中候选点位示意图；

图9为图6中的步骤S605的方法流程图；

图10为本发明提供的船舶图像特征采集方法一实施例中的船舶世界坐标获取的示意图；

图11为本发明提供的船舶图像特征采集方法一实施例中的标记有船舶特征标签的拍摄图像示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

首先需要说明的是，本文中AIS是指船舶自动识别系统(AutomaticIdentification System,简称AIS系统)，由岸基(基站)设施和船载设备共同组成，是一种新型的集网络技术、现代通讯技术、计算机技术、电子信息显示技术为一体的数字助航系统和设备。船舶自动识别系统(AIS)诞生于20世纪90年代，由舰船、飞机之敌我识别器发展而成。AIS系统配合全球定位系统(GPS)将船位、船速、改变航向率及航向等船舶动态结合船名、呼号、吃水及危险货物等船舶静态资料由甚高频(VHF)向附近水域船舶及岸台广播，使邻近船舶及岸台能及时掌握附近海面所有船舶之动静态资讯，得以立刻互相通话协调，采取必要避让行动，有效保障船舶航行安全。本文中的AIS数据是指所描述的被监视船舶对应AIS有关的数据，包括了船舶发出信息的时刻，该时刻船舶经度、纬度值，船舶航向，船艏向、船舶的船名、呼号等信息。

本发明通过选取合适的监视点位，实现对船舶的多机位、多角度地采集，同时利用船舶的AIS数据为拍摄图像建立船舶特征标签，实现对船舶进行全面、准确监视的问题。

本发明提供了一种面向船舶图像特征的航标搭载式监视系统及采集方法，以下分别进行说明。

结合图1所示，本发明的一个具体实施例，公开了一种面向船舶图像特征的航标搭载式监视系统100，该系统包括：

监视点位排布模块110，包括环境分析单元111和监视点位选择单元112，其中所述环境分析单元用于根据采集水域及历史航行轨迹，得到关键节点及关键航段；所述监视点位选择单元用于根据所述关键节点和所述关键航段，得到多个监视点位；

多个监视装置120，分别设置于多个位于所述监视点位的航标上，所述监视装置用于获取并根据船舶的AIS数据，对进入其监视范围内的船舶进行拍摄，得到拍摄图像；

特征提取模块130，用于根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库。

本发明提供的一种面向船舶图像特征的航标搭载式监视系统，通过分析关键节点及关键航段，选择合适的监视点位，并在点位上设置监视装置，通过船舶的AIS数据，启动相应的监视装置进行拍摄，并结合船舶的AIS数据为拍摄的图像建立特征标签，进而实现了船舶图像特征的全方位、多角度、全面地采集，并建立船舶特征库为未来的检索、人工智能训练、检测识别等任务做准备。相比于现有技术，本发明通过分析关键节点及关键航段，使得选取的监视点位最为合理，并且在航标上布设船舶图像特征采集装置，能够在不影响通航环境和通航安全的前提下，实现多机位、多角度地图像采集，达到通过最少的监视装置实现尽可能全面的采集船舶图像数据的目的，同时基于AIS数据，有针对性地调用相应地监视装置，提高数据采集精度，降低系统能耗，此外还根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，避免了现有图像识别技术识别船舶时容错率低、识别率低的问题，实现对船舶图像更全面地采集。

具体地，结合图2所示，在一个优选的实施例中，监视装置120包括六个拍摄相机121和控制单元122，其中拍摄相机可以为单独的视像头，也可以为具有其他拍摄功能的设备，本实施例中拍摄相机121具体为全天候相机组，每组全天候相机组包括一台红外相机1211和一台可见光相机1212，可根据拍摄时的光线条件选择用何种相机进行拍摄。每组全天候相机组间隔60°，环形分布于浮体或任意支撑结构上，可以对经过内河航标附近的船舶多角度、多机位采集图像数据，提高船舶身份识别的准确度。控制单元可以用于启动相应的拍摄相机，并且和岸边控制台、船舶等进行通讯。

显然，本实施例中的监视装置120能够模块化适配多种航标结构，搭载于现有的大部分航标之上，具备极好的便利性和通用性，最重要的是，本实施例中监视装置120设置于航标上，可以实现在不影响通航环境和通航安全的条件下，快速地布置好监视装置120，无需长时间拦截航路进行施工以建造支撑设施，极大地提高了布置系统时的效率。

结合图3所示，本实施例中的监视装置在工作时，首先根据自身所处的地理位置，以自身为圆心，以1000m为半径画圆。然后根据拍摄相机的布置方向，将圆等分为六份，该六份区域分别为六个警戒区。其在工作时，会持续接收附近的船舶AIS数据，当根据AIS数据判断出船舶进入任一警戒区时，才启动对应的拍摄相机，对船舶图像数据进行采集。

具体过程为：

1)持续接收内河航标附近的船舶AIS数据；

2)根据接收的船舶AIS数据，逐船舶对各个监视装置进行判断，判断船舶是否进入任意一个警戒区中；

3)监视装置发现有船舶进入任意一个警戒区后，启动对应的监视装置及该装置上对应的拍摄相机，并对进入的船舶进行标记，在图像数据采集完成后，关闭该监视装置；

4)对标记船舶，持续判断其位置，如果该船舶进入其他的警戒区，则启动船舶所位于的警戒区所对应的拍摄相机采集其图像数据。直到该船舶驶出警戒区后且不再进入其他的警戒区，取消对该船舶的标记。

该监视装置具有两方面的优点。第一，很大程度上增加了系统的续航能力；第二，有针对性地调用相机，防止相机注意力偏差，即防止相机调用长焦关注场景中出现的部分船舶，而忽略了另一部分船舶，导致了部分船舶图像采集臃余，而另外一部分船舶图像过少。

进一步的，在内河或海上有船舶航行的地方，一般都会航路附近设置航标，用于帮助引导船舶航行、定位和标示碍航物与表示警告，因此航标成为了搭载上述监视装置的最佳载体。因此，本发明还提供一优选的实施例，如图4所示，该实施例中的监视装置设置航标上，还包括太阳能板123、蓄电池124、ASI接收机125、GPS装置126、电罗经127和通信模块128。在阳光充足的情况下，通过太阳能板持续发电，将产生的电能储存到用于供电的蓄电池中。当蓄电池中的电量低于警戒电量，且太阳能板无法继续产生电能，则通过通信模块向岸基的数据中心发出电量过低警告，岸基的数据中心接收的警告后，前往对应的内河航标，手动为装置更换电池。

结合图5所示，AIS接受的有效接收范围一般在25～100海里，因此没有必要在每个监控装置上安装AIS接收机。因此，本实施例中的面向船舶图像特征的航标搭载式监视系统，采用分布式的方式设置监视装置，即将监视装置分为水面船舶监控母装置和水面船舶监控子装置。水面船舶监控子装置分布布置在水面船舶监控母装置的航标的周围。水面船舶监控母装置上设置有AIS接收机而水面监控子装置上没有。安装在水面船舶监控母装置上的AIS接收机负责接收水面船舶监控母装置控制的所有水面船舶监控子装置监控范围内的船舶AIS信息。

考虑到内河场景较大，搭载在航标上水面船舶监视装置一方面要采集到丰富的船舶图像，另一方面也要尽可能地减少系统能耗，保证系统长时间的运行。因此水面船舶监视装置的航标搭载系统采取双运行模式，即休眠模式和工作模式。休眠模式仅蓄电池、太阳能板、控制单元、ASI接收机及GPS装置工作；另一种是工作模式，对靠近内河航标的船舶，持续跟踪其航迹，并通过多个机位对船舶进行图像数据采集。在没有船舶经过装置周围时，系统处于休眠模式时，ASI接收机和GPS装置保持开机状态，持续接收AIS信息并对自身进行定位。

当水面船舶监视母装置根据AIS数据和各个水面船舶监视装置自身的GPS定位数据判断有船舶进入任一水面船舶监视装置的警戒区时，水面船舶监视母装置通过通信模块激活对应的水面船舶监视装置，装置上的控制单元根据电罗经和船舶的AIS数据判断船舶具体处于警戒区的哪个分区，并根据当时的光线条件激活对应警戒区的红外相机或可见光相机，当船舶进入相机的最佳拍摄位置后，拍摄船舶照片，将船舶照片储存在控制单元的缓存区，直到船舶完全驶出警戒区且不进入其他的警戒区后，通过通信模块将缓存在控制单元的图像信息和AIS信息打包上传的岸基的数据中心。

为了更好的解释上述面向船舶图像特征的航标搭载式监视系统的运行原理，本发明还提供一种船舶图像特征采集方法，结合图6所示，该方法包括：

S601、根据采集水域及历史航行轨迹，得到关键节点及关键航段；

S602、根据所述关键节点和所述关键航段，得到多个监视点位；

S603、在多个监视点位上分别设置航标，并在所述航标上设置监视装置；

S604、获取并根据船舶的AIS数据，对进入所述监视装置的监视范围内的船舶进行拍摄，得到拍摄图像；

S605、根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库。

上述过程的原理及达到的有益效果和上述船舶图像特征采集方法相同，本实施例中不再赘述。

通常在港口水域，航道已有明确的等级划分，不同的航道等级，交通流量与船舶类型有所不同，一些特定船舶甚至仅在固定区域内活动。为了全面采集船舶图像数据，需要根据航道交通流量、航道形貌等场景信息对图像采集系统进行选址。针对不同的航行场景，监视装置的位置和密度也不同。对于船舶交汇的关键节点及交通流密度较高的关键航段，需要密集地布置监视装置。因此本发明通过分析关键节点及关键航段，进而得到合理的安装监视装置的监视点位。具体地，如图7所示，本发明还提供一优选的实施例，该实施例中的步骤S601、根据采集水域及历史航行轨迹，得到关键节点及关键航段，具体包括：

网格化所述采集水域，得到多个备选网格；

获取多个所述历史航行轨迹；

根据所述历史航行轨迹的行进方向特征，并基于多个所述备选网格，得到所述关键节点；

根据所述历史航行轨迹的数量特征，并基于多个所述备选网格，得到所述关键航段。

在一个具体的实施例中，步骤S601中的所述根据所述历史航行轨迹的方向特征，并基于多个所述备选网格，得到所述关键节点，具体又包括：

根据所述备选网格及所述历史航行轨迹的行进方向特征，将所述历史航行轨迹分解为多个航行子向量；

将位于同一备选网格内，且方向相同的多个航行子向量作为一个航向簇；

选择所述航向簇的数量大于设定方向数量阈值的所述备选网格作为交汇网格；

聚类所述交汇网格，并将同一类的所述交汇网格的中心作为原点，以设定半径建立圆形区域，得到关键节点。

上述过程中，历史航行轨迹的行进方向特征为代表历史航行轨迹的行进方向的信息，对于连续的历史航行轨迹，可将其分解为多个小段的直线运动，每一小段直线运动为一个航行子向量。根据航行子向量的分布情况，可将位于同一备选网格内，且方向角度之差相近(如差值小于10°)的航行子向量归类为同一组航向簇。当备选网格内的航向簇大于设定方向数量阈值，如大于三组时，可以认为该备选网格为交汇网格，即该网格所处的位置为多个航线交汇的水域，应当设立更多的监视装置。

选择出所有交汇网格后，可以根据需要选择合适的方式对交汇网格进行聚类，同一类交汇网格代表其所处的位置及航行给情况相近，此时便可以将同一类的所述交汇网格的中心作为原点，以设定半径建立圆形区域，如1km，并将该区域作为关键节点。

在一个具体的实施例中，步骤S601中的所述根据所述历史航行轨迹的数量特征，并基于多个所述备选网格，得到所述关键航段，具体又包括：

根据所述备选网格及所述历史航行轨迹的数量特征，得到每个所述备选网格的权重值，所述权重值为所述备选网格内经过的所述历史航行轨迹的数量；

选择所述权重值大于设定权重阈值的所述备选网格作为航段网格；

根据所述航段网格，得到所述关键航段。

上述过程中，当一个备选网格内的历史航行轨迹的数量大于设定权重阈值时，例如大于3条时，便可以认为该备选网格为多数船舶均会选择的航行路线所经过的区域，该备选网格为航段网格，此时将多个航段网格连接至一起，便可以得到关键航段。

在确定关键节点及关键航段后，便可以确定搭载监视装置的监视点位。作为优选的实施例，本实施例中步骤S602、根据所述关键节点和所述关键航段，得到多个监视点位，具体包括：

选择距离所述关键节点中心预设范围内的若干位置作为所述监视点位；

以设定间隔在所述关键航段上选取多个位置，得到候选点位；

判断所述关键航段的两端之间是否存在其他所述关键航段，若是，则选择航次较多的所述关键航段对应的所述候选点位作为所述监视点位；若否，则将所述关键航段对应的所述候选点位作为所述监视点位。

上述过程的一个更加具体的实现方式为：首先通过k近邻方法选择关键节点附近的候选点位；然后沿关键航段按间隔选择航标作为候选点位，最后统计船舶经过各候选点位的次数，构建替代矩阵，筛选哪些候选点位可被替代，从而确定船舶图像采集系统的最终搭载点位。

具体地，结合图8所示，航行水域内的航标通常情况下沿航道均匀分布。当确定该水域的关键节点及关键航段后，即可从这些航标中选择搭载图像采集系统的候选点位。本实施例中选择现有的航标位置作为候选点位，实际中也可以认为以其他的规则基于关键节点和关键航段选择候选点位。本实施例中在关键节点区域内选择距离节点中心较近的k个航标作为关键节点的候选点位，同时沿关键航段每间隔L(m)选择航段两侧的航标作为关键航段的候选点位。

关键节点间可能存在多条关键航段，且不同航段的候选点位上图像采集系统会重复采集经过这些航段的船舶图像，会造成安装成本的提高及存储资源的浪费。因此，通过识别可替代点位并将其从候选点位中剔除，从而确定最终的图像采集系统搭载点位。例如，关键节点A与关键节点B间存在两条航段，两条航段所包含的候选点位均能满足图像采集系统的搭载要求，因此航次较少的关键航段B中的候选点位为可替代点位，航次较多的关键航段A中的候选点位为图像采集系统的最终搭载点位。

替代点位的识别方法可通过统计各关键航段途径的船舶艘次进行识别，表1为各关键航段包含的候选点位信息及船舶艘次信息。

表1关键航段候选点位表

上表中关键节点A和关键节点B中，存在两条关键航段1和3，关键航段2的途径船舶艘次较多，因此选择关键航段3中的候选点位51、52、53及54作为监视点位。

上述选择监视点位的方法，能够在尽可能全面的采集船舶图像数据的前提下，使用最少的航标，可以减少设备的安装费用和维护费用。选择出监视点位后，便可以将监视装置设置于上述监视点位中，即执行步骤S603。

在监视点位设置好监视装置后，面向船舶图像特征的航标搭载式监视系统便可以开始运行，此时便可以开始步骤S604、作为优选的实施例，本实施例中的步骤S604、获取并根据船舶的AIS数据，对进入所述监视装置的监视范围内的船舶进行拍摄，得到拍摄图像，具体包括：

将所述监视装置的监视范围划分为多个警戒区，所述监控装置包括多个拍摄相机，多个所述拍摄相机和多个所述警戒区一一对应；

获取并根据所述船舶的AIS数据，得到所述船舶的位置信息；

根据所述船舶的位置信息，对进入所述监视范围的船舶进行标记；

判断已标记的所述船舶所位于的所述警戒区，并调用该所述警戒区对应的所述拍摄相机进行拍摄；

根据所述船舶的位置信息，取消驶出所述监视范围的船舶的标记，得到拍摄图像。

得到拍摄图像后便需要对拍摄图像进行处理，结合图9所示，作为优选的实施例，本实施例中的步骤S605、根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库，具体包括：

S901、根据所述拍摄图像，基于Yolov5网络识别船舶的位置，得到船舶的图像识别坐标；

S902、根据所述AIS数据，基于插值法得到船舶的连续轨迹，并得到船舶的真实轨迹坐标；

S903、判断所述图像识别坐标和所述真实轨迹坐标是否符合预设匹配条件，若是，则为所述拍摄图像建立所述船舶特征标签；

S904、根据已建立所述船舶特征标签的所述拍摄图像，建立船舶特征库。

在一个具体的实施例中，所述预设匹配条件包括：

所述真实轨迹坐标在所述拍摄图像中的映射坐标，与所述图像识别坐标的欧式距离小于设定阈值。

上述过程通过匹配AIS数据中获取的位置信息以及拍摄图像中识别出来的位置，为拍摄图像建立用于表明船舶识别结果的船舶特征标签，处理过程仅需要识别出船只这个物体即可，而无需识别船舶上具体的文字、图案等信息，避免了因船舶环境、船舶的相似性对船舶识别造成的不良影响，提高监视准确性。

本发明还提供一优选的实施例，用以更加详细的说明上述步骤S901～S904：

船舶自动识别系统AIS(automatic identification system)能够发射并接收船舶的动态信息和静态信息。其中:动态信息包括船舶发出信息的时刻，该时刻船舶经度、纬度值，船舶航向，船艏向等。由于过往船只的AIS信息发射是间断性的，所以根据间断的船舶AIS位置信息，以及船舶的航向航速信息对船舶航行的轨迹进行线性插值，当拍摄图像的画面里出现船舶时，通过插值后的船舶轨迹预测船舶在图像中位置。

不过此前需要建立图像采集图像与现实场景间的对应关系，这可以通过对拍摄相机进行立体标定来完成。在监视设备的监控水域，相机保持固定不动，目的是需要获得相机的内参矩阵参数以及相机外参旋转矩阵参数。利用张正友标定法，使用二维标定物，在该场景连续获得该物体图像，获取物体角点，然后计算角点图像坐标与现实坐标系下该角点实际坐标之间的关系，相机的内参c_x，c_y，f_x，f_y可以通过MATLAB工具箱的相机标定完成。

图像坐标系与世界坐标系的关系如下式：

式中P_W是图片中像素对应的世界坐标，P_uv是图片的像素坐标，K为相机内参，T为相机外参。通过将拍摄图像中船舶的像素坐标带入上式，便可以得到拍摄图像中的船舶对应的在世界坐标系中的真实坐标。

为了求解船舶的世界坐标系下的真实坐标，首先需要获取船舶的图像坐标，考虑到港口场景背景复杂、船舶往来频繁导致的遮挡现象较多的情况，可以利用Yolov5算法对船舶进行快速检测，提取出图片中含有的船舶区域。通过Yolov5网络，可以将相机拍摄的图像先进行船舶区域提取作为数据库中的船舶图像信息，并将检测的船舶区域图像中心作为船舶的图像坐标，即步骤S901中的图像识别坐标，进而实现船舶世界坐标的获取，如图10所示。

然后，可以通过获取的船舶AIS数据，得到船舶的航行轨迹上反映其真实位置的离散坐标，使用插值法将这些离散坐标连续化，得到表示船舶运行轨迹的连续的曲线，即插值结果。插值过程具体为：

将同一呼号的船舶信息进行关于时间的线性插值，将船舶运动分解为经度和纬度两种运动状态的变化，即将原有的经纬度变化视为(时间-经度)两个一维运动的组合，将两种方向上的运动都视为短时间的匀加速直线运动。假设待插值点为p_ni(Lon_ni，Lat_ni，v_ni，θ_ni，t_ni)，其中:Lon代表经度；Lat代表纬度；v代表船速；θ代表航向；t代表发送时间。前后两点坐标为p₀(Lon₀，Lat₀，v₀，θ₀，t₀)和q₁(Lon₁，Lat₁，v₁，θ₁，t₁)，由通过经纬度插值变为通过时间插值，通过插值时间序列T得到待插值时间t_i点处的坐标(Lon_ni，Lat_ni)，再结合线性插值方法分别对两种运动状态插值，最后将插值得到的相同时间的经纬度组合，得到最终的插值结果。

经过相机立体标定，可以建立相机图像区域与现实监控区域的位置的一一对应。即当一艘船舶在相机成像区域之前发出AIS信息，然后驶入相机成像区域，在该区域内更新AIS信息或者驶出该区域后更新AIS信息，通过船舶轨迹的插值，得到船舶在现实世界的连续轨迹。选择该连续轨迹中的与拍摄时刻相同的点作为真实轨迹坐标，并将该真实轨迹坐标转换为相机图像坐标系的坐标，根据转换后的坐标与相机采集到的船舶驶过该区域船舶图像的坐标，通过图像中船舶区域中心P(x_p,y_p)的世界坐标与附近的过往船只的AIS位置坐标P_AIS(x_AIS,y_AIS)进行欧式距离的计算，将该距离的远近(距离L)作为该AIS是否是图像中船舶的发出的AIS信息的判断标准，即步骤S1003中的匹配条件，如下式：

通过该匹配算法，我们可以将绝大多数船舶与其AIS信息正确匹配。最后，得到有真实船舶信息的船舶特征标签并标记在相应的拍摄图像上，如图11所示。

经过以上步骤，可以获取船舶晨昏、白天和晚上的各个时段，不同光照，不同视点、不同尺度的具有船舶真实信息的图像数据。然而为了方便在水上场景视觉任务(识别、跟踪、分割)中的有效应用该数据，可以对对这些信息进行整合，将每一艘船舶的图片放入同一个目录里，然后不同船舶的目录集合构成船舶特征库，通过船舶图像和标签的入库，有利于未来的检索任务和检测识别任务，该过程即步骤S904。

具体地，上述过程建立的船舶特征库包括：

1)不同气象下的船舶图像信息

由于气象改变，船舶的图像特征会有很大的变化，为了更好的进行深度学习任务，建立不同气象下的船舶图像数据库，其中包括晴天、雨天、雾天、霾天、阴天、多云天气、雪天等多种气象条件下的船舶的图像信息。

2)不同角度下的船舶图像信息

根据不同航标相机观察船舶的视角不同，可以将同一视角的船舶图像归为该船舶图像的子类，这样做有利于监督学习下同一视角的船舶图像之间的度量学习。

3)不同时段下的船舶信息

考虑到一天中光照的变化，不同时段的船舶航行区域的光照环境的不同，将采集的信息分为早晨、中午、黄昏、夜晚、以及在这几个时间中过度的时间段下的船舶图像信息。

4)不同距离的船舶图像

船舶与航标距离不同，其船舶图像在拍摄图像中所占的前景比例也不同，距离远的船舶像素较少，分辨率较小；相反，距离近的船舶所占图像前景较大，分辨率较高。然而现实场景下的船舶分类、跟踪、分割任务的场景中，船舶分辨率大小也是在不断变化的。为了完成应用场景任务，需要图像数据中也出现不同分辨率的船舶图像。

进一步的，在进行拍摄时，仅仅通过一个航标采集船舶图像会导致采集的船舶图像单一，所以可以调用区域内多个监视装置进行船舶图像数据采集，同时在多个视角对船舶图像进行采集，这样可以很大程度上增加船舶图像的丰富度。航运高峰期，内河往来船舶较为频繁，多艘船舶可能相差较短时间通过某一片水域，这种情况在内河下游较为普遍。因此，本发明还提供一优选的实施例，该实施例中的船舶图像特征采集方法还包括：

获取进入所述采集水域的船舶和待匹配的所述监视装置，并构建匹配模型，所述匹配模型为二分图，所述二分图中的两个子集分别为进入所述采集水域的船舶的集合以及待匹配的所述监视装置的集合；

根据所述匹配模型为进入所述采集水域的船舶分别匹配对其进行拍摄的所述监视装置。

上述过程可以在步骤S604之前执行。其采用匈牙利算法进行匹配，充分的科学的调用航标图像监视装置资源，最大程度上避免船舶图像的漏采。

具体地，将需要配对的船舶和监视装置或监视装置上的拍摄相机分别作为两个独立的集合X＝{x_i}和Y＝{y_i}，然后将其作为二分图并进行最大匹配问题求解，目标是给更多的船舶x_i找到监视装置y_i配对。匹配过程中可以先进行随机配对，当船舶x₁与监视装置y₁配对时影响后续x₂的配对，或者由此配对引发的后续船舶无法与监视装置配对的情况时，x₁放弃与y₁配对，而选择另外一条增广路径与另外一个监视装置y₂进行配对。经过层层迭代，得到最优的船舶与监视装置的最多匹配。经过该船舶和监视相机的匹配过程，可以实现即使在通航繁忙期，也能最大程度实现更可能多的船舶图像采集。

本发明提供的一种面向船舶图像特征的航标搭载式监视系统及方法，通过分析关键节点及关键航段，选择合适的监视点位，并在点位上设置监视装置，通过船舶的AIS数据，启动相应的监视装置进行拍摄，并结合船舶的AIS数据为拍摄的图像建立特征标签，进而实现了船舶图像特征的全方位、多角度、全面地采集，并建立船舶特征库为未来的检索、人工智能训练、检测识别等任务做准备。相比于现有技术，本发明通过分析关键节点及关键航段，使得选取的监视点位最为合理，并且在航标上布设船舶图像特征采集装置，能够在不影响通航环境和通航安全的前提下，实现尽可能全面的采集船舶图像数据的目的，同时基于AIS数据，有针对性地调用相应地监视装置，提高数据采集精度，降低系统能耗，此外还根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，避免了现有图像识别技术识别船舶时容错率低、识别率低的问题，实现对船舶图像更全面地采集。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种面向船舶图像特征的航标搭载式监视系统，其特征在于，包括：

监视点位排布模块，包括环境分析单元和监视点位选择单元，其中所述环境分析单元用于根据采集水域及历史航行轨迹，得到关键节点及关键航段；所述监视点位选择单元用于根据所述关键节点和所述关键航段，得到多个监视点位；

多个监视装置，分别设置于多个位于所述监视点位的航标上，所述监视装置用于获取并根据船舶的AIS数据，对进入其监视范围内的船舶进行拍摄，得到拍摄图像；

特征提取模块，用于根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库。

2.一种船舶图像特征采集方法，应用于如权利要求1所述的面向船舶图像特征的航标搭载式监视系统，其特征在于，所述船舶图像特征采集方法包括：

根据采集水域及历史航行轨迹，得到关键节点及关键航段；

根据所述关键节点和所述关键航段，得到多个监视点位；

在多个监视点位上分别设置航标，并在所述航标上设置监视装置；

获取并根据船舶的AIS数据，对进入所述监视装置的监视范围内的船舶进行拍摄，得到拍摄图像；

根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库。

3.根据权利要求2所述的船舶图像特征采集方法，其特征在于，所述根据采集水域及历史航行轨迹，得到关键节点及关键航段，包括：

网格化所述采集水域，得到多个备选网格；

获取多个所述历史航行轨迹；

根据所述历史航行轨迹的行进方向特征，并基于多个所述备选网格，得到所述关键节点；

根据所述历史航行轨迹的数量特征，并基于多个所述备选网格，得到所述关键航段。

4.根据权利要求3所述的船舶图像特征采集方法，其特征在于，所述根据所述历史航行轨迹的方向特征，并基于多个所述备选网格，得到所述关键节点，包括：

根据所述备选网格及所述历史航行轨迹的行进方向特征，将所述历史航行轨迹分解为多个航行子向量；

将位于同一备选网格内，且方向相同的多个航行子向量作为一个航向簇；

选择所述航向簇的数量大于设定方向数量阈值的所述备选网格作为交汇网格；

聚类所述交汇网格，并将同一类的所述交汇网格的中心作为原点，以设定半径建立圆形区域，得到关键节点。

5.根据权利要求3所述的船舶图像特征采集方法，其特征在于，所述根据所述历史航行轨迹的数量特征，并基于多个所述备选网格，得到所述关键航段，包括：

根据所述备选网格及所述历史航行轨迹的数量特征，得到每个所述备选网格的权重值，所述权重值为所述备选网格内经过的所述历史航行轨迹的数量；

选择所述权重值大于设定权重阈值的所述备选网格作为航段网格；

根据所述航段网格，得到所述关键航段。

6.根据权利要求2所述的船舶图像特征采集方法，其特征在于，所述根据所述关键节点和所述关键航段，得到多个监视点位，包括：

选择距离所述关键节点中心预设范围内的若干位置作为所述监视点位；

以设定间隔在所述关键航段上选取多个位置，得到候选点位；

判断所述关键航段的两端之间是否存在其他所述关键航段，若是，则选择航次较多的所述关键航段对应的所述候选点位作为所述监视点位；若否，则将所述关键航段对应的所述候选点位作为所述监视点位。

7.根据权利要求2所述的船舶图像特征采集方法，其特征在于，所述获取并根据船舶的AIS数据，对进入所述监视装置的监视范围内的船舶进行拍摄，得到拍摄图像，包括：

将所述监视装置的监视范围划分为多个警戒区，所述监视装置包括多个拍摄相机，多个所述拍摄相机和多个所述警戒区一一对应；

获取并根据所述船舶的AIS数据，得到所述船舶的位置信息；

根据所述船舶的位置信息，对进入所述监视范围的船舶进行标记；

判断已标记的所述船舶所位于的所述警戒区，并调用该所述警戒区对应的所述拍摄相机进行拍摄；

根据所述船舶的位置信息，取消驶出所述监视范围的船舶的标记，得到拍摄图像。

8.根据权利要求2所述的船舶图像特征采集方法，其特征在于，所述根据船舶的AIS数据为所述拍摄图像建立船舶特征标签，并建立船舶特征库：

根据所述拍摄图像，基于Yolov5网络识别船舶的位置，得到船舶的图像识别坐标；

根据所述AIS数据，基于插值法得到船舶的连续轨迹，并得到船舶的真实轨迹坐标；

判断所述图像识别坐标和所述真实轨迹坐标是否符合预设匹配条件，若是，则为所述拍摄图像建立所述船舶特征标签；

根据已建立所述船舶特征标签的所述拍摄图像，建立船舶特征库。

9.根据权利要求8所述的船舶图像特征采集方法，其特征在于，所述预设匹配条件包括：

所述真实轨迹坐标在所述拍摄图像中的映射坐标，与所述图像识别坐标的欧式距离小于设定阈值。

10.根据权利要求2所述的船舶图像特征采集方法，其特征在于，还包括：

获取进入所述采集水域的船舶和待匹配的所述监视装置，并构建匹配模型，所述匹配模型为二分图，所述二分图中的两个子集分别为进入所述采集水域的船舶的集合以及待匹配的所述监视装置的集合；

根据所述匹配模型为进入所述采集水域的船舶分别匹配对其进行拍摄的所述监视装置。

Images