CN111126235A - 一种船只违章停泊检测处理方法及装置 - Google Patents

Abstract

本发明提供了一种船只违章停泊检测处理方法及装置，其中，该方法包括：采集水道中船只的视频序列；确定该视频序列中每帧图像的船只检测结果，其中，该船只检测结果包括：船只的检测框以及检测分数，该检测框包括检测框标识、检测框大小和检测框位置；根据该视频序列与该船只检测结果对船只进行目标跟踪，得到该每帧图像的一个或多个跟踪队列，其中，该跟踪队列包括船只的跟踪框以及跟踪框轨迹，该跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；根据该一个或多个跟踪队列确定船只是否违章停泊，可以解决相关技术中船只违章停泊检测的不准确，不能很好的应用到实际场景的问题，提高了船只违章停泊检测的准确性。

Description

一种船只违章停泊检测处理方法及装置

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种船只违章停泊检测处理方法及装置。

背景技术

在水道交通场景中，船只是目标检测的核心对象，而船只任意停泊可能会造成严重的安全事故，或者是违反当前水道的水上交通安全管理规定，因此船只违章停泊检测属于亟待解决的问题。目前相关的检测技术较少，因为船只的类别众多，如客轮、货船、渔船、采砂船、快艇等，而相同类别船只形状各异，特征不能很好的聚类。因此对船只进行检测是一大难点，判断船只是否违章停泊更是一项艰巨的任务。

相关技术中利用深度学习方法对船只进行检测，通过检测结果计算船只运动轨迹，如果运动轨迹在违章停泊区域内的一个微小区域内波动，并持续一段时间，则判断船只违章停泊。如果船只轨迹在微小区域内波动的持续时间设定较短，则移动速度很慢的船只将会判定为停泊，如果持续时间设定较长，则可能会忽略一些停泊时间短暂的船只。从而造成船只违章停泊检测的不准确，不能很好的应用到实际的场景中。

针对相关技术中船只违章停泊检测的不准确，不能很好的应用到实际场景的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种船只违章停泊检测处理方法及装置，以至少解决相关技术中船只违章停泊检测的不准确，不能很好的应用到实际场景的问题。

根据本发明的一个实施例，提供了一种船只违章停泊检测处理方法，包括：

采集水道中船只的视频序列；

确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

根据所述一个或多个跟踪队列确定船只是否违章停泊。

可选地，确定所述视频序列中每帧图像的船只检测结果包括：

将所述视频序列输入到预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述每帧图像的船只检测结果。

可选地，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列包括：

对所述视频序列中每帧图像执行以下步骤，以确定所述每帧图像的船只的跟踪框：

确定当前帧图像的检测框与上一帧图像的跟踪队列中所有跟踪框的交并比IoU；

在所有IoU中的最大IoU大于或等于第一预设阈值的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

在所述最大IoU小于所述第一预设阈值的情况下，判断所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数是否大于或等于第二预设阈值，且所述上一帧图像之前船只出现的帧数是否大于或等于第三预设阈值，在判断结果均为是的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

根据所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

可选地，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列包括：

在所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数小于所述第二预设阈值，和/或所述上一帧图像之前船只出现的帧数小于第三预设阈值的情况下，对所述当前帧图像进行跟踪框重识别；

根据重识别得到的所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

可选地，对所述当前帧图像进行跟踪框重识别包括：

确定上一帧图像的跟踪队列中所有跟踪框在所述当前帧图像之前的最后位置；

若所述最后位置的中心点与所述当前帧图像的检测框相同，分别计算所述当前帧图像的检测框与所述最后位置的跟踪框的IoU，筛选出所述IoU大于第四预设阈值的跟踪框；

计算筛选出的跟踪框在所述最后位置之前第一预定数量帧图像中x轴和y轴的平均速度；

若所述筛选出的跟踪框以所述平均速度从所述最后位置运动到所述当前帧图像的上一帧图像，计算所述当前帧图像的检测框与所述筛选出的跟踪框的IoU，并将所述当前帧图像的检测框与所述筛选出的跟踪框的IoU中的最大IoU确定为目标IoU；

在所述目标IoU大于或等于第五预设阈值的情况下，则将所述当前帧图像的检测框作为所述目标IoU对应的跟踪框在所述当前帧图像中的位置，并根据所述平均速度填补所述跟踪框从所述最后位置到所述当前帧图像之间的位置，其中，所述第五预设阈值小于所述第四预设阈值；

在所述目标IoU小于所述第五预设阈值的情况下，创建新的跟踪框，将所述当前帧图像的检测框确定为在所述当前帧图像的所述新的跟踪框。

可选地，根据所述一个或多个跟踪队列确定船只是否违章停泊包括：

从所述一个或多个跟踪队列中获取当前帧图像和之前第一预定数量帧图像的跟踪序列，其中，所述跟踪序列包括每帧图像的跟踪框和跟踪框轨迹；

确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊。

可选地，确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊包括：

判断每个所述跟踪框的中心是否进入预先设置的船只违章停泊区域；

在判断结果为是的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧图像的跟踪框在x轴和y轴的累计位移；

在所述累计位移大于或等于第六预设阈值的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧的跟踪框中随机第二预定数量帧图像的对应位置的跟踪框的交并比IoU；

在所述IoU大于或等于第五预设阈值的次数超过第三预定数量的情况下，确定所述每个跟踪框对应的船只违章停泊；

在所述每个跟踪框的中心未进入所述船只违章停泊区域，或所述累计位移小于所述第六预设阈值，或所述IoU大于或等于所述第五预设阈值的次数未超过所述第三预定数量的情况下，确定所述每个跟踪框对应的船只未违章停泊。

根据本发明的另一个实施例，还提供了一种船只违章停泊检测处理装置，包括：

采集模块，用于采集水道中船只的视频序列；

第一确定模块，用于确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

目标跟踪模块，用于根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

第二确定模块，用于根据所述一个或多个跟踪队列确定船只是否违章停泊。

可选地，所述第一确定模块，还用于

将所述视频序列输入到预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述每帧图像的船只检测结果。

可选地，所述目标跟踪模块包括：

执行子模块，用于对所述视频序列中每帧图像执行以下步骤，以确定所述每帧图像的船只的跟踪框：

确定当前帧图像的检测框与上一帧图像的跟踪队列中所有跟踪框的交并比IoU；

在所有IoU中的最大IoU大于或等于第一预设阈值的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

在所述最大IoU小于所述第一预设阈值的情况下，判断所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数是否大于或等于第二预设阈值，且所述上一帧图像之前船只出现的帧数是否大于或等于第三预设阈值，在判断结果均为是的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

第一确定子模块，用于根据所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

可选地，所述执行子模块，还用于在所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数小于所述第二预设阈值，和/或所述上一帧图像之前船只出现的帧数小于第三预设阈值的情况下，对所述当前帧图像进行跟踪框重识别；

所述目标跟踪模块，还包括第二确定子模块，其中，第二确定子模块，用于根据重识别得到的所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

可选地，所述执行子模块，还用于

确定上一帧图像的跟踪队列中所有跟踪框在所述当前帧图像之前的最后位置；

若所述最后位置的中心点与所述当前帧图像的检测框相同，分别计算所述当前帧图像的检测框与所述最后位置的跟踪框的IoU，筛选出所述IoU大于第四预设阈值的跟踪框；

计算筛选出的跟踪框在所述最后位置之前第一预定数量帧图像中x轴和y轴的平均速度；

若所述筛选出的跟踪框以所述平均速度从所述最后位置运动到所述当前帧图像的上一帧图像，计算所述当前帧图像的检测框与所述筛选出的跟踪框的IoU，并将所述当前帧图像的检测框与所述筛选出的跟踪框的IoU中的最大IoU确定为目标IoU；

在所述目标IoU大于或等于第五预设阈值的情况下，则将所述当前帧图像的检测框作为所述目标IoU对应的跟踪框在所述当前帧图像中的位置，并根据所述平均速度填补所述跟踪框从所述最后位置到所述当前帧图像之间的位置，其中，所述第五预设阈值小于所述第四预设阈值；

在所述目标IoU小于所述第五预设阈值的情况下，创建新的跟踪框，将所述当前帧图像的检测框确定为在所述当前帧图像的所述新的跟踪框。

可选地，所述第二确定模块包括：

获取子模块，用于从所述一个或多个跟踪队列中获取当前帧图像和之前第一预定数量帧图像的跟踪序列，其中，所述跟踪序列包括每帧图像的跟踪框和跟踪框轨迹；

第三确定子模块，用于确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊。

可选地，所述第三确定子模块，还用于

判断每个所述跟踪框的中心是否进入预先设置的船只违章停泊区域；

在判断结果为是的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧图像的跟踪框在x轴和y轴的累计位移；

在所述累计位移大于或等于第六预设阈值的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧的跟踪框中随机第二预定数量帧图像的对应位置的跟踪框的交并比IoU；

在所述IoU大于或等于第五预设阈值的次数超过第三预定数量的情况下，确定所述每个跟踪框对应的船只违章停泊；

在所述每个跟踪框的中心未进入所述船只违章停泊区域，或所述累计位移小于所述第六预设阈值，或所述IoU大于或等于所述第五预设阈值的次数未超过所述第三预定数量的情况下，确定所述每个跟踪框对应的船只未违章停泊。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，采集水道中船只的视频序列；确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；根据所述一个或多个跟踪队列确定船只是否违章停泊，可以解决相关技术中船只违章停泊检测的不准确，不能很好的应用到实际场景的问题，以船只检测结果为基础进行目标跟踪，确定船只的编号和运动轨迹，从而确定船只是否违章停泊，提高了船只违章停泊检测的准确性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种船只违章停泊检测处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种船只违章停泊检测处理方法的流程图；

图3是根据本发明实施例的船只违章停泊检测的流程图；

图4是根据本发明实施例的船只违章停泊检测处理装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种船只违章停泊检测处理方法的移动终端的硬件结构框图，如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的报文接收方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的船只违章停泊检测处理方法，图2是根据本发明实施例的一种船只违章停泊检测处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，采集水道中船只的视频序列；

步骤S204，确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

具体的，将所述视频序列输入到预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述每帧图像的船只检测结果。

步骤S206，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

步骤S208，根据所述一个或多个跟踪队列确定船只是否违章停泊。

通过上述步骤S202至S208，可以解决相关技术中船只违章停泊检测的不准确，不能很好的应用到实际场景的问题，以船只检测结果为基础进行目标跟踪，确定船只的编号和运动轨迹，从而确定船只是否违章停泊，提高了船只违章停泊检测的准确性。

本发明实施例中，上述步骤S206具体可以包括：

对所述视频序列中每帧图像执行以下步骤，以确定所述每帧图像的船只的跟踪框：

确定当前帧图像的检测框与上一帧图像的跟踪队列中所有跟踪框的交并比IoU；

在所有IoU中的最大IoU大于或等于第一预设阈值的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

在所述最大IoU小于所述第一预设阈值的情况下，判断所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数是否大于或等于第二预设阈值，且所述上一帧图像之前船只出现的帧数是否大于或等于第三预设阈值，在判断结果均为是的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

根据所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

进一步的，在所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数小于所述第二预设阈值，和/或所述上一帧图像之前船只出现的帧数小于第三预设阈值的情况下，对所述当前帧图像进行跟踪框重识别；根据重识别得到的所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。在确定船只的编号和运动轨迹的过程中，通过跟踪框的重识别降低船只遮挡对违章停泊检测的影响。

具体的，上述的对所述当前帧图像进行跟踪框重识别可以包括：确定上一帧图像的跟踪队列中所有跟踪框在所述当前帧图像之前的最后位置；若所述最后位置的中心点与所述当前帧图像的检测框相同，分别计算所述当前帧图像的检测框与所述最后位置的跟踪框的IoU，筛选出所述IoU大于第四预设阈值的跟踪框；计算筛选出的跟踪框在所述最后位置之前第一预定数量帧图像中x轴和y轴的平均速度；若所述筛选出的跟踪框以所述平均速度从所述最后位置运动到所述当前帧图像的上一帧图像，计算所述当前帧图像的检测框与所述筛选出的跟踪框的IoU，并将所述当前帧图像的检测框与所述筛选出的跟踪框的IoU中的最大IoU确定为目标IoU；在所述目标IoU大于或等于第五预设阈值的情况下，则将所述当前帧图像的检测框作为所述目标IoU对应的跟踪框在所述当前帧图像中的位置，并根据所述平均速度填补所述跟踪框从所述最后位置到所述当前帧图像之间的位置，其中，所述第五预设阈值小于所述第四预设阈值；在所述目标IoU小于所述第五预设阈值的情况下，创建新的跟踪框，将所述当前帧图像的检测框确定为在所述当前帧图像的所述新的跟踪框。

本发明实施例中，上述步骤S208具体可以包括：

从所述一个或多个跟踪队列中获取当前帧图像和之前第一预定数量帧图像的跟踪序列，其中，所述跟踪序列包括每帧图像的跟踪框和跟踪框轨迹；

确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊。

进一步的，判断每个所述跟踪框的中心是否进入预先设置的船只违章停泊区域；在判断结果为是的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧图像的跟踪框在x轴和y轴的累计位移；在所述累计位移大于或等于第六预设阈值的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧的跟踪框中随机第二预定数量帧图像的对应位置的跟踪框的交并比IoU；在所述IoU大于或等于第五预设阈值的次数超过第三预定数量的情况下，确定所述每个跟踪框对应的船只违章停泊；在所述每个跟踪框的中心未进入所述船只违章停泊区域，或所述累计位移小于所述第六预设阈值，或所述IoU大于或等于所述第五预设阈值的次数未超过所述第三预定数量的情况下，确定所述每个跟踪框对应的船只未违章停泊。

本发明实施例以深度学习方法为基础，采集水道交通图片训练船只检测网络。进行船只违章停泊检测时，首先人工标记船只的违章停泊区域，利用船只检测网络先对船只进行检测，得到船只的位置、大小和检测分数。然后，以检测结果为基础进行目标跟踪，确定船只的编号和运动轨迹，并通过跟踪框的重识别降低船只遮挡对违章停泊检测的影响。最后，通过详细的逻辑判断，得出船只目标是否违章停泊，图3是根据本发明实施例的船只违章停泊检测的流程图，如图3所示，主要包括：

步骤S301，采集水道中船只的视频图像，并获取该视频图像的视频序列；

步骤S302，基于预先训练好的目标神经网络模型进行船只目标检测；

具体的，以深度学习方法为基本方法构建船只目标的目标神经网络模型，采集不同水道交通场景中存在船只的视频序列，获取视频帧得到不同场景的图像作为训练数据集。采用YOLO检测框架，特征提取卷积网络为DensenetNet，采用Generalized IoU Loss、Focal Loss和Repulsion Loss训练网络，使网络能够从水道交通图片中获得船只目标框的中心点坐标、宽、高、置信度和类别。

为保证实时性检测，需要限制检测网络计算量，故DensenetNet中卷积层均采用32channel对特征进行计算和提取。为了减小YOLO中Anchor尺度对网络的影响，以及提高网络对于遮挡船只的检测精度，结合Repulsion Loss和Generalized IoU Loss作为目标框中心点坐标、宽和高的损失函数。为了平衡图片中正负样本数量对网络的影响，采用FocalLoss作为目标框置信度和类别的损失函数。

其中Repulsion Loss的目的是让网络增大不同船只目标检测框间的距离，结合Generalized IoU Loss的Repulsion Loss的定义如下：

其中，B^P、G^P和

分别表示目标P的检测框、真实框和其他目标真实框。

步骤S303，船只目标跟踪和重识别；

船只目标跟踪采用交并比(Intersection over Union，简称为IoU)Tracker多目标跟踪算法，算法输入是视频数据，以及每一帧船只检测网络得到的检测框以及检测分数，算法输出是跟踪队列，包含跟踪框ID和跟踪框轨迹。算法过程是对于视频每一帧，在当前帧的检测框中找到和上一帧跟踪队列中跟踪框IoU最大的检测框，然后判断该IoU是否大于阈值α(对应上述第一预设阈值)。如果是，则将该检测框作为对应跟踪框在当前帧中的位置；否则，判断该跟踪框在之前帧中的最大检测得分是否大于阈值δ(对应上述第二预设阈值)，且在该帧之前目标出现的帧数是否大于阈值τ(对应上述第三预设阈值)，如果满足该检测框作为对应跟踪框在当前帧中的位置。

当以上条件都不满足时，需要进行跟踪框ID的重识别，以避免因为船只相互遮挡产生新的跟踪框，跟踪框ID的重识别过程包括：

1.确定跟踪队列中所有跟踪框在当前帧之前的最后位置。

2.利用IoU计算跟踪框与检测框形状是否相似，假设跟踪框最后位置的中心点与检测框相同，计算两者IoU，筛选得到IoU大于0.9(上述第四预设阈值的一种取值)的跟踪框。

3.计算这些跟踪框最后位置前50帧(上述第一预定数量的一种取值)的x轴和y轴的平均速度。

4.假设这些跟踪框以该平均速度从最后位置到达当前帧的上一帧，计算与当前帧检测框的IoU，判断最大IoU是否大于0.8(上述第五预设阈值的一种取值)。如果是，则该检测框作为最大IoU对应跟踪框在当前帧中的位置，并根据平均速度填补跟踪框最后位置到当前帧之间的位置；否则，创建新的跟踪框，该检测框作为新跟踪框在当前帧中的位置。

步骤S304，确定船只是否违章停泊，具体包括：

1.根据船只目标检测和船只目标跟踪，得到当前帧和之前50帧的跟踪序列，其中包括了这连续51帧中跟踪框的ID和轨迹，对每个跟踪框进行以下违章停泊的逻辑判断。

2.判断跟踪框中心是否进入船只违章停泊区域，如果是，判断船只是否停泊；否则返回船只正常。

3.判断船只是否停泊分为两个步骤：

3.1.停泊规则1：计算当前跟踪框与自己前50帧位置中x轴和y轴的累计位移，公式如下：

Dist＝∑_i∈[0,49](|x₅₀-x_i|+|y₅₀-y_i|)

其中(x₅₀,y₅₀)表示当前帧跟踪框中心点坐标，(x_i,y_i)表示当前帧前50帧跟踪框中心点坐标。如果Dist小于300(上述第六预设阈值的一个示例)，则船只停泊。判断跟踪框是否满足停泊规则1，如果是，则判断是否满足停泊规则2；否则返回船只正常。

3.2.停泊规则2：计算当前跟踪框与自己前50帧位置中随机36帧(上述第二预定数量的一个示例)位置的IoU，如果IoU大于0.8的次数超过18(上述第三预定数量的一个示例)，则船只停泊。判断跟踪框是否满足停泊规则2，如果是，进行第4步；否则返回船只正常。

4.判断是否已经对船只进行违章停泊报警，如果是，进行第5步；否则进行第6步。

5.判断船只停泊时间是否超过时间阈值t，如果是，对船只进行第一次违章停泊报警；否则返回船只正常。

6.判断船只距离上一次报警停时间是否超过5t，如果是，对船只进行第重复违章停泊报警；否则返回船只正常。

本发明实施例构建了满足实时性检测的检测网络，并结合Repulsion Loss和Generalized IoU构建了新的损失函数，使网络增大了不同船只目标检测框间的距离，能够有效降低船只遮挡时的误检和漏检。

在船只因为遮挡而漏检时，会在遮挡结束时生成新的跟踪框，如果被遮挡的船只处于违章停泊状态，则现有方法不会将遮挡时间也计入停泊时间。本发明实施例提出了船只跟踪框重识别方法，会判断是否因为船只遮挡而生成新的跟踪框，如果是，则将检测框作为匹配上的跟踪框的当前帧中的位置，并根据平均速度填补跟踪框最后状态到当前帧之间的位置。从而将船只遮挡时的状态也纳入违章停泊的判断中

采用了完备的船只违章停泊逻辑判断，其中构建了判断船只停泊规则1和规则2，规则1能避免航行速度较慢的船只被判断为停泊状态，规则2能够避免水面波动或镜头晃动造成的判断不准确。最后采取第一次违章停泊报警和重复违章停泊报警的方式，重复违章停泊报警能够给船只一定的反应时间，降低监控人员的工作量。

实施例2

根据本发明的另一个实施例，还提供了一种船只违章停泊检测处理装置，图4是根据本发明实施例的船只违章停泊检测处理装置的框图，如图4所示，包括：

采集模块42，用于采集水道中船只的视频序列；

第一确定模块44，用于确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

目标跟踪模块46，用于根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

第二确定模块48，用于根据所述一个或多个跟踪队列确定船只是否违章停泊。

可选地，所述第一确定模块44，还用于

将所述视频序列输入到预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述每帧图像的船只检测结果。

可选地，所述目标跟踪模块46包括：

执行子模块，用于对所述视频序列中每帧图像执行以下步骤，以确定所述每帧图像的船只的跟踪框：

确定当前帧图像的检测框与上一帧图像的跟踪队列中所有跟踪框的交并比IoU；

在所有IoU中的最大IoU大于或等于第一预设阈值的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

在所述最大IoU小于所述第一预设阈值的情况下，判断所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数是否大于或等于第二预设阈值，且所述上一帧图像之前船只出现的帧数是否大于或等于第三预设阈值，在判断结果均为是的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

第一确定子模块，用于根据所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

可选地，所述执行子模块，还用于在所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数小于所述第二预设阈值，和/或所述上一帧图像之前船只出现的帧数小于第三预设阈值的情况下，对所述当前帧图像进行跟踪框重识别；

所述目标跟踪模块46，还包括第二确定子模块，其中，第二确定子模块，用于根据重识别得到的所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

可选地，所述执行子模块，还用于

确定上一帧图像的跟踪队列中所有跟踪框在所述当前帧图像之前的最后位置；

若所述最后位置的中心点与所述当前帧图像的检测框相同，分别计算所述当前帧图像的检测框与所述最后位置的跟踪框的IoU，筛选出所述IoU大于第四预设阈值的跟踪框；

计算筛选出的跟踪框在所述最后位置之前第一预定数量帧图像中x轴和y轴的平均速度；

若所述筛选出的跟踪框以所述平均速度从所述最后位置运动到所述当前帧图像的上一帧图像，计算所述当前帧图像的检测框与所述筛选出的跟踪框的IoU，并将所述当前帧图像的检测框与所述筛选出的跟踪框的IoU中的最大IoU确定为目标IoU；

在所述目标IoU大于或等于第五预设阈值的情况下，则将所述当前帧图像的检测框作为所述目标IoU对应的跟踪框在所述当前帧图像中的位置，并根据所述平均速度填补所述跟踪框从所述最后位置到所述当前帧图像之间的位置，其中，所述第五预设阈值小于所述第四预设阈值；

在所述目标IoU小于所述第五预设阈值的情况下，创建新的跟踪框，将所述当前帧图像的检测框确定为在所述当前帧图像的所述新的跟踪框。

可选地，所述第二确定模块48包括：

获取子模块，用于从所述一个或多个跟踪队列中获取当前帧图像和之前第一预定数量帧图像的跟踪序列，其中，所述跟踪序列包括每帧图像的跟踪框和跟踪框轨迹；

第三确定子模块，用于确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊。

可选地，所述第三确定子模块，还用于

判断每个所述跟踪框的中心是否进入预先设置的船只违章停泊区域；

在判断结果为是的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧图像的跟踪框在x轴和y轴的累计位移；

在所述累计位移大于或等于第六预设阈值的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧的跟踪框中随机第二预定数量帧图像的对应位置的跟踪框的交并比IoU；

在所述IoU大于或等于第五预设阈值的次数超过第三预定数量的情况下，确定所述每个跟踪框对应的船只违章停泊；

在所述每个跟踪框的中心未进入所述船只违章停泊区域，或所述累计位移小于所述第六预设阈值，或所述IoU大于或等于所述第五预设阈值的次数未超过所述第三预定数量的情况下，确定所述每个跟踪框对应的船只未违章停泊。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，采集水道中船只的视频序列；

S2，确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

S3，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

S4，根据所述一个或多个跟踪队列确定船只是否违章停泊。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，采集水道中船只的视频序列；

S2，确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

S3，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

S4，根据所述一个或多个跟踪队列确定船只是否违章停泊。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种船只违章停泊检测处理方法，其特征在于，包括：

采集水道中船只的视频序列；

确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

根据所述一个或多个跟踪队列确定船只是否违章停泊。

2.根据权利要求1所述的方法，其特征在于，确定所述视频序列中每帧图像的船只检测结果包括：

将所述视频序列输入到预先训练好的目标神经网络模型中，得到所述目标神经网络模型输出的所述每帧图像的船只检测结果。

3.根据权利要求1所述的方法，其特征在于，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列包括：

对所述视频序列中每帧图像执行以下步骤，以确定所述每帧图像的船只的跟踪框：

确定当前帧图像的检测框与上一帧图像的跟踪队列中所有跟踪框的交并比IoU；

在所有IoU中的最大IoU大于或等于第一预设阈值的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

在所述最大IoU小于所述第一预设阈值的情况下，判断所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数是否大于或等于第二预设阈值，且所述上一帧图像之前船只出现的帧数是否大于或等于第三预设阈值，在判断结果均为是的情况下，将所述当前帧图像的检测框确定为所述最大IoU对应的跟踪框在所述当前帧图像中的跟踪框；

根据所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

4.根据权利要求3所述的方法，其特征在于，根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列包括：

在所述最大IoU对应的跟踪框在之前帧图像中的最大检测分数小于所述第二预设阈值，和/或所述上一帧图像之前船只出现的帧数小于第三预设阈值的情况下，对所述当前帧图像进行跟踪框重识别；

根据重识别得到的所述每帧图像的船只的跟踪框确定所述每帧图像的跟踪框轨迹。

5.根据权利要求4所述的方法，其特征在于，对所述当前帧图像进行跟踪框重识别包括：

确定上一帧图像的跟踪队列中所有跟踪框在所述当前帧图像之前的最后位置；

若所述最后位置的中心点与所述当前帧图像的检测框相同，分别计算所述当前帧图像的检测框与所述最后位置的跟踪框的IoU，筛选出所述IoU大于第四预设阈值的跟踪框；

计算筛选出的跟踪框在所述最后位置之前第一预定数量帧图像中x轴和y轴的平均速度；

若所述筛选出的跟踪框以所述平均速度从所述最后位置运动到所述当前帧图像的上一帧图像，计算所述当前帧图像的检测框与所述筛选出的跟踪框的IoU，并将所述当前帧图像的检测框与所述筛选出的跟踪框的IoU中的最大IoU确定为目标IoU；

在所述目标IoU大于或等于第五预设阈值的情况下，则将所述当前帧图像的检测框作为所述目标IoU对应的跟踪框在所述当前帧图像中的位置，并根据所述平均速度填补所述跟踪框从所述最后位置到所述当前帧图像之间的位置，其中，所述第五预设阈值小于所述第四预设阈值；

在所述目标IoU小于所述第五预设阈值的情况下，创建新的跟踪框，将所述当前帧图像的检测框确定为在所述当前帧图像的所述新的跟踪框。

6.根据权利要求1至5中任一项所述的方法，其特征在于，根据所述一个或多个跟踪队列确定船只是否违章停泊包括：

从所述一个或多个跟踪队列中获取当前帧图像和之前第一预定数量帧图像的跟踪序列，其中，所述跟踪序列包括每帧图像的跟踪框和跟踪框轨迹；

确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊。

7.根据权利要求6所述的方法，其特征在于，确定所述跟踪序列中每个跟踪框对应的船只是否违章停泊包括：

判断每个所述跟踪框的中心是否进入预先设置的船只违章停泊区域；

在判断结果为是的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧图像的跟踪框在x轴和y轴的累计位移；

在所述累计位移大于或等于第六预设阈值的情况下，计算所述当前帧图像的跟踪框与所述之前第一预定数量帧的跟踪框中随机第二预定数量帧图像的对应位置的跟踪框的交并比IoU；

在所述IoU大于或等于第五预设阈值的次数超过第三预定数量的情况下，确定所述每个跟踪框对应的船只违章停泊；

在所述每个跟踪框的中心未进入所述船只违章停泊区域，或所述累计位移小于所述第六预设阈值，或所述IoU大于或等于所述第五预设阈值的次数未超过所述第三预定数量的情况下，确定所述每个跟踪框对应的船只未违章停泊。

8.一种船只违章停泊检测处理装置，其特征在于，包括：

采集模块，用于采集水道中船只的视频序列；

第一确定模块，用于确定所述视频序列中每帧图像的船只检测结果，其中，所述船只检测结果包括：船只的检测框以及检测分数，所述检测框包括检测框标识、检测框大小和检测框位置；

目标跟踪模块，用于根据所述视频序列与所述船只检测结果对船只进行目标跟踪，得到所述每帧图像的一个或多个跟踪队列，其中，所述跟踪队列包括船只的跟踪框以及跟踪框轨迹，所述跟踪框包括跟踪框标识、跟踪框大小和跟踪框位置；

第二确定模块，用于根据所述一个或多个跟踪队列确定船只是否违章停泊。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

Images