CN112417955A - 巡检视频流处理方法及装置 - Google Patents

Abstract

本申请实施例提供一种巡检视频流处理方法及装置，根据预先训练的目标检测模型对巡检监控设备获得的巡检区域的巡检视频流进行分析，获得巡检视频流中每帧巡检图像的行人对象区域和船只对象区域后，检测巡检视频流中每帧巡检图像的水域区域，而后根据检测到的每帧巡检图像的行人对象区域、船只对象区域和水域区域，识别巡检区域中的非法行为。如此，本申请结合图像检测方案和基于深度学习的目标检测方案，能够准确检测巡检视频流中每帧巡检图像的行人对象区域、船只对象区域和水域区域，从而实现非法行为的智能准确检测，减少人工监控的负担，减少采用人工排查的方式时由于一些突发的非法行为事件没有及时被发现或遗漏而造成的损失。

Description

巡检视频流处理方法及装置

技术领域

本申请涉及巡检视频监控技术领域，具体而言，涉及一种巡检视频流 处理方法及装置。

背景技术

水坝、河流等附近通常设有巡检监控设备，例如动态巡检摄像头，用 于实时监控巡检区域的异常行为，例如非法垂钓、戏水、渔船交易等行为， 需要满足实时性、准确性等要求。

相关技术中，针对水域区域的非法行为检测，主要是基于人工监控的 方式。例如，由相关工作人员实时查看巡检监控设备的巡检监控视频去发 现问题并及时报警。然而，由于巡检监控设备的数量较多，采用人工监控 的方式存在监控效率低下的问题，同时长时间的监控工作容易使得工作人 员产生视觉疲劳，进而造成一些突发的非法行为事件没有及时被发现或遗 漏而造成损失。

发明内容

基于现有设计的不足，本申请提供一种巡检视频流处理方法及装置， 结合图像检测方案和基于深度学习的目标检测方案，能够准确检测巡检视 频流中每帧巡检图像的行人对象区域、船只对象区域和水域区域，从而实 现非法行为的智能准确检测，减少人工监控的负担，减少采用人工排查的 方式时由于一些突发的非法行为事件没有及时被发现或遗漏而造成的损 失。

根据本申请的第一方面，提供一种巡检视频流处理方法，应用于与巡 检监控设备通信连接的服务器，所述方法包括：

根据预先训练的目标检测模型对所述巡检监控设备获得的巡检区域的 巡检视频流进行分析，获得所述巡检视频流中每帧巡检图像的行人对象区 域和船只对象区域；

检测所述巡检视频流中每帧巡检图像的水域区域；

根据检测到的每帧巡检图像的行人对象区域、船只对象区域和水域区 域，识别所述巡检区域中的非法行为。

在第一方面的一种可能的实施方式中，所述目标检测模型通过以下步 骤训练获得：

获取初始的第一深度神经网络，将所述第一深度神经网络的特征融合 结构的深层特征分支删除，获得第二深度神经网络，其中，所述深层特征 分支为所述第一深度神经网络中特征融合结构的最后N个分支，N为预设 的正整数；

将预先收集的训练数据集分为多个训练数据子集，对每一个训练数据 子集内的训练数据进行预处理，并将预处理后的训练数据输入到所述第二 深度神经网络中进行分类，得到所述预处理后的训练数据对应的目标分类 框，其中，所述预处理的方式包括数据归一化处理和图像增强处理，所述 训练数据包括第一训练数据和第二训练数据，所述第一训练数据包括行人 对象图像和对应的标签信息，所述第二训练数据包括船只对象图像和对应 的标签信息；

根据所述预处理后的训练数据对应的目标分类框与对应的标签信息计 算每一个训练数据子集的损失函数值；

根据所述损失函数值进行反向传播训练，更新所述第二深度神经网络 的网络权重后，返回执行对每一个训练数据子集内的训练数据进行预处理 的步骤，直至训练过程中满足预设终止条件后，将最终更新获得的第二深 度神经网络确定为所述目标检测模型。

在第一方面的一种可能的实施方式中，所述根据预先训练的目标检测 模型对所述巡检监控设备获得的巡检区域的巡检视频流进行分析，获得所 述巡检视频流中每帧巡检图像的行人对象区域和船只对象区域的步骤，包 括：

对所述巡检视频流中每帧巡检图像进行归一化操作；

将所述归一化操作后的每帧巡检图像输入到所述目标检测模型中进行 分类，获得所述归一化操作后的每帧巡检图像的行人对象框和船只对象框；

对每帧巡检图像的行人对象框和船只对象框进行非极大值抑制操作， 删除符合预设重合条件的重合框，得到所述巡检视频流中每帧巡检图像的 行人对象区域和船只对象区域。

在第一方面的一种可能的实施方式中，所述检测所述巡检视频流中每 帧巡检图像的水域区域的步骤，包括：

使用预设边缘检测算子检测所述巡检视频流中每帧巡检图像中的所有 边缘线，并基于预设阈值范围从所述所有边缘线中筛选获得疑似边缘线；

计算每个疑似边缘线的最小外凸多边形，并计算所述最小外凸多边形 轮廓的图形特征信息，基于所述图形特征信息和所述图形特征信息对应的 筛选规则对所述疑似边缘线进行过滤，得到过滤后的疑似边缘线；

对所述过滤后的疑似边缘线的轮廓进行形态学开运算，筛选形态学开 运算结果中最大的边缘线作为目标水岸线；

将所述目标水岸线和所述巡检图像的边界进行处理形成闭合区间，得 到水域区域。

在第一方面的一种可能的实施方式中，所述根据检测到的每帧巡检图 像的行人对象区域、船只对象区域和水域区域，识别所述巡检区域中的非 法行为的步骤，包括：

计算检测到的每帧巡检图像的行人对象区域和水域区域的重叠面积， 并计算所述重叠面积占所述行人对象区域的比例；

当所述比例大于预设比例阈值时，则判定所述巡检区域中所述行人对 象区域对应的行为对象存在非法行人行为；以及

自一预设帧巡检图像起，将该帧巡检图像中的船只对象区域确定为第 一船只对象区域，并为每个第一船只对象区域配置对应的计数值，其中， 所述计数值的初始值为0；

获取之后的每帧巡检图像中的各个第二船只对象区域，并针对每个第 一船只对象区域，分别计算该第一船只对象区域与每个第二船只对象区域 之间的iou分数；

获取对于该第一船只对象区域的最大iou分数；

当所述最大iou分数大于预设分数阈值时，将该最大iou分数对应的第 二船只对象区域的船只对象确定为与该第一船只对象区域匹配的相同船只 对象，并根据相同船只对象的数量更新该第一船只对象区域对应的计数值；

对于所述各个第二船只对象区域中未与该第一船只对象区域匹配的第 二船只对象区域，将该第二船只对象区域作为新的第一船只对象区域，并 配置该新的第一船只对象区域的计数值后，继续执行获取之后的每帧巡检 图像中的各个第二船只对象区域的步骤；

当任意一个第一船只对象区域对应的计数值大于预设计数值时，则判 定所述巡检区域中所述第一船只对象区域对应的船只对象存在非法船只交 易行为。

根据本申请的第二方面，提供一种巡检视频流处理装置，应用于与巡 检监控设备通信连接的服务器，所述装置包括：

分析模块，用于根据预先训练的目标检测模型对所述巡检监控设备获 得的巡检区域的巡检视频流进行分析，获得所述巡检视频流中每帧巡检图 像的行人对象区域和船只对象区域；

检测模块，用于检测所述巡检视频流中每帧巡检图像的水域区域；

识别模块，用于根据检测到的每帧巡检图像的行人对象区域、船只对 象区域和水域区域，识别所述巡检区域中的非法行为。

基于上述任一方面，本申请根据预先训练的目标检测模型对巡检监控 设备获得的巡检区域的巡检视频流进行分析，获得巡检视频流中每帧巡检 图像的行人对象区域和船只对象区域后，检测巡检视频流中每帧巡检图像 的水域区域，而后根据检测到的每帧巡检图像的行人对象区域、船只对象 区域和水域区域，识别巡检区域中的非法行为。如此，本申请结合图像检 测方案和基于深度学习的目标检测方案，能够准确检测巡检视频流中每帧 巡检图像的行人对象区域、船只对象区域和水域区域，从而实现非法行为 的智能准确检测，减少人工监控的负担，减少采用人工排查的方式时由于 一些突发的非法行为事件没有及时被发现或遗漏而造成的损失。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出了本申请实施例所提供的巡检视频流处理系统的交互场景示 意图；

图2示出了本申请实施例所提供的巡检视频流处理方法的流程示意图；

图3示出了图2中所示的步骤S110的子步骤流程示意图；

图4示出了图2中所示的步骤S120的子步骤流程示意图；

图5示出了图2中所示的步骤S130的子步骤流程示意图；

图6示出了本申请实施例所提供的巡检视频流处理装置的功能模块示 意图；

图7示出了本申请实施例所提供的用于实现上述的巡检视频流处理方 法的服务器的结构示意框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本 申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描 述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本 申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。 本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操 作。

应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系 的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容 的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移 除一个或多个操作。

参照图1所示，图1示出了本申请实施例提供的巡检视频流处理系统 10的交互场景示意图。例如，巡检视频流处理系统10可以是用于诸如视频 监控之类的服务平台。巡检视频流处理系统10可以包括服务器100以及与 服务器100通信连接的多个巡检监控设备，服务器100用于为巡检监控设 备提供视频监控分析服务。

本实施例中，巡检监控设备200可以分为枪式、半球、高速球型等监 控设备，巡检监控设备200可以是CCD(Charge Coupled Device，电荷耦 合器件)摄像机或者CMOS(Complementary Metal Oxide Semiconductor，互 补金属氧化物半导体)摄像机。

本实施例中，服务器100可以是单个物理服务器，也可以是一个由多 个用于执行不同数据处理功能的物理服务器构成的服务器组。服务器组可 以是集中式的，也可以是分布式的(例如，服务器100可以是分布式系统)。 在一些可能的实施方式中，如服务器100采用单个物理服务器，可以基于 不同视频分析功能为该物理服务器分配不同的逻辑服务器组件。

可以理解，图1所示的巡检视频流处理系统10仅为一种可行的示例， 在其它可行的实施例中，该巡检视频流处理系统10也可以仅包括图1所示 组成部分的其中一部分或者还可以包括其它的组成部分。

图2示出了本申请实施例提供的巡检视频流处理方法的流程示意图， 该巡检视频流处理方法可以由图1中所示的服务器100执行，应当理解， 在其它实施例中，本实施例的巡检视频流处理方法其中部分步骤的顺序可 以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该巡 检视频流处理方法的详细步骤介绍如下。

步骤S110，根据预先训练的目标检测模型对巡检监控设备200获得的 巡检区域的巡检视频流进行分析，获得巡检视频流中每帧巡检图像的行人 对象区域和船只对象区域。

步骤S120，检测巡检视频流中每帧巡检图像的水域区域。

步骤S130，根据检测到的每帧巡检图像的行人对象区域、船只对象区 域和水域区域，识别巡检区域中的非法行为。

本实施例中，行人对象区域可以是指具有行人对象的图像区域，例如 可以是指仅包括一个行人对象的图像区域，或者可以是指包括若干个相对 集中的行人对象的图像区域，对此不作详细限定。此外，船只对象区域可 以是指具有船只对象的图像区域，通常在实际场景中，船只对象是分散的， 因此一个船只对象区域通常仅包括一个船只对象，或者在一些可能的示例 中，可能存在联动集中的多个船只对象，那么可以将联动集中的多个船只对象视为一个船只对象组，因此船只对象区域也可以是指具有船只对象组 的图像区域。然而，本领域技术人员容易理解，以上仅为示例，在实际实 施时可以基于设计需求来定义行人对象区域和船只对象区域的具体方式， 都应当在本申请的保护范围内。

本实施例中，水域区域可以是指江河、湖泊、运河、渠道、水库、水 塘形成的区域。

基于上述步骤，本实施例提供的巡检视频流处理方法及装置，结合图 像检测方案和基于深度学习的目标检测方案，能够准确检测巡检视频流中 每帧巡检图像的行人对象区域、船只对象区域和水域区域，从而实现非法 行为的智能准确检测，减少人工监控的负担，减少采用人工排查的方式时 由于一些突发的非法行为事件没有及时被发现或遗漏而造成的损失。

在一种可能的实施方式中，目标检测模型可以基于各种深度神经网络 为基础训练得到，深度神经网络可以根据实际设计需求进行选择。以Yolo 深度神经网络为例，Yolo深度神经网络是一种端到端的目标检测算法，具 有实时性好、精度高的优点，广泛应用于工业生产的各个领域。然而本申 请发明人研究发现，由于开源的深度神经网络通常存在大量冗余类别计算， 并且考虑到在本申请实施例的巡检监控场景下，通常涉及的监控视角都较 远，而Yolo深度神经网络的网络深层的特征对小目标的检测效果不佳，导 致不仅计算复杂度较高，并且网络分类的精确率较低。

基于此，作为一种可能的实施方式，针对目标检测模型，可以通过以 下步骤训练获得，详细描述如下。

(1)获取初始的第一深度神经网络，将第一深度神经网络的特征融合 结构的深层特征分支删除，获得第二深度神经网络。

其中，深层特征分支可以理解，为第一深度神经网络中特征融合结构 的最后N个分支，N为预设的正整数。例如，当N为2时，可以将第一深 度神经网络特征融合结构的最后2个分支删除，获得第二深度神经网络。 这样，通过将第一深度神经网络的特征融合结构的深层特征分支删除，可 以减少大量冗余类别计算，并且提高网络分类的精确率，从而提高对小目 标的检测效果。

(2)将预先收集的训练数据集分为多个训练数据子集，对每一个训练 数据子集内的训练数据进行预处理，并将预处理后的训练数据输入到第二 深度神经网络中进行分类，得到预处理后的训练数据对应的目标分类框。

其中，预处理的方式可以包括数据归一化处理和图像增强处理，通过 归一化处理，可以保证每一个训练数据子集内的训练数据的一致性，通过 图像增强处理，可以增加训练数据的数量，并且提高后续训练分类识别过 程中的环境适应性。其中，图像增强可以理解为增强图像中的有用信息， 可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像 的应用场合，或者有目的地强调图像的整体或局部特性，将原来不清晰的 图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的 差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像 判读和识别效果，满足分类训练的需要。具体图像增强的方法可以是通过 一定手段对原训练数据附加一些信息或变换数据，有选择地突出训练数据 中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使训练数据与视 觉响应特性相匹配。

其中，训练数据可以包括第一训练数据和第二训练数据，第一训练数 据包括行人对象图像和对应的标签信息，第二训练数据包括船只对象图像 和对应的标签信息。标签信息可以是指针对行人对象图像中行为对象区域 的坐标点构成的序列集合，以及针对船只对象图像中船只对象区域的坐标 点构成的序列集合。

(3)根据预处理后的训练数据对应的目标分类框与对应的标签信息计 算每一个训练数据子集的损失函数值。

(4)根据损失函数值进行反向传播训练，更新第二深度神经网络的网 络权重后，返回执行上述步骤(2)中对每一个训练数据子集内的训练数据 进行预处理的过程，直至训练过程中满足预设终止条件后，将最终更新获 得的第二深度神经网络确定为目标检测模型。

其中，作为一种可能的示例，上述的预设终止条件可以包括以下三种 条件中的至少一种：

1)迭代训练次数达到设定次数；2)损失函数值低于设定阈值；3)损 失函数值不再下降。

其中，在条件1)中，为了节省运算量，可以设置迭代次数的最大值， 如果迭代次数达到设定次数，可以停止本迭代周期的迭代，将最后得到的 第二深度神经网络作为目标检测模型。在条件2)中，如果损失函数值低于 设定阈值，说明当前的目标检测模型已经基本可以满足条件，此时可以停 止迭代。在条件3)中，损失函数值不再下降，表明已经形成了最佳的目标 检测模型，可以停止迭代。

需要说明的是，上述预设终止条件可以结合使用，也可以择一使用， 例如，可以在损失函数值不再下降停止迭代，或者，在迭代次数达到设定 次数时停止迭代，或者，在损失函数值不再下降时停止迭代。或者，还可 以在损失函数值低于设定阈值，并且损失函数值不再下降时，停止迭代。

此外，在实际实施过程中，也可以不限于采用上述示例作为预设终止 条件，本领域技术人员可以根据实际需求设计与上述示例不同的预设终止 条件。

在一种可能的实施方式中，针对步骤S110，请结合参阅图3，可以通 过以下示例性的子步骤来实现，详细描述如下。

子步骤S111，对巡检视频流中每帧巡检图像进行归一化操作。

本实施例中，图像归一化是指通过一系列变换(即利用巡检图像的不 变矩寻找一组参数使其能够消除其它变换函数对图像变换的影响)，将巡检 图像转换成相应的唯一标准形式(该标准形式巡检图像对平移、旋转、缩放 等仿射变换具有不变特性)。

子步骤S112，将归一化操作后的每帧巡检图像输入到目标检测模型中 进行分类，获得归一化操作后的每帧巡检图像的行人对象框和船只对象框。

子步骤S113，对每帧巡检图像的行人对象框和船只对象框进行非极大 值抑制操作，删除符合预设重合条件的重合框，得到巡检视频流中每帧巡 检图像的行人对象区域和船只对象区域。

本实施例中，非极大值抑制(Non-Maximum Suppression，NMS)可以 是指抑制非极大值的元素，可以理解为局部最大搜索。例如在行人对象框 的检测中，行人对象框经提取特征，经分类器分类识别后，每个行人对象 框都会得到一个分数，但是滑动对象框会导致很多行人对象框与其它行人 对象框存在包含或者大部分交叉的情况，这时就需要采用非极大值抑制操 作来选取那些邻域里分数最高(是行人对象框的概率最大)，并且抑制那些分数低的行人对象框，从而得到巡检视频流中每帧巡检图像的行人对象区 域。关于船只对象区域的非极大值抑制操作同上所述，在此不再作重复赘 述。

在一种可能的实施方式中，针对步骤S120，请结合参阅图4，可以通 过以下示例性的子步骤来实现，详细描述如下。

子步骤S121，使用预设边缘检测算子检测巡检视频流中每帧巡检图像 中的所有边缘线，并基于预设阈值范围从所有边缘线中筛选获得疑似边缘 线。

本实施例中，预设边缘检测算子可以采用canny边缘检测算子。例如， 考虑到巡检图像中的边缘可能会指向不同的方向，所以canny边缘检测算子 可以使用多个mask检测每帧巡检图像的水平、垂直以及对角线方向的边缘， 然后将每帧巡检图像与每个mask所作的卷积计算结果存储。对于每个边缘 上的点，可以标识在这个点上的最大值以及生成的边缘的方向，这样可以 从每帧巡检图像生成其中每个点的亮度梯度图以及亮度梯度的方向。

接下来，考虑到较高的亮度梯度比较有可能是边缘，但是没有一个确 切的值来限定何种范围的亮度梯度是边缘，何种范围的亮度梯度不是边缘。 基于此，canny边缘检测算子可以使用滞后阈值，也即预设阈值范围中的高 阈值与低阈值。假设每帧巡检图像中的重要边缘都是连续的曲线，这样可 以跟踪给定曲线中模糊的部分，并且避免将没有组成曲线的噪声像素当成 边缘。在此基础上，可以从一个高阈值开始，标识出每帧巡检图像中比较确信的真实边缘，使用前述亮度梯度的方向信息，从这些真正的边缘开始 在每帧巡检图像中跟踪整个的边缘。在跟踪的过程中，进一步使用一个低 阈值，这样就可以跟踪曲线的模糊部分直到回到起点。由此可以得到一个 二值图像，每点表示是否是一个边缘点。由此，可以获得从所有边缘线中 筛选获得疑似边缘线。

子步骤S122，计算每个疑似边缘线的最小外凸多边形，并计算最小外 凸多边形轮廓的图形特征信息，基于图形特征信息和图形特征信息对应的 筛选规则对疑似边缘线进行过滤，得到过滤后的疑似边缘线。

本实施例中，对于每个疑似边缘线而言，还需要结合实际边缘线的图 形特征信息进行进一步过滤。图像特征信息可以包括，但不限于矩形度、 圆形度、长宽比、面积等特征，对应的筛选规则可以是指针对矩形度、圆 形度、长宽比、面积等特征的筛选阈值，从而通过对疑似边缘线进行过滤， 进一步得到过滤后的疑似边缘线。

子步骤S123，对过滤后的疑似边缘线的轮廓进行形态学开运算，筛选 形态学开运算结果中最大的边缘线作为目标水岸线。

子步骤S124，将目标水岸线和巡检图像的边界进行处理形成闭合区间， 得到水域区域。

在上述描述的基础上，在一种可能的实施方式中，针对步骤S130，请 结合参阅图5，可以通过以下示例性的子步骤来实现，详细描述如下。

子步骤S131，计算检测到的每帧巡检图像的行人对象区域和水域区域 的重叠面积，并计算重叠面积占行人对象区域的比例。

子步骤S132，当比例大于预设比例阈值时，则判定巡检区域中行人对 象区域对应的行为对象存在非法行人行为。

例如，假设预设比例阈值为0.5，那么当行人对象区域和水域区域的重 叠面积占行人对象区域的比例大于0.5时，可以判定巡检区域中行人对象区 域对应的行为对象存在非法行人行为。其中，非法行人行为可以是指非法 垂钓行为、戏水行为等。

以及，子步骤S133，自一预设帧巡检图像起，将该帧巡检图像中的船 只对象区域确定为第一船只对象区域，并为每个第一船只对象区域配置对 应的计数值。其中，计数值的初始值为0。

子步骤S134，获取之后的每帧巡检图像中的各个第二船只对象区域， 并针对每个第一船只对象区域，分别计算该第一船只对象区域与每个第二 船只对象区域之间的iou分数。

子步骤S135，获取对于该第一船只对象区域的最大iou分数。

子步骤S136，当最大iou分数大于预设分数阈值时，将该最大iou分数 对应的第二船只对象区域的船只对象确定为与该第一船只对象区域匹配的 相同船只对象，并根据相同船只对象的数量更新该第一船只对象区域对应 的计数值。

例如，当相同船只对象的数量为1时，可以更新该第一船只对象区域 对应的计数值为1，当相同船只对象的数量为2时，可以更新该第一船只对 象区域对应的计数值为2，以此类推。

子步骤S137，对于各个第二船只对象区域中未与该第一船只对象区域 匹配的第二船只对象区域，将该第二船只对象区域作为新的第一船只对象 区域，并配置该新的第一船只对象区域的计数值后，继续执行子步骤S134 中获取之后的每帧巡检图像中的各个第二船只对象区域的操作。

子步骤S138，当任意一个第一船只对象区域对应的计数值大于预设计 数值时，则判定巡检区域中第一船只对象区域对应的船只对象存在非法船 只交易行为。

进一步地，当判定巡检区域中第一船只对象区域对应的船只对象存在 非法船只交易行为时，可以输出对应的报警提示信息，以提示相关的工作 人员执行之后的处理。

基于同一发明构思，请参阅图6，示出了本申请实施例提供的巡检视频 流处理装置110的功能模块示意图，本实施例可以根据上述方法实施例对 巡检视频流处理装置110进行功能模块的划分。例如，可以对应各个功能 划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块 中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模 块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的， 仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在 采用对应各个功能划分各个功能模块的情况下，图6示出的巡检视频流处 理装置110只是一种装置示意图。其中，巡检视频流处理装置110可以包 括分析模块111、检测模块112以及识别模块113，下面分别对该巡检视频 流处理装置110的各个功能模块的功能进行详细阐述。

分析模块111，用于根据预先训练的目标检测模型对巡检监控设备200 获得的巡检区域的巡检视频流进行分析，获得巡检视频流中每帧巡检图像 的行人对象区域和船只对象区域。可以理解，该分析模块111可以用于执 行上述步骤S110，关于该分析模块111的详细实现方式可以参照上述对步 骤S110有关的内容。

检测模块112，用于检测巡检视频流中每帧巡检图像的水域区域。可以 理解，该检测模块112可以用于执行上述步骤S120，关于该检测模块112 的详细实现方式可以参照上述对步骤S120有关的内容。

识别模块113，用于根据检测到的每帧巡检图像的行人对象区域、船只 对象区域和水域区域，识别巡检区域中的非法行为。可以理解，该识别模 块113可以用于执行上述步骤S130，关于该识别模块113的详细实现方式 可以参照上述对步骤S130有关的内容。

在一种可能的实施方式中，目标检测模型通过以下方式训练获得：

获取初始的第一深度神经网络，将第一深度神经网络的特征融合结构 的深层特征分支删除，获得第二深度神经网络，其中，深层特征分支为第 一深度神经网络中特征融合结构的最后N个分支，N为预设的正整数；

将预先收集的训练数据集分为多个训练数据子集，对每一个训练数据 子集内的训练数据进行预处理，并将预处理后的训练数据输入到第二深度 神经网络中进行分类，得到预处理后的训练数据对应的目标分类框，其中， 预处理的方式包括数据归一化处理和图像增强处理，训练数据包括第一训 练数据和第二训练数据，第一训练数据包括行人对象图像和对应的标签信 息，第二训练数据包括船只对象图像和对应的标签信息；

根据预处理后的训练数据对应的目标分类框与对应的标签信息计算每 一个训练数据子集的损失函数值；

根据损失函数值进行反向传播训练，更新第二深度神经网络的网络权 重后，返回执行对每一个训练数据子集内的训练数据进行预处理的步骤， 直至训练过程中满足预设终止条件后，将最终更新获得的第二深度神经网 络确定为目标检测模型。

在一种可能的实施方式中，分析模块111，具体用于：

对巡检视频流中每帧巡检图像进行归一化操作；

将归一化操作后的每帧巡检图像输入到目标检测模型中进行分类，获 得归一化操作后的每帧巡检图像的行人对象框和船只对象框；

对每帧巡检图像的行人对象框和船只对象框进行非极大值抑制操作， 删除符合预设重合条件的重合框，得到巡检视频流中每帧巡检图像的行人 对象区域和船只对象区域。

在一种可能的实施方式中，检测模块112，具体用于：

使用预设边缘检测算子检测巡检视频流中每帧巡检图像中的所有边缘 线，并基于预设阈值范围从所有边缘线中筛选获得疑似边缘线；

计算每个疑似边缘线的最小外凸多边形，并计算最小外凸多边形轮廓 的图形特征信息，基于图形特征信息和图形特征信息对应的筛选规则对疑 似边缘线进行过滤，得到过滤后的疑似边缘线；

对过滤后的疑似边缘线的轮廓进行形态学开运算，筛选形态学开运算 结果中最大的边缘线作为目标水岸线；

将目标水岸线和巡检图像的边界进行处理形成闭合区间，得到水域区 域。

在一种可能的实施方式中，识别模块113，具体用于：

计算检测到的每帧巡检图像的行人对象区域和水域区域的重叠面积， 并计算重叠面积占行人对象区域的比例；

当比例大于预设比例阈值时，则判定巡检区域中行人对象区域对应的 行为对象存在非法行人行为；以及

自一预设帧巡检图像起，将该帧巡检图像中的船只对象区域确定为第 一船只对象区域，并为每个第一船只对象区域配置对应的计数值，其中， 计数值的初始值为0；

获取之后的每帧巡检图像中的各个第二船只对象区域，并针对每个第 一船只对象区域，分别计算该第一船只对象区域与每个第二船只对象区域 之间的iou分数；

获取对于该第一船只对象区域的最大iou分数；

当最大iou分数大于预设分数阈值时，将该最大iou分数对应的第二船 只对象区域的船只对象确定为与该第一船只对象区域匹配的相同船只对 象，并根据相同船只对象的数量更新该第一船只对象区域对应的计数值；

对于各个第二船只对象区域中未与该第一船只对象区域匹配的第二船 只对象区域，将该第二船只对象区域作为新的第一船只对象区域，并配置 该新的第一船只对象区域的计数值后，继续执行获取之后的每帧巡检图像 中的各个第二船只对象区域的操作；

当任意一个第一船只对象区域对应的计数值大于预设计数值时，则判 定巡检区域中第一船只对象区域对应的船只对象存在非法船只交易行为。

基于同一发明构思，请参阅图7，示出了本申请实施例提供的用于执行 上述巡检视频流处理方法的服务器100的结构示意框图，该服务器100可 以包括巡检视频流处理装置110、机器可读存储介质120和处理器130。

本实施例中，机器可读存储介质120与处理器130均位于服务器100 中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以 是独立于服务器100之外，且可以由处理器130通过总线接口来访问。可 替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以 是高速缓存和/或通用寄存器。

处理器130是该服务器100的控制中心，利用各种接口和线路连接整 个服务器100的各个部分，通过运行或执行存储在机器可读存储介质120 内的软件程序和/或模块，以及调用存储在机器可读存储介质120内的数据， 执行该服务器100的各种功能和处理数据，从而对服务器100进行整体监 控。可选地，处理器130可包括一个或多个处理核心；例如，处理器130 可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系 统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理 解的是，上述调制解调处理器也可以不集成到处理器中。

其中，处理器130可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的巡检视频流 处理方法的程序执行的集成电路。

机器可读存储介质120可以是ROM或可存储静态信息和指令的其它类 型的静态存储设备，RAM或者可存储信息和指令的其它类型的动态存储设 备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory，EEPROM)、只读光盘(Compactdisc Read-Only MEMory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、 光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、 或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能 够由计算机存取的任何其它介质，但不限于此。机器可读存储介质120可 以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120 也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行 本申请方案的机器可执行指令，例如可以存储巡检视频流处理装置110中 各个软件功能模块(如图6中所示的分析模块111、检测模块112以及识别 模块113)的机器可执行指令。处理器130用于执行机器可读存储介质120 中存储的机器可执行指令，以实现前述方法实施例提供的巡检视频流处理 方法。

由于本申请实施例提供的服务器100是上述服务器100执行的方法实 施例的另一种实现形式，且服务器100可用于执行上述方法实施例提供的 巡检视频流处理方法，因此其所能获得的技术效果可参考上述方法实施例， 在此不再赘述。

进一步地，本申请实施例还提供一种包含计算机可执行指令的可读存 储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供 的巡检视频流处理方法。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质， 其计算机可执行指令不限于如上的方法操作，还可以执行本申请任意实施 例所提供的巡检视频流处理方法中的相关操作。

本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图 和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、 嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得 通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功 能的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保 护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及 所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求 中，“包括”一词不排除其它组成部分或步骤，“一”或“一个”不排除多 个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。 相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能 组合起来产生良好的效果。

以上所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实 施例，通常在附图中描述和示出的本申请实施例的组件可以以各种不同的 配置来布置和设计。因此，在附图中提供的本申请的实施例的详细描述并 非旨在限制本申请的保护范围，而仅仅是表示本申请的选定实施例。因此， 本申请的保护范围应以权利要求的保护范围为准。此外，基于本申请的实 施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它 实施例，都应属于本申请保护的范围。

Claims (10)

1.一种巡检视频流处理方法，其特征在于，应用于与巡检监控设备通信连接的服务器，所述方法包括：

根据预先训练的目标检测模型对所述巡检监控设备获得的巡检区域的巡检视频流进行分析，获得所述巡检视频流中每帧巡检图像的行人对象区域和船只对象区域；

检测所述巡检视频流中每帧巡检图像的水域区域；

根据检测到的每帧巡检图像的行人对象区域、船只对象区域和水域区域，识别所述巡检区域中的非法行为。

2.根据权利要求1所述的巡检视频流处理方法，其特征在于，所述目标检测模型通过以下步骤训练获得：

获取初始的第一深度神经网络，将所述第一深度神经网络的特征融合结构的深层特征分支删除，获得第二深度神经网络，其中，所述深层特征分支为所述第一深度神经网络中特征融合结构的最后N个分支，N为预设的正整数；

将预先收集的训练数据集分为多个训练数据子集，对每一个训练数据子集内的训练数据进行预处理，并将预处理后的训练数据输入到所述第二深度神经网络中进行分类，得到所述预处理后的训练数据对应的目标分类框，其中，所述预处理的方式包括数据归一化处理和图像增强处理，所述训练数据包括第一训练数据和第二训练数据，所述第一训练数据包括行人对象图像和对应的标签信息，所述第二训练数据包括船只对象图像和对应的标签信息；

根据所述预处理后的训练数据对应的目标分类框与对应的标签信息计算每一个训练数据子集的损失函数值；

根据所述损失函数值进行反向传播训练，更新所述第二深度神经网络的网络权重后，返回执行对每一个训练数据子集内的训练数据进行预处理的步骤，直至训练过程中满足预设终止条件后，将最终更新获得的第二深度神经网络确定为所述目标检测模型。

3.根据权利要求1所述的巡检视频流处理方法，其特征在于，所述根据预先训练的目标检测模型对所述巡检监控设备获得的巡检区域的巡检视频流进行分析，获得所述巡检视频流中每帧巡检图像的行人对象区域和船只对象区域的步骤，包括：

对所述巡检视频流中每帧巡检图像进行归一化操作；

将所述归一化操作后的每帧巡检图像输入到所述目标检测模型中进行分类，获得所述归一化操作后的每帧巡检图像的行人对象框和船只对象框；

对每帧巡检图像的行人对象框和船只对象框进行非极大值抑制操作，删除符合预设重合条件的重合框，得到所述巡检视频流中每帧巡检图像的行人对象区域和船只对象区域。

4.根据权利要求1所述的巡检视频流处理方法，其特征在于，所述检测所述巡检视频流中每帧巡检图像的水域区域的步骤，包括：

使用预设边缘检测算子检测所述巡检视频流中每帧巡检图像中的所有边缘线，并基于预设阈值范围从所述所有边缘线中筛选获得疑似边缘线；

计算每个疑似边缘线的最小外凸多边形，并计算所述最小外凸多边形轮廓的图形特征信息，基于所述图形特征信息和所述图形特征信息对应的筛选规则对所述疑似边缘线进行过滤，得到过滤后的疑似边缘线；

对所述过滤后的疑似边缘线的轮廓进行形态学开运算，筛选形态学开运算结果中最大的边缘线作为目标水岸线；

将所述目标水岸线和所述巡检图像的边界进行处理形成闭合区间，得到水域区域。

5.根据权利要求1-4中任意一项所述的巡检视频流处理方法，其特征在于，所述根据检测到的每帧巡检图像的行人对象区域、船只对象区域和水域区域，识别所述巡检区域中的非法行为的步骤，包括：

计算检测到的每帧巡检图像的行人对象区域和水域区域的重叠面积，并计算所述重叠面积占所述行人对象区域的比例；

当所述比例大于预设比例阈值时，则判定所述巡检区域中所述行人对象区域对应的行为对象存在非法行人行为；以及

自一预设帧巡检图像起，将该帧巡检图像中的船只对象区域确定为第一船只对象区域，并为每个第一船只对象区域配置对应的计数值，其中，所述计数值的初始值为0；

获取之后的每帧巡检图像中的各个第二船只对象区域，并针对每个第一船只对象区域，分别计算该第一船只对象区域与每个第二船只对象区域之间的iou分数；

获取对于该第一船只对象区域的最大iou分数；

当所述最大iou分数大于预设分数阈值时，将该最大iou分数对应的第二船只对象区域的船只对象确定为与该第一船只对象区域匹配的相同船只对象，并根据相同船只对象的数量更新该第一船只对象区域对应的计数值；

对于所述各个第二船只对象区域中未与该第一船只对象区域匹配的第二船只对象区域，将该第二船只对象区域作为新的第一船只对象区域，并配置该新的第一船只对象区域的计数值后，继续执行获取之后的每帧巡检图像中的各个第二船只对象区域的步骤；

当任意一个第一船只对象区域对应的计数值大于预设计数值时，则判定所述巡检区域中所述第一船只对象区域对应的船只对象存在非法船只交易行为。

6.一种巡检视频流处理装置，其特征在于，应用于与巡检监控设备通信连接的服务器，所述装置包括：

分析模块，用于根据预先训练的目标检测模型对所述巡检监控设备获得的巡检区域的巡检视频流进行分析，获得所述巡检视频流中每帧巡检图像的行人对象区域和船只对象区域；

检测模块，用于检测所述巡检视频流中每帧巡检图像的水域区域；

识别模块，用于根据检测到的每帧巡检图像的行人对象区域、船只对象区域和水域区域，识别所述巡检区域中的非法行为。

7.根据权利要求6所述的巡检视频流处理装置，其特征在于，所述目标检测模型通过以下方式训练获得：

获取初始的第一深度神经网络，将所述第一深度神经网络的特征融合结构的深层特征分支删除，获得第二深度神经网络，其中，所述深层特征分支为所述第一深度神经网络中特征融合结构的最后N个分支，N为预设的正整数；

将预先收集的训练数据集分为多个训练数据子集，对每一个训练数据子集内的训练数据进行预处理，并将预处理后的训练数据输入到所述第二深度神经网络中进行分类，得到所述预处理后的训练数据对应的目标分类框，其中，所述预处理的方式包括数据归一化处理和图像增强处理，所述训练数据包括第一训练数据和第二训练数据，所述第一训练数据包括行人对象图像和对应的标签信息，所述第二训练数据包括船只对象图像和对应的标签信息；

根据所述预处理后的训练数据对应的目标分类框与对应的标签信息计算每一个训练数据子集的损失函数值；

根据所述损失函数值进行反向传播训练，更新所述第二深度神经网络的网络权重后，返回执行对每一个训练数据子集内的训练数据进行预处理的步骤，直至训练过程中满足预设终止条件后，将最终更新获得的第二深度神经网络确定为所述目标检测模型。

8.根据权利要求6所述的巡检视频流处理装置，其特征在于，所述分析模块，具体用于：

对所述巡检视频流中每帧巡检图像进行归一化操作；

将所述归一化操作后的每帧巡检图像输入到所述目标检测模型中进行分类，获得所述归一化操作后的每帧巡检图像的行人对象框和船只对象框；

对每帧巡检图像的行人对象框和船只对象框进行非极大值抑制操作，删除符合预设重合条件的重合框，得到所述巡检视频流中每帧巡检图像的行人对象区域和船只对象区域。

9.根据权利要求8所述的巡检视频流处理装置，其特征在于，所述检测模块，具体用于：

使用预设边缘检测算子检测所述巡检视频流中每帧巡检图像中的所有边缘线，并基于预设阈值范围从所述所有边缘线中筛选获得疑似边缘线；

计算每个疑似边缘线的最小外凸多边形，并计算所述最小外凸多边形轮廓的图形特征信息，基于所述图形特征信息和所述图形特征信息对应的筛选规则对所述疑似边缘线进行过滤，得到过滤后的疑似边缘线；

对所述过滤后的疑似边缘线的轮廓进行形态学开运算，筛选形态学开运算结果中最大的边缘线作为目标水岸线；

将所述目标水岸线和所述巡检图像的边界进行处理形成闭合区间，得到水域区域。

10.根据权利要求6-9中任意一项所述的巡检视频流处理装置，其特征在于，所述识别模块，具体用于：

计算检测到的每帧巡检图像的行人对象区域和水域区域的重叠面积，并计算所述重叠面积占所述行人对象区域的比例；

当所述比例大于预设比例阈值时，则判定所述巡检区域中所述行人对象区域对应的行为对象存在非法行人行为；以及

自一预设帧巡检图像起，将该帧巡检图像中的船只对象区域确定为第一船只对象区域，并为每个第一船只对象区域配置对应的计数值，其中，所述计数值的初始值为0；

获取之后的每帧巡检图像中的各个第二船只对象区域，并针对每个第一船只对象区域，分别计算该第一船只对象区域与每个第二船只对象区域之间的iou分数；

获取对于该第一船只对象区域的最大iou分数，当所述最大iou分数大于预设分数阈值时，将该最大iou分数对应的第二船只对象区域的船只对象确定为与该第一船只对象区域匹配的相同船只对象，并根据相同船只对象的数量更新该第一船只对象区域对应的计数值；

对于所述各个第二船只对象区域中未与该第一船只对象区域匹配的第二船只对象区域，将该第二船只对象区域作为新的第一船只对象区域，并配置该新的第一船只对象区域的计数值后，继续执行获取之后的每帧巡检图像中的各个第二船只对象区域的步骤；

当任意一个第一船只对象区域对应的计数值大于预设计数值时，则判定所述巡检区域中所述第一船只对象区域对应的船只对象存在非法船只交易行为。

Images