CN110443182B

CN110443182B - 一种基于多实例学习的城市排水管道视频异常检测方法

Info

Publication number: CN110443182B
Application number: CN201910695705.2A
Authority: CN
Inventors: 乔宇; 董师周; 王亚立; 涂鹏; 代毅; 梁桂新
Original assignee: Shenzhen Bominwell Robotics Co ltd
Current assignee: Shenzhen bomingwei Technology Co.,Ltd.
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2021-11-09
Anticipated expiration: 2039-07-30
Also published as: CN110443182A

Abstract

本发明涉及管道异常检测技术领域，公开了一种基于多实例学习的城市排水管道视频异常检测方法，包括以下步骤：对排水管道视频进行数据采样处理，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}；根据方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}，计算方法的输出

和

根据方法的输出和方法的输入，计算出方法的输出和输入数据真实值之间的差距L；根据差距L，计算更新方法的参数θ；给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。通过计算机自动审查排水管道视频中是否包含异常，可以节省非常多的人力成本，处理单个视频所需时间更短，可以节省审查排水管道视频的时间，经过大量的数据训练后，处理结果会更加稳定，提高了城市排水管道视频异常检测方法的检测精度。

Description

一种基于多实例学习的城市排水管道视频异常检测方法

技术领域

本发明涉及管道异常检测技术领域，尤其涉及一种基于多实例学习的城市排水管道视频异常检测方法。

背景技术

城市的排水管道是保障城市居民正常生活的重要设施，随着城市面积的逐渐扩张，城市中需要排放的污水、雨水、废弃物或残渣也越来越多，城市的排水管道的铺设长度也随着城市面积的增加而快速增长，给排水管道的异常检测和维护带来了巨大的工作量。

现有技术中，排水管道的异常检测任务主要依靠人工审核采集回来的排水管道内部的视频。然而，因为城市面积的扩张，每天需要人工审核的排水管道视频数量快速增长，从而需要更多的人力去审核排水管道视频，导致效率比较低下。此外，管道异常可以细分为16类异常：渗漏，支管暗接，异物插入，接口材料脱落，脱节，起伏，错口，腐蚀，变形，破裂，沉积，结垢，障碍物，残墙坝根，树根，浮渣。其中，异物插入，起伏和错口，这几类异常很容易被人工审查遗漏，因此给排水管道的异常检测结果带来一定的偏差，影响排水管道视频的异常检测精度。

因此，如何提高城市排水管道视频异常检测方法的检测精度成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何提高城市排水管道视频异常检测方法的检测精度。

为此，根据第一方面，本发明实施例公开了一种基于多实例学习的城市排水管道视频异常检测方法，包括：S10，对排水管道视频进行数据采样处理，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}；S20，根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^B ^×K×H×W×C，计算方法的输出

和

S30，根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L；S40，根据所述差距L，计算更新方法的参数θ；S50，给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

可选地，所述方法还包括：S60，给定方法所需迭代的优化次数为T，如果迭代次数未达到T次，则返回步骤S10继续优化。

可选地，所述步骤S10包括：S110，根据排水管道视频的数据集，随机采样出B个视频；S120，从每个采样视频中均匀采样出K帧视频图像，计算所述K帧视频图像与下一帧的K帧差分图像，且通过最大最小值归一化方法将所述K帧差分图像的取值范围设置为0到1；S130，给出采样视频分辨率的高H、采样视频分辨率的宽W以及采样视频中单帧图像的通道数C，并根据所述B个视频与所述K帧视频图像，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^B ^×K×H×W×C。

可选地，所述步骤S20包括：S210，给定优化方法为f_θ，θ为需要学习的参数；S220，根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}，获取与其相对应的真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17；S230，根据所述真实标签向量y^abnomal∈R^B×2与y^category∈R^B ^×17，计算出方法的输出

和

可选地，所述步骤S30包括：步骤S310，计算L^abnomal；步骤S320，计算L^category；步骤S330，根据L^abnomal与L^category，计算出所述方法的输出和输入数据真实值之间的差距L。

可选地，所述步骤S40包括：S410，计算

S420，根据

参数θ与差距L，更新方法的参数θ。

根据第二方面，本发明实施例公开了一种基于多实例学习的城市排水管道视频异常检测装置，包括：输入模块，用于对排水管道视频进行数据采样处理，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}；输出模块，用于根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}，计算方法的输出

和

计算差距模块，用于根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L；计算更新模块，用于根据所述差距L，计算更新方法的参数θ；判定模块，用于给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

根据第三方面，本发明实施例公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现上述第一方面任一项的

根据第四方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，处理器用于执行存储介质中存储的计算机程序实现上述第一方面任一项的

本发明具有以下有益效果：本发明实施例的技术方案通过对排水管道视频进行数据采样处理，从视频中采样K帧图像以及其与下一帧的K帧差分图像，然后根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L，根据所述差距L，计算更新方法的参数θ，给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束；通过计算机自动审查排水管道视频中是否包含异常，可以节省非常多的人力成本，处理单个视频所需时间更短，可以节省审查排水管道视频的时间，经过大量的数据训练后，视频图像处理结果会更加稳定，提高了城市排水管道视频异常检测方法的检测精度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本实施例公开的一种基于多实例学习的城市排水管道视频异常检测方法的流程示意图；

图2是本实施例公开的一种基于多实例学习的城市排水管道视频异常检测方法的结构示意图；

图3是本实施例公开的另一种基于多实例学习的城市排水管道视频异常检测方法的流程示意图；

图4是本实施例公开的一种基于多实例学习的城市排水管道视频异常检测装置的结构图。

附图标记：701、输入模块；702、输出模块；703、计算差距模块；704、计算更新模块；705、判定模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例公开了一种基于多实例学习的城市排水管道视频异常检测方法，如图1和图2所示，包括以下步骤：

S10，对排水管道视频进行数据采样处理，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}；

S20，根据方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}，计算方法的输出

和

S30，根据方法的输出和方法的输入，计算出方法的输出和输入数据真实值之间的差距L；

S40，根据差距L，计算更新方法的参数θ；

S50，给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

需要说明的是，发明实施例的技术方案通过对排水管道视频进行数据采样处理，从视频中采样K帧图像以及其与下一帧的K帧差分图像，然后根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L，根据所述差距L，计算更新方法的参数θ，给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束；通过计算机自动审查排水管道视频中是否包含异常，可以节省非常多的人力成本，处理单个视频所需时间更短，可以节省审查排水管道视频的时间，经过大量的数据训练后，视频图像处理结果会更加稳定，提高了城市排水管道视频异常检测方法的检测精度。

如图2和图3所示，方法还包括：S60，给定方法所需迭代的优化次数为T，如果迭代次数未达到T次，则返回步骤S10继续优化。

在具体实施例中，步骤S10包括：S110，根据排水管道视频的数据集，随机采样出B个视频；S120，从每个采样视频中均匀采样出K帧视频图像，计算K帧视频图像与下一帧的K帧差分图像，且通过最大最小值归一化方法将K帧差分图像的取值范围设置为0到1；S130，给出采样视频分辨率的高H、采样视频分辨率的宽W以及采样视频中单帧图像的通道数C，并根据B个视频与K帧视频图像，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}。

在具体实施例中，步骤S20包括：S210，给定优化方法为f_θ，θ为需要学习的参数；S220，根据方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}，获取与其相对应的真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17；S230，根据真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17，计算出方法的输出

和

在具体实施例中，步骤S30包括：步骤S310，计算L^abnomal；步骤S320，计算L^category；步骤S330，根据L^abnomal与L^category，计算出方法的输出和输入数据真实值之间的差距L。

在具体实施例中，步骤S40包括：S410，计算

S420，根据

参数θ与差距L，更新方法的参数θ。

如图2所示，方法包含数据采样、特征提取、特征融合和分类器四个模块。

数据采样模块负责从每个视频中均匀的采样出K帧视频图像以及K帧图像与下一帧的K帧差分图像，并且通过最大最小值归一化方法归一化这K帧差分图像的取值范围为0到1。

特征提取模块包含两个结构相同的深度卷积网络，本发明不限制两个深度卷积网络的具体结构，它可以是现有的ImageNet上预训练好的图像分类网络。此模块负责把K帧图像和K帧差分图像分别送入两个深度卷积网络提取特征。两个深度卷积网络结构相同但是参数分开学习，所以可以对K帧图像和K帧差分图像分别提取特征。假设深度卷积网络最后输出的特征维度为D，那么K帧图像和K帧差分图像经过两个深度卷积模块后会分别提取到特征F^image∈R^K×D和F^diff∈R^K×D。

特征融合模块分为两步。第一步是融合单帧图像特征F_i ^image _i＝[1,2..K]∈R^1×D和其对应的差分图像特征F_i ^diff _i＝[1,2..K]∈R^1×D的特征向量变成F_i _i＝[1,2..K]∈R^1×D的特征向量。K帧图像和K帧差分图像就会产生一个特征矩阵F∈R^K×2D。第二步是采用在时间维度上进行最大池化的方式去融合K帧图像和其差分图像的特征得到整个视频的特征F ^video∈R^1×D，其中，

分类器模块包含两个独立的全连接层。第一个是接受整个视频的特征

这些特征先经过全连接然后再经过一个softmax激活函数，输出维度为2，分别代表排水管道视频中存在异常和不存在异常的概率。第二个同样接受整个视频的特征

这些特征先经过全连接然后再经过一个sigmoid激活函数，但是输出维度为17，前16个维度分别分表代表排水管道视频中的16种细粒度异常类别的概率，最后一个维度代表该视频不包含异常的概率。在本实施例中，排水管道视频异常细粒度的分类任务和视频异常检测任务共同学习的过程。

如图4所示，本发明实施例公开了一种基于多实例学习的城市排水管道视频异常检测装置，包括：输入模块701，用于对排水管道视频进行数据采样处理，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}；输出模块702，用于根据所述方法的输入X^img∈R^B ^×K×H×W×C与X^diff∈R^{B×K×H×W×C}，计算方法的输出

和

计算差距模块703，用于根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L；计算更新模块704，用于根据所述差距L，计算更新方法的参数θ；判定模块705，用于给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

此外，本发明实施例中还提供一种计算机装置，处理器通过执行计算机指令，从而实现以下方法：

对排水管道视频进行数据采样处理，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^B ^×K×H×W×C；根据方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}，计算方法的输出

和

根据方法的输出和方法的输入，计算出方法的输出和输入数据真实值之间的差距L；根据差距L，计算更新方法的参数θ；给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机处理器用于执行存储介质中存储的计算机程序实现以下方法：

和

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。这里无需也无法对所有的实施方式予以穷举。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种基于多实例学习的城市排水管道视频异常检测方法，其特征在于，包括以下步骤：

S10，对排水管道视频进行数据采样处理，根据排水管道视频的数据集，随机采样出B个视频，从每个采样视频中均匀采样出K帧视频图像，计算所述K帧视频图像与下一帧的K帧差分图像，且通过最大最小值归一化方法将所述K帧差分图像的取值范围设置为0到1；

给出采样视频分辨率的高H、采样视频分辨率的宽W以及采样视频中单帧图像的通道数C，并根据所述B个视频与所述K帧视频图像，构建方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^B ^×K×H×W×C；

S20，根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}，计算方法的输出

和

对所述K帧图像和K帧差分图像进行特征提取，得到单帧视频图像特征F_i ^image _i＝[1,2..K]∈R^1×D和差分图像特征F_i ^diff _i＝[1,2..K]∈R^1×D；

融合单帧视频图像特征F_i ^image _i＝[1,2..K]∈R^1×D和差分图像特征F_i ^diff _i＝[1,2..K]∈R^1×D的特征向量变成F_{ii＝[1,2..K]}∈R^1×D的特征向量，从而得K帧视频图像和K帧差分图像的特征矩阵F∈R^K×2D；

基于所述特征矩阵在时间维度上进行最大池化，以对K帧视频图像特征和差分图像特征进行融合，得到所述排水管道视频的特征，并基于所述排水管道视频的特征确定所述排水管道是否存在异常；

S30，根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L；

S40，根据所述差距L，计算更新方法的参数θ；

2.根据权利要求1所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述方法还包括：

S60，给定方法所需迭代的优化次数为T，如果迭代次数未达到T次，则返回步骤S10继续优化。

3.根据权利要求1或2所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述步骤S20包括：

S210，给定优化方法为f_θ，θ为需要学习的参数；

S220，根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}，获取与其相对应的真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17；

S230，根据所述真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17，计算出方法的输出

和

4.根据权利要求1或2所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述步骤S30包括：

步骤S310，计算Labnomal；步骤S320，计算Lcategory；

步骤S330，根据Labnomal与Lcategory，计算出所述方法的输出和输入数据真实值之间的差距L。

5.根据权利要求1或2所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述步骤S40包括：

S410，计算

S420，根据

参数θ与差距L，更新方法的参数θ。

6.一种基于多实例学习的城市排水管道视频异常检测装置，其特征在于，包括：

输入模块，用于对排水管道视频进行数据采样处理，根据排水管道视频的数据集，随机采样出B个视频，从每个采样视频中均匀采样出K帧视频图像，计算所述K帧视频图像与下一帧的K帧差分图像，且通过最大最小值归一化方法将所述K帧差分图像的取值范围设置为0到1，给出采样视频分辨率的高H、采样视频分辨率的宽W以及采样视频中单帧图像的通道数C，并根据所述B个视频与所述K帧视频图像，构建方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^B ^×K×H×W×C；

输出模块，用于根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^diff∈R^{B×K×H×W×C}，计算方法的输出

和

对所述K帧图像和K帧差分图像进行特征提取，得到单帧视频图像特征F_i ^image _i＝[1,2..K]∈R^1×D和差分图像特征F_i ^diff _i＝[1,2..K]∈R^1×D；融合单帧视频图像特征F_i ^image _i＝[1,2..K]∈R^1×D和差分图像特征F_i ^diff _i＝[1,2..K]∈R^1×D的特征向量变成F_{ii＝[1,2..K]}∈R^1×D的特征向量，从而得K帧视频图像和K帧差分图像的特征矩阵F∈R^K×2D；基于所述特征矩阵在时间维度上进行最大池化，以对K帧视频图像特征和差分图像特征进行融合，得到所述排水管道视频的特征，并基于所述排水管道视频的特征确定所述排水管道是否存在异常

计算差距模块，用于根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L；

计算更新模块，用于根据所述差距L，计算更新方法的参数θ；

判定模块，用于给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

7.一种计算机装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如权利要求1-5任一项所述的基于多实例学习的城市排水管道视频异常检测方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，处理器用于执行存储介质中存储的计算机程序实现如权利要求1-5任意一项所述的基于多实例学习的城市排水管道视频异常检测方法。