CN114972298B - 一种城市排水管道视频的检测方法及系统 - Google Patents
一种城市排水管道视频的检测方法及系统 Download PDFInfo
- Publication number
- CN114972298B CN114972298B CN202210677652.3A CN202210677652A CN114972298B CN 114972298 B CN114972298 B CN 114972298B CN 202210677652 A CN202210677652 A CN 202210677652A CN 114972298 B CN114972298 B CN 114972298B
- Authority
- CN
- China
- Prior art keywords
- video
- pipeline
- image frame
- urban drainage
- drainage pipeline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 24
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000012015 optical character recognition Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种城市排水管道视频的检测方法及系统,检测方法包括:(A)若接收到城市排水管道视频,则查询所有队列的状态;若各个队列均处于忙碌,则令接收到的视频的状态为排队状态;若存在处于空闲状态的队列,且不存在处于排队状态的视频,则对接收到的视频进行处理;若存在处于空闲状态的队列,且存在处于排队状态的视频,则将接收到的视频的状态标记为排队状态,按照排队顺序对处于排队状态的视频进行处理;(B)若存在处于排队状态的视频,则定时查询各个队列的状态,若任一个队列的状态由忙碌状态转换为空闲状态,则按照排队顺序对处于排队状态的视频进行处理。
Description
技术领域
本申请属于人工智能领域,尤其涉及一种城市排水管道视频的检测方法及系统。
背景技术
排水管网系统作为城镇基础设施的重要组成部分,旨在收集废水,雨水和地下水并将其运输到处理设施。随着我国城镇化建设不断深入,地下管道越来越密集,大批管道因为年限较为久远,易老化而发生泄漏、爆破等事故,对环境、社会经济及人身安全造成损害。
在现有的城市排水管网检测中,一般采用CCTV(闭路电视检测系统),即由操作人员控制地下管道机器人对管道进行实况拍摄,然后将拍摄视频交由专业检查人员通过人工判定管道是否存在缺陷(例如管道泄漏等)。
现有技术中也有管道缺陷检测算法,但这些管道缺陷检测算法仅能针对单张图片进行处理,如果要应用管道缺陷检测方法自动检测管道缺陷,则需要将拍摄的视频转换为图像帧,再对每个图像帧进行处理。而这样处理又会面临如下问题:
1)无法直接确定检测到的缺陷在管道中的位置,即无法实现缺陷的直接定位;
2)无法自动化实现管道与相应视频的匹配,需要人工进行配对,工作量大;
3)当管道视频数量较多时,各个视频都需要排队进行缺陷检测,而且每个视频中的管道缺陷检测都需要花费较多时间,使得检测效率低。而且,当检测任务较重、且需要较早获得检测结果时,为了避免因数据传输故障造成整个检测过程暂停,使得人员需要在整个检测过程中值守,耗费人力。
发明内容
本发明要解决的问题是针对现有城市排水管道视频检测中将拍摄的视频转换为图像帧、再对每个图像帧进行处理来检测管道缺陷时无法实现缺陷的直接定位、无法自动化实现管道与相应视频的匹配、各个视频都需要排队进行缺陷检测使得检测效率低的问题,提供一种城市排水管道视频的检测方法及系统。
为解决上述技术问题,本发明采用的技术方案是:一种城市排水管道视频的检测方法,所述城市排水管道视频由城市排水管道内移动的视频采集装置获得,每个城市排水管道视频与城市排水管网中的一个管道对应;所述城市排水管道视频中显示有所述视频采集装置在与该城市排水管道视频对应的管道中的移动距离,所述城市排水管道视频中对应于视频采集装置移动前的视频的部分显示有管道信息;
所述城市排水管道视频的检测方法包括:
(A)若接收到城市排水管道视频,则查询所有K个队列的状态,K≥2;
若各个队列均处于忙碌状态,则令接收到的城市排水管道视频的状态为排队状态;
若存在处于空闲状态的队列,且不存在处于排队状态的城市排水管道视频,则对接收到的城市排水管道视频执行传输处理;
若存在处于空闲状态的队列,且存在处于排队状态的城市排水管道视频,则将接收到的城市排水管道视频的状态标记为排队状态,按照排队顺序对处于排队状态的城市排水管道视频执行传输处理;
(B)若存在处于排队状态的城市排水管道视频,则定时查询各个队列的状态,若任一个队列的状态由忙碌状态转换为空闲状态,则按照排队顺序对处于排队状态的城市排水管道视频执行传输处理;
其中,执行传输处理的步骤包括:按照拍摄时间顺序,提取城市排水管道视频中的各个图像帧,将与同一个城市排水管道视频对应的各个图像帧依次传输到所选择的一条队列中;所述所选择的一条队列是从处于空闲状态的队列中随机选取;
所述城市排水管道视频的检测方法还包括:
(C)若队列接收到图像帧,则执行检测操作,其中检测操作包括:根据队列中的图像帧检测管道信息,从而将城市排水管道视频与管道信息进行关联,对队列中的各个图像帧中的管道缺陷进行检测,且确定管道缺陷在管道中的位置;各个队列相互独立设置;不同队列中的检测操作独立执行;
其中,若条件一、条件二中的任一个条件满足,则将队列的状态标记为忙碌状态,否则,将队列的状态标记为空闲状态;
条件一为:图像帧正在被传输到队列中;
条件二为:队列中的图像帧正在被执行检测操作。
申请人在研究时发现,将视频转换为图像帧的过程相对较快、耗时较短,而对图像帧中管道缺陷进行检测耗时相对较长,为了保证资源有效利用,本发明中设置了K个队列,不同队列中的检测独立执行,使得耗时较长的管道缺陷检测可以并行执行。而耗时较短的将视频转换为图像帧的过程采用排队的形式执行,从而在尽量降低成本的情况下,提高处理效率。通过检测城市排水管道视频中的管道信息,从而将城市排水管道视频与管道信息进行关联,从而可以将检测到的缺陷与具体的管道进行关联。通过在视频中显示的所述移动距离(即视频采集装置在对应的管道中的移动距离),从而可以在检测到图像帧中的管道缺陷时,也可以在该图像帧中检测到视频采集装置的移动距离,从而可以直接检测缺陷在管道中的位置,检测效率高。
本发明中,通过设定队列状态,使得新的视频检测任务更合理的分配到需要的队列,从而提高整个系统运行效率。若各个队列均为忙碌状态,则令接收到的城市排水管道视频为排队状态,当有空闲队列时,按照视频排队的顺序,依次对视频进行处理。为了避免不同管道的检测数据相互混淆,本发明中将与同一个城市排水管道视频对应的各个图像帧依次传输到所选择的一条队列中,从而使得每个队列可以对一个管道对应的视频进行处理。若存在处于排队状态的视频,则定时查询各个队列的状态,从而在队列从忙碌状态转换为空闲状态后,及时对排队的视频进行处理。
采用本发明的方案,当管道视频数量较多时,可以采用多个队列并行检测与多个管道分别对应的多个视频,使得检测效率高。当检测任务较重、且需要较早获得检测结果时,由于并行检测的效率高,使得即使需要人员值守,值守时间也可以大大缩短,从而节约人力。
上述技术方案中,对图像帧中的管道缺陷进行检测之前,判断该图像帧是否为无效图像帧,若判断结果为是,则忽略该图像帧,且检测下一个图像帧中的管道缺陷。
申请人发现,在视频采集装置前进过程中存在因镜头移动导致的图像模糊,因此存在大量无效图像帧,如果对每个图像帧都进行检测,则浪费计算资源且耗时。本申请中,忽略无效图像帧,即不检测无效图像帧中的管道缺陷,从而可以节约检测时间、提高检测效率。
上述技术方案中,判断图像帧是否为无效图像帧的方法包括:
检测各个图像帧中显示的所述移动距离,在与同一个城市排水管道视频对应的各个图像帧中,将移动距离为0所对应的图像帧(即图像中显示移动距离为0的图像帧)之前的各个图像帧标记为无效图像帧;
检测图像帧的清晰度值,若图像帧的清晰度值小于预设清晰度值,则判断该图像帧为无效图像帧;
检测图像帧的拍摄方向,若图像帧的拍摄方向与管道延伸方向大于预设角度,则判断该图像帧为无效图像帧。
其中,若同一个城市排水管道视频对应的各个图像帧中显示的移动距离均不为0,则剔除该城市排水管道视频。
上述技术方案中,确定管道缺陷在管道中的位置的方法包括:根据管道缺陷所在的图像帧中显示的移动距离,确定检测到的管道缺陷在管道延伸方向上所在的位置。
申请人在研究时发现,同一辆视频采集装置可以用于检测多个管道,在检测新的管道时,需将视频采集装置的移动距离归零,再令视频采集装置移动,从而在对图像帧检测时可以将检测到的缺陷与实际的管道中的位置进行对应。因此,在移动距离为0前的各个图像帧是无需检测的。本发明中,将模糊的图像帧、拍摄方向不符合要求的图像帧、未将视频采集装置的移动距离归零之前所对应的图像帧均舍弃,从而可以节约检测时间、提高检测效率。
另外,同一辆视频采集装置可以用于检测多个管道,若在检测新的管道时,未将视频采集装置的移动距离归零,则在对图像帧检测时无法将检测到的缺陷与实际的管道中的位置进行对应,不符合检测要求,则需舍弃该视频。
上述技术方案中,将城市排水管道视频的各个图像帧传输到队列的过程中,若发生故障导致传输中断,则标识该城市排水管道视频,且向用户发出第一通知信号。
本发明中,通过上述设置,可以捕获传输故障所对应的视频,从而可以提示用户,查找中断原因,或重新触发该视频的传输。
上述技术方案中,所述城市排水管道视频的检测方法还包括:
定时清理存储空间,所述存储空间用于存储所提取的与一个城市排水管道视频对应的各个图像帧。
本发明中,通过上述设置,可以及时清理因视频传输中断等导致的数据堆积,起到及时清理释放资源的作用。
上述技术方案中,所述城市排水管道视频中对应于视频采集装置移动前的视频的部分拍摄有用于显示管道信息的管道信息牌,通过检测与管道信息牌对应的图像帧,从而检测得到城市排水管道视频中的管道信息。
本发明中,通过上述设置,可以较方便的通过检测视频确定与该视频对应的管道信息,从而方便将视频与相应管道信息相关联。
本发明还提供一种城市排水管道视频的检测系统,包括处理器,所述处理器被配置为用于执行上述所述的城市排水管道视频的检测方法的步骤。
本发明提供一种城市排水管道视频的检测方法及系统,实现了多视频并行的高效视频缺陷检测。
本发明所带来的有益效益包括:
1. 实现多视频的自动图像帧抽取及分拣,保证了管道视频的完整性与一致性,实现管道视频的并发AI检测。
2. 实现管道基本信息的自动提取,并完成视频文件与管道信息的自动关联绑定。
3. 实现管道视频的无效图像帧剔除,节约服务器计算资源,提升了管道视频AI检测的效率。
4. 实现管道检测视频中缺陷的位置信息提取,从而完成管道缺陷的定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是本发明实施例的城市排水管道视频的检测方法的流程示意图;
图2是本发明实施例的开启检测进程的具体步骤的示意图;
图3是本发明实施例的视频分拣器处理多个管道视频的步骤;
图4是本发明实施例的检测图像帧是否为无效图像帧的步骤示意图。
具体实施方式
下面将结合本申请的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
近年来,深度学习已在各种计算机视觉任务(例如图像分类和对象检测)中获得了良好的性能。与传统的计算机视觉技术相比,基于深度学习的方法能够自动提取图像特征,并且对图像预处理的要求并不高,且大大提高了准确性和效率。深度学习的出现不断地提高了人工智能算法在计算机视觉任务中的基线,也为管道复杂场景的识别带来了更大的可行性。
本发明提供一种城市排水管道视频的检测方法,所述城市排水管道视频由城市排水管道内移动的视频采集装置拍摄得到,每个城市排水管道视频与城市排水管网中的一个管道对应;
所述城市排水管道视频中显示有所述视频采集装置在与该城市排水管道视频对应的管道中的移动距离;所述城市排水管道视频中对应于视频采集装置移动前的视频的部分显示有管道信息;
所述城市排水管道视频的检测方法包括:
(A)若接收到城市排水管道视频,则查询所有K个队列的状态,K≥2;
若各个队列均处于忙碌状态,则令接收到的城市排水管道视频的状态为排队状态;
若存在处于空闲状态的队列,且不存在处于排队状态的城市排水管道视频,则对接收到的城市排水管道视频执行传输处理;
若存在处于空闲状态的队列,且存在处于排队状态的城市排水管道视频,则将接收到的城市排水管道视频的状态标记为排队状态,按照排队顺序对处于排队状态的城市排水管道视频执行传输处理;
(B)若存在处于排队状态的城市排水管道视频,则定时查询各个队列的状态,若任一个队列的状态由忙碌状态转换为空闲状态,则按照排队顺序对处于排队状态的城市排水管道视频执行传输处理;
其中,执行传输处理的步骤包括:按照拍摄时间顺序,提取城市排水管道视频中的各个图像帧,将与同一个城市排水管道视频对应的各个图像帧依次传输到所选择的一条队列中;所述所选择的一条队列是从处于空闲状态的队列中随机选取;
所述城市排水管道视频的检测方法还包括:
(C)若队列接收到图像帧,则执行检测操作,其中检测操作包括:根据队列中的图像帧检测管道信息,从而将城市排水管道视频与管道信息进行关联,对队列中的各个图像帧中的管道缺陷进行检测,且确定管道缺陷在管道中的位置;各个队列相互独立设置;不同队列中的检测操作独立执行;
其中,若条件一、条件二中的任一个条件满足,则将队列的状态标记为忙碌状态,否则,将队列的状态标记为空闲状态;
条件一为:图像帧正在被传输到队列中;
条件二为:队列中的图像帧正在被执行检测操作。
视频采集装置可位于在管道内行驶的车辆(例如小车)上。车辆移动带动视频采集在管道内移动。
对图像帧中的管道缺陷进行检测之前,判断该图像帧是否为无效图像帧,若判断结果为是,则忽略该图像帧,且检测下一个图像帧中的管道缺陷。
判断图像帧是否为无效图像帧的方法包括:
检测各个图像帧中显示的视频采集装置的所述移动距离,在与同一个城市排水管道视频对应的各个图像帧中,将移动距离为0所对应的图像帧之前的各个图像帧标记为无效图像帧;
检测图像帧的清晰度值,若图像帧的清晰度值小于预设清晰度值,则判断该图像帧为无效图像帧;
检测图像帧的拍摄方向,若图像帧的拍摄方向与管道延伸方向大于预设角度,则判断该图像帧为无效图像帧。
其中,若同一个城市排水管道视频对应的各个图像帧中显示的视频采集装置的移动距离均不为0,则剔除该城市排水管道视频。
预设角度可为30度或15度。本领域技术人员也可根据实际需要进行设置。
确定管道缺陷在管道中的位置的方法包括:根据管道缺陷所在的图像帧所对应的视频采集装置的移动距离(即图像帧中显示的移动距离),从而确定检测到的管道缺陷在管道延伸方向上所在的位置。可通过OCR从视频或视频的图像帧中提取视频采集装置的移动距离,从而获得位置信息。
将城市排水管道视频的各个图像帧传输到队列的过程中,若发生故障导致传输中断,则标识该城市排水管道视频,且向用户发出第一通知信号。
城市排水管道视频的检测方法还包括:定时清理存储空间,所述存储空间用于存储所提取的与一个城市排水管道视频对应的各个图像帧。
所述城市排水管道视频中对应于视频采集装置移动前的视频的部分拍摄有用于显示管道信息的管道信息牌,通过检测与管道信息牌对应的图像帧,从而检测得到城市排水管道视频中的管道信息。
本发明还提供一种城市排水管道视频的检测系统,其特征在于,包括处理器,所述处理器被配置为用于执行所述的城市排水管道视频的检测方法的步骤。
以下对本申请方案,进一步进行阐述。
如图1-4所示,本申请提出了一种城市排水管道视频AI检测算法的部署方法及系统,包括:
S1:获取原始排水管网检测视频。
S2:根据服务器承载能力,确定允许同时检测的视频数量,开启对应数量的进程。在本实施例中,可采用NVIDIA RTX 2070 Titan型号的GPU,允许同时检测8个视频。
步骤S2中开启对应数量的进程的具体步骤如下:
S21:在每个进程中单独加载管道缺陷检测模型。
需要说明的是,本实施例中,管道缺陷检测模型可采用现有技术的模型,例如现有的GPU的卷积神经网络模型,该模型可采用已有方法、使用管道缺陷数据预训练,本领域技术人员可以理解。模型的输入为单张管网内部拍摄的图像(即一个图像帧),输出的结果为该图像中的管道缺陷与等级(如有缺陷)。
S22:创建与进程数相同的消息队列(或称队列),用于接受需要AI缺陷检测的图像帧。
S23:将每个进程与一个消息队列进行关联绑定,即每个进程的缺陷检测模型只允许处理与之绑定的消息队列中储存的图像帧。
S3:将原始排水管道视频传入视频分拣器,由分拣器进行视频逐帧抽取并进行消息队列的分配与传入,其分配结果保证了每个视频的图像信息进入了同一个消息队列,进而确保后续处理步骤中原始视频的完整性与一致性。
所谓视频的完整性,是指后续管道检测视频处理步骤中, 所处理的视频图像帧信息是连续且完整的;视频的一致性,是指后续的管道检测视频处理步骤中,所处理的视频图像帧,全部来自同一个原始管道检测视频文件,没有其他视频文件的图像帧混入其中。
步骤S3中视频分拣器处理多个管道视频的具体步骤如下:
S31:将某一视频传入视频分拣器;
S32:查询所有队列状态;
所谓队列状态,是指当前消息队列是否正在检测某一管道视频,一共分为两种,工作状态、空闲状态;
工作状态是指当前队列正在检测某一管道视频,无法接收新的视频并发起检测;
空闲状态是指当前队列没有正在检测的管道视频,可以接收新的视频并发起检测;
设立队列状态,是为了让新的视频检测任务更合理的分配到需要的队列,起到负载均衡,提高整个系统运行效率的作用。
S33:选取一条消息队列,将该视频分配给该队列,根据队列状态的不同,有以下几种情况:
1)如果存在空闲状态的队列,则随机选取一条空闲状态的队列,将该视频传入该空闲队列,并将视频状态置为检测中,将该队列状态由空闲状态置为工作状态;
所谓视频状态,是指该视频的检测状态,分为未检测、检测中、排队、检测完成四种状态:
未检测状态是指该视频未经过检测,也未经过视频分拣器分配,所有视频初始状态均为未检测;
检测中状态是指该视频正在进行检测,位于某一个消息队列中;
排队状态是指当前不存在空闲状态的队列,该视频正在等待空闲状态的队列的出现,当某一工作状态的队列处理完当前视频,队列状态转为空闲时,排队状态的视频会触发检测;
检测完成状态是指该视频已经检测完管道缺陷。
2)如果不存在空闲状态的队列,则将该视频状态置为排队中,等待空闲队列的出现。当出现空闲队列后,按照排队的视频顺序,逐个触发检测,遵循先排队,先检测的触发原则。
S34:视频分拣器对该视频进行逐帧抽取,按照帧索引顺序传入选定的队列中;
S35:如果视频帧传入过程中,如果遇到意外错误(如视频编码错误、存在空帧、与消息队列的通讯故障或其他未预料到的错误),会造成该视频传输过程中断,此时视频分拣器会捕获该视频,方便用户重新触发该视频的检测。同时视频分拣器每一段时间会发起定时任务,清理因意外错误,视频传输过程中断导致的垃圾数据堆积,起到及时清理释放资源的作用。
所有各路视频需要经过同一个视频分拣器。分拣器还要进行整个管道检测系统的负载均衡,在抽帧或原始视频传入失败后,需要用定时任务清理无用数据以释放磁盘磁盘空间,需要配合缓存中间件,完成视频检测进度监控、状态监控、管道基本信息的传递等。
S4:视频的图像帧传入单个消息队列后,与之绑定的进程从消息队列中逐个获取视频文件的图像数据(即每个图像帧),由于消息队列的特性,此时取出的图像帧是按照视频播放先后顺序排列的。
S5:管道基本信息识别系统对视频中的文字信息进行识别与提取,并分析视频所匹配的管道编号。
需要说明的是,管道视频的上下两侧均有拍摄时外业人员输入的一些管道基本信息。利用OCR技术可以提取这些信息并进行分析,最终提取出管道的编号信息。OCR技术提取管道信息并分析是已有技术。
S6:管道视频有效帧筛选系统对视频每一图像帧的有效性进行筛选,剔除对缺陷检测无意义的无效图像帧。
步骤S6中对视频每一图像帧的有效性进行筛选的具体步骤如下:
S61:利用OCR从检测视频中提取小车(即车辆)的所在管道的位置信息,根据位置信息与整个视频的上下文信息判断小车位置是否置零,如果小车位置没有至零,判定图像帧为无效图像帧,无需对该帧图像进行S62及以后的步骤,直接进行下一张图像帧的有效帧判别。
需要说明的是,在城市排水管网CCTV检测流程中,当外业检测员开始正式管道检测时,需要将小车位置置零后,方可开始检测流程,因此置零操作是检测开始的标志,也是图像帧的有效判别的重要依据之一。
以管道延伸方向为一维坐标系,小车进入一侧的管道开始处为零点。小车进入管道后,虽然位置位于实际零点,但视频画面周围会现实小车位置位于x米处,这个数值一开始是不为零的,需要人工置零。这样才能保证检测过程中,图像帧显示的位置是小车的真实坐标。该数字系统将通过OCR进行识别得到,也就得到了小车的位置信息。利用OCR从视频中提取小车的所在管道的位置信息,是已有技术。
S62:利用模糊检测算法对图像帧的模糊程度进行判别,如果判定图像模糊程度超过某一预设的模糊阈值,则判定图像模糊,该图像帧为无效图像帧,无需对该帧图像进行S63及以后的步骤,直接进行下一张图像帧的有效帧判别。本实施例中,模糊检测算法可采用现有的算法,例如利用快速傅立叶变换(FFT)实现。
S63:利用镜头方向识别算法对管道CCTV机器人镜头方向进行检测,如果判定镜头方向不是沿管道方向,则图像帧为无效图像帧,无需对该帧图像进行S7及以后的步骤,直接进行下一张图像帧的有效帧判别。
当图像帧的拍摄方向不满足拍摄要求时(例如小车在管道中可能会转向管道壁方向或者其他角度),则过滤掉这些图像。
S7:通过有效性检测的图像帧输入AI检测模型,进行管道缺陷的检测与评级。
S8:如果步骤S7检测出管道缺陷,则将该图像帧输入缺陷定位系统进行缺陷位置检测,该系统利用OCR技术读取管道机器人的距离信息,从而完成缺陷的定位。视频画面下方有管道机器人的移动距离、速度等动态信息。利用OCR技术可以提取机器人的移动距离,由于检测开始时,小车位置经由操作员人为置零,进而获取小车的位置信息。OCR技术提取机器人的移动距离,是已有技术。
S9:将管道缺陷的类型、等级、位置信息与管道编号绑定,输出系统。
本申请提出了一种城市排水管道视频AI检测算法的部署方法及系统。其中,提出基于视频分拣器与消息队列的多视频AI检测自动检测系统,实现通过AI模型并发检测多个管道视频。本发明可基于光学字符识别(OCR)实现缺陷定位及管道基本信息识别系统,实现缺陷在管道中的位置追踪以及视频文件与管道的自动匹配;提出管道视频有效帧筛选系统,实现检测视频中无效图像帧的自动剔除。
针对大量的通过城市排水管网检测机器人采集到的CCTV检测视频,本发明设计了一种管网缺陷视频AI检测算法的部署方式,实现了从管网检测视频中全自动获取缺陷的类型、等级以及在管道中的位置。经工程应用表明,该部署方式可以稳定、高效的实现管网视频的自动化AI检测,简化了传统管网缺陷检测的内业工作流程,提高了城市排水管网检测效率。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等,均应仍归属于本申请涵盖范围之内。在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落入本申请所附权利要求所限定的范围。在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
Claims (10)
1.一种城市排水管道视频的检测方法,所述城市排水管道视频由城市排水管道内移动的视频采集装置获得,每个城市排水管道视频与城市排水管网中的一个管道对应;
其特征在于,所述城市排水管道视频中显示有所述视频采集装置在与该城市排水管道视频对应的管道中的移动距离;所述城市排水管道视频中对应于视频采集装置移动前的视频的部分显示有管道信息;
所述城市排水管道视频的检测方法包括:
(A)若接收到城市排水管道视频,则查询所有K个队列的状态,K≥2;
若各个队列均处于忙碌状态,则令接收到的城市排水管道视频的状态为排队状态;
若存在处于空闲状态的队列,且不存在处于排队状态的城市排水管道视频,则对接收到的城市排水管道视频执行传输处理;
若存在处于空闲状态的队列,且存在处于排队状态的城市排水管道视频,则将接收到的城市排水管道视频的状态标记为排队状态,按照排队顺序对处于排队状态的城市排水管道视频执行传输处理;
(B)若存在处于排队状态的城市排水管道视频,则定时查询各个队列的状态,若任一个队列的状态由忙碌状态转换为空闲状态,则按照排队顺序对处于排队状态的城市排水管道视频执行传输处理;
其中,执行传输处理的步骤包括:按照拍摄时间顺序,提取城市排水管道视频中的各个图像帧,将与同一个城市排水管道视频对应的各个图像帧依次传输到所选择的一条队列中;所述所选择的一条队列是从处于空闲状态的队列中随机选取;
所述城市排水管道视频的检测方法还包括:
(C)若队列接收到图像帧,则执行检测操作,其中检测操作包括:根据队列中的图像帧检测管道信息,从而将城市排水管道视频与管道信息进行关联,对队列中的各个图像帧中的管道缺陷进行检测,且确定管道缺陷在管道中的位置;各个队列相互独立设置;不同队列中的检测操作独立执行;
其中,若条件一、条件二中的任一个条件满足,则将队列的状态标记为忙碌状态,否则,将队列的状态标记为空闲状态;
条件一为:图像帧正在被传输到队列中;
条件二为:对队列中的图像帧正在执行检测操作。
2.根据权利要求1所述的城市排水管道视频的检测方法,其特征在于,对图像帧中的管道缺陷进行检测之前,判断该图像帧是否为无效图像帧,若判断结果为是,则忽略该图像帧,且检测下一个图像帧中的管道缺陷。
3.根据权利要求2所述的城市排水管道视频的检测方法,其特征在于,判断图像帧是否为无效图像帧的方法包括:检测各个图像帧中显示的所述移动距离,在与同一个城市排水管道视频对应的各个图像帧中,将移动距离为0所对应的图像帧之前的各个图像帧标记为无效图像帧;
优选地,若同一个城市排水管道视频对应的各个图像帧中显示的移动距离均不为0,则剔除该城市排水管道视频。
4.根据权利要求2所述的城市排水管道视频的检测方法,其特征在于,判断图像帧是否为无效图像帧的方法包括:检测图像帧的清晰度值,若图像帧的清晰度值小于预设清晰度值,则判断该图像帧为无效图像帧。
5.根据权利要求2所述的城市排水管道视频的检测方法,其特征在于,判断图像帧是否为无效图像帧的方法包括:检测图像帧的拍摄方向,若图像帧的拍摄方向与管道延伸方向大于预设角度,则判断该图像帧为无效图像帧。
6.根据权利要求1-5中任一项所述的城市排水管道视频的检测方法,其特征在于,确定管道缺陷在管道中的位置的方法包括:
根据管道缺陷所在的图像帧中显示的移动距离,确定检测到的管道缺陷在管道延伸方向上所在的位置。
7.根据权利要求1-5中任一项所述的城市排水管道视频的检测方法,其特征在于,将城市排水管道视频的各个图像帧传输到队列的过程中,若发生故障导致传输中断,则标识该城市排水管道视频,且向用户发出第一通知信号。
8.根据权利要求1-5中任一项所述的城市排水管道视频的检测方法,其特征在于,还包括:
定时清理存储空间,所述存储空间用于存储所提取的与一个城市排水管道视频对应的各个图像帧。
9.根据权利要求1-5中任一项所述的城市排水管道视频的检测方法,其特征在于,所述城市排水管道视频中对应于视频采集装置移动前的视频的部分拍摄有用于显示管道信息的管道信息牌,通过检测与管道信息牌对应的图像帧,从而检测得到城市排水管道视频中的管道信息。
10.一种城市排水管道视频的检测系统,其特征在于,包括处理器,所述处理器被配置为用于执行权利要求1-9中任一项所述的城市排水管道视频的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210677652.3A CN114972298B (zh) | 2022-06-16 | 2022-06-16 | 一种城市排水管道视频的检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210677652.3A CN114972298B (zh) | 2022-06-16 | 2022-06-16 | 一种城市排水管道视频的检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972298A CN114972298A (zh) | 2022-08-30 |
CN114972298B true CN114972298B (zh) | 2024-04-09 |
Family
ID=82963054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210677652.3A Active CN114972298B (zh) | 2022-06-16 | 2022-06-16 | 一种城市排水管道视频的检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972298B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298213A (zh) * | 2018-03-22 | 2019-10-01 | 北京深鉴智能科技有限公司 | 视频分析系统和方法 |
WO2021082662A1 (zh) * | 2019-10-30 | 2021-05-06 | 支付宝(杭州)信息技术有限公司 | 辅助用户拍摄车辆视频的方法及装置 |
CN113395523A (zh) * | 2021-06-11 | 2021-09-14 | 深圳市斯博科技有限公司 | 基于并行线程的图像解码方法、装置、设备及存储介质 |
CN114049378A (zh) * | 2021-11-05 | 2022-02-15 | 北京市商汤科技开发有限公司 | 一种排队分析方法和装置 |
-
2022
- 2022-06-16 CN CN202210677652.3A patent/CN114972298B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298213A (zh) * | 2018-03-22 | 2019-10-01 | 北京深鉴智能科技有限公司 | 视频分析系统和方法 |
WO2021082662A1 (zh) * | 2019-10-30 | 2021-05-06 | 支付宝(杭州)信息技术有限公司 | 辅助用户拍摄车辆视频的方法及装置 |
CN113395523A (zh) * | 2021-06-11 | 2021-09-14 | 深圳市斯博科技有限公司 | 基于并行线程的图像解码方法、装置、设备及存储介质 |
CN114049378A (zh) * | 2021-11-05 | 2022-02-15 | 北京市商汤科技开发有限公司 | 一种排队分析方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于角点特征分析的车辆排队长度检测方法;刘新平;张影;王风华;;计算机系统应用;20200415(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114972298A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101271514B (zh) | 一种快速目标检测和目标输出的图像检测方法及装置 | |
CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
Tian et al. | Power line recognition and tracking method for UAVs inspection | |
CN111080598A (zh) | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 | |
WO2019111976A1 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
CN113947731B (zh) | 一种基于接触网安全巡检的异物识别方法及系统 | |
CN110648319B (zh) | 基于双相机的设备图像采集诊断系统及方法 | |
CN110599469A (zh) | 一种动车组关键部位的缺陷检测方法、系统及电子设备 | |
CN110245268A (zh) | 一种路线确定、展示的方法及装置 | |
CN111223129A (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
CN111127448A (zh) | 一种基于孤立森林检测空气弹簧故障的模型及方法 | |
CN114266299A (zh) | 基于无人机作业的铁路桥梁钢结构缺陷检测方法及系统 | |
CN112070728A (zh) | 基于目标检测算法的钢绳表面缺陷识别方法 | |
CN115830407A (zh) | 一种基于yolov4目标检测模型的电缆管线故障判别算法 | |
CN113788051A (zh) | 列车在站运行状态监测分析系统 | |
US11455785B2 (en) | System and method for use in object detection from video stream | |
CN111612787A (zh) | 混凝土裂纹高分图像无损语义分割方法、装置及存储介质 | |
CN111027397A (zh) | 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备 | |
CN114972298B (zh) | 一种城市排水管道视频的检测方法及系统 | |
CN103824074A (zh) | 一种基于背景减除和纹理特征的人群密度估计方法及系统 | |
CN112001968A (zh) | 相机定位方法及装置、存储介质 | |
CN116739963A (zh) | 一种基于多层级多尺度特征融合的电网设备缺陷检测方法 | |
CN115035443A (zh) | 基于图片拍摄的落地垃圾检测方法、系统及装置 | |
CN104599339A (zh) | 一种基于视频的车辆超员监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |