CN115272879A - 基于YOLOv4和直线特征的多尺度桥梁目标检测方法 - Google Patents

基于YOLOv4和直线特征的多尺度桥梁目标检测方法 Download PDF

Info

Publication number
CN115272879A
CN115272879A CN202210899367.6A CN202210899367A CN115272879A CN 115272879 A CN115272879 A CN 115272879A CN 202210899367 A CN202210899367 A CN 202210899367A CN 115272879 A CN115272879 A CN 115272879A
Authority
CN
China
Prior art keywords
bridge
target detection
yolov4
river
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210899367.6A
Other languages
English (en)
Inventor
喻金桃
赵秀云
李传广
孔壁
彭大祥
蒋丽婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception World Beijing Information Technology Co ltd
CETC 15 Research Institute
Original Assignee
Perception World Beijing Information Technology Co ltd
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception World Beijing Information Technology Co ltd, CETC 15 Research Institute filed Critical Perception World Beijing Information Technology Co ltd
Priority to CN202210899367.6A priority Critical patent/CN115272879A/zh
Publication of CN115272879A publication Critical patent/CN115272879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域,提出了基于YOLOv4和直线特征的多尺度桥梁目标检测方法,包括对输入的遥感影像建立金字塔,并对金字塔影像进行切片操作,得到多层切片;将多层切片分别输入桥梁目标检测模型,得到多层桥梁目标检测结果;将多层桥梁目标检测结果进行融合与合并,得到目标检测结果;其中,所述桥梁目标检测模型采用YOLOv4算法,在算法实现中,同时满足预设条件的目标被识别为桥梁目标,所述预设条件包括:桥梁横跨在河流之上、且桥梁长度和河流宽度的差值在设定范围内;桥梁长度和宽度的比例大于设定值。通过上述技术方案,解决了现有技术中桥梁目标检测精度低的问题。

Description

基于YOLOv4和直线特征的多尺度桥梁目标检测方法
技术领域
本发明属于图像处理技术领域,涉及基于YOLOv4和直线特征的多尺度桥梁目标检测方法。
背景技术
近年来,随着航空航天技术的飞速发展,卫星遥感图像的获取手段日益成熟,卫星图像的分辨率(包括时间、空间、辐射和光谱)正在不断提高。目前,遥感已突破数据获取的限制,正在走向全面应用阶段,为遥感影像目标检测识别奠定了数据基础。
随着卫星遥感图像处理、计算机视觉处理和人工智能技术的快速发展,遥感图像目标检测和识别技术成为研究的热点,广泛应用于生活和工作的各个方面。目标识别是图像解译领域最重要的研究内容之一,特别是近年来人工智能的迅速发展,给传统的图像目标检测和识别带来了新的发展方向和技术手段。卷积神经网络可以提取深层次的关键信息,并且能够自主完成目标的学习过程,因此具有较强的鲁棒性,是一种快速发展的检测方法。当前,基于深度学习的目标检测算法主要有两种:一阶段算法和两阶段算法。两阶段算法基于目标候选框思想,先提取目标候选框,再在其基础上训练检测模型,如Fast-CNN,Faster R-CNN等。而一阶段检测算法基于回归思想,直接利用检测网络获取目标的类别和位置信息,因此具备更高的检测效率,代表性的算法有SSD,YOLOv3,YOLOv4等。
桥梁作为一种典型的地物,在影像上有明显的目标特征,但是由于桥梁的种类较多,类型和用途比较复杂,周围的地物环境对目标的识别有较大的干扰,因此桥梁识别一直是影像目标检测的重难点之一。
发明内容
本发明提出基于YOLOv4和直线特征的多尺度桥梁目标检测方法,解决了现有技术中桥梁目标检测精度低的问题。
本发明的技术方案是这样实现的:包括
对输入的遥感影像建立金字塔,并对金字塔影像进行切片操作,得到多层切片;
将多层切片分别输入桥梁目标检测模型,得到多层桥梁目标检测结果;
将多层桥梁目标检测结果进行融合与合并,得到目标检测结果;
其中,所述桥梁目标检测模型采用YOLOv4算法,在算法实现中,同时满足预设条件的目标被识别为桥梁目标,所述预设条件包括:
桥梁横跨在河流之上、且桥梁长度和河流宽度的差值在设定范围内;
桥梁长度和宽度的比例大于设定值。
进一步,所述桥梁目标检测模型采用CSPDarknet53作为主干网络、YOLOv3作为Head、PANet作为特征融合模块、SPP作为附加模块。
进一步,CSPDarknet53包含5个大残差块,5个大残差块包含的小残差单元个数分别为1、2、8、8、4。
进一步,还包括:根据桥梁直线特征,采用Hough直线检测算法对所述目标检测结果进行校验,去除不符合Hough直线检测算法的目标检测结果。
进一步,所述桥梁横跨在河流之上、且桥梁的长度和河流的宽度的差值在设定范围内,具体包括:
Figure BDA0003770337820000021
其中,L为桥梁目标的长度,w为桥梁目标所在处河流宽度,wmean为图像中整体河流的平均宽度。
进一步,桥梁的长度是宽度的五倍以上。
本发明的工作原理及有益效果为:
本发明针对高分辨率遥感影像,采用效率高的YOLOv4目标检测算法作为基础检测网络,对输入影像构建金字塔影像,并在不同层的切片上检测桥梁目标,然后将金字塔影像的多层检测结果进行融合,获取目标检测结果。其中,在不断学习验证过程中,主要选择加入了几何特征和空间关系特征作为桥梁目标的先验知识库辅助验证,以上两类知识比较稳定,且尺度不变形较好,能够完成桥梁目标的识别与验证,提高了桥梁目标检测的精度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明中YOLOv4算法原理框图;
图2为本发明目标检测流程图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
1数据集制作
1.1样本数据标注
利用标注工具对高分辨率遥感图像中的桥梁目标使用“两点法”进行矩形框标注,并将遥感图像中所有标注好的目标信息以XML文件的格式存储到本地。对于每个目标,存储其矩形框的左上角坐标、右下角坐标以及类别等信息,图像和对应XML文件为标注结果。
1.2深度学习训练数据的生成和数据增广
1.2.1深度学习训练数据的生成
将标注好的大场景高分辨率遥感图像裁剪成深度学习网络输入的小场景图像。将深度学习网络输入小场景图像的大小作为滑动窗口的大小,并使用有重叠的滑动窗口在大场景遥感图像中扫描。如果当前滑动窗口中包含有效目标,则将当前滑动窗口对应的图像保存。将当前滑动窗口内所有目标对应矩形框的坐标和大小更新为相对新图像的坐标和大小,并保存成XML格式的标注文件。
1.2.2训练数据增广
为了提高深度学习目标检测模型对于多朝向目标检测的鲁棒性,对训练的样本数据进行增广,防止检测模型过拟合,增广方法如下:
(1)对大场景高分辨率遥感图像进行多角度旋转,并使用滑动窗口对旋转后的图像裁剪得到多朝向的目标图像。
(2)对有效的目标图像进行翻转、亮度对比度调整等操作,对训练和测试数据进一步增广。
2多尺度桥梁目标检测设计
2.1YOLOv4算法的原理
本实施例YOLOv4的网络结构如图1所示,采用CSPDarknet53作为主干网络,使用YOLOv3作为Head,PANet是Neck的特征融合模块,SPP为Neck的附加模块。其中Darknet53包含5个大残差块,5个大残差块包含的小残差单元个数分别为1、2、8、8、4。CSP可以有效提升CNN的学习能力,同时减少计算量,CSPDarknet53在每个大残差块基础上增加了CSPNet(Cross Stage Partial Network)。YOLOv4中还将融合的方法由加法改为乘法,并加入充分利用了特征融合的PANet(Path Aggregation Network)网络,使得网络具备更加精确的目标检测能力。
2.2桥梁的影像特征
长久以来,对桥梁特征的认知往往利用桥梁区域由一对平行直线组成、桥梁目标存在桥墩,桥头堡等先验知识,但是经过大量的实验与学习发现,上述特征并不能正确的表征桥梁,将影响桥梁的验证的准确性。因此选择桥梁特征的知识库就尤为重要,将影响算法学习的准确程度。本实施例在特征知识上主要选择了加入了几何特征和空间关系特征作为桥梁目标的先验知识库辅助验证。以上两类知识比较稳定,且尺度不变形较好,能够完成桥梁目标的识别与验证。在算法实现中,特征主要描述为:
知识1:桥梁横跨在河流之上且桥梁的长度和河流的宽度相近。
根据桥梁的实际功能,在遥感图像中桥梁目标的实际长度应该与其所在处的河流宽度比较接近。由于图像中桥梁目标往往与两侧的公路相连通,以及图像分割精度等因素的影响,桥梁目标、河流目标的长度和宽度与真实的长度和宽度有可能有所出入,并且当桥梁不是垂直穿过河流时,造成测量得到的长度比实际的长度会大。因此在进行匹配验证时桥梁长度的接受范围应该留有一定的裕度,具体判断条件如下:
Figure BDA0003770337820000041
其中,L为桥梁目标的长度,w为桥梁目标所在处河流宽度,wmean为图像中整体河流的平均宽度。
知识2:桥梁的长宽成一定的比例。
根据实际考察和经验,桥梁的长度至少是宽度的五倍以上,如果验证时满足该条件则认为该特征得到验证。
2.3多尺度桥梁检测
本实施例目标检测流程如图2所示,首先对输入的大场景遥感影像建立金字塔,然后对不同层的金字塔影像分别进行切片,将一定批量大小的切片输入桥梁目标检测模型进行桥梁目标检测;然后,将各层桥梁目标检测结果进行融合与合并,得到目标检测融合结果;最后,基于线性特征,检测直线去除部分虚检,得到大场景遥感影像桥梁目标检测结果。
2.3.1多尺度桥梁目标检测
在同一分辨率卫星遥感影像上桥梁目标尺寸大小不一,在样本数据不均衡或者尺寸差异较大的情况,会出现大目标或者小目标的漏检,为解决该问题,采用多尺度目标检测方法,将输入图像建立金字塔影像,分别对金字塔的不同层影像利用YOLOV4进行桥梁目标检测,最后将检测结果进行合并,减少尺度差异较大目标的漏检,提升目标检测的准确率。
2.3.2直线特征辅助虚检剔除
为了更为精确的提取桥梁,根据桥梁直线特征,加入直线检测,用以对结果去除最后目标的虚检。本实施例采用的是最成熟的Hough直线检测算法。
平面O-xy上的直线方程为:
y=ux+v (2)
因此,如果O-xy平面上有一条直线y=ux+v,那么它上面的每一点都对应于O-ρθ参数平面上的一条直线,这些直线相交于一点(m,n)。利用这个重要性质可以检测共点直线。注意到直线的斜率可能会接近于无穷大,为了使变换域有意义,需要采用直线方程的法线式表示:
xcosθ+ysinθ=ρ (3)
式中ρ是直线到坐标原点的距离,θ是直线法线x轴的夹角。
本实施例针对高分辨率遥感影像,采用效率较高的YOLOv4目标检测算法作为基础检测网络,对输入影像构建金字塔影像,并在不同影像尺度上检测桥梁目标,同时在检测过程中针对桥的直线特征,采取直线检测等辅助手段剔除虚假检测,提升检测准确率,降低虚检率。实验证明,该算法针对大幅遥感影像桥梁目标的检测具有较高的准确率,相对YOLOV4直接检测,该算法在精确率与召回率上分别提高10%和20%以上,同时也能保持较快的速度,具有较高的实际应用价值。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.基于YOLOv4和直线特征的多尺度桥梁目标检测方法,其特征在于,包括:
对输入的遥感影像建立金字塔,并对金字塔影像进行切片操作,得到多层切片;
将多层切片分别输入桥梁目标检测模型,得到多层桥梁目标检测结果;
将多层桥梁目标检测结果进行融合与合并,得到目标检测结果;
其中,所述桥梁目标检测模型采用YOLOv4算法,在算法实现中,同时满足预设条件的目标被识别为桥梁目标,所述预设条件包括:
桥梁横跨在河流之上、且桥梁长度和河流宽度的差值在设定范围内;
桥梁长度和宽度的比例大于设定值。
2.根据权利要求1所述的基于YOLOv4和直线特征的多尺度桥梁目标检测方法,其特征在于,所述桥梁目标检测模型采用CSPDarknet53作为主干网络、YOLOv3作为Head、PANet作为特征融合模块、SPP作为附加模块。
3.根据权利要求2所述的基于YOLOv4和直线特征的多尺度桥梁目标检测方法,其特征在于,CSPDarknet53包含5个大残差块,5个大残差块包含的小残差单元个数分别为1、2、8、8、4。
4.根据权利要求1所述的基于YOLOv4和直线特征的多尺度桥梁目标检测方法,其特征在于,还包括:根据桥梁直线特征,采用Hough直线检测算法对所述目标检测结果进行校验,去除不符合Hough直线检测算法的目标检测结果。
5.根据权利要求1所述的基于YOLOv4和直线特征的多尺度桥梁目标检测方法,其特征在于,所述桥梁横跨在河流之上、且桥梁的长度和河流的宽度的差值在设定范围内,具体包括:
Figure FDA0003770337810000011
其中,L为桥梁目标的长度,w为桥梁目标所在处河流宽度,wmean为图像中整体河流的平均宽度。
6.根据权利要求1所述的基于YOLOv4和直线特征的多尺度桥梁目标检测方法,其特征在于,桥梁的长度是宽度的五倍以上。
CN202210899367.6A 2022-07-28 2022-07-28 基于YOLOv4和直线特征的多尺度桥梁目标检测方法 Pending CN115272879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210899367.6A CN115272879A (zh) 2022-07-28 2022-07-28 基于YOLOv4和直线特征的多尺度桥梁目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210899367.6A CN115272879A (zh) 2022-07-28 2022-07-28 基于YOLOv4和直线特征的多尺度桥梁目标检测方法

Publications (1)

Publication Number Publication Date
CN115272879A true CN115272879A (zh) 2022-11-01

Family

ID=83770299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210899367.6A Pending CN115272879A (zh) 2022-07-28 2022-07-28 基于YOLOv4和直线特征的多尺度桥梁目标检测方法

Country Status (1)

Country Link
CN (1) CN115272879A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430763A (zh) * 2008-11-10 2009-05-13 西安电子科技大学 遥感图像中水上桥梁目标检测方法
CN101814144A (zh) * 2010-03-25 2010-08-25 西安电子科技大学 遥感图像中无水桥梁目标识别方法
CN111274918A (zh) * 2020-01-17 2020-06-12 生态环境部卫星环境应用中心 基于多源遥感影像的河流干涸断流监测方法和装置
CN112215208A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于改进YOLOv4的遥感影像桥梁目标检测算法
CN112818723A (zh) * 2019-11-15 2021-05-18 中科星图股份有限公司 遥感影像目标检测方法及系统
CN114239935A (zh) * 2021-12-06 2022-03-25 中国电子科技集团公司第十五研究所 一种针对非均匀轨迹序列的预测方法
CN114511568A (zh) * 2022-04-20 2022-05-17 西安博康硕达网络科技有限公司 基于无人机的高速公路桥梁检修方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430763A (zh) * 2008-11-10 2009-05-13 西安电子科技大学 遥感图像中水上桥梁目标检测方法
CN101814144A (zh) * 2010-03-25 2010-08-25 西安电子科技大学 遥感图像中无水桥梁目标识别方法
CN112818723A (zh) * 2019-11-15 2021-05-18 中科星图股份有限公司 遥感影像目标检测方法及系统
CN111274918A (zh) * 2020-01-17 2020-06-12 生态环境部卫星环境应用中心 基于多源遥感影像的河流干涸断流监测方法和装置
CN112215208A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于改进YOLOv4的遥感影像桥梁目标检测算法
CN114239935A (zh) * 2021-12-06 2022-03-25 中国电子科技集团公司第十五研究所 一种针对非均匀轨迹序列的预测方法
CN114511568A (zh) * 2022-04-20 2022-05-17 西安博康硕达网络科技有限公司 基于无人机的高速公路桥梁检修方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AI高级人工智能: "YOLOv4结构简介", 《知乎》, pages 1 *
ALEXEY BOCHKOVSKIY 等: "YOLOv4: Optimal Speed and Accuracy of Object Detection", 《ARXIV》 *
STATEABC: "YOLOv4网络详解", 《CSDN》, pages 1 - 6 *
余东行 等: "级联卷积神经网络的遥感影像飞机目标检测", 《测绘学报》, vol. 48, no. 8, pages 1 - 5 *
余培东等: "一种轻量化 YOLOv4 的遥感影像桥梁目标检测算法", 《海洋测绘》, vol. 42, no. 2, pages 59 - 64 *

Similar Documents

Publication Publication Date Title
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN106290388B (zh) 一种绝缘子故障自动检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN106600600A (zh) 基于特征匹配的晶圆缺陷检测方法
CN105913415A (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN104809732A (zh) 一种基于图像比对的电力设备外观异常检测方法
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN103439348A (zh) 基于差影法的遥控器按键缺陷检测方法
CN108664970A (zh) 一种快速目标检测方法、电子设备、存储介质及系统
CN112364834A (zh) 一种基于深度学习和图像处理的表格识别的还原方法
Zhu et al. Integrating saliency and ResNet for airport detection in large-size remote sensing images
CN111046950A (zh) 一种图像处理方法、装置、存储介质和电子装置
CN113240623A (zh) 一种路面病害检测方法及装置
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
Xu et al. Water level estimation based on image of staff gauge in smart city
CN113705564B (zh) 一种指针式仪表识别读数方法
CN114022764A (zh) 一种基于特征增强卷积网络的遥感影像输电杆塔检测方法
CN110084807A (zh) 一种焊缝探伤底片图像造假的检测方法
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
CN112183593A (zh) 一种基于dssd算法的道路损伤检测方法
Li et al. Detection of small size defects in belt layer of radial tire based on improved faster r-cnn
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
Yang et al. Defect detection scheme of pins for aviation connectors based on image segmentation and improved RESNET-50
CN115272879A (zh) 基于YOLOv4和直线特征的多尺度桥梁目标检测方法
CN116452826A (zh) 基于机器视觉的遮挡情况下煤矸石轮廓估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221101

RJ01 Rejection of invention patent application after publication