CN116363530B - 高速公路路面病害的定位方法和装置 - Google Patents
高速公路路面病害的定位方法和装置 Download PDFInfo
- Publication number
- CN116363530B CN116363530B CN202310266661.8A CN202310266661A CN116363530B CN 116363530 B CN116363530 B CN 116363530B CN 202310266661 A CN202310266661 A CN 202310266661A CN 116363530 B CN116363530 B CN 116363530B
- Authority
- CN
- China
- Prior art keywords
- module
- convolution
- image frame
- feature
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 118
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 230000007547 defect Effects 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims description 53
- 238000011176 pooling Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims 2
- 230000002776 aggregation Effects 0.000 claims 2
- 238000007689 inspection Methods 0.000 abstract description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及计算机技术领域，尤其涉及一种高速公路路面病害的定位方法和装置。该方法包括：获取由无人机针对目标高速公路采集的待测图像帧；将待测图像帧输入到预先训练好的路面病害检测模型中，得到标记待测图像帧中路面病害的多个第一边界框；对多个第一边界框进行无监督聚类，得到至少一个第二边界框；其中，每个第二边界框均用于标记一个路面病害，第二边界框的面积比第一边界框的面积大；基于无人机的飞行参数、待测图像帧的像素和由无人机记录的待测图像帧中心的位置信息，对待测图像帧中路面病害的真实位置信息进行定位。本发明提供的技术方案能够解决传统巡检方式过度消耗公共交通资源的缺点。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种高速公路路面病害的定位方法和装置。
背景技术
高速公路作为一种基础性交通设施，为社会经济发展提供强有力的支撑。受环境、天气及交通负荷等因素影响，裂缝、坑洼等成为高速公路路面病害的早期表现形式之一，严重地影响着高速公路的使用质量。
以人工巡检和路面巡检车为主的传统巡检方式对采集的病害图像进行目视判断，并上报病害的位置信息位置。人工巡检机制需要养护工人在高速公路现场评估病害的深度和宽度，但存在阻碍交通、危险系数高等缺陷。路面巡检车通过高分辨率传感器获取路面的病害数据，相比人工巡检机制极大地提高了巡检效率。但是，造价昂贵的路面检测车需要在有人驾驶和均匀车速的条件下，以人工目视识别为主要方式辨识病害病害，其养护成本有待降低、工作效率有待提升。由此可见，传统巡检方式存在过度消耗公共交通资源的问题。
基于此，本发明提出了一种高速公路路面病害的定位方法和装置来解决上述技术问题。
发明内容
本发明描述了一种高速公路路面病害的定位方法和装置，能够解决传统巡检方式过度消耗公共交通资源的缺点。
根据第一方面，本发明提供了一种高速公路路面病害的定位方法，包括：
获取由无人机针对目标高速公路采集的待测图像帧；其中，所述无人机在采集时的飞行参数与所述目标高速公路的特征参数有关，所述飞行参数包括飞行高度、变焦相机的焦距和镜头传感器尺寸，所述特征参数包括所处地貌和单向车道数量；
将所述待测图像帧输入到预先训练好的路面病害检测模型中，得到标记所述待测图像帧中路面病害的多个第一边界框；其中，至少部分所述第一边界框存在重合；
对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框；其中，每个所述第二边界框均用于标记一个路面病害，所述第二边界框的面积比所述第一边界框的面积大；
基于所述无人机的飞行参数、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位。
根据第二方面，本发明提供了一种高速公路路面病害的定位装置，包括：
获取单元，被配置为获取由无人机针对目标高速公路采集的待测图像帧；其中，所述无人机在采集时的飞行参数与所述目标高速公路的特征参数有关，所述飞行参数包括飞行高度、变焦相机的焦距和镜头传感器尺寸，所述特征参数包括所处地貌和单向车道数量；
检测单元，被配置为将所述待测图像帧输入到预先训练好的路面病害检测模型中，得到标记所述待测图像帧中路面病害的多个第一边界框；其中，至少部分所述第一边界框存在重合；
聚类单元，被配置为对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框；其中，每个所述第二边界框均用于标记一个路面病害，所述第二边界框的面积比所述第一边界框的面积大；
定位单元，被配置为基于所述无人机的飞行参数、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位。
根据第三方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现第一方面的方法。
根据第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据本发明提供的高速公路路面病害的定位方法和装置，通过利用无人机采集目标高速公路的待测图像帧，这样可以借助无人机的高分辨率和高频次的数据获取能力，可对高速公路路面病害事件做出快速响应；通过设置无人机在采集时的飞行参数，这样既可以保证采集的安全性，又可以保证采集的清晰度；通过利用预先训练好的路面病害检测模型来得到标记待测图像帧中路面病害的多个第一边界框，这样相比经典框的标记方式，多个第一边界框的标记方式不仅避免了极端框的出现，降低了模型训练的不稳定性，而且增加了标记框的个数，提高了可训练的正样本数量；同时，对于细长、不规则、连通性强的路面病害，多个第一边界框的标记方式克服了经典框摄入过多背景信息的缺点，降低了经典框固定大小内的信噪比，为路面病害检测模型的训练提供了可能性；通过对多个第一边界框进行无监督聚类来得到至少一个第二边界框，这样可以优化检测效果。最终，可以基于无人机的飞行参数、待测图像帧的像素和由无人机记录的待测图像帧中心的位置信息，对待测图像帧中路面病害的真实位置信息进行定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一个实施例的高速公路路面病害的定位方法的流程示意图；
图2示出了根据一个实施例的高速公路路面病害的定位装置的示意性框图；
图3示出了根据一个实施例的路面病害检测模型的结构示意图；
图4示出了根据一个实施例的第一残差模块、第二残差模块或第三残差模块的结构示意图；
图5示出了根据一个实施例的特征融合模块的结构示意图；
图6示出了根据一个实施例的无人机在不同飞行高度和不同焦距条件下采集的高速公路病害图像；
图7示出了根据一个实施例的对样本图像帧进行预处理的示意图；
图8示出了根据一个实施例的路面病害检测模型的检测结果和经过无监督聚类后的聚类结果；
图9示出了根据一个实施例的全尺度高速公路路面病害的检测结果。
具体实施方式
下面结合附图，对本发明提供的方案进行描述。
图1示出根据一个实施例的高速公路路面病害的定位方法的流程示意图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该方法包括：
步骤101、获取由无人机针对目标高速公路采集的待测图像帧。
在本步骤中，无人机在采集时的飞行参数与目标高速公路的特征参数有关，飞行参数包括飞行高度、变焦相机的焦距和镜头传感器尺寸，特征参数包括所处地貌和单向车道数量。
在一些实施方式中，无人机选用的是大疆公司生产的经纬M300 RTK无人机，该款无人机携带两块4920mAh的电池，可执行最大飞行高度为5000米、最大飞行时间为55分钟的航线任务。
在一些实施方式中，相机选用的是禅思H20T相机，该相机包含变焦相机、广角相机、热成像相机和激光测距仪共四个镜头，其中变焦相机可调节镜头焦距，拍摄高空间分辨率的病害图像，具体参数如表1所示：
表1
无人机的飞行高度、变焦相机的焦距等因素是影响路面病害成像清晰的关键。在大规模的采集病害图像数据前，需要确定最优的无人机的飞行高度和变焦相机的焦距。路面病害包括路面裂缝和路面坑洼，在此不进行具体限定。
高速公路的低空地理环境存在较多的飞行约束要素，对无人机的飞行安全造成一定的威胁。例如，丘陵地貌限制了无人机的飞行速度和作业高度。尤其是横跨高速公路上空的电线极易导致无人机发生碰撞事故。此外，极快车速形成的气流和丘陵峡谷路段特有的突风，使得无人机存在坠毁的风险。因此，有必要针对高速公路复杂的低空空域环境，设计安全的飞行高度。经过实地测试，经纬RTK M300无人机在高度H在[50m，100m]区间内飞行较为安全。
相机焦距f和图像的地面分辨率d是一对成反比的变量。事实上，给定无人机飞行高度H、镜头传感器尺寸s以及地面分辨率d，便可求出变焦相机需要设定的镜头焦距f，定义如下：
由公式可知，当固定传感器尺寸和飞行高度，增大相机焦距时，地面分辨率d越小，病害成像越清晰。本发明实施例实地拍摄了不同飞行高度和不同焦距条件下的病害图像，以确定最优的飞行高度和相机焦距，测试结果如图6所示。
图6共测试了3组飞行高度和3组焦距条件下的病害图像。由图可知，当焦距为25mm时，随着飞行高度的增加，图像覆盖路面的范围越来越大，但病害更加模糊；当固定飞行高度为100m时，随着焦距的增加，病害越来越清晰，但覆盖路面的范围越来越小。综合比较来看，在飞行高度为50m、焦距为25mm以及飞行高度100m、焦距50mm的条件下，既能覆盖单向双车道，又能拍摄比较清晰的病害图像。
在本步骤中，通过利用无人机采集目标高速公路的待测图像帧，这样可以借助无人机的高分辨率和高频次的数据获取能力，可对高速公路路面病害事件做出快速响应；通过设置无人机在采集时的飞行参数，这样既可以保证采集的安全性，又可以保证采集的清晰度。
步骤102、将待测图像帧输入到预先训练好的路面病害检测模型中，得到标记待测图像帧中路面病害的多个第一边界框。
在本步骤中，至少部分第一边界框存在重合。
作为一种优选的实施方式，路面病害检测模型是通过如下方式进行训练的：
获取由无人机针对目标高速公路采集的样本图像帧；
对样本图像帧中路面病害进行多个样本边界框的标记；
利用标记结果对预设的目标检测算法进行训练，得到路面病害检测模型。
在选取样本图像帧时，为了降低计算机资源的消耗，可以考虑对样本图像帧进行预处理。研究过程中，在预定的飞行高度和焦距情况下，采集了360张、尺寸为5184×3888像素大小的病害图像。图7展示了一个全尺寸的无人机视角下的病害图像。然而，全尺寸的病害图像输入到深度学习网络中进行训练时，会消耗大量的计算机资源。为此，本发明实施例通过裁剪和筛选两个数据预处理步骤，将全尺寸图像裁剪为小尺寸图像，并筛选出需要合适的病害图像，满足计算机的显存需求。具体步骤如下：(1)图像裁剪。如图7所示，一个全尺寸的病害图像通过1024×1024像素大小的滑动窗口，产生4行、6列的小图像，但最后一行和最后一列的小图像并不满足1024×1024大小。为此，将第三和第四行重叠208像素，将第五和第六列重叠960像素。至此，一张全尺寸的病害图像可产生24张、像素大小为1024×1024的小图像。(2)病害筛选。本发明实施例将未包含病害区域的小图像舍弃(如图7中灰色的小方块)，仅保留包含病害的图像(如图7中第3列1-3行的小图像)。
在对样本图像帧中路面病害进行多个样本边界框的标记时，可以采用LabelImg软件进行标记，其中需要遵循以下三个原则：(1)每个样本边界框的高和宽分别大于32像素，以避免路面病害成为小目标的检测对象。(2)相邻两个样本边界框的重合率在10％～50％之间，以包含更多的病害信息。(3)样本边界框要包含尽量少的背景信息，以避免模型训练不稳定。
在本步骤中，相比经典框的标记方式，多个第一边界框(或样本边界框)的标记方式不仅避免了极端框的出现，降低了模型训练的不稳定性，而且增加了标记框的个数，提高了可训练的正样本数量；同时，对于细长、不规则、连通性强的路面病害，多个第一边界框的标记方式克服了经典框摄入过多背景信息的缺点，降低了经典框固定大小内的信噪比，为路面病害检测模型的训练提供了可能性。
下面介绍路面病害检测模型的模型结构。
如图3所示，路面病害检测模型包括特征提取结构、特征融合结构和目标检测结构；
特征提取结构包括依次相连的第一深度卷积模块(即DWCBL)、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块(即CBAM)、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块(即CBL)、第一上采样模块(即Upsample)和第一特征拼接模块(即Concat)，第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
第一卷积注意力模块与第二特征拼接模块相连，第二卷积注意力模块与第一特征拼接模块相连，第四深度卷积模块与特征融合模块相连，第一标准卷积模块与第四特征拼接模块相连，第一特征拼接模块与第二标准卷积模块相连，第三卷积注意力模块与第三特征拼接模块相连，第四卷积注意力模块分别与第三标准卷积模块和目标检测结构相连，第五卷积注意力模块与目标检测结构相连。
在本实施例中，通过对特征提取结构和特征融合结构进行针对性优化，具体通过结合残差块和深度卷积模块实现算法的轻量化，在减少参数量和计算量的情况下保证特征提取过程中病害特征信息的完整度；并且利用卷积注意力模块实现对病害特征信息的自适应加权，以有效强化路面病害的表征。
如图4所示，第一残差模块、第二残差模块和第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接模块，其中：
第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，第二模块用于将由第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
特征拼接模块用于将第一模块输入的特征和第二模块输出的特征进行加运算，以加强路面图像的上下文特征。
在一些实施方式中，可以将U-Net中Vgg骨干网络替换为带有残差连接的ResNet34，ResNet34相比Vgg具有更深的网络层数，能获得更大范围的感受野和更丰富的上下文特征；同时，ResNet34网络结构中设置了残差连接和归一化层，如此可以降低模型在训练过程中因网络层数增加而出现网络退化的风险。
尽管如此，由于卷积运算本身的局限，ResNet34依旧无法实现对图像全局信息的处理，对模型效果提升有限。因此，为捕获病害信息的远距离依赖，强化病害特征的空间信息表达，本发明实施例提供的残差模块包括一个第一模块、一个第二模块和一个特征拼接模块，其中：(1)第一模块可以计算所有像素的注意力权值获得全局上下文特征；(2)第二模块可以利用全局上下文特征捕获通道间的依赖关系，自适应地重新校准通道方式的特征响应；(3)特征拼接模块可以将全局特征信息聚合到每个位置的特征上，得到添加全局信息后的特征图像。由此可以看出，该残差模块兼顾较强的全局建模能力和节省计算量的优点，而且在捕获特征信息长距离依赖关系的同时还能够更好地嵌入到特征提取网络的多个层次。
此外，为避免过多的下采样而导致病害空间信息丢失，本发明的编码网络移除了ResNet34的初始卷积层和池化层，同时将ResNet34中卷积下采样替换为池化下采样，以进一步减少参数量并加快训练速度。
如图5所示，特征融合模块包括多个不同尺寸的池化核、与每个池化核对应的卷积核以及一个上采样子模块，每个池化核用于对特征融合模块输入的特征进行池化，以得到不同范围的感受野，每个卷积核用于对与其对应的池化核输出的特征进行卷积运算，上采样子模块用于对所有卷积核输出的特征进行上采样。
在本发明实施例中，特征融合模块能够聚合不同尺度的特征信息，提高网络模型的感受野，增强模型对尺度不一、形状各异病害的识别能力。
具体地，由于部分病害图像存在开裂强度不均、形状各异的问题，模型在识别这类图像时往往难度较大。为进一步提高模型聚合多尺度信息的能力，适应不同病害提取环境的需要，本发明实施例提供的特征融合模块通过使用不同尺寸大小的池化核构建了具有不同尺度信息的特征(例如1×1、2×2、4×4、8×8)，运用卷积运算实现了各尺度内部特征信息的跨通道传递，拼接不同层次的特征信息而得到聚合了多尺度病害特征的输出结果。因此，特征融合模块的加入增强了模型对尺度变化的病害特征的表达能力，提高了模型在复杂背景下病害提取的精度。
步骤103、对多个第一边界框进行无监督聚类，得到至少一个第二边界框。
在本步骤中，每个第二边界框均用于标记一个路面病害，第二边界框的面积比第一边界框的面积大。
如图8所示，本发明实施例使用聚类算法将路面病害检测模型的第一边界框预测结果合并为第二边界，优化检测效果。在具体实现时，第一步，输入的病害图像经过路面病害检测模型和NMS后处理单元得到第一边界框的检测结果；第二步，多个第一边界框通过无监督聚类算法合并为第二边界。详细描述如下：
Step 1：给定一组病害图像测试数据集D＝{d1，...，di，...，dn}，其中i∈N*和n∈N*分别表示第几个测试图像和总测试图像数量。使用训练完成的路面病害检测模型对输入的di病害图像进行检测得到第一边界框的检测结果，并利用非极大抑制算法(Non-MaximumSuppression，NMS)去除堆叠、重复的框，挑选最优的检测结果。第一边界框包括两个属性值，置信度ci，j∈[0，1]和位置信息li，j＝{xi，j，yi，j，wi，j，hi，j}，其中li，j表示第i个测试图像的第j∈N*个框，{xi，j，yi，j}∈R表示第j个框的中心点坐标，{wi，j，hi，j}∈R表示第j个框的宽和高。
Step 2：由第一步可知，第i个测试图像的所有框Bi＝{bi，1，...，bi，j，...，bi，m}，bi，j＝{ci，j，li，j}，其中m表示总的框数量。首先对li，j中的预测框中心点坐标{xi，j，yi，j}按照如下公式进行归一化，减小聚类的计算复杂度，定义如下：
式中，wimg∈N*和himg∈N*分别表示测试图像的宽和高。其次，将每张测试图像归一化后的所有预测框中心点坐标进行无监督聚类，得到每个第一边界框的归属类别簇ki，j∈R。其中，使用的聚类算法为DBSCAN，仅需给出两个参数，即聚类半径r∈[0，1]和以该半径为圆内最小点个数rmin∈N*，便可得到同簇的第一边界框。然后根据ki，j，可以求出同簇的第一边界框Bi，k＝{bi，1，k，...，bi，j，k，...，bi，s，k}，其中bi，j，k表示bi，j的簇为k，s∈N*表示筛选出同一簇预测框的总个数，且s≤m。对每一簇Bi，k计算每个第一边界框的左、上、右、下四个坐标，定义如下：
式中，表示同簇单个第一边界框的角点坐标，分别构成同簇/>四个坐标集合。最后，对/>分别求出最小值/>对/>分别求出最大值/>构成同簇第一边界框合并为第二边界的空间坐标。需要说明的是，使用DBSCAN算法对第一边界框进行无监督聚类时，会产生孤立点聚类失败的情况。对于这种特殊情况，本发明实施例不特殊处理，仍然输出原始值。
为定位5184×3888全尺寸图像的病害位置信息，本发明实施例使用1024×1024大小的滑动窗口将其切分为子图，每个子图重叠200像素，并利用训练好的路面病害检测模型进行预测，得到全尺度病害图像的检测结果。由图9可知，本发明实施例构建的路面病害检测模型能够较好地识别高速公路沥青路面的病害位置信息，尤其是多个第一边界框合并为第二边界框的步骤可以显著提升病害检测的视觉效果。
步骤104、基于无人机的飞行参数、待测图像帧的像素和由无人机记录的待测图像帧中心的位置信息，对待测图像帧中路面病害的真实位置信息进行定位。
作为一种优选的实施方式，利用如下公式确定待测图像帧的分辨率：
式中，d为待测图像帧的分辨率，H为无人机的飞行高度，s为无人机的镜头传感器尺寸，F为无人机的变焦相机的焦距；
基于待测图像帧的分辨率、待测图像帧的像素和由无人机记录的待测图像帧中心的位置信息，对待测图像帧中路面病害的真实位置信息进行定位。
基于深度学习的路面病害检测模型仅能推算出病害区域在图像上的相对像素位置，但高速公路养护工作需要得到病害的实际位置信息。无人机通过实时差分定位(RealTime Kinematic，RTK)技术可以记录图像中心点的位置信息，为病害的定位提供了可行性。
举例来说，在50米的飞行高度H、25毫米的相机焦距f、1.44微米的传感器尺寸s的条件下，通过上述公式可计算出图像分辨率d为2.88毫米。同时无人机拍摄图像的大小为3888×5184像素，得到图像实际的覆盖面积为11.20米×14.93米，计算过程如下：
式中，area_h和area_w分别表示图像实际覆盖的高和宽。
进一步地，就可以基于待测图像帧的分辨率、待测图像帧的像素和由无人机记录的待测图像帧中心的位置信息，对待测图像帧中路面病害的真实位置信息进行定位。
综上所述，本发明提供的高速公路路面病害的定位方法，通过利用无人机采集目标高速公路的待测图像帧，这样可以借助无人机的高分辨率和高频次的数据获取能力，可对高速公路路面病害事件做出快速响应；通过设置无人机在采集时的飞行参数，这样既可以保证采集的安全性，又可以保证采集的清晰度；通过利用预先训练好的路面病害检测模型来得到标记待测图像帧中路面病害的多个第一边界框，这样相比经典框的标记方式，多个第一边界框的标记方式不仅避免了极端框的出现，降低了模型训练的不稳定性，而且增加了标记框的个数，提高了可训练的正样本数量；同时，对于细长、不规则、连通性强的路面病害，多个第一边界框的标记方式克服了经典框摄入过多背景信息的缺点，降低了经典框固定大小内的信噪比，为路面病害检测模型的训练提供了可能性；通过对多个第一边界框进行无监督聚类来得到至少一个第二边界框，这样可以优化检测效果。最终，可以基于无人机的飞行参数、待测图像帧的像素和由无人机记录的待测图像帧中心的位置信息，对待测图像帧中路面病害的真实位置信息进行定位。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
根据另一方面的实施例，本发明提供了一种高速公路路面病害的定位装置。图2示出根据一个实施例的高速公路路面病害的定位装置的示意性框图。可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图2所示，该装置包括：获取单元201、检测单元202、聚类单元203和定位单元204。其中各组成单元的主要功能如下：
获取单元201，被配置为获取由无人机针对目标高速公路采集的待测图像帧；其中，所述无人机在采集时的飞行参数与所述目标高速公路的特征参数有关，所述飞行参数包括飞行高度、变焦相机的焦距和镜头传感器尺寸，所述特征参数包括所处地貌和单向车道数量；
检测单元202，被配置为将所述待测图像帧输入到预先训练好的路面病害检测模型中，得到标记所述待测图像帧中路面病害的多个第一边界框；其中，至少部分所述第一边界框存在重合；
聚类单元203，被配置为对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框；其中，每个所述第二边界框均用于标记一个路面病害，所述第二边界框的面积比所述第一边界框的面积大；
定位单元204，被配置为基于所述无人机的飞行参数、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位。
作为一种优选的实施方式，所述路面病害检测模型包括特征提取结构、特征融合结构和目标检测结构；
所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连。
作为一种优选的实施方式，所述第一残差模块、所述第二残差模块和所述第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接模块，其中：
所述第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
所述第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
所述特征拼接模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征。
作为一种优选的实施方式，所述特征融合模块包括多个不同尺寸的池化核、与每个所述池化核对应的卷积核以及一个上采样子模块，每个所述池化核用于对所述特征融合模块输入的特征进行池化，以得到不同范围的感受野，每个所述卷积核用于对与其对应的池化核输出的特征进行卷积运算，所述上采样子模块用于对所有所述卷积核输出的特征进行上采样。
作为一种优选的实施方式，所述路面病害检测模型是通过如下方式进行训练的：
获取由无人机针对目标高速公路采集的样本图像帧；
对所述样本图像帧中路面病害进行多个样本边界框的标记；
利用标记结果对预设的目标检测算法进行训练，得到路面病害检测模型。
作为一种优选的实施方式，每个所述样本边界框的高和宽分别大于32像素，相邻两个所述样本边界框的重合率在10％～50％之间；和/或，
所述无监督聚类采用DBSCAN算法。
作为一种优选的实施方式，所述定位单元204，用于执行如下操作：
利用如下公式确定所述待测图像帧的分辨率：
式中，d为所述待测图像帧的分辨率，H为所述无人机的飞行高度，s为所述无人机的镜头传感器尺寸，F为所述无人机的变焦相机的焦距；
基于所述待测图像帧的分辨率、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图1所描述的方法。
根据再一方面的实施例，还提供一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图1所述的方法。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (7)
1.一种高速公路路面病害的定位方法，其特征在于，包括：
获取由无人机针对目标高速公路采集的待测图像帧；其中，所述无人机在采集时的飞行参数与所述目标高速公路的特征参数有关，所述飞行参数包括飞行高度、变焦相机的焦距和镜头传感器尺寸，所述特征参数包括所处地貌和单向车道数量；
将所述待测图像帧输入到预先训练好的路面病害检测模型中，得到标记所述待测图像帧中路面病害的多个第一边界框；其中，至少部分所述第一边界框存在重合；
对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框；其中，每个所述第二边界框均用于标记一个路面病害，所述第二边界框的面积比所述第一边界框的面积大；
基于所述无人机的飞行参数、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位；
所述路面病害检测模型包括特征提取结构、特征融合结构和目标检测结构；
所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连；
所述第一残差模块、所述第二残差模块和所述第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接子模块，其中：
所述第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
所述第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
所述特征拼接子模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征；
所述特征融合模块包括多个不同尺寸的池化核、与每个所述池化核对应的卷积核以及一个上采样子模块，每个所述池化核用于对所述特征融合模块输入的特征进行池化，以得到不同范围的感受野，每个所述卷积核用于对与其对应的池化核输出的特征进行卷积运算，所述上采样子模块用于对所有所述卷积核输出的特征进行上采样；
所述对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框，包括：
将所有第一边界框中心点坐标进行无监督聚类，得到每个第一边界框的归属类别簇，确定同簇的第一边界框，并对每一簇中每个第一边界框的左、上、右、下四个坐标进行计算，定义如下：
其中，分别表示同簇单个第一边界框的四个角点坐标，分别构成同簇中包含多个第一边界框角点坐标的四个角点坐标集合，即
对集合和/>分别求出最小值/>和/>对集合/>和/>分别求出最大值/>和/>并将/>作为同簇第一边界框合并为第二边界框的空间坐标。
2.根据权利要求1所述的方法，其特征在于，所述路面病害检测模型是通过如下方式进行训练的：
获取由无人机针对目标高速公路采集的样本图像帧；
对所述样本图像帧中路面病害进行多个样本边界框的标记；
利用标记结果对预设的目标检测算法进行训练，得到路面病害检测模型。
3.根据权利要求2所述的方法，其特征在于，每个所述样本边界框的高和宽分别大于32像素，相邻两个所述样本边界框的重合率在10％～50％之间；和/或，
所述无监督聚类采用DBSCAN算法。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于所述无人机的飞行参数、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位，包括：
利用如下公式确定所述待测图像帧的分辨率：
式中，d为所述待测图像帧的分辨率，H为所述无人机的飞行高度，s为所述无人机的镜头传感器尺寸，f为所述无人机的变焦相机的焦距；
基于所述待测图像帧的分辨率、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位。
5.一种高速公路路面病害的定位装置，其特征在于，包括：
获取单元，被配置为获取由无人机针对目标高速公路采集的待测图像帧；其中，所述无人机在采集时的飞行参数与所述目标高速公路的特征参数有关，所述飞行参数包括飞行高度、变焦相机的焦距和镜头传感器尺寸，所述特征参数包括所处地貌和单向车道数量；
检测单元，被配置为将所述待测图像帧输入到预先训练好的路面病害检测模型中，得到标记所述待测图像帧中路面病害的多个第一边界框；其中，至少部分所述第一边界框存在重合；
聚类单元，被配置为对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框；其中，每个所述第二边界框均用于标记一个路面病害，所述第二边界框的面积比所述第一边界框的面积大；
定位单元，被配置为基于所述无人机的飞行参数、所述待测图像帧的像素和由所述无人机记录的所述待测图像帧中心的位置信息，对所述待测图像帧中路面病害的真实位置信息进行定位；
所述路面病害检测模型包括特征提取结构、特征融合结构和目标检测结构；
所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连；
所述第一残差模块、所述第二残差模块和所述第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接子模块，其中：
所述第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
所述第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
所述特征拼接子模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征；
所述特征融合模块包括多个不同尺寸的池化核、与每个所述池化核对应的卷积核以及一个上采样子模块，每个所述池化核用于对所述特征融合模块输入的特征进行池化，以得到不同范围的感受野，每个所述卷积核用于对与其对应的池化核输出的特征进行卷积运算，所述上采样子模块用于对所有所述卷积核输出的特征进行上采样；
所述聚类单元在执行所述对多个所述第一边界框进行无监督聚类，得到至少一个第二边界框时，用于执行如下操作：
将所有第一边界框中心点坐标进行无监督聚类，得到每个第一边界框的归属类别簇，确定同簇的第一边界框，并对每一簇中每个第一边界框的左、上、右、下四个坐标进行计算，定义如下：
其中，分别表示同簇单个第一边界框的四个角点坐标，分别构成同簇中包含多个第一边界框角点坐标的的四个角点坐标集合，即
对集合和/>分别求出最小值/>和/>对集合/>和/>分别求出最大值/>和/>并将/>作为同簇第一边界框合并为第二边界框的空间坐标。
6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310266661.8A CN116363530B (zh) | 2023-03-14 | 2023-03-14 | 高速公路路面病害的定位方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310266661.8A CN116363530B (zh) | 2023-03-14 | 2023-03-14 | 高速公路路面病害的定位方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363530A CN116363530A (zh) | 2023-06-30 |
| CN116363530B true CN116363530B (zh) | 2023-11-03 |
Family
ID=86941252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310266661.8A Active CN116363530B (zh) | 2023-03-14 | 2023-03-14 | 高速公路路面病害的定位方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363530B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706211A (zh) * | 2019-09-17 | 2020-01-17 | 中国矿业大学(北京) | 基于卷积神经网络的铁路路基病害雷达图实时检测方法 |
| CN113256601A (zh) * | 2021-06-10 | 2021-08-13 | 北方民族大学 | 路面病害检测方法及系统 |
| CN113486764A (zh) * | 2021-06-30 | 2021-10-08 | 中南大学 | 一种基于改进的YOLOv3的坑洼检测方法 |
| CN113780211A (zh) * | 2021-09-16 | 2021-12-10 | 河北工程大学 | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 |
| CN113902729A (zh) * | 2021-10-26 | 2022-01-07 | 重庆邮电大学 | 一种基于YOLO v5模型的路面坑洼检测方法 |
| CN113962960A (zh) * | 2021-10-22 | 2022-01-21 | 西安电子科技大学 | 基于深度学习的路面病害检测方法 |
| CN114140396A (zh) * | 2021-11-10 | 2022-03-04 | 广州大学 | 基于无人机图像的路面破损检测方法、系统、装置和介质 |
| CN114140683A (zh) * | 2020-08-12 | 2022-03-04 | 天津大学 | 一种航拍图像目标检测的方法、设备与介质 |
| CN115359366A (zh) * | 2022-08-19 | 2022-11-18 | 中国人民解放军军事科学院系统工程研究院 | 基于参数优化的遥感图像目标检测方法 |
| CN115761881A (zh) * | 2022-11-08 | 2023-03-07 | 南京工业大学 | 一种基于改进yolov5-SFF的检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112326686B (zh) * | 2020-11-02 | 2024-02-02 | 坝道工程医院(平舆) | 无人机智能巡航路面病害检测方法、无人机和检测系统 |
-
2023
- 2023-03-14 CN CN202310266661.8A patent/CN116363530B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706211A (zh) * | 2019-09-17 | 2020-01-17 | 中国矿业大学(北京) | 基于卷积神经网络的铁路路基病害雷达图实时检测方法 |
| CN114140683A (zh) * | 2020-08-12 | 2022-03-04 | 天津大学 | 一种航拍图像目标检测的方法、设备与介质 |
| CN113256601A (zh) * | 2021-06-10 | 2021-08-13 | 北方民族大学 | 路面病害检测方法及系统 |
| CN113486764A (zh) * | 2021-06-30 | 2021-10-08 | 中南大学 | 一种基于改进的YOLOv3的坑洼检测方法 |
| CN113780211A (zh) * | 2021-09-16 | 2021-12-10 | 河北工程大学 | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 |
| CN113962960A (zh) * | 2021-10-22 | 2022-01-21 | 西安电子科技大学 | 基于深度学习的路面病害检测方法 |
| CN113902729A (zh) * | 2021-10-26 | 2022-01-07 | 重庆邮电大学 | 一种基于YOLO v5模型的路面坑洼检测方法 |
| CN114140396A (zh) * | 2021-11-10 | 2022-03-04 | 广州大学 | 基于无人机图像的路面破损检测方法、系统、装置和介质 |
| CN115359366A (zh) * | 2022-08-19 | 2022-11-18 | 中国人民解放军军事科学院系统工程研究院 | 基于参数优化的遥感图像目标检测方法 |
| CN115761881A (zh) * | 2022-11-08 | 2023-03-07 | 南京工业大学 | 一种基于改进yolov5-SFF的检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 一种改进的无人机对地小目标检测方法;仇男豪 等;电子设计工程;第28卷(第12期);第179-84页 * |
| 基于改进卷积注意力模块与残差结构的网络;张侣 等;《计算机科学》;第49卷(第03期);第211-217页 * |
| 深度学习中的单阶段小目标检测方法综述;李科岑 等;《计算机科学与探索》;第16卷(第01期);第41-58页 * |
| 融合DBSCAN的改进YOLOv3目标检测算法;李红云 等;计算机工程与应用(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363530A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| JP6798854B2 (ja) | 目的物個数推定装置、目的物個数推定方法及びプログラム | |
| KR102301631B1 (ko) | 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치 | |
| KR20200027889A (ko) | CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| KR20200091331A (ko) | 다중 카메라 혹은 서라운드 뷰 모니터링에 이용되기 위해, 타겟 객체 통합 네트워크 및 타겟 영역 예측 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 적응 가능한 cnn 기반 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
| CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| KR20200027888A (ko) | 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| CN109961013A (zh) | 车道线的识别方法、装置、设备及计算机可读存储介质 | |
| Zhang et al. | End to end video segmentation for driving: Lane detection for autonomous car | |
| EP3686807A2 (en) | Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same | |
| CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和系统 | |
| Malini et al. | An automatic assessment of road condition from aerial imagery using modified VGG architecture in faster-RCNN framework | |
| CN115049948A (zh) | 基于神经网络模型的无人机巡检方法、装置及相关设备 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| Sathvik et al. | An intelligent convolutional neural network based potholes detection using YOLO-V7 | |
| CN115909096A (zh) | 无人机巡航管道隐患分析方法、装置及系统 | |
| CN116168246A (zh) | 一种用于铁路工程的弃渣场识别方法、装置、设备及介质 | |
| CN114170188A (zh) | 一种俯视图像的目标计数方法、系统及存储介质 | |
| CN116363530B (zh) | 高速公路路面病害的定位方法和装置 | |
| CN116363088A (zh) | 基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质 | |
| CN114550016B (zh) | 一种基于上下文信息感知的无人机定位方法及系统 | |
| CN115527118A (zh) | 一种融合注意力机制的遥感图像目标检测方法 | |
| Polyantseva et al. | Neural network approaches in the problems of detecting and classifying roadway defects | |
| Sun et al. | UAV Photogrammetry-Based Accident Assessment Road Condition Analysis Using Image Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |