CN113159089A - 一种路面损伤识别方法、系统、计算机设备和存储介质 - Google Patents
一种路面损伤识别方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113159089A CN113159089A CN202110060324.4A CN202110060324A CN113159089A CN 113159089 A CN113159089 A CN 113159089A CN 202110060324 A CN202110060324 A CN 202110060324A CN 113159089 A CN113159089 A CN 113159089A
- Authority
- CN
- China
- Prior art keywords
- road surface
- damage
- road
- image
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 48
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 71
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003763 carbonization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Road Repair (AREA)
Abstract
本发明适用于计算机技术领域，提供一种路面损伤识别方法、系统、计算机设备和存储介质，路面损伤识别方法包括：获取路面图像采集点处的第一路面图像、第二路面图像以及第三路面图像，其为一个路面图像采集点处三个不同角度的图像；利用第一分类模型、第二分类模型以及第三分类模型分别识别三个路面图像中存在的路面损伤类型；根据三个路面图像中的路面损伤类型的权重值通过预设神经网络模型确定该路面图像采集点处的路面损伤类型。本方案通过获取一个采集点处三个不同角度的图像，然后分别识别其对应的损伤类型，再根据每一角度的路面图像识别出的损伤类型相对于实际损伤类型的权重值确定该采集点处的路面损伤类型，提高路面损伤类型的识别精度。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种路面损伤识别方法、系统、计算机设备和存储介质。
背景技术
随着全世界范围内城市化的发展，市政道路建设逐渐增多，国内外都在研究和探索如何提高道路施工建设的质量和施工完成后对道路的养护方法。由于路面材料劣化、基础的不均匀沉降、车辆荷载长期作用、温度变化、施工质量不高等原因均会引起路面损伤，而路面的裂缝会加速混凝土的碳化，降低混凝土抵抗各种侵蚀介质的耐腐蚀性能力、结构强度和稳定性，因此对路面定期检测能够及时发现路面结构存在的安全隐患，对隐患进行及时处理可以避免路面产生更严重的损失。
目前，路面的损伤的识别检测一般都是人工在各道路上实地观察，以对路面的损伤情况完成识别检测，但是人工对路面损伤识别检测的工作效率低，且人工只是根据经验对路面损伤通过观察进行识别检测，路面损伤的识别检测精度低。
可见需要一种路面损伤识别方法，来解决现有技术中人工观察检测工作效率低以及路面损伤的识别检测精度低的技术问题。
发明内容
本发明实施例的目的在于提供一种路面损伤识别方法，旨在解决现有技术中人工观察检测工作效率低以及路面损伤的识别检测精度低的技术问题。
本发明实施例是这样实现的，所述路面损伤识别方法包括：
获取路面图像采集点处的第一路面图像、第二路面图像以及第三路面图像，所述第一路面图像、所述第二路面图像以及所述第三路面图像为一个路面图像采集点处三个不同角度的图像；
利用第一分类模型、第二分类模型以及第三分类模型分别识别所述第一路面图像、所述第二路面图像以及所述第三路面图像中存在的路面损伤类型，所述路面损伤类型包括无损伤和损伤的类型；
根据所述第一路面图像、所述第二路面图像以及所述第三路面图像中的所述路面损伤类型的权重值通过预设神经网络模型确定该路面图像采集点处的所述路面损伤类型，所述权重值为一个角度的路面图像通过其分类模型所确定的路面损伤类型相对于其实际的路面损伤类型的权重。
本发明实施例的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的路面损伤识别方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的路面损伤识别方法的步骤。
本发明实施例的另一目的在于提供一种路面损伤识别系统，所述路面损伤识别系统包括：服务器和路面损伤检测无人机组；
所述路面损伤无人机组，至少包括一架路面损伤检测无人机，所述路面损伤检测无人机包括机身以及设置于所述机身上的图像采集模块、导航定位模块、控制模块以及信息收发模块；其中，所述图像采集模块，用于采集路面图像，所述图像采集模块至少包括第一摄像头、第二摄像头以及第三摄像头，所述第一摄像头、所述第二摄像头以及所述第三摄像头分别用于采集路面上同一位置处不同方向的图像；所述导航定位模块，用于获取路面图像采集点的位置信息；所述控制模块，用于控制所述图像采集模块的采集时间间隔；所述信息收发模块，用于将图像采集模块采集的路面图像发送至所述服务器；
所述服务器用于执行上述的一种路面损伤识别方法。
本发明实施例提供的一种路面损伤识别方法，通过获取一个路面图像采集点处的三个不同角度的图像，然后利用第一分类模型、第二分类模型以及第三分类模型分别识别出每一个角度的路面图像对应的路面损伤类型，再根据每一角度的路面图像识别出的损伤类型相对于实际损伤类型的权重值确定该采集点处的路面损伤类型，有效提高路面损伤类型的识别精度。
附图说明
图1为本发明实施例提供的一种路面损伤识别方法的应用环境图；
图2为本发明实施例提供的一种路面损伤识别方法的流程图；
图3为本发明实施例提供的一种包括对路面损伤进行测量的路面损伤识别方法的流程图；
图4为本发明实施例提供的一种对路面损伤进行测量的流程图；
图5为本发明实施例提供的一种计算机设备的内部结构框图；
图6为本发明实施例提供的一种路面损伤检测无人机的结构示意图；
图7为本发明实施例提供的一种路面损伤检测无人机设置激光收发装置的一侧的结构示意图；
图8为本发明实施例提供的一种路面损伤检测无人机设置激光反射装置的一侧的结构示意图；
图9为本发明实施例提供的一种路面损伤检测无人机上三个摄像头分别对 A采集点进行图像采集示意图；
图10为本发明实施例提供的一种水平测距装置的工作原理结构示意图；
附图中：1、机身；21、第一摄像头；22、第二摄像头；23、第三摄像头； 3、导航定位模块；4、控制模块；5、信息收发模块；6、竖直测距装置；7、定位校准模块；81、激光收发装置；82、激光反射装置；9、电源模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx 脚本。
图1为本发明实施例提供的一种路面损伤识别方法的应用环境图，如图1 所示，在该应用环境中，包括路面图像采集端110以及计算机设备120。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
路面图像采集端可以设置有摄像头工程车或者无人机，但并不局限于此。路面图像采集端110以及计算机设备120可以通过网络进行连接，本发明在此不做限制。
如图2所示，在一个实施例中，提出了一种路面损伤识别方法，本实施例主要以该方法应用于上述图1中的计算机设备120来举例说明。所述路面损伤识别方法，具体可以包括以下步骤：
步骤S202，获取路面图像采集点处的第一路面图像、第二路面图像以及第三路面图像，所述第一路面图像、所述第二路面图像以及所述第三路面图像为一个路面图像采集点处三个不同角度的图像。
在本发明实施例中，对第一路面图像、第二路面图像以及第三路面图像的具体获取方法不做限制，例如计算机设备120和路面图像采集端110通过网络进行连接，可以直接从路面图像采集端110获取。第一路面图像、所述第二路面图像以及所述第三路面图像为一个路面图像采集点处三个不同角度的图像是指：从不同的角度对路面图像采集点进行拍摄所获取的图像；本实施例对图像的采集角度不做限制，例如，以第二路面图像是从垂直于路面的正上方拍摄所获取的，第一路面图像和第三路面图像分别是沿道路方向倾斜45度拍摄所获取的，也即其拍摄角度分别为45度、90度和135度，如图9所示。由于不同的损伤类型在不同角度的展现状态可能不同，通过获取多角度图像，可以从多个角度识别损伤类型，提高路面损伤识别的精度。
步骤S204，利用第一分类模型、第二分类模型以及第三分类模型分别识别所述第一路面图像、所述第二路面图像以及所述第三路面图像中存在的路面损伤类型，所述路面损伤类型包括无损伤和损伤的类型。
在本发明实施例中，第一分类模型、第二分类模型以及第三分类模型为卷积神经网络模型，其可以通过下面方法训练得到：例如，首先将第一路面图像、第二路面图像以及第三路面图像的图片样本(各20000张)转化为灰度图像；其次分别对第一路面图像、第二路面图像以及第三路面图像的样本图片中的路面损伤类型进行分类并设置标签，该实施例中以路面损伤类型包括无损伤、裂缝、坑洞以及车辙为例说明，但并不限于此，例如，其中无损伤类型对应的标签可以为0、裂缝对应的标签可以为1、坑洞对应的标签可以为2、车辙对应的标签可以为3；然后将第一路面图像、第二路面图像以及第三路面图像的样本图片划分为训练集和测试集，例如，其中训练集的样本图片为18000张，测试集的样本图片为2000张，然后在构建卷积神经网络模型时，设置卷积层 (convolutional layers)、池化层(poolinglayer)和全连接层(fully connected layers)，并选用ReLU函数作为激活函数，选用交叉熵函数(Cross Entropy Error Function)作为损失函数，通过调整模型隐藏层的各权重值，完成第一分类模型、第二分类模型以及第三分类模型的训练，其中各权重值为第一路面图像通过第一分类模型识别出的路面损伤类型相对于其对应的图像采集点处实际的路面损伤类型所占的权重、第二路面图像通过第二分类模型识别出的路面损伤类型相对于同一图像采集点处实际的路面损伤类型所占的权重以及第三路面图像通过第三分类模型识别出的路面损伤类型相对于同一图像采集点处实际的路面损伤类型所占的权重。
步骤S206，根据所述第一路面图像、所述第二路面图像以及所述第三路面图像中的所述路面损伤类型的权重值通过预设神经网络模型确定该路面图像采集点处的所述路面损伤类型，所述权重值为一个角度的路面图像通过其分类模型所确定的路面损伤类型相对于其实际的路面损伤类型的权重。
在本发明实施例中，预设神经网络模型为构建的包括卷积层(convolutionallayers)、池化层(pooling layer)和全连接层(fully connected layers)的三层神经网络模型。其中，所述第一路面图像、所述第二路面图像以及所述第三路面图像中的所述路面损伤类型为第一路面图像、所述第二路面图像以及所述第三路面图像通过其对应的分类模型识别出的路面损伤类型，也即第一分类模型、第二分类模型以及第三分类模型的输出结果，此处三个分类模型输出结果对应的各权重值为上述三个分类模型训练过程中训练出结果，例如，第一路面图像通过第一分类模型识别的路面损伤类型为a，第二路面图像通过第二分类模型识别的路面损伤类型为b，第三路面图像通过第三分类模型识别的路面损伤类型为c，其中a、b、c为变量，针对不同的路面图像采集点其对应的值可能不同，且其取值为0、1、2、3，通过上述训练过程得到三个分类模型对三种路面图像的识别结果的权重值分别为w1、w2、w3，通过预设神经网络模型计算确定的路面图像采集点处的损伤类型对应值为y，则：
d＝a·w1+b·w2+c·w3+Δ
y＝σ(d)，
其中，Δ偏置项，σ为激活函数，其中偏置项为通过训练得到结果值，激活函数可以为ReLU函数，但不限于此。从而可以根据y的值与各损伤类型对应的值对比以确定该路面图像采集点处的损伤类型。
本发明实施例提供的一种路面损伤识别方法，通过获取一个路面图像采集点处的三个不同角度的图像，然后利用第一分类模型、第二分类模型以及第三分类模型分别识别出每一个角度的路面图像对应的路面损伤类型，再根据每一角度的路面图像识别出的损伤类型相对于实际损伤类型的权重值确定该采集点处的路面损伤类型，有效提高路面损伤类型的识别精度。
如图3所示，在本发明的另一个实施例中，所述路面损伤识别方法还包括：
步骤S208，对识别出的所述路面损伤类型进行路面损伤测量。
在本发明实施例中，对路面损伤类型进行测量指对路面损伤类型的尺寸进行测量，例如，测量裂缝长度，坑洞的大小等。本实施例对路面损伤测量的具体方法不做限制，例如，如图4所示，步骤S208具体可以包括以下步骤：
步骤S302，通过高斯滤波对所述第一路面图像、所述第二路面图像以及所述第三路面图像进行平滑处理。
在本发明实施例中，通过高斯滤波可以对三个角度的路面图像消除高斯噪声，便于后续的尺寸测量，提高尺寸测量的准确性。
步骤S304，利用像素比例尺分别计算所述第一路面图像、所述第二路面图像以及所述第三路面图像对应的损伤尺寸。
在本发明实施例中，可以通过提取路面图像中路面损伤的边缘轮廓，然后计算损伤的边缘轮廓尺寸，然后再通过像素比例尺计算得到路面损伤的实际尺寸。
本发明实施例提供的一种路面损伤识方法，通过进行路面损伤测量可以获知路面损伤的尺寸参数，提高路面损伤识别的全面性，也为工人对路面损伤的后续修补提供更多信息。
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备120。如图5所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现路面损伤识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行路面损伤识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤S202，获取路面图像采集点处的第一路面图像、第二路面图像以及第三路面图像，所述第一路面图像、所述第二路面图像以及所述第三路面图像为一个路面图像采集点处三个不同角度的图像；
步骤S204，利用第一分类模型、第二分类模型以及第三分类模型分别识别所述第一路面图像、所述第二路面图像以及所述第三路面图像中存在的路面损伤类型，所述路面损伤类型包括无损伤和损伤的类型；
步骤S206，根据所述第一路面图像、所述第二路面图像以及所述第三路面图像中的所述路面损伤类型的权重值通过预设神经网络模型确定该路面图像采集点处的所述路面损伤类型，所述权重值为一个角度的路面图像通过其分类模型所确定的路面损伤类型相对于其实际的路面损伤类型的权重。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
步骤S202，获取路面图像采集点处的第一路面图像、第二路面图像以及第三路面图像，所述第一路面图像、所述第二路面图像以及所述第三路面图像为一个路面图像采集点处三个不同角度的图像；
步骤S204，利用第一分类模型、第二分类模型以及第三分类模型分别识别所述第一路面图像、所述第二路面图像以及所述第三路面图像中存在的路面损伤类型，所述路面损伤类型包括无损伤和损伤的类型；
步骤S206，根据所述第一路面图像、所述第二路面图像以及所述第三路面图像中的所述路面损伤类型的权重值通过预设神经网络模型确定该路面图像采集点处的所述路面损伤类型，所述权重值为一个角度的路面图像通过其分类模型所确定的路面损伤类型相对于其实际的路面损伤类型的权重。
在本发明的另一个实施例中，提供一种路面损伤识别系统，所述路面损伤识别系统包括：服务器和路面损伤检测无人机组；
如图6所示，所述路面损伤无人机组，至少包括一架路面损伤检测无人机，所述路面损伤检测无人机包括机身以及设置于所述机身上的图像采集模块、导航定位模块、控制模块以及信息收发模块；其中，所述图像采集模块，用于采集路面图像，所述图像采集模块至少包括第一摄像头、第二摄像头以及第三摄像头，所述第一摄像头、所述第二摄像头以及所述第三摄像头分别用于采集路面上同一位置处不同方向的图像；所述导航定位模块，用于获取路面图像采集点的位置信息；所述控制模块，用于控制所述图像采集模块的采集时间间隔；所述信息收发模块，用于将图像采集模块采集的路面图像发送至所述服务器；
所述服务器用于执行上述的一种路面损伤识别方法。
在本发明实施例中，每一架路面损伤检测无人机沿一条车道飞行并检测该车道的路面损伤情况，当一条道路存在多个车道可以对应设置多架路面损伤检测无人机。本实施例以路面损伤检测无人机组至少包括一架路面损伤检测无人机为例说明。本实施例对路面损伤检测无人机机身的具体结构不做限制。
在本发明实施例中，图像采集模块至少包括三个摄像头，本实施例以图像采集模块包括三个摄像头为例说明，三个摄像头均设置在无人机机身的底部，通过摄像头的设置角度不同，在无人机沿道路飞行过程中对同一位置可以实现多角度的拍摄。优选地，第一摄像头21、第二摄像头22以及第三摄像头23沿路面损伤检测无人机的飞行方向上在机身的底部依次线性设置，且使第二摄像头22与机身1底部垂直设置，同时使第一摄像头21和第三摄像头23在沿路面损伤无人机飞行方向上分别向远离第二摄像头22的方向倾斜设置，其中，第二摄像头22垂直机身1底部设置，当路面损伤检测无人机沿道路水平飞行时，可以采集路面图像采集点处正上方角度的图图像。本实施例对第一摄像头21和第三摄像头23的倾斜角度不做限制，且第一摄像头21和第二摄像头23的倾斜角度相同，本实施例以第一摄像头21和第三摄像头23分别向远离第二摄像头22 的方向倾斜45度为例说明。
在本发明实施例中，控制模块4可以为控制芯片，本实施例对控制芯片的具体型号不做限制，且控制模块4与图像采集模块连接以控制图像采集模块采集时间间隔。路面图像采集点的位置由路面损伤检测无人机在飞行过程中的图像采集模块的采集时间间隔决定，而为了得到同一采集点处三个不同角度的图像，当第一摄像头21和第三摄像头23的倾斜角度一定时，图像采集模块的采集时间间隔又由路面损伤检测无人机的飞行速度和飞行高度有关，如图9所示，当路面损伤检测无人机飞行到a位置处，控制模块4控制图像采集模块进行第一次图像采集，此时，第一摄像头21采集到A采集点处第一角度图像，要想使第二摄像头22采集到A采集点处第二角度的图像，需要路面损伤检测无人机飞行到b位置处再控制图像采集模块进行第二次图像采集，路面损伤检测无人机飞行到c位置处再控制图像采集模块进行第三次图像采集以使第三摄像头23采集到A采集点处第三角度的图像，从而，图像采集模块的采集时间间隔t，路面损伤检测无人机的飞行高度h，路面损伤检测无人机的飞行速度v以及第一摄像头21和第三摄像头23与水平面之间倾斜夹角α满足：t＝h/v×tanα。优选地，路面损伤检测无人机还包括设置于机身1底部的竖直测距装置6，竖直测距装置6 与控制模块4连接，竖直测距装置6可以用于测量路面损伤检测无人机的飞行高度并将飞行高度值发送至控制模块4，其中竖直测距装置6可以为激光测距装置，从而控制模块4可以根据路面损伤检测无人机的实际飞行高度控制图像采集模块的采集时间间隔。优选的，路面损伤检测无人机的底部设置两个激光测距装置。本实施例对控制模块对路面损伤检测无人机的飞行速度v的获取不做限制，例如，无人机上可以设置速度检测装置，或者无人机以预设定值飞行速度飞行。
在本发明实施例中，通过设置导航定位模块3可以记录路面图像采集点的位置信息，以便于后续检测到该图像采集点处的路面存在损伤能够找出该位置。例如，导航定位模块3可以将路面采集点的位置信息写入到该采集点处采集的图像文件名称中，以使服务器在获取图像时，同时能够获取该图像对应的位置信息。本实施例对导航定位模块3的具体结构不做限制，例如，导航定位模块3 可以是北斗导航定位装置，北斗导航定位装置同时具备定位和通讯功能，当图像采集模块采集路面图像时，北斗导航定位装置可以将采集该图像的位置信息以经纬度的方式命名路面图像的文件名称。
在本发明实施例中，信息收发模块5与图像采集模块连接，同时信息收发模块5通过网络与服务器连接，信息收发模块5可以路面图像发送至服务器，同时信息收发模块5可以接收服务器向路面损伤检测无人机发送的飞行控制指令。
在本发明实施例中，优选地，路面损伤检测无人机还包括电源模块9，电源模块9可以为无人机的工作供电。本实施例对电源模块9的具体结构不做限制。
本发明实施例提供的一种路面损伤识别系统，通过路面损伤检测无人机组采集路面图片有效提高路面图片采集效率且可以减少对路面交通的影响，提高路面损伤检测效率，且路面损伤检测无人机组通过将采集的多个角度路面图片发送至服务器，服务器可以根据多角度的图面图像识别出各路面图像采集点的损伤类型，提高路面损伤识别准确性。
如图7、8所示，在本发明的另一个实施例中，当所述路面损伤检测无人机组至少包括两架路面损伤检测无人机，相邻两架路面损伤检测无人机相互靠近的一侧设置有水平测距装置，所述水平测距装置用于测量相邻两架路面损伤检测无人机之间的相对飞行位置，相邻两架路面损伤检测无人机之间的相对飞行位置包括其相对飞行高度以及沿飞行方向的相对飞行位置；
所述路面损伤检测无人机还包括定位校准模7，所述定位校准模块7与所述水平测距装置连接，所述定位校准模块7用于根据相邻两架路面损伤检测无人机之间的相对飞行位置控制路面损伤检测无人机的飞行。
在本发明实施例中，水平测距装置设置在路面损伤检测无人机的侧面，例如，水平测距装置可以包括激光收发装置81和激光反射装置82，但不限于此，其中激光收发装置81和激光反射装置82分别设置在相邻两架路面损伤检测无人机相互靠近的一侧。优选地，可以使每一架路面损伤检测无人机的左右两侧均分别设置有激光收发装置81和激光反射装置82，这样当使多架路面损伤检测无人机构成路面损伤检测无人机组时，可以使路面损伤检测无人机在任意排列的情况下都能够满足相邻两架无人机相互靠近一侧均有一个激光收发装置81和激光反射装置82。
在本发明实施例中，优选地，每一架路面损伤检测无人机侧面的激光收发装置81和激光反射装置82均设置四个，即，每一架路面损伤检测无人机的左右两侧(以无人机的飞行方向为基准)的其中一侧设置四个激光收发装置81，其中另一侧设置四个激光反射装置82。且，如图7、8所示，四个激光收发装置 81和四个激光反射装置82在路面损伤检测无人机的侧面设置位置均满足：在竖直方向的同一直线上设置两个，在水平方向的同一直线上设置两个，且四个激光收发装置81或四个激光反射装置82的连线呈菱形。其中激光收发装置81可以为激光收发器，激光反射装置可以包括反射面，并使四个激光反射装置反射面均倾斜设置，例如，可以将激光反射装置82的反射面设置为梯形，使四个激光反射装置82的反射面构成四棱锥台结构。四个激光收发装置81和四个激光反射装置82中，竖直方向同一直线上的两个激光收发装置81和竖直方向同一直线上的两个激光反射装置82配合用于判断相邻两架路面损伤检测无人机之间的相对飞行高度，水平方向同一直线上的两个激光收发装置81和水平方向同一直线上的两个激光反射装置82配合用于判断相邻两架路面损伤检测无人机之间在沿器飞行方向上的相对飞行位置。如图10所示，为水平方向同一直线上的两个激光收发装置81和水平方向同一直线上的两个激光反射装置82的结构示意图，当d1＝d2，两路面损伤检测无人机在其飞行方向上的飞行位置相同；当d1 ＞d2，左侧的路面损伤检测无人机在前，右侧的在后；当d1＜d2，左侧的路面损伤检测无人机在后，右侧的在前。同理，可以判断两路面损伤检测无人机在其飞行高度方向上的相对位置。
在本发明实施例中，优选的，路面损伤检测无人机还可以设置有陀螺仪，陀螺仪也可以与定位校准模块7连接，从而定位校准模块7可以根据陀螺仪获得的数据控制路面损伤检测无人机保持水平飞行。
在本发明实施例中，对定位校准模块7的具体结构不做限制，定位校准模块7可以为空间定位校准芯片，空间定位校准芯片根据水平测距装置获取的相邻两架路面损伤检测无人机之间的相对飞行位置以及陀螺仪获得的水平飞行数据控制两架或多架路面损伤检测无人机能够在同一水平轴线上保持并排且水平飞行。同时，激光收发装置81和激光反射装置82还可以测量相邻两架路面损伤检测无人机之间的水平距离，相邻两架路面损伤检测无人机之间的相对飞行位置还可以包括其之间的水平距离，从而定位校准模块还可以控制相邻两架路面损伤检测无人机保持一定的水平距离飞行。
本发明实施例提供的一种路面损伤识别系统，通过在路面损伤检测无人机组的相邻两架路面损伤检测无人机相互靠近的一侧设置水平测距装置，可以通过水平测距装置测量相邻两架路面损伤检测无人机之间的相对飞行位置，并使定位校准模块7根据测得的相邻两架路面损伤检测无人机之间的相对飞行位置控制其同一水平轴线上保持并排飞行。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM (SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM (RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态 RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种路面损伤识别方法，其特征在于，所述路面损伤识别方法包括：
获取路面图像采集点处的第一路面图像、第二路面图像以及第三路面图像，所述第一路面图像、所述第二路面图像以及所述第三路面图像为一个路面图像采集点处三个不同角度的图像；
利用第一分类模型、第二分类模型以及第三分类模型分别识别所述第一路面图像、所述第二路面图像以及所述第三路面图像中存在的路面损伤类型，所述路面损伤类型包括无损伤和损伤的类型；
根据所述第一路面图像、所述第二路面图像以及所述第三路面图像中的所述路面损伤类型的权重值通过预设神经网络模型确定该路面图像采集点处的所述路面损伤类型，所述权重值为一个角度的路面图像通过其分类模型所确定的路面损伤类型相对于其实际的路面损伤类型的权重。
2.根据权利要求1所述的一种路面损伤识别方法，其特征在于，所述路面损伤识别方法还包括：
对识别出的所述路面损伤类型进行路面损伤测量。
3.根据权利要求2所述的一种路面损伤识别方法，其特征在于，对识别出的所述路面损伤类型进行路面损伤测量包括：
通过高斯滤波对所述第一路面图像、所述第二路面图像以及所述第三路面图像进行平滑处理；
利用像素比例尺分别计算所述第一路面图像、所述第二路面图像以及所述第三路面图像对应的损伤尺寸。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至3中任一项权利要求所述路面损伤识别方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至3中任一项权利要求所述路面损伤识别方法的步骤。
6.一种路面损伤识别系统，其特征在于，所述路面损伤识别系统包括：服务器和路面损伤检测无人机组；
所述路面损伤无人机组，至少包括一架路面损伤检测无人机，所述路面损伤检测无人机包括机身以及设置于所述机身上的图像采集模块、导航定位模块、控制模块以及信息收发模块；其中，所述图像采集模块，用于采集路面图像，所述图像采集模块至少包括第一摄像头、第二摄像头以及第三摄像头，所述第一摄像头、所述第二摄像头以及所述第三摄像头分别用于采集路面上同一位置处不同方向的图像；所述导航定位模块，用于获取路面图像采集点的位置信息；所述控制模块，用于控制所述图像采集模块的采集时间间隔；所述信息收发模块，用于将图像采集模块采集的路面图像发送至所述服务器；
所述服务器用于执行权利要求1至3中任一项权利要求所述的一种路面损伤识别方法。
7.根据权利要求6所述的一种路面损伤识别系统，其特征在于，所述第一摄像头、所述第二摄像头以及所述第三摄像头沿路面损伤检测无人机的飞行方向在所述机身底部依次线性设置，且所述第二摄像头与机身底部垂直设置，所述第一摄像头和所述第三摄像头在路面损伤检测无人机的飞行方向上分别向远离所述第二摄像头的方向倾斜设置，且其倾斜角度相同。
8.根据权利要求7所述的一种路面损伤识别系统，其特征在于，所述路面损伤检测无人机还包括设置于机身底部的竖直测距装置，所述竖直测距装置用于测量路面损伤检测无人机的飞行高度，且所述竖直测距装置与所述控制模块连接，所述控制模块通过根据路面损伤检测无人机的飞行速度和飞行高度控制所述图像采集模块的采集时间间隔，且满足：
t=h/v×tanα；
其中t为图像采集模块的采集时间间隔，h为路面损伤检测无人机的飞行高度，v为路面损伤检测无人机的飞行速度，α为所述第一摄像头和所述第二摄像头与水平面之间的倾斜夹角。
9.根据权利要求6所述的一种路面损伤识别系统，其特征在于，当所述路面损伤检测无人机组至少包括两架路面损伤检测无人机，相邻两架路面损伤检测无人机相互靠近的一侧设置有水平测距装置，所述水平测距装置用于测量相邻两架路面损伤检测无人机之间的相对飞行位置，相邻两架路面损伤检测无人机之间的相对飞行位置包括其相对飞行高度以及沿飞行方向的飞行位置；
所述路面损伤检测无人机还包括飞行定位校准模块，所述飞行定位校准模块与所述水平测距装置连接，所述飞行定位校准模块用于根据相邻两架路面损伤检测无人机之间的相对飞行位置控制路面损伤检测无人机的飞行。
10.根据权利要求9所述的一种路面损伤识别系统，其特征在于，所述水平测距装置包括激光收发装置和激光反射装置，所述激光收发装置和所述激光反射装置分别设置在相邻两架路面损伤检测无人机相互靠近的一侧，且每一路面损伤检测无人机的两侧均分别设置有激光收发装置和激光反射装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060324.4A CN113159089A (zh) | 2021-01-18 | 2021-01-18 | 一种路面损伤识别方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060324.4A CN113159089A (zh) | 2021-01-18 | 2021-01-18 | 一种路面损伤识别方法、系统、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113159089A true CN113159089A (zh) | 2021-07-23 |
Family
ID=76878403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110060324.4A Pending CN113159089A (zh) | 2021-01-18 | 2021-01-18 | 一种路面损伤识别方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159089A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117330901A (zh) * | 2023-12-01 | 2024-01-02 | 深圳市思翰铭科技有限公司 | 基于数据识别的接头设备故障监测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101871994A (zh) * | 2010-06-11 | 2010-10-27 | 南京航空航天大学 | 多分数阶信息融合的模拟电路故障诊断方法 |
| CN102147851A (zh) * | 2010-02-08 | 2011-08-10 | 株式会社理光 | 多角度特定物体判断设备及多角度特定物体判断方法 |
| CN106056059A (zh) * | 2016-05-20 | 2016-10-26 | 合肥工业大学 | 多方向slgs特征描述及性能云加权融合的人脸识别方法 |
| CN108037770A (zh) * | 2017-11-22 | 2018-05-15 | 国网山东省电力公司济宁供电公司 | 基于人工智能的无人机输电线路巡检系统和方法 |
| CN109145765A (zh) * | 2018-07-27 | 2019-01-04 | 华南理工大学 | 人脸检测方法、装置、计算机设备和存储介质 |
| CN110068578A (zh) * | 2019-05-17 | 2019-07-30 | 苏州图迈蓝舸智能科技有限公司 | 一种pvc地板的表观缺陷检测方法、装置及终端设备 |
| WO2019232831A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物识别方法、装置、计算机设备及存储介质 |
| CN111222388A (zh) * | 2018-12-11 | 2020-06-02 | 图灵通诺（北京）科技有限公司 | 基于视觉识别的结算方法和系统 |
-
2021
- 2021-01-18 CN CN202110060324.4A patent/CN113159089A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102147851A (zh) * | 2010-02-08 | 2011-08-10 | 株式会社理光 | 多角度特定物体判断设备及多角度特定物体判断方法 |
| CN101871994A (zh) * | 2010-06-11 | 2010-10-27 | 南京航空航天大学 | 多分数阶信息融合的模拟电路故障诊断方法 |
| CN106056059A (zh) * | 2016-05-20 | 2016-10-26 | 合肥工业大学 | 多方向slgs特征描述及性能云加权融合的人脸识别方法 |
| CN108037770A (zh) * | 2017-11-22 | 2018-05-15 | 国网山东省电力公司济宁供电公司 | 基于人工智能的无人机输电线路巡检系统和方法 |
| WO2019232831A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物识别方法、装置、计算机设备及存储介质 |
| CN109145765A (zh) * | 2018-07-27 | 2019-01-04 | 华南理工大学 | 人脸检测方法、装置、计算机设备和存储介质 |
| CN111222388A (zh) * | 2018-12-11 | 2020-06-02 | 图灵通诺（北京）科技有限公司 | 基于视觉识别的结算方法和系统 |
| CN110068578A (zh) * | 2019-05-17 | 2019-07-30 | 苏州图迈蓝舸智能科技有限公司 | 一种pvc地板的表观缺陷检测方法、装置及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| 苏贇等: "基于合作目标的无人机目标跟踪方法", 《机器人》 * |
| 黄鹤等: "消费级无人机倾斜摄影航线规划及地面站实现", 《南京信息工程大学学报（自然科学版）》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117330901A (zh) * | 2023-12-01 | 2024-01-02 | 深圳市思翰铭科技有限公司 | 基于数据识别的接头设备故障监测方法及系统 |
| CN117330901B (zh) * | 2023-12-01 | 2024-03-19 | 深圳市思翰铭科技有限公司 | 基于数据识别的接头设备故障监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Duque et al. | Bridge deterioration quantification protocol using UAV | |
| Omar et al. | Remote sensing of concrete bridge decks using unmanned aerial vehicle infrared thermography | |
| Kim et al. | Automated bridge component recognition from point clouds using deep learning | |
| Popescu et al. | 3D reconstruction of existing concrete bridges using optical methods | |
| Ellenberg et al. | Bridge deck delamination identification from unmanned aerial vehicle infrared imagery | |
| US11378718B2 (en) | Unmanned aerial vehicle system and methods | |
| Luo et al. | Autonomous detection of damage to multiple steel surfaces from 360 panoramas using deep neural networks | |
| US20160133008A1 (en) | Crack data collection method and crack data collection program | |
| US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
| Kalaitzakis et al. | Dynamic structural health monitoring using a DIC-enabled drone | |
| Leonardi et al. | 3D mapping of pavement distresses using an Unmanned Aerial Vehicle (UAV) system | |
| Santos et al. | Detection of exposed steel rebars based on deep-learning techniques and unmanned aerial vehicles | |
| Benmhahe et al. | Automated pavement distress detection, classification and measurement: A review | |
| Ji et al. | Image‐based road crack risk‐informed assessment using a convolutional neural network and an unmanned aerial vehicle | |
| Shaghlil et al. | Automating highway infrastructure maintenance using unmanned aerial vehicles | |
| Park et al. | Learning‐based image scale estimation using surface textures for quantitative visual inspection of regions‐of‐interest | |
| CN117538861A (zh) | 视觉、激光slam和探地雷达结合的无人机检测方法 | |
| Atencio et al. | Calibration of UAV flight parameters for pavement pothole detection using orthogonal arrays | |
| Guan et al. | Full field-of-view pavement stereo reconstruction under dynamic traffic conditions: Incorporating height-adaptive vehicle detection and multi-view occlusion optimization | |
| CN113159089A (zh) | 一种路面损伤识别方法、系统、计算机设备和存储介质 | |
| Peddinti et al. | Pavement monitoring using unmanned aerial vehicles: an overview | |
| CN111723643B (zh) | 一种基于固定区域周期性图像采集的目标检测方法 | |
| CN116597329A (zh) | 一种基于机器视觉的桥梁裂缝检测系统及方法 | |
| Ahlborn et al. | Evaluation of bridge decks using non-destructive evaluation (NDE) at near highway speeds for effective asset management. | |
| CN116363088A (zh) | 基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |