CN113379717A - 一种适用于道路修补的图形识别装置及识别方法 - Google Patents

一种适用于道路修补的图形识别装置及识别方法 Download PDF

Info

Publication number
CN113379717A
CN113379717A CN202110707336.1A CN202110707336A CN113379717A CN 113379717 A CN113379717 A CN 113379717A CN 202110707336 A CN202110707336 A CN 202110707336A CN 113379717 A CN113379717 A CN 113379717A
Authority
CN
China
Prior art keywords
picture
repair
crack
repairing
crack repairing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110707336.1A
Other languages
English (en)
Other versions
CN113379717B (zh
Inventor
刘宪明
高国华
胡学亮
樊超
赵世晨
王鑫洋
李昌辉
朱振祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shuoxiang Tiancheng Intelligent Technology Co ltd
Shandong Hi Speed Engineering Inspection and Testing Co Ltd
Original Assignee
Shandong Shuoxiang Tiancheng Intelligent Technology Co ltd
Shandong Hi Speed Engineering Inspection and Testing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shuoxiang Tiancheng Intelligent Technology Co ltd, Shandong Hi Speed Engineering Inspection and Testing Co Ltd filed Critical Shandong Shuoxiang Tiancheng Intelligent Technology Co ltd
Priority to CN202110707336.1A priority Critical patent/CN113379717B/zh
Publication of CN113379717A publication Critical patent/CN113379717A/zh
Application granted granted Critical
Publication of CN113379717B publication Critical patent/CN113379717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种适用于道路修补的图形识别方法，包括如下步骤：Step1：拍摄初始裂缝修补图片集；Step2：拍摄监测裂缝修补图片集；Step3：同一经纬度下分别保留一张最佳初始裂缝修补图片和一张最佳监测裂缝修补图片；Step4：进行道路图块和修补图块边缘的勾画；Step5：采用像素填充算法，得到拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；Step6：通过修补差异度模型，给出维护建议。本申请还提供一种适用于道路修补的图形识别方法的识别装置。本发明适用道路修补的监测，通过像素填充算法和修补差异度模型，能够自动判别修补维护的情况，并给出维护建议，大大减轻工作人员工作量，提高工作效率。

Description

一种适用于道路修补的图形识别装置及识别方法
技术领域
本发明涉及道路检测领域，具体涉及一种适用于道路修补的图形识别方法。
背景技术
在我国沥青混凝土路面是当前公路较为普遍的路面结构类型，它具有表面平整、坚实、无接缝、行车舒适、耐磨、噪声低、施工期短、养护维修简便，能够吸水，一般在养护良好的条件下使用的寿命相对来说是比较长，且适宜于分期修建等优点，得到广泛的应用。但由于沥青混凝土材质本身的差异，再加上设计水平和施工质量的影响，沥青路面建成初期，不可避免地会产生各种形式的裂缝。
在道路日常维护过程中，往往会对现有的裂缝进行维修，因此我们经常看到有修补痕迹的路面，但是由于天气、重型车俩违规行驶、修补用料等原因，修补过的路面可能会二次破损，因此对修补进行统计与观测至关重要。
发明内容
本申请提供一种适用于道路修补的图形识别方法和识别装置，适用道路修补的监测，尤其是沥青道路，通过像素填充算法和修补差异度模型，能够自动判别修补维护的情况，并给出维护建议，大大减轻工作人员工作量，提高工作效率。
为解决上述技术问题，本发明采用的技术方案为：
一种适用于道路修补的图形识别方法，包括如下步骤：
Step1：拍摄下修补完成路段的初始裂缝修补图片集，并分别记录下初始裂缝修补图片集中各张初始裂缝修补图片对应的初始拍摄地点的经纬度；
Step2：在监测周期内，在初始拍摄地点的经维度位置，对裂缝修补路段进行二次拍摄，形成监测裂缝修补图片集；
Step3：分别对初始裂缝修补图片集和监测裂缝修补图片集剔除掉无效图片，同一经纬度下分别保留一张最佳初始裂缝修补图片和一张最佳监测裂缝修补图片；
Step4：分别对最佳初始裂缝修补图片集和最佳监测裂缝修补图片集中各个裂缝修补图片进行道路图块和修补图块边缘的勾画；
Step5：采用像素填充算法，分别对最佳初始裂缝修补图片和最佳监测裂缝修补图片进行拉伸处理，得到拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；
Step6：基于拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片，通过修补差异度模型，给出维护建议。
进一步的，Sep3中无效图片包括道路两侧边缘不完整的图片和修补裂缝边缘不完整的图片，最佳初始裂缝修补图片和最佳监测裂缝修补图片分别为初始裂缝修补图片和监测裂缝修补图片中包含的修补裂缝像素点最多的图片，当存在多张修补裂缝像素点一样的非无效初始裂缝修补图片时，随机抽取一张非无效始裂缝修补图片作为最佳初始裂缝修补图片，同样，当存在多张修补裂缝像素点一样的非无效监测裂缝修补图片时，随机抽取一张非无效监测裂缝修补图片作为最佳监测裂缝修补图片。
优选的，Step4中勾画采用卷积神经网络自动分割方法。
进一步的，Step5中像素填充算法包括：
假定在图片中，道路所包围的图像点与图片的交点分别为A、B、C、D四点，其中A、B点在图片的一条边上，C、D点在图片的另一条边上，AB边与CD边相平行，CD≥AB，A点和B点在CD边上的投影落在线段CD上，以C点作为坐标轴原点，CD边所在的直线为x轴，与CD相垂直并且穿过C点的直线作为y轴构建直角坐标系，A、B和D点均位于正半轴，AC与y轴的夹角为α，BD与y轴的夹角为β，AB与y轴的交点为A’，平行于y轴并且穿过D点的直线与AB所在直线的交点为B’，ABDC为原图片中道路图块，A’B’DC为拉伸后的道路图块，拉伸过程中，新图片像素满足下述公式：
①当xi＝0时，
P′(xi,yi)＝P(yi tanα,yi) (1)
其中，P’(xi,yi)表示拉伸后的图片中，横坐标为xi，纵坐标为yi的点的像素值，P(yitanα,yi)表示原始图片中，横坐标为yi tanα，纵坐标为yi的点的像素值，tanα为夹角α的正切值；
②当0＜xi＜yi tanα时，
P′(xi,yi)＝tanα×P(xi-1+yi tanα,yi)/(tanα+tanβ)+tanβ×P(xi+yi tanα,yi)/(tanα+tanβ) (2)
其中，P(xi-1+yi tanα,yi)表示原始图片中，横坐标为xi-1+yi tanα，纵坐标为yi的点的像素值，P(xi+yi tanα,yi)表示原始图片中，横坐标为xi+yi tanα，纵坐标为yi的点的像素值，tanβ为夹角β的正切值；
③当yi tanα≤xi≤xmax-yi tanβ时，
P′(xi,yi)＝tanα×P(xi-1,yi)/(tanα+tanβ)+tanβ×P(xi,yi)/(tanα+tanβ) (3)
其中，xmax表示D点的横坐标，P(xi-1,yi)表示原始图片中，横坐标为xi-1，纵坐标为yi的点的像素值，P(xi,yi)表示原始图片中，横坐标为xi，纵坐标为yi的点的像素值；
④当xmax-yi tanβ＜xi＜xmax时，
P′(xi,yi)＝tanα×P(xi-1-xmax+tanβyi,yi)/(tanα+tanβ)+tanβ×P(xi-xmax+tanβyi,yi)/(tanα+tanβ) (4)
其中，P(xi-1-xmax+yi tanβ,yi)表示原始图片中，横坐标为xi-1-xmax+yi tanβ，纵坐标为yi的点的像素值，P(xi-xmax+yi tanβ,yi)表示原始图片中，横坐标为xi-xmax+yi tanβ，纵坐标为yi的点的像素值；
⑤当xi＝xmax时，
P′(xi,yi)＝P((xmax-tanβyi,yi)) (5)。
进一步的，Step5中像素填充算法包括：
假定在图片中，道路所包围的图像点与图片的交点分别为E、F、G、H四点，其中E、F点在图片的一条边上，G、H点在图片的另一条边上，EF边与GH边相平行，GH≥EF，E点在GH边上的投影落在线段GH上，F点在GH所在直线上的投影落在线段GH的延长上，以G点作为坐标轴原点，GH边所在的直线为x轴，与GH相垂直并且穿过G点的直线作为y轴构建直角坐标系，E、F和H点均位于正半轴，EG与y轴的夹角为γ，FH与y轴的夹角为δ，EF与y轴的交点为E’，平行于y轴并且穿过H点的直线与EF的交点为F’，EFHG为原图片的道路图块，E’F’HG为拉伸后的道路图块，拉伸过程中，新图片像素满足下述公式：
①当xi＝0时，
P′(xi,yi)＝P(yi tanγ,yi) (6)
其中，P’(xi,yi)表示拉伸后的图片中，横坐标为xi，纵坐标为yi的点的像素值，P(yitanγ,yi)表示原始图片中，横坐标为yi tanγ，纵坐标为yi的点的像素值，tanγ为夹角γ的正切值；
②当0＜xi≤xmaxH时，
P′(xi,yi)＝(xmax-yi tanγ)×P(xi-1+yi tanγ,yi)/(xmax-yi tanγ+yi tanδ)+yitanδ×P(xi+yi tanγ,yi)/(xmax-yi tanγ+yi tanδ) (7)
其中，P(xi-1+yi tanγ,yi)表示原始图片中，横坐标为xi-1+yi tanγ，纵坐标为yi的点的像素值，P(xi+yi tanγ,yi)表示原始图片中，横坐标为xi+yi tanγ，纵坐标为yi的点的像素值，tanδ为夹角δ的正切值，xmaxH表示H点的横坐标。
进一步的，Step6中修补差异度模型包括：
Figure BDA0003125691120000051
Figure BDA0003125691120000052
Figure BDA0003125691120000053
其中，n1表示拉伸裂缝修补图片中道路宽度像素点的个数，n2表示拉伸监测裂缝修补图片中道路宽度像素点的个数，n3表示拉伸裂缝修补图片中修补图块像素点的个数，n4表示拉伸监测裂缝修补图片中修补图块像素点的个数，k1表示修补面积扩大系数阈值，
d1max表示拉伸裂缝修补图片中修补图块最大宽度的两个像素点之间的距离，d2max表示拉伸监测裂缝修补图片中修补图块最大宽度的两个像素点之间的距离，d1表示拉伸裂缝修补图片中道路宽度距离最远的两个像素点之间的距离，d2表示拉伸监测裂缝修补图片中道路宽度距离最远的两个像素点之间的距离，k2表示修补宽度扩大系数阈值，
l1max表示拉伸裂缝修补图片中修补图块距离最远的两个像素点之间的距离，l2max表示拉伸监测裂缝修补图片中修补图块距离最远的的两个像素点之间的距离，k3表示修补长度扩大系数阈值；
当公式(8)、公式(9)和公式(10)同时成立时，修补的裂缝处于安全范围内，不需要采取补救措施；当公式(8)、公式(9)和公式(10)不能同时成立时，需要尽快实地考察，进行修补的维护作业。
本发明还提供一种适用于道路修补的图形识别方法的图形识别装置，包括：
巡检无人机，巡检无人机内设有拍照装置和定位装置，定位装置的输出端与拍照装置的输入端相连，拍照装置的输出端与存储器的输入端相连，存储器的输出端与控制系统相连，控制系统包括：初始裂缝修补图片模块，初始裂缝修补图片模块用于存储所有初始裂缝修补图片和与初始裂缝修补图片相对应的拍摄地点的经纬度；监测裂缝修补图片存储模块，监测裂缝修补图片存储模块用于存储所有监测裂缝修补图片和与监测裂缝修补图片相对应的拍摄地点的经纬度；最佳图片存储模块，最佳图片存储模块用于存储拍摄初始裂缝修补图片的经纬度，和各个经纬度下的最佳初始裂缝修补图片和最佳监测裂缝修补图片；处理模块，处理模块用于对对初始裂缝修补图片集和监测裂缝修补图片集剔除掉无效图片，道路图块和修补图块边缘的勾画以及像素填充算法；拉伸后的图片存储模块，拉伸后的图片存储模块用于存储经过像素填充算法处理后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；结论模块，结论模块用于运用修补差异度模型，给出维护建议；显示模块，用于显示初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块、拉伸后的图片存储模块和结论模块的存储数据；控制系统与电源相连；
其中，初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块、拉伸后的图片存储模块和结论模块同时与显示模块相连，初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块和拉伸后的图片存储模块同时与处理模块相连。
本发明的有益效果：
本申请提供一种适用于道路修补的图形识别方法和识别装置，适用道路修补的监测，尤其是沥青道路，通过像素填充算法和修补差异度模型，能够自动判别修补维护的情况，并给出维护建议，大大减轻工作人员工作量，提高工作效率。
1、本发明通过道路修补的图形识别方法自动化实现道路修补维护情况的判别。
2、本发明创造性提出像素填充算法，简化像素拉伸模型，有效避免了由于拍摄点、拍摄角度不同而造成的修补误判率的发生。
3、本发明创造性提出修补差异度模型，自动对修补裂缝维护情况进行判断。
4、本发明运用无人机、初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块和处理模块等实现了图形识别方法的。
附图说明
图1为本发明的一种适用于道路修补的图形识别方法步骤流程图；
图2为本发明的第一种情况下图片的简化模型；
图3为本发明的第二种情况下图片的简化模型；
图4为本发明的第一种情况下图片的实拍图；
图5为本发明的第一种情况下图片实拍图处理后的图片；
图6为本发明的第二种情况下图片的实拍图；
图7为本发明的第二种情况下图片实拍图处理后的图片。
具体实施方式
下面结合附图以及具体实施方法对本发明一种适用于道路修补的图形识别方法作进一步详细说明。
实施例1：
一种适用于道路修补的图形识别方法，如图1所示，包括如下步骤：
Step1：拍摄下修补完成路段的初始裂缝修补图片集，并分别记录下初始裂缝修补图片集中各张初始裂缝修补图片对应的初始拍摄地点的经纬度；
Step2：在监测周期内，在初始拍摄地点的经维度位置，对裂缝修补路段进行二次拍摄，形成监测裂缝修补图片集；
Step3：分别对初始裂缝修补图片集和监测裂缝修补图片集剔除掉无效图片，同一经纬度下分别保留一张最佳初始裂缝修补图片和一张最佳监测裂缝修补图片；
Step4：分别对最佳初始裂缝修补图片集和最佳监测裂缝修补图片集中各个裂缝修补图片进行道路图块和修补图块边缘的勾画；
Step5：采用像素填充算法，分别对最佳初始裂缝修补图片和最佳监测裂缝修补图片进行拉伸处理，得到拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；
Step6：基于拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片，通过修补差异度模型，给出维护建议。
进一步的，Sep3中无效图片包括道路两侧边缘不完整的图片和修补裂缝边缘不完整的图片，最佳初始裂缝修补图片和最佳监测裂缝修补图片分别为初始裂缝修补图片和监测裂缝修补图片中包含的修补裂缝像素点最多的图片，当存在多张修补裂缝像素点一样的非无效初始裂缝修补图片时，随机抽取一张非无效始裂缝修补图片作为最佳初始裂缝修补图片，同样，当存在多张修补裂缝像素点一样的非无效监测裂缝修补图片时，随机抽取一张非无效监测裂缝修补图片作为最佳监测裂缝修补图片。
优选的，Step4中勾画采用卷积神经网络自动分割方法或者其他现有图片轮廓勾勒方法。
进一步的，如图2，为道路像素填充算法第一模型。
第一模型包括：
假定在图片中，道路所包围的图像点与图片的交点分别为A、B、C、D四点，其中A、B点在图片的一条边上，C、D点在图片的另一条边上，AB边与CD边相平行，CD≥AB，A点和B点在CD边上的投影落在线段CD上，以C点作为坐标轴原点，CD边所在的直线为x轴，与CD相垂直并且穿过C点的直线作为y轴构建直角坐标系，A、B和D点均位于正半轴，AC与y轴的夹角为α，BD与y轴的夹角为β，AB与y轴的交点为A’，平行于y轴并且穿过D点的直线与AB所在直线的交点为B’，ABDC为原图片中道路图块，A’B’DC为拉伸后的道路图块，拉伸过程中，新图片像素满足下述公式：
①当xi＝0时，
P′(xi,yi)＝P(yi tanα,yi) (1)
其中，P’(xi,yi)表示拉伸后的图片中，横坐标为xi，纵坐标为yi的点的像素值，P(yitanα,yi)表示原始图片中，横坐标为yi tanα，纵坐标为yi的点的像素值，tanα为夹角α的正切值；
②当0＜xi＜yi tanα时，
P′(xi,yi)＝tanα×P(xi-1+yi tanα,yi)/(tanα+tanβ)+tanβ×P(xi+yi tanα,yi)/(tanα+tanβ) (2)
其中，P(xi-1+yi tanα,yi)表示原始图片中，横坐标为xi-1+yi tanα，纵坐标为yi的点的像素值，P(xi+yi tanα,yi)表示原始图片中，横坐标为xi+yi tanα，纵坐标为yi的点的像素值，tanβ为夹角β的正切值；
③当yi tanα≤xi≤xmax-yi tanβ时，
P′(xi,yi)＝tanα×P(xi-1,yi)/(tanα+tanβ)+tanβ×P(xi,yi)/(tanα+tanβ) (3)
其中，xmax表示D点的横坐标，P(xi-1,yi)表示原始图片中，横坐标为xi-1，纵坐标为yi的点的像素值，P(xi,yi)表示原始图片中，横坐标为xi，纵坐标为yi的点的像素值；
④当xmax-yi tanβ＜xi＜xmax时，
P′(xi,yi)＝tanα×P(xi-1-xmax+tanβyi,yi)/(tanα+tanβ)+tanβ×P(xi-xmax+tanβyi,yi)/(tanα+tanβ) (4)
其中，P(xi-1-xmax+yi tanβ,yi)表示原始图片中，横坐标为xi-1-xmax+yi tanβ，纵坐标为yi的点的像素值，P(xi-xmax+yi tanβ,yi)表示原始图片中，横坐标为xi-xmax+yi tanβ，纵坐标为yi的点的像素值；
⑤当xi＝xmax时，
P′(xi,yi)＝P((xmax-tanβyi,yi)) (5)。
如图4和图5，分别表示基于第一模型拉伸前后的图片。
进一步的，如图3，为道路像素填充第二模型，具体包括：
假定在图片中，道路所包围的图像点与图片的交点分别为E、F、G、H四点，其中E、F点在图片的一条边上，G、H点在图片的另一条边上，EF边与GH边相平行，GH≥EF，E点在GH边上的投影落在线段GH上，F点在GH所在直线上的投影落在线段GH的延长上，以G点作为坐标轴原点，GH边所在的直线为x轴，与GH相垂直并且穿过G点的直线作为y轴构建直角坐标系，E、F和H点均位于正半轴，EG与y轴的夹角为γ，FH与y轴的夹角为δ，EF与y轴的交点为E’，平行于y轴并且穿过H点的直线与EF的交点为F’，EFHG为原图片的道路图块，E’F’HG为拉伸后的道路图块，拉伸过程中，新图片像素满足下述公式：
①当xi＝0时，
P′(xi,yi)＝P(yi tanγ,yi) (6)
其中，P’(xi,yi)表示拉伸后的图片中，横坐标为xi，纵坐标为yi的点的像素值，P(yitanγ,yi)表示原始图片中，横坐标为yi tanγ，纵坐标为yi的点的像素值，tanγ为夹角γ的正切值；
②当0＜xi≤xmaxH时，
P′(xi,yi)＝(xmax-yi tanγ)×P(xi-1+yi tanγ,yi)/(xmax-yi tanγ+yi tanδ)+yitanδ×P(xi+yi tanγ,yi)/(xmax-yi tanγ+yi tanδ) (7)
其中，P(xi-1+yi tanγ,yi)表示原始图片中，横坐标为xi-1+yi tanγ，纵坐标为yi的点的像素值，P(xi+yi tanγ,yi)表示原始图片中，横坐标为xi+yi tanγ，纵坐标为yi的点的像素值，tanδ为夹角δ的正切值，xmaxH表示H点的横坐标。
如图6和图7，分别表示基于第二模型拉伸前后的图片。
进一步的，Step6中修补差异度模型包括：
Figure BDA0003125691120000121
Figure BDA0003125691120000122
Figure BDA0003125691120000123
其中，n1表示拉伸裂缝修补图片中道路宽度像素点的个数，n2表示拉伸监测裂缝修补图片中道路宽度像素点的个数，n3表示拉伸裂缝修补图片中修补图块像素点的个数，n4表示拉伸监测裂缝修补图片中修补图块像素点的个数，k1表示修补面积扩大系数阈值，K1取经验值1.16-1.28之间的任意常数。
d1max表示拉伸裂缝修补图片中修补图块最大宽度的两个像素点之间的距离，d2max表示拉伸监测裂缝修补图片中修补图块最大宽度的两个像素点之间的距离，d1表示拉伸裂缝修补图片中道路宽度距离最远的两个像素点之间的距离，d2表示拉伸监测裂缝修补图片中道路宽度距离最远的两个像素点之间的距离，k2表示修补宽度扩大系数阈值，K2取经验值1.05-1.12之间的任意常数。
l1max表示拉伸裂缝修补图片中修补图块距离最远的两个像素点之间的距离，l2max表示拉伸监测裂缝修补图片中修补图块距离最远的的两个像素点之间的距离，k3表示修补长度扩大系数阈值；k3取经验值1.14-1.22之间的任意常数。
当公式(8)、公式(9)和公式(10)同时成立时，修补的裂缝处于安全范围内，不需要采取补救措施；当公式(8)、公式(9)和公式(10)不能同时成立时，需要尽快实地考察，进行修补的维护作业。
对50处存在裂缝修补的裂缝进行检测，并将模型和实际结果对照，结论如表所示，模型误判率为4％。
表1 模型和实际结果对照
Figure BDA0003125691120000131
表中，模型误判率公式为：误判率＝实际结果与模型结论不一致数据数/样本数，其中实际结果与模型结论不一致数据数包括实际结果判断为“需要采取补救措施”而模型判定为“不需要采取补救措施”样本数，以及实际结果判断为“不需要采取补救措施”而模型判定为“需要采取补救措施”样本数。
实施例2：
本发明还提供一种适用于道路修补的图形识别方法的图形识别装置，包括：
巡检无人机，巡检无人机内设有拍照装置和定位装置，定位装置的输出端与拍照装置的输入端相连，拍照装置的输出端与存储器的输入端相连，存储器的输出端与控制系统相连，控制系统包括：初始裂缝修补图片模块，初始裂缝修补图片模块用于存储所有初始裂缝修补图片和与初始裂缝修补图片相对应的拍摄地点的经纬度；监测裂缝修补图片存储模块，监测裂缝修补图片存储模块用于存储所有监测裂缝修补图片和与监测裂缝修补图片相对应的拍摄地点的经纬度；最佳图片存储模块，最佳图片存储模块用于存储拍摄初始裂缝修补图片的经纬度，和各个经纬度下的最佳初始裂缝修补图片和最佳监测裂缝修补图片；处理模块，处理模块用于对对初始裂缝修补图片集和监测裂缝修补图片集剔除掉无效图片，道路图块和修补图块边缘的勾画以及像素填充算法；拉伸后的图片存储模块，拉伸后的图片存储模块用于存储经过像素填充算法处理后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；结论模块，结论模块用于运用修补差异度模型，给出维护建议；显示模块，用于显示初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块、拉伸后的图片存储模块和结论模块的存储数据；控制系统与电源相连；
其中，初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块、拉伸后的图片存储模块和结论模块同时与显示模块相连，初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块和拉伸后的图片存储模块同时与处理模块相连。
本发明涉及到的具体模块均为现有可以实现相应功能的模块，仅对连接位置、连接关系进行改进。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种适用于道路修补的图形识别方法，其特征在于，包括如下步骤：
Step1：拍摄下修补完成路段的初始裂缝修补图片集，并分别记录下初始裂缝修补图片集中各张初始裂缝修补图片对应的初始拍摄地点的经纬度；
Step2：在监测周期内，在初始拍摄地点的经维度位置，对裂缝修补路段进行二次拍摄，形成监测裂缝修补图片集；
Step3：分别对初始裂缝修补图片集和监测裂缝修补图片集剔除掉无效图片，同一经纬度下分别保留一张最佳初始裂缝修补图片和一张最佳监测裂缝修补图片；
Step4：分别对最佳初始裂缝修补图片集和最佳监测裂缝修补图片集中各个裂缝修补图片进行道路图块和修补图块边缘的勾画；
Step5：采用像素填充算法，分别对最佳初始裂缝修补图片和最佳监测裂缝修补图片进行拉伸处理，得到拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；
Step6：基于拉伸后的拉伸裂缝修补图片和拉伸监测裂缝修补图片，通过修补差异度模型，给出维护建议。
2.根据权利要求1所述的一种适用于道路修补的图形识别方法，其特征在于，Sep3中无效图片包括道路两侧边缘不完整的图片和修补裂缝边缘不完整的图片，最佳初始裂缝修补图片和最佳监测裂缝修补图片分别为初始裂缝修补图片和监测裂缝修补图片中包含的修补裂缝像素点最多的图片，当存在多张修补裂缝像素点一样的非无效初始裂缝修补图片时，随机抽取一张非无效始裂缝修补图片作为最佳初始裂缝修补图片，同样，当存在多张修补裂缝像素点一样的非无效监测裂缝修补图片时，随机抽取一张非无效监测裂缝修补图片作为最佳监测裂缝修补图片。
3.根据权利要求1所述的一种适用于道路修补的图形识别方法，其特征在于，Step4中勾画采用卷积神经网络自动分割方法。
4.根据权利要求1所述的一种适用于道路修补的图形识别方法，其特征在于，Step5中像素填充算法包括：
假定在图片中，道路所包围的图像点与图片的交点分别为A、B、C、D四点，其中A、B点在图片的一条边上，C、D点在图片的另一条边上，AB边与CD边相平行，CD≥AB，A点和B点在CD边上的投影落在线段CD上，以C点作为坐标轴原点，CD边所在的直线为x轴，与CD相垂直并且穿过C点的直线作为y轴构建直角坐标系，A、B和D点均位于正半轴，AC与y轴的夹角为α，BD与y轴的夹角为β，AB与y轴的交点为A’，平行于y轴并且穿过D点的直线与AB所在直线的交点为B’，ABDC为原图片中道路图块，A'B'DC为拉伸后的道路图块，拉伸过程中，新图片像素满足下述公式：
①当xi＝0时，
P′(xi，yi)＝P(yitanα，yi) (1)
其中，P’(xi，yi)表示拉伸后的图片中，横坐标为xi，纵坐标为yi的点的像素值，P(yitanα，yi)表示原始图片中，横坐标为yitanα，纵坐标为yi的点的像素值，tanα为夹角α的正切值；
②当0＜xi＜yitanα时，
P′(xi，yi)＝tanα×P(xi-1+yitanα，yi)/(tanα+tanβ)+tanβ×P(xi+yitanα，yi)/(tanα+tanβ) (2)
其中，P(xi-1+yitanα，yi)表示原始图片中，横坐标为xi-1+yitanα，纵坐标为yi的点的像素值，P(xi+yitanα，yi)表示原始图片中，横坐标为xi+yitanα，纵坐标为yi的点的像素值，tanβ为夹角β的正切值；
③当yitanα≤xi≤xmax-yitanβ时，
P′(xi，yi)＝tanα×P(xi-1，yi)/(tanα+tanβ)+tanβ×P(xi，yi)/(tanα+tanβ) (3)
其中，xmax表示D点的横坐标，P(xi-1，yi)表示原始图片中，横坐标为xi-1，纵坐标为yi的点的像素值，P(xi，yi)表示原始图片中，横坐标为xi，纵坐标为yi的点的像素值；
④当xmax-yitanβ＜xi＜xmax时，
P′(xi，yi)＝tanα×P(xi-1-xmax+tanβyi，yi)/(tanα+tanβ)+tanβ×P(xi-xmax+tanβyi，yi)/(tanα+tanβ) (4)
其中，P(xi-1-xmax+yitanβ，yi)表示原始图片中，横坐标为xi-1-xmax+yitanβ，纵坐标为yi的点的像素值，P(xi-xmax+yitanβ，yi)表示原始图片中，横坐标为xi-xmax+yitanβ，纵坐标为yi的点的像素值；
⑤当xi＝xmax时，
P′(xi，yi)＝P((xmax-tanβyi，yi)) (5)。
5.根据权利要求1所述的一种适用于道路修补的图形识别方法，其特征在于，Step5中像素填充算法包括：
假定在图片中，道路所包围的图像点与图片的交点分别为E、F、G、H四点，其中E、F点在图片的一条边上，G、H点在图片的另一条边上，EF边与GH边相平行，GH≥EF，E点在GH边上的投影落在线段GH上，F点在GH所在直线上的投影落在线段GH的延长上，以G点作为坐标轴原点，GH边所在的直线为x轴，与GH相垂直并且穿过G点的直线作为y轴构建直角坐标系，E、F和H点均位于正半轴，EG与y轴的夹角为γ，FH与y轴的夹角为δ，EF与y轴的交点为E’，平行于y轴并且穿过H点的直线与EF的交点为F’，EFHG为原图片的道路图块，E’F’HG为拉伸后的道路图块，拉伸过程中，新图片像素满足下述公式：
①当xi＝0时，
P′(xi，yi)＝P(yitanγ，yi) (6)
其中，P’(xi，yi)表示拉伸后的图片中，横坐标为xi，纵坐标为yi的点的像素值，P(yitanγ，yi)表示原始图片中，横坐标为yitanγ，纵坐标为yi的点的像素值，tanγ为夹角γ的正切值；
②当0＜xi≤xmaxH时，
P′(xi，yi)＝(xmax-yitanγ)×P(xi-1+yitanγ，yi)/(xmax-yitanγ+yitanδ)+yitanδ×P(xi+yitanγ，yi)/(xmax-yitanγ+yitanδ) (7)
其中，P(xi-1+yitanγ，yi)表示原始图片中，横坐标为xi-1+yitanγ，纵坐标为yi的点的像素值，P(xi+yitanγ，yi)表示原始图片中，横坐标为xi+yitanγ，纵坐标为yi的点的像素值，tanδ为夹角δ的正切值，xmaxH表示H点的横坐标。
6.根据权利要求1所述的一种适用于道路修补的图形识别方法，其特征在于，Step6中修补差异度模型包括：
Figure FDA0003125691110000042
Figure FDA0003125691110000043
Figure FDA0003125691110000051
其中，n1表示拉伸裂缝修补图片中道路宽度像素点的个数，n2表示拉伸监测裂缝修补图片中道路宽度像素点的个数，n3表示拉伸裂缝修补图片中修补图块像素点的个数，n4表示拉伸监测裂缝修补图片中修补图块像素点的个数，k1表示修补面积扩大系数阈值，
d1max表示拉伸裂缝修补图片中修补图块最大宽度的两个像素点之间的距离，d2max表示拉伸监测裂缝修补图片中修补图块最大宽度的两个像素点之间的距离，d1表示拉伸裂缝修补图片中道路宽度距离最远的两个像素点之间的距离，d2表示拉伸监测裂缝修补图片中道路宽度距离最远的两个像素点之间的距离，k2表示修补宽度扩大系数阈值，
llmax表示拉伸裂缝修补图片中修补图块距离最远的两个像素点之间的距离，l2max表示拉伸监测裂缝修补图片中修补图块距离最远的的两个像素点之间的距离，k3表示修补长度扩大系数阈值；
当公式(8)、公式(9)和公式(10)同时成立时，修补的裂缝处于安全范围内，不需要采取补救措施；当公式(8)、公式(9)和公式(10)不能同时成立时，需要尽快实地考察，进行修补的维护作业。
7.基于权利要求1-6任一所述的一种适用于道路修补的图形识别方法的图形识别装置，其特征在于，包括：
巡检无人机，巡检无人机内设有拍照装置和定位装置，定位装置的输出端与拍照装置的输入端相连，拍照装置的输出端与存储器的输入端相连，存储器的输出端与控制系统相连，控制系统包括：初始裂缝修补图片模块，初始裂缝修补图片模块用于存储所有初始裂缝修补图片和与初始裂缝修补图片相对应的拍摄地点的经纬度；监测裂缝修补图片存储模块，监测裂缝修补图片存储模块用于存储所有监测裂缝修补图片和与监测裂缝修补图片相对应的拍摄地点的经纬度；最佳图片存储模块，最佳图片存储模块用于存储拍摄初始裂缝修补图片的经纬度，和各个经纬度下的最佳初始裂缝修补图片和最佳监测裂缝修补图片；处理模块，处理模块用于对对初始裂缝修补图片集和监测裂缝修补图片集剔除掉无效图片，道路图块和修补图块边缘的勾画以及像素填充算法；拉伸后的图片存储模块，拉伸后的图片存储模块用于存储经过像素填充算法处理后的拉伸裂缝修补图片和拉伸监测裂缝修补图片；结论模块，结论模块用于运用修补差异度模型，给出维护建议；显示模块，用于显示初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块、拉伸后的图片存储模块和结论模块的存储数据；控制系统与电源相连；
其中，初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块、拉伸后的图片存储模块和结论模块同时与显示模块相连，初始裂缝修补图片模块、监测裂缝修补图片存储模块、最佳图片存储模块和拉伸后的图片存储模块同时与处理模块相连。
CN202110707336.1A 2021-06-22 2021-06-22 一种适用于道路修补的图形识别装置及识别方法 Active CN113379717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110707336.1A CN113379717B (zh) 2021-06-22 2021-06-22 一种适用于道路修补的图形识别装置及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110707336.1A CN113379717B (zh) 2021-06-22 2021-06-22 一种适用于道路修补的图形识别装置及识别方法

Publications (2)

Publication Number Publication Date
CN113379717A true CN113379717A (zh) 2021-09-10
CN113379717B CN113379717B (zh) 2022-02-15

Family

ID=77579010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707336.1A Active CN113379717B (zh) 2021-06-22 2021-06-22 一种适用于道路修补的图形识别装置及识别方法

Country Status (1)

Country Link
CN (1) CN113379717B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN107316064A (zh) * 2017-06-26 2017-11-03 长安大学 一种基于卷积神经网络的沥青路面裂缝分类识别方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN110161047A (zh) * 2019-06-14 2019-08-23 汕头大学 一种路桥裂缝检测与修复一体化机器人
CN110443225A (zh) * 2019-08-15 2019-11-12 安徽半问科技有限公司 一种基于特征像素统计的虚实车道线识别方法及其装置
CN111501543A (zh) * 2020-04-22 2020-08-07 河南省交通规划设计研究院股份有限公司 一种桥梁表面裂缝检测装置
CN111998834A (zh) * 2020-10-30 2020-11-27 北京思莫特科技有限公司 一种裂缝监测方法及系统
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN107316064A (zh) * 2017-06-26 2017-11-03 长安大学 一种基于卷积神经网络的沥青路面裂缝分类识别方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN110161047A (zh) * 2019-06-14 2019-08-23 汕头大学 一种路桥裂缝检测与修复一体化机器人
CN110443225A (zh) * 2019-08-15 2019-11-12 安徽半问科技有限公司 一种基于特征像素统计的虚实车道线识别方法及其装置
CN111501543A (zh) * 2020-04-22 2020-08-07 河南省交通规划设计研究院股份有限公司 一种桥梁表面裂缝检测装置
CN111998834A (zh) * 2020-10-30 2020-11-27 北京思莫特科技有限公司 一种裂缝监测方法及系统
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张鹏 等: "基于逆透视变换的乡村道路图像分割算法", 《军事交通学院学报》 *

Also Published As

Publication number Publication date
CN113379717B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN109767423B (zh) 一种沥青路面图像的裂缝检测方法
DE112017007778T5 (de) Verfahren und Vorrichtung zum Detektieren einer Rohrleitung und Speichermedium
CN115393727B (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
CN110929676A (zh) 一种基于深度学习的违章掉头实时检测方法
CN113537016B (zh) 一种道路巡查中道路损伤自动检测预警的方法
CN112084900A (zh) 一种基于视频分析的地下车库乱停检测方法
CN114298972B (zh) 一种道路路面损坏程度的计算方法
CN111626382A (zh) 一种建筑工地车辆清洁度的快速智能识别方法和系统
CN107436304A (zh) 一种混凝土构件表面检测装置
CN111476890B (zh) 一种基于影像的三维场景重建中移动车辆的修复方法
WO2024060529A1 (zh) 一种道路病害识别方法、系统、设备及存储介质
CN111289526B (zh) 一种燃气输送管道内表面缺陷检测方法及系统
CN113379717B (zh) 一种适用于道路修补的图形识别装置及识别方法
CN106250880B (zh) 一种车辆上坡前道路坡度视觉检测方法
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
CN113112468B (zh) 一种道路裂缝图片识别与处理方法
CN116739986A (zh) Auv在输水隧洞内对典型缺陷检测的光学声学组合方法
CN114092437B (zh) 一种变压器渗漏油检测方法
CN110969103B (zh) 一种基于ptz相机的高速公路路面病害长度测量方法
CN114418950A (zh) 道路病害检测方法、装置、设备及存储介质
Hu et al. Design of pipe-inspection robot based on yolov3
CN111833323A (zh) 基于稀疏表示与svm的分任务铁路货车图像质量判断方法
CN112101268A (zh) 一种基于几何投影的车辆压线检测方法
CN116433659B (zh) 一种三段式道路缺陷图像处理方法
CN111368592B (zh) 智能型道路缺失辨识方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant