CN112785548B - 一种基于车载激光点云的路面裂缝检测方法 - Google Patents

一种基于车载激光点云的路面裂缝检测方法 Download PDF

Info

Publication number
CN112785548B
CN112785548B CN202011596115.3A CN202011596115A CN112785548B CN 112785548 B CN112785548 B CN 112785548B CN 202011596115 A CN202011596115 A CN 202011596115A CN 112785548 B CN112785548 B CN 112785548B
Authority
CN
China
Prior art keywords
point
point cloud
points
cloud data
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011596115.3A
Other languages
English (en)
Other versions
CN112785548A (zh
Inventor
李军
丰慧芳
陈一平
马凌飞
李海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central university of finance and economics
Original Assignee
Central university of finance and economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central university of finance and economics filed Critical Central university of finance and economics
Priority to CN202011596115.3A priority Critical patent/CN112785548B/zh
Publication of CN112785548A publication Critical patent/CN112785548A/zh
Application granted granted Critical
Publication of CN112785548B publication Critical patent/CN112785548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Road Repair (AREA)

Abstract

本申请属于数据分析技术领域,特别是涉及一种基于车载激光点云的路面裂缝检测方法。现有的方法将输入点云投影到图像中进行处理,导致这些方法产生的结果有偏差,不利于准确的道路评估和完善的管理。本申请提供了一种基于车载激光点云的路面裂缝检测方法,所述方法包括如下步骤:1)获取原始路面点云数据,对所述原始路面点云数据进行提取,得到第二点云数据;2)对所述第二点云数据进行结构增强,放大所述第二点云数据中裂缝点与非裂缝点的差异;3)选取训练数据训练图卷积神经网络得到模型;4)通过所述模型获取所述第二点云数据中路面裂缝。能够提供快速、高效的路面裂缝检测。

Description

一种基于车载激光点云的路面裂缝检测方法
技术领域
本申请属于数据分析技术领域,特别是涉及一种基于车载激光点云的路面裂缝检测方法。
背景技术
路面裂缝是路面最常见的损坏因素,路面裂缝由自然因素和人为因素(例如交通流量,重量和负载增加,天气和温度变化)产生,路面裂缝的损坏可能会继续变大。路面遇险会对道路的正常使用产生不利影响,并导致交通事故,造成经济损失。同时,路面裂缝是评价道路遇险的必不可少的通用指标。通过量化路面裂缝的大小,形状和深度,可以快速有效地评估道路损坏程度,并制定相应的维护策略。因此,适当的道路维护和持续的路面基础设施视觉检查已成为确保道路安全的关键。
传统的路面裂缝检测采用人工检查方法,耗费时间较长且劳动强度大,而且测量结果依赖检查员的经验。当前的路面检查方法基于图像处理和计算机视觉技术。图像捕获比手动方法更安全有效。但是,基于图像的检测方法的精度会受到诸如光、阴影、噪声等因素的影响,并且图像质量有较大的影响,而使得裂纹检测成为一项艰巨的任务。研究人员提出了各种基于图像的方法,包括阈值检测,边缘检测和区域增长,以克服基于图像的裂缝检测方法存在的各种问题。近年来,计算机视觉在路面工程中的应用为道路裂缝检测开辟了新的思路。基于图像的深度学习方法极大地提高了路面检查的准确性。特别是基于特殊深度学习卷积神经网络(CNN)的模型已被广泛用于识别各种类型的裂缝。尽管这些基于图像的深度学习方法在裂纹检测方面取得了不错的结果,但其精度仍然受到限制。这些方法在很大程度上取决于外部光条件,并且它们对阴影和照明噪声的高灵敏度易于对检测结果造成不利影响。
LiDAR(Light Detection and Ranging)技术飞速发展,与图像相比,LiDAR提供了更可靠的3D信息,而不受外部光照条件的影响,因此更适合提供对物体特征的描述,并有助于获得更准确的检测结果。目前,基于有监督深度学习的方法已在3D点云数据上实现了高精度的检测结果。但是,这些方法中的大多数将输入点云投影到图像中进行处理,导致这些方法产生的结果有偏差,不利于准确的道路评估和完善的管理。
发明内容
1.要解决的技术问题
基于现有的方法将输入点云投影到图像中进行处理,导致这些方法产生的结果有偏差,不利于准确的道路评估和完善的管理的问题,本申请提供了一种基于车载激光点云的路面裂缝检测方法。
2.技术方案
为了达到上述的目的,本申请提供了一种基于车载激光点云的路面裂缝检测方法,所述方法包括如下步骤:1)获取原始路面点云数据,对所述原始路面点云数据进行提取,得到第二点云数据;2)对所述第二点云数据进行结构增强,放大所述第二点云数据中裂缝点与非裂缝点的差异;3)选取训练数据训练图卷积神经网络得到模型;4)通过所述模型获取所述第二点云数据中路面裂缝。
本申请提供的另一种实施方式为:所述步骤1)对所述原始路面点云数据进行提取为对所述原始路面点云数据进行下采样,得到所述第二点云数据。
本申请提供的另一种实施方式为:所述下采样包括:输入所述原始路面点云数据,设置最小距离,采用所述最小距离下采样方法对所述原始路面点云数据进行下采样。
本申请提供的另一种实施方式为:所述步骤2)对所述第二点云数据进行结构增强为对所述第二点云数据进行主特征距离分布空间构造,在所述主特征距离分布空间中为所述第二点云数据构建邻接矩阵。
本申请提供的另一种实施方式为:所述对所述第二点云数据进行主特征距离分布空间构造包括:将所述第二点云数据中的点采用三维空间坐标表示,所述点的主特征为所述点反射强度的函数;获取所述点的映射点,所述映射点集合为主特征距离分布空间。
本申请提供的另一种实施方式为:所述在所述主特征距离分布空间中为所述第二点云数据构建邻接矩阵包括:在所述主特征距离分布空间中定义所述映射点集合中意两点的主特征距离为所述映射点的欧几里得距离;利用所述主特征距离,采用固定半径的最近邻算法定义所述映射点集合中每个点的邻居点;对所述映射点集合中每个点执行上述操作,得到所述映射点集合中所有点的邻居集合为所述映射点邻居集合;按照与所述映射点集合中所有点排列的相同顺序将所述映射点集合中每个点的邻居向量连接起来,得到所述映射点集合的邻接矩阵。
本申请提供的另一种实施方式为:还包括构建所述第二点云数据的特征矩阵,选取所述特征矩阵为训练数据,对所述图卷积神经网络进行训练。
本申请提供的另一种实施方式为:所述特征矩阵包括第映射点横坐标、映射点纵坐标、主特征、主特征空间密度特征、高程上下文特征、强度上下文特征和局部分布特征。
本申请提供的另一种实施方式为:所述训练图卷积神经网络为以半监督的方式训练所述图卷积神经网络,所述图卷积神经网络为两层契比雪夫网络。
本申请提供的另一种实施方式为:所述第二点云数据分为训练数据,验证数据和测试数据。
本申请还提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的方法。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所属计算机程序被处理器执行时实现所述的方法。
3.有益效果
与现有技术相比,本申请提供的一种基于车载激光点云的路面裂缝检测方法的有益效果在于:
本申请提供的基于车载激光点云的路面裂缝检测方法,能够提供快速、高效的路面裂缝检测,可以为用户提供调查区域任意路段的路面裂缝分布图。
本申请提供的基于车载激光点云的路面裂缝检测方法,使用基于图结构的表示法来表示输入点云,这样可以避免信息丢失,并且能够通过点的邻域来表征点的局部特征。
本申请提供的基于车载激光点云的路面裂缝检测方法,采用半监督训练方法,可以从少量注释数据和大量未注释数据中学习特征,从而可以大大减少基于学习的方法的数据依赖性。
本申请提供的基于车载激光点云的路面裂缝检测方法,提出了一种图拓宽策略,为输入点云建立合理的邻接关系和新特征,扩大了图卷积神经网络的感受野,提高了神经网络的表达能力,提高了道路点云场景中裂缝检测的准确性和效率。
附图说明
图1是本申请的基于车载激光点云的路面裂缝检测方法实施例的流程示意图;
图2是本申请的原始路面点云数据示意图;
图3是本申请的路面裂缝检测结果示意图;
图4是本申请的终端设备结构示意图。
具体实施方式
在下文中,将参考附图对本申请的具体实施例进行详细地描述,依照这些详细的描述,所属领域技术人员能够清楚地理解本申请,并能够实施本申请。在不违背本申请原理的情况下,各个不同的实施例中的特征可以进行组合以获得新的实施方式,或者替代某些实施例中的某些特征,获得其它优选的实施方式。
有监督的基于深度学习的方法的性能在很大程度上取决于训练过程中带注释的语义标签的数量和质量,而这些标注数据的获取十分耗时、成本高且劳动强度大,利用这些数据训练获取模型只能处理特定场景中的点云数据。有监督的基于学习的方法需要训练大量参数,并且随着网络深度的增加,计算强度也会增加。为了处理更大规模,更复杂的点云数据,有监督深度学习方法对带标注的训练数据的数量、质量和复杂度都提出了更高的要求。同时,这些方法所需训练的参数数量和计算成本将大大增加。因此,有监督的基于深度学习的方法显然不足以满足更大范围和更复杂点云场景的数据处理需求。
参见图1~4,本申请提供一种基于车载激光点云的路面裂缝检测方法,所述方法包括如下步骤:1)获取原始路面点云数据,对所述原始路面点云数据进行提取,得到第二点云数据;2)对所述第二点云数据进行结构增强,放大所述第二点云数据中裂缝点与非裂缝点的差异;3)选取训练数据训练图卷积神经网络得到模型;4)通过所述模型获取所述第二点云数据中路面裂缝。
进一步地,所述步骤1)对所述原始路面点云数据进行提取为对所述原始路面点云数据进行下采样,得到所述第二点云数据。
具体的,对原始路面点云数据进行下采样;对下采样后的点云数据P进行主特征距离分布空间构造;在主特征距离分布空间中为下采样后的点云数据构建邻接矩阵;训练图卷积神经网络,从下采样后的点云数据中检测路面裂缝点。
进一步地,所述下采样包括:输入所述原始路面点云数据,设置最小距离,采用所述最小距离下采样方法对所述原始路面点云数据进行下采样。
进一步地,所述步骤2)对所述第二点云数据进行结构增强为对所述第二点云数据进行主特征距离分布空间构造,在所述主特征距离分布空间中为所述第二点云数据构建邻接矩阵。
进一步地,所述对所述第二点云数据进行主特征距离分布空间构造包括:将所述第二点云数据中的点采用三维空间坐标表示,所述点的主特征为所述点反射强度的函数;获取所述点的映射点,所述映射点集合为主特征距离分布空间。
进一步地,所述在所述主特征距离分布空间中为所述第二点云数据构建邻接矩阵包括:在所述主特征距离分布空间中定义所述映射点集合中意两点的主特征距离为所述映射点的欧几里得距离;利用所述主特征距离,采用固定半径的最近邻算法定义所述映射点集合中每个点的邻居点;对所述映射点集合中每个点执行上述操作,得到所述映射点集合中所有点的邻居集合为所述映射点邻居集合;按照与所述映射点集合中所有点排列的相同顺序将所述映射点集合中每个点的邻居向量连接起来,得到所述映射点集合的邻接矩阵。
进一步地,还包括构建所述第二点云数据的特征矩阵,选取所述特征矩阵为训练数据,对所述图卷积神经网络进行训练。
进一步地,所述特征矩阵包括映射点横坐标、映射点纵坐标、主特征、主特征空间密度特征、高程上下文特征、强度上下文特征和局部分布特征。
进一步地,所述训练图卷积神经网络为以半监督的方式训练所述图卷积神经网络,所述图卷积神经网络为两层契比雪夫网络。以半监督的方式训练一个两层的图卷积神经网络,并且利用该卷积神经网络从未定标签的点中检测出属于裂缝的点。
进一步地,所述第二点云数据分为训练数据,验证数据和测试数据。
实施例
本实施例的流程示意图可见图1,具体操作过程如下。
1.实验区域道路点云提取。
已知三维道路场景激光点云Praw的原始点云数据如图2所示,先对点云进行下采样,即减少点云数据中数据点的数量。首先设置一个最小距离sd,然后采用最小距离下采样方法对输入点云进行下采样。因为本实施例中处理的原始道路场景路面点云中,装载车载移动激光扫描仪的车辆的行进速度为80km/h,移动激光扫描仪的扫描速度为400转/秒,根据车辆行进速度和激光扫描仪的扫描速度可以计算得到,该装置所获取的路面点云数据中,相邻平行扫描线之间的距离约为0.1m。因此,本实施例中将下采样最小距离选定为sd=0.05米。对原始道路点云数据进行下采样,以获得均匀排列的点云,这有利于后续操作并且能够降低计算复杂度。最小距离下采样方法可以确保下采样后的点云P中任意两点之间的距离都大于0.05米。将利用最小距离下采样方法从Praw中获取的下采样后的点云记为P,
2.构建输入点云的邻接矩阵。
在本实施例中,为了放大路点云中裂纹点与非裂纹点之间的反射强度差异和分布结构差异,利用本申请所提出的一种空间映射策略,对下采样后的点云进行结构增强。观察道路点的反射强度,发现裂缝点可以通过反射强度和分布结构与其他点区分开。裂缝点具有较低的反射强度,并且通常以不规则的十字形条状分布,而非裂缝点具有较高的反射强度(路面和道路标记点)或具有分散的分布(路面纹理点)。
首先,对于下采样后点云记为P={p1,p2,...,pn|pi=(xi,yi,zi,Ii)},其中n是P中所包含的点的个数。对于点pi,Ci=(xi,yi,zi)为点pi的三维空间坐标,Ii为点pi的反射强度。pi的主特征Mi为其反射强度Ii的函数,可以通过以下公式计算得到:
对P中每个点都执行上述操作,从而可以得到P的主特征为M={M1,M2,...,Mn};
然后,对于点pi∈P,交换zi和Ii的位置,并将Ii替换为Mi,从而得到点pi的映射点qi。对P中每个点执行上述操作,从而能够将P中所有点都映射到一个主特征距离分布空间中,得到点集Q={q1,q2,...,qn|qi=(xi,yi,Mi,zi)},其中qi的空间坐标为,zi为qi的高程特征。
接着,在主特征距离分布空间中定义Q中任意两点qi,qj的主特征距离为qi,qj的空间坐标的欧几里得距离,‖·‖为欧几里得范数,则点qi,qj在主特征距离分布空间中的距离可以由以下公式计算得到:
利用主特征距离分布空间中点之间的主特征距离,采用固定半径的最近邻算法(fr-NN)定义Q中每个点的邻居点。对于qi∈Q,将qi的邻居定义为有:
其中r为fr-NN所选定的半径,半径可以通过公式计算得到。在本实施例中,将半径尺度设为T=3,则计算得到半径为/>米。
最后,对Q中每个点执行上述操作,可以得到Q中所有点的邻居集合为Qneig bor,由Q中每个点的邻居列表组成。对于点qi∈Q,点qi的邻居可以表示为一个n维向量。若某一点qj∈Q是点qi的邻居,则将点qi的邻居向量中第j个元素的值赋为1;否则,将其值赋为0。按照与Q中所有点排列的相同顺序将Q中每个点的邻居向量连接起来,得到Q的邻接矩阵An×n
3.构建输入点云的特征矩阵。
在本实施例中,为输入点云设计了四个新的特征,以从而为下采样后的点云构建更紧凑的特征表达空间,同时还能够扩大图卷积神经网络的感受野。本申请所设计的合理的特征能够帮助分类器更可靠地判别输入点的类别。
首先,构建主特征空间密度特征(MFSD)。在本实施例中,路面点云中裂缝点的数量远远少于非裂缝点,并且非裂缝点密集分布,而大部分裂缝点以不规则的带状形状排列。因此,很明显,在主特征距离分布空间中,裂缝点的密度将远小于路面点的密度,而大于路面纹理点的密度。本申请所设计的MFSD可以用于描述主特征距离分布空间中重构点云的上述特征。本申请将下采样后的点云P映射在主特征距离分布空间中的点云Q的主特征空间密度定义为Md,可以根据以下公式计算得到:
Md=normalize(number(Qneig bor),range(0,1))
其中,number(·)计算Qneig bor中每个元素所包含的点的个数,normalize(·,range(0,1))将值归一化到[0,1];
接着,构建高程上下文特征(ECF)。在本实施例中,裂缝点的高程通常小于非裂缝点,但是裂缝点与非裂缝点的高程差非常小,并且容易被路面纹理点所干扰。因此,本申请设计ECF来获取每个点附近的高程的上下文信息,从而利用主特征距离分布空间中放大的局部分布结构来增强裂缝点边缘附近点的特征。在本实施例中,对于点qi∈Q,zi为qi的高程特征,Vi为qi的邻居点的集合。记Vi的局部高程集合为由Vi中所有点的高程特征组成。记ECF为/>有:
然后,构建强度上下文特征(ICF)。本申请将反射强度转换为主特征以构建主特征距离分布空间。尽管该变换放大了裂纹点与非裂纹点之间的反射强度区别,但信息丢失是不可避免的。为了补偿信息损失,本申请设计ICF以进一步利用输入点云的反射强度。在本实施例中,对于qi∈Q,Ii为qi的反射强度,Vi为qi的邻居点的集合。记Vi的局部反射强度集合为由Vi中所有点的反射强度组成。记ICF为/>有:
再然后,构建局部分布特征(LDF)。在本实施例中,对于qi∈Q,Di为qi的主特征距离,Vi为qi的邻居点的集合。记Vi的局部高程集合为由Vi中所有点与点qi的主特征距离组成。记LDF为/>有:
最后,将X、Y、主特征、主特征空间密度特征、高程上下文特征、强度上下文特征和局部分布特征组合起来,获得特征矩阵Fn×16
4.通过半监督方式训练图卷积神经网络检测路面裂缝点。
将上述步骤所获取的邻接矩阵An×n、特征矩阵Fn×16以及下采样后的点云P中少部分点的标签信息作为训练数据,以半监督的方式训练一个两层的图卷积神经网络,并且利用训练好的模型,判定属于测试数据点中哪些点属于裂缝。具体地,将下采样后的点云P中前10%的点的作为训练数据,接下来20%的点的标签作为验证数据,最后60%的点的标签作为测试数据。选用的卷积神经网络为2层的切比雪夫网络,学习率设置为0.01,第一层输出单元设置为2,dropout率设置为0.5,L2损失权重设置为5×10-4,切比雪夫多项式的度设置为3。本实施例中,路面裂缝检测结果如图3所示。
本申请还提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
该实施例的终端设备包括:至少一个处理器(图4中仅示出一个)处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现下述任意各个代谢路径预测方法实施例中的步骤。
本申请实施例提供的分子优化方法可以应用于平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)等终端设备上,本申请实施例对终端设备的具体类型不作任何限制。
例如,所述终端设备可以是WLAN中的站点(STAION,ST),可以是个人数字处理(Personal Digital Assistant,PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡。
所述终端设备可以是台式计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,仅仅是终端设备的举例,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述终端设备的内部存储单元,例如终端设备的硬盘或内存。所述存储器在另一些实施例中也可以是所述终端设备的外部存储设备,例如所述终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,MC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

Claims (5)

1.一种基于车载激光点云的路面裂缝检测方法,其特征在于,所述方法包括如下步骤:
1)获取原始路面点云数据,对所述原始路面点云数据进行提取,得到第二点云数据;
2)对所述第二点云数据进行结构增强,放大所述第二点云数据中裂缝点与非裂缝点的差异;
3)选取训练数据训练图卷积神经网络得到模型;
4)通过所述模型获取所述第二点云数据中路面裂缝;所述步骤2)对所述第二点云数据进行结构增强为对所述第二点云数据进行主特征距离分布空间构造,在所述主特征距离分布空间中为所述第二点云数据构建邻接矩阵;所述对所述第二点云数据进行主特征距离分布空间构造包括:将所述第二点云数据中的点采用三维空间坐标表示,所述点的主特征为所述点反射强度的函数;获取所述点的映射点,映射点集合为主特征距离分布空间;所述在所述主特征距离分布空间中为所述第二点云数据构建邻接矩阵包括:在所述主特征距离分布空间中定义所述映射点集合中意两点的主特征距离为所述映射点的欧几里得距离;利用所述主特征距离,采用固定半径的最近邻算法定义所述映射点集合中每个点的邻居点;对所述映射点集合中每个点执行上述操作,得到所述映射点集合中所有点的邻居集合为映射点邻居集合;按照与所述映射点集合中所有点排列的相同顺序将所述映射点集合中每个点的邻居向量连接起来,得到所述映射点集合的邻接矩阵;还包括构建所述第二点云数据的特征矩阵,选取所述特征矩阵为训练数据,对所述图卷积神经网络进行训练;所述特征矩阵包括映射点横坐标、映射点纵坐标、主特征、主特征空间密度特征、高程上下文特征、强度上下文特征和局部分布特征;
构建输入点云的邻接矩阵;
首先,对于下采样后点云记为P={p1,p2,...,pn|pi=(xi,yi,zi,Ii)},其中n是P中所包含的点的个数;对于点pi,Ci=(xi,yi,zi)为点pi的三维空间坐标,Ii为点pi的反射强度,pi的主特征Mi为其反射强度Ii的函数,通过以下公式计算得到:
对P中每个点都执行上述操作,从而可以得到P的主特征为M={M1,M2,...,Mn};
然后,对于点pi∈P,交换zi和Ii的位置,并将Ii替换为Mi,从而得到点pi的映射点qi,对P中每个点执行上述操作,从而能够将P中所有点都映射到一个主特征距离分布空间中,得到点集Q={q1,q2,...,qn|qi=(xi,yi,Mi,zi)},其中qi的空间坐标为,zi为qi的高程特征;
接着,在主特征距离分布空间中定义Q中任意两点qi,qj的主特征距离为qi,qj的空间坐标的欧几里得距离,||·||为欧几里得范数,则点qi,qj在主特征距离分布空间中的距离由以下公式计算得到:
利用主特征距离分布空间中点之间的主特征距离,采用固定半径的最近邻算法(fr-NN)定义Q中每个点的邻居点,对于qi∈Q,将qi的邻居定义为有:
其中r为fr-NN所选定的半径,半径可以通过公式计算得到;将半径尺度设为T=3,则计算得到半径为/>米,sd为最小距离;
最后,对Q中每个点执行上述操作,得到Q中所有点的邻居集合为Qneighbor,由Q中每个点的邻居列表组成,对于点qi∈Q,点qi的邻居可以表示为一个n维向量,若某一点qj∈Q是点qi的邻居,则将点qi的邻居向量中第j个元素的值赋为1;否则,将其值赋为0;按照与Q中所有点排列的相同顺序将Q中每个点的邻居向量连接起来,得到Q的邻接矩阵An×n
构建输入点云的特征矩阵:
首先,构建主特征空间密度特征,将下采样后的点云P映射在主特征距离分布空间中的点云Q的主特征空间密度定义为Md,根据以下公式计算得到:
Md=normalize(number(Qneighbor),range(0,1))
其中,number(·)计算Qneighbor中每个元素所包含的点的个数,normalize(·,range(0,1))将值归一化到[0,1];
接着,构建高程上下文特征,设计高程上下文特征来获取每个点附近的高程的上下文信息,从而利用主特征距离分布空间中放大的局部分布结构来增强裂缝点边缘附近点的特征,对于点qi∈Q,zi为qi的高程特征,Vi为qi的邻居点的集合,记Vi的局部高程集合为由Vi中所有点的高程特征组成,记高程上下文特征为/>有:
然后,构建强度上下文特征,将反射强度转换为主特征以构建主特征距离分布空间,尽管该反射强度转换放大了裂纹点与非裂纹点之间的反射强度区别,但信息丢失是不可避免的,为了补偿信息损失,设计强度上下文特征以进一步利用输入点云的反射强度,对于qi∈Q,Ii为qi的反射强度,Vi为qi的邻居点的集合,记Vi的局部反射强度集合为由Vi中所有点的反射强度组成,记强度上下文特征为/>有:
再然后,构建局部分布特征,对于qi∈Q,Di为qi的主特征距离,Vi为qi的邻居点的集合,记Vi的局部分布集合为由Vi中所有点与点qi的主特征距离组成,记局部分布特征为/>有:
最后,将X、Y、主特征、主特征空间密度特征、高程上下文特征、强度上下文特征和局部分布特征组合起来,获得特征矩阵Fn×16
2.如权利要求1所述的基于车载激光点云的路面裂缝检测方法,其特征在于,所述步骤1)对所述原始路面点云数据进行提取为对所述原始路面点云数据进行下采样,得到所述第二点云数据。
3.如权利要求2所述的基于车载激光点云的路面裂缝检测方法,其特征在于,所述下采样包括:
输入所述原始路面点云数据,设置最小距离,采用所述最小距离下采样方法对所述原始路面点云数据进行下采样。
4.如权利要求1所述的基于车载激光点云的路面裂缝检测方法,其特征在于,所述训练图卷积神经网络为以半监督的方式训练所述图卷积神经网络,所述图卷积神经网络为两层契比雪夫网络。
5.如权利要求1所述的基于车载激光点云的路面裂缝检测方法,其特征在于,所述第二点云数据分为训练数据,验证数据和测试数据。
CN202011596115.3A 2020-12-29 2020-12-29 一种基于车载激光点云的路面裂缝检测方法 Active CN112785548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011596115.3A CN112785548B (zh) 2020-12-29 2020-12-29 一种基于车载激光点云的路面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011596115.3A CN112785548B (zh) 2020-12-29 2020-12-29 一种基于车载激光点云的路面裂缝检测方法

Publications (2)

Publication Number Publication Date
CN112785548A CN112785548A (zh) 2021-05-11
CN112785548B true CN112785548B (zh) 2023-07-18

Family

ID=75751372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011596115.3A Active CN112785548B (zh) 2020-12-29 2020-12-29 一种基于车载激光点云的路面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN112785548B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612429B (zh) * 2022-03-10 2024-06-11 北京工业大学 一种基于双目视觉的模锻件裂缝识别定位及改进方法
CN116993728B (zh) * 2023-09-26 2023-12-01 中铁水利信息科技有限公司 一种基于点云数据的大坝裂缝监测系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500338B (zh) * 2013-10-16 2016-08-10 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
JP2016090547A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
US10036801B2 (en) * 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术(北京)有限公司 基于点云数据的车辆轮廓检测方法和装置
CN106776996B (zh) * 2016-12-02 2018-09-07 百度在线网络技术(北京)有限公司 用于测试高精度地图的准确性的方法和装置
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
US11714024B2 (en) * 2017-11-30 2023-08-01 University Of Kansas Vision-based fatigue crack detection using feature tracking
CN109816626A (zh) * 2018-12-13 2019-05-28 深圳高速工程检测有限公司 路面裂缝检测方法、装置、计算机设备和存储介质
CN110473187B (zh) * 2019-08-08 2022-03-22 武汉光谷卓越科技股份有限公司 一种面向对象的线扫描三维路面裂缝提取方法
CN111105398A (zh) * 2019-12-19 2020-05-05 昆明能讯科技有限责任公司 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN111882664A (zh) * 2020-07-08 2020-11-03 武汉武大卓越科技有限责任公司 一种多窗口累计差分的裂缝提取方法

Also Published As

Publication number Publication date
CN112785548A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Yang et al. Automatic pixel‐level crack detection and measurement using fully convolutional network
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
Ali et al. Structural crack detection using deep convolutional neural networks
Ji et al. An integrated approach to automatic pixel-level crack detection and quantification of asphalt pavement
Fang et al. A novel hybrid approach for crack detection
Zhang et al. Concrete crack detection using context‐aware deep semantic segmentation network
Li et al. Semi-supervised semantic segmentation using adversarial learning for pavement crack detection
Deng et al. Review on computer vision-based crack detection and quantification methodologies for civil structures
Feng et al. GCN-based pavement crack detection using mobile LiDAR point clouds
CN109740639B (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN112785548B (zh) 一种基于车载激光点云的路面裂缝检测方法
Yang et al. Automatic pixel-level crack detection for civil infrastructure using Unet++ and deep transfer learning
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN116579616B (zh) 一种基于深度学习的风险识别方法
CN113888754B (zh) 一种基于雷达视觉融合的车辆多属性识别方法
Ma et al. SD-GCN: Saliency-based dilated graph convolution network for pavement crack extraction from 3D point clouds
Gou et al. Pavement crack detection based on the improved faster-rcnn
König et al. What's cracking? A review and analysis of deep learning methods for structural crack segmentation, detection and quantification
Zhang et al. Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework
Yu et al. Cracklab: A high-precision and efficient concrete crack segmentation and quantification network
CN115457001A (zh) 基于vgg网络的光伏板异物检测方法、系统、装置及介质
Feng et al. SCL-GCN: Stratified Contrastive Learning Graph Convolution Network for pavement crack detection from mobile LiDAR point clouds
Mei et al. A conditional wasserstein generative adversarial network for pixel-level crack detection using video extracted images
Zhao et al. MED-YOLOv8s: a new real-time road crack, pothole, and patch detection model
Kumar et al. Feasibility analysis of convolution neural network models for classification of concrete cracks in Smart City structures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant