CN117745786B - 基于三维点云数据的道路裂缝深度检测装置及检测方法 - Google Patents
基于三维点云数据的道路裂缝深度检测装置及检测方法 Download PDFInfo
- Publication number
- CN117745786B CN117745786B CN202410186585.4A CN202410186585A CN117745786B CN 117745786 B CN117745786 B CN 117745786B CN 202410186585 A CN202410186585 A CN 202410186585A CN 117745786 B CN117745786 B CN 117745786B
- Authority
- CN
- China
- Prior art keywords
- crack
- visualization
- crack region
- road
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000012800 visualization Methods 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000005728 strengthening Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
公开了一种基于三维点云数据的道路裂缝深度检测装置及检测方法。其首先利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据，接着，对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据，然后，对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域，接着，基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图，然后，对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征，最后，基于所述空间局部显化裂缝区域特征，确定裂缝深度值。
Description
技术领域
本申请涉及道路检测领域，且更为具体地，涉及一种基于三维点云数据的道路裂缝深度检测装置及检测方法。
背景技术
道路裂缝是道路病害的一种常见形式，它会影响道路的平整性和安全性，降低道路的使用寿命和服务水平。因此，及时准确地检测道路裂缝的深度对于道路养护和管理具有重要意义。
然而，传统的道路裂缝深度检测系统主要基于图像处理技术进行道路裂缝的检测，这种检测方式对于图像质量和光照条件较为敏感。也就是说，图像中的光照变化、阴影、遮挡物等因素会对裂缝的检测结果产生干扰，导致准确性不高。此外，传统的道路裂缝深度检测系统通常只能提取道路表面的二维信息，无法获取道路裂缝的三维形状和深度信息。这种情况下，无法准确评估道路裂缝的严重程度和维修需求，限制了道路养护和管理的效果和质量。
因此，期望一种基于三维点云数据的道路裂缝深度检测装置。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于三维点云数据的道路裂缝深度检测装置及检测方法，其可以基于三维点云数据实现对道路裂缝的自动化检测和深度计算，从而提高道路裂缝深度检测的准确性和效率，为道路养护和管理提供重要的技术支持。
根据本申请的一个方面，提供了一种基于三维点云数据的道路裂缝深度检测装置，其包括：
道路扫描模块，用于利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据；
三维点云数据滤波模块，用于对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据；
三维点云数据分割模块，用于对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域；
裂缝区域特征提取模块，用于基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图；
裂缝区域特征空间显化模块，用于对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征；以及
裂缝深度计算模块，用于基于所述空间局部显化裂缝区域特征，确定裂缝深度值。
根据本申请的另一个方面，提供了一种基于三维点云数据的道路裂缝深度检测方法，其包括：
利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据；
对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据；
对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域；
基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图；
对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征；以及
基于所述空间局部显化裂缝区域特征，确定裂缝深度值。
与现有技术相比，本申请提供的基于三维点云数据的道路裂缝深度检测装置及检测方法，其首先利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据，接着，对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据，然后，对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域，接着，基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图，然后，对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征，最后，基于所述空间局部显化裂缝区域特征，确定裂缝深度值。这样，可以提高道路裂缝深度检测的准确性和效率，为道路养护和管理提供重要的技术支持。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的基于三维点云数据的道路裂缝深度检测装置的框图示意图。
图2为根据本申请实施例的基于三维点云数据的道路裂缝深度检测方法的流程图。
图3为根据本申请实施例的基于三维点云数据的道路裂缝深度检测方法的系统架构的示意图。
图4为根据本申请实施例的基于三维点云数据的道路裂缝深度检测装置的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，在本申请的技术方案中，提出了一种基于三维点云数据的道路裂缝深度检测装置，其能够利用激光扫描仪对道路表面进行扫描来得到道路三维点云数据，并在后端引入数据处理和分析算法来进行所述道路三维点云数据的分析，以此来进行道路裂缝深度的检测。这样，能够基于三维点云数据实现对道路裂缝的自动化检测和深度计算，从而提高道路裂缝深度检测的准确性和效率，为道路养护和管理提供重要的技术支持。
图1为根据本申请实施例的基于三维点云数据的道路裂缝深度检测装置的框图示意图。如图1所示，根据本申请实施例的基于三维点云数据的道路裂缝深度检测装置100，包括：道路扫描模块110，用于利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据；三维点云数据滤波模块120，用于对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据；三维点云数据分割模块130，用于对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域；裂缝区域特征提取模块140，用于基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图；裂缝区域特征空间显化模块150，用于对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征；以及，裂缝深度计算模块160，用于基于所述空间局部显化裂缝区域特征，确定裂缝深度值。
应可以理解，道路扫描模块110负责采集道路的几何形状和拓扑结构信息。其中，激光扫描仪（Laser Scanner）是一种用于获取物体表面几何信息的设备，它通过发射激光束并测量其在物体表面的反射，从而得到物体的三维点云数据。激光扫描仪可以由以下组件组成：1.激光发射器：用于发射激光束。激光束可以是可见光或红外线，具有高方向性和较小的发散角度。2.接收器：用于接收激光束反射回来的信号，接收器通常包括光电二极管或光电探测器，用于测量激光束的强度和时间延迟。3.扫描机构：用于控制激光束的扫描范围和方向，扫描机构可以是旋转镜或移动平台，可以使激光束在水平和垂直方向上进行扫描。4.控制单元：用于控制激光扫描仪的操作和数据采集，控制单元通常包括硬件电路和软件接口，用于与计算机或其他设备进行通信。激光扫描仪能够高效地获取物体的三维形状和结构信息，为后续的分析和处理提供准确的数据基础。三维点云数据滤波模块120对采集到的道路三维点云数据进行滤波处理，以去除噪声和异常点，得到滤波后的道路三维点云数据，该模块有助于提高后续处理的准确性和稳定性。三维点云数据分割模块130对滤波后的道路三维点云数据进行分割，将其划分为无裂缝区域和裂缝区域，通过分割，可以将道路表面的平整部分和裂缝部分进行区分，为后续的裂缝深度检测提供更准确的数据。裂缝区域特征提取模块140通过学习裂缝区域的特征表示，为后续的深度计算提供更具信息量的输入。裂缝区域特征空间显化模块150的目的是使裂缝区域的特征更加明显，便于后续的深度计算和可视化。裂缝深度计算模块160利用提取的裂缝区域特征和相关算法进行深度计算，从而得到裂缝的深度信息。这些模块协同工作，通过对道路三维点云数据的处理和分析，实现了道路裂缝的深度检测和计算。
具体地，在本申请的技术方案中，首先，利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据。接着，考虑到所述道路表面的道路三维点云数据可能会受到多种因素的影响，例如激光扫描仪的测量误差、环境光照变化、遮挡物等，这些因素会导致点云数据中存在噪声和异常点。因此，为了能够去除道路三维点云数据中的噪声和异常点，以得到更干净和可靠的三维点云数据来提高裂缝深度计算的准确性，在本申请的技术方案中，需要对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据。
应可以理解，在实际进行道路的裂缝深度检测过程中，道路表面通常包含无裂缝区域和裂缝区域。无裂缝区域指的是道路表面没有明显病害或变形的部分，而裂缝区域则是指道路表面存在裂缝的部分。因此，为了能够更好地进行道路裂缝的检测和深度计算，需要将所述滤波后道路三维点云数据划分为无裂缝区域和裂缝区域，并针对裂缝区域进行后续的处理和分析。基于此，在本申请的技术方案中，进一步对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域。特别地，在本申请的一个具体示例中，可以采用分割算法来进行裂缝区域的分割，也就是说，在道路裂缝检测中，分割算法可以将裂缝区域与无裂缝区域进行分离，使得后续的裂缝检测和深度计算更加准确和可靠。
然后，为了提取裂缝区域的特征表示，以便后续的深度检测和分析，在本申请的技术方案中，进一步使用在三维模型的隐含特征提取方面具有优异表现性能的三维卷积神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图。这样，可以捕捉到所述裂缝区域的空间结构等特征分布信息，这些特征可以包括裂缝的形状、纹理、边缘等，以及与裂缝相关的几何属性，如宽度、长度和方向等信息，有助于更为准确地识别裂缝并对裂缝进行深度检测。
相应地，在所述裂缝区域特征提取模块140中，所述深度神经网络模型为三维卷积神经网络模型。值得一提的是，三维卷积神经网络（3D Convolutional Neural Network）是一种深度学习模型，专门用于处理三维数据，如三维图像、三维点云或视频数据。它是在传统的卷积神经网络（Convolutional Neural Network，CNN）的基础上进行扩展和改进的。与传统的二维卷积神经网络不同，三维卷积神经网络能够处理具有时间维度或深度维度的三维数据。它在卷积操作中考虑了数据的空间关系和特征的时间演化，从而能够捕捉到三维数据中的空间和时间特征。三维卷积神经网络在裂缝区域特征提取模块中的应用可以帮助提取裂缝区域的特征表示。通过多层的三维卷积、池化和非线性激活操作，网络能够学习到裂缝区域的局部和全局特征，捕捉到裂缝的形状、纹理和其他重要的特征信息。使用三维卷积神经网络模型进行裂缝区域特征提取的好处包括：1.信息丰富：三维卷积神经网络能够从裂缝区域中提取丰富的空间特征，捕捉到细微的变化和模式。2.上下文建模：通过多层的卷积和池化操作，网络能够对裂缝区域进行多尺度的上下文建模，从而更好地理解裂缝的结构和上下文信息。3.自动学习特征表示：三维卷积神经网络具有强大的自动学习能力，可以从大量的训练数据中学习到最适合裂缝区域特征提取的特征表示，无需手动设计特征。通过使用三维卷积神经网络模型，裂缝区域特征提取模块能够有效地从输入的裂缝区域中提取出有用的特征表示，为后续的裂缝深度计算和其他任务提供更准确和有信息量的输入。
具体地，所述裂缝区域特征提取模块140，用于：通过所述三维卷积神经网络模型各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述三维卷积神经网络模型的最后一层的输出为所述裂缝区域特征图，其中，所述三维卷积神经网络模型的第一层的输入为所述裂缝区域。
进一步地，考虑到在实际进行道路裂缝的深度检测过程中，需要聚焦于裂缝区域中关于裂缝的深度空间特征信息，因此，为了进一步提升裂缝深度特征的表达能力，使得裂缝的特征信息在特征图中更加突出和显著，在本申请的技术方案中，进一步将所述裂缝区域特征图通过基于空间自注意力模块的裂缝深度强化表达器以得到空间局部显化裂缝区域特征图。应可以理解，通过引入所述空间自注意力机制，可以使网络在处理所述裂缝区域特征图时更加关注重要的空间位置，从而增强裂缝特征的表达。具体而言，所述空间自注意力模块可以通过计算裂缝的每个位置与其周围位置之间的相似度来确定每个位置的权重。这些权重可以用于加权聚合周围位置的特征表示，从而生成更具区分度和表达力的特征图。在所述裂缝深度强化表达器中，所述空间自注意力模块可以帮助网络集中关注裂缝所在局部区域的深度重要特征信息，从而突出裂缝的空间深度局部性。这有助于后续的裂缝深度检测和分析任务，使网络能够更准确地计算裂缝的深度。
相应地，所述裂缝区域特征空间显化模块150，用于：将所述裂缝区域特征图通过基于空间自注意力模块的裂缝深度强化表达器以得到空间局部显化裂缝区域特征图作为所述空间局部显化裂缝区域特征。值得一提的是，空间自注意力模块（Spatial Self-Attention Module）是一种用于增强空间特征表示的模块，常用于图像处理和计算机视觉任务中，它可以捕捉到输入特征图中不同位置之间的关联性，并对不同位置的特征进行加权，以提取更具有区分性和重要性的特征表示。空间自注意力模块通常由以下几个步骤组成：1.特征映射：将输入的特征图通过一组线性变换，将每个位置的特征映射到不同的特征空间。2.相似性计算：对于每个位置，计算它与其他位置之间的相似度，常用的相似度计算方法包括点积操作、欧氏距离或余弦相似度。3.注意力权重计算：根据相似度计算的结果，计算每个位置对其他位置的注意力权重，这些权重反映了不同位置之间的关联性和重要性。4.特征融合：将每个位置的特征与对应位置的注意力权重进行加权融合，得到增强的特征表示。这样可以使得模型更加关注重要的位置和特征。空间自注意力模块的主要作用是增强输入特征图中的空间局部关联性。它可以帮助模型更好地理解不同位置之间的依赖关系和上下文信息，从而提取更具有区分性和表达能力的特征表示。在裂缝区域特征空间显化模块中，空间自注意力模块被用来增强裂缝区域特征图的表达能力，使得模型能够更好地关注裂缝区域的局部特征，并生成空间局部显化的裂缝区域特征图。
具体地，所述裂缝区域特征空间显化模块150，用于：将所述裂缝区域特征图通过所述基于空间自注意力模块的裂缝深度强化表达器以如下空间显化公式进行处理以得到所述空间局部显化裂缝区域特征图；其中，所述空间显化公式为：
;
;
其中，为所述裂缝区域特征图，/>为空间注意力图，/>表示激活函数，/>表示卷积层，且/>表示当卷积核的大小大于一时，对所述裂缝区域特征图进行的低廉增广，/>为所述空间局部显化裂缝区域特征图，/>表示按位置点乘。
继而，再将所述空间局部显化裂缝区域特征图通过基于解码器的深度检测器以得到裂缝深度值。也就是说，利用经过裂缝深度特征显化后的裂缝区域特征信息来进行解码回归，以此来进行裂缝深度的检测和评估。特别地，在本申请的一个具体示例中，在得到所述裂缝深度值后，还可以将该裂缝深度值在显示屏上进行显示，以便于为决策者的决策提供技术支持。
相应地，所述裂缝深度计算模块160，包括：裂缝区域特征优化单元，用于对所述空间局部显化裂缝区域特征图进行优化以得到优化后空间局部显化裂缝区域特征图；以及，裂缝深度检测单元，用于将所述优化后空间局部显化裂缝区域特征图通过基于解码器的深度检测器以得到裂缝深度值。
应可以理解，裂缝区域特征优化单元是裂缝深度计算模块中的一个组成部分，用于对空间局部显化的裂缝区域特征图进行优化，以得到更准确和有信息量的特征表示。具体来说，该单元可以采用各种优化方法，如卷积、池化、非线性激活等，对裂缝区域特征图进行进一步处理和提升，以增强特征的表达能力和鲁棒性。通过优化后的特征图，可以提供更好的输入条件给后续的裂缝深度检测单元。裂缝深度检测单元是裂缝深度计算模块中的另一个组成部分，用于将优化后的空间局部显化裂缝区域特征图输入到基于解码器的深度检测器中，以得到裂缝的深度计算值。解码器通常是一个逆卷积网络或上采样网络，通过上采样和反卷积操作，将输入的特征图逐渐恢复到与原始输入尺寸相匹配的深度图。深度检测器可以学习到裂缝区域特征图与深度之间的映射关系，从而实现对裂缝深度的计算。
进一步地，裂缝深度计算模块的两个单元的作用如下：1.裂缝区域特征优化单元：通过对空间局部显化的裂缝区域特征图进行优化，可以提升特征的表达能力和鲁棒性，使得后续的深度计算更加准确和可靠。2.裂缝深度检测单元：通过基于解码器的深度检测器，将优化后的特征图转换为裂缝深度值，该单元学习到特征图与深度之间的关系，从而实现对裂缝深度的计算。这两个单元共同工作，能够提供一个端到端的裂缝深度计算模块，从优化后的特征图到最终的深度计算值，实现对裂缝深度的准确计算。
特别地，在上述技术方案中，所述裂缝区域特征图表达所述裂缝区域的基于三维卷积核的裂缝区域三维模型局部空间语义关联特征。在将所述裂缝区域特征图通过基于空间自注意力模块的裂缝深度强化表达器后，可进一步对所述裂缝区域特征图中各个位置的特征值的空间属性进行强化表达以得到所述空间局部显化裂缝区域特征图，也就是，所述空间局部显化裂缝区域特征图相对于所述裂缝区域特征图具有空间显著性。但是，考虑到基于空间自注意力模块的裂缝深度强化表达器在各个局部图像语义空间内对于特征矩阵的图像语义特征分布的局部空间分布强化，会显著提升特征矩阵内的局部分布内与局部分布外的分布差异以及特征矩阵间的整体空间分布差异，这就会使得得到的所述空间局部显化裂缝区域特征图的各个特征值在概率密度域下的概率密度表示稀疏化，从而影响通过解码器进行解码时的类概率收敛效果。
基于此，本申请对所述空间局部显化裂缝区域特征图进行优化。相应地，在一个示例中，所述裂缝区域特征优化单元，进一步用于：以如下优化公式对所述空间局部显化裂缝区域特征图进行优化以得到所述优化后空间局部显化裂缝区域特征图；其中，所述优化公式为：
;
;
其中，表示所述空间局部显化裂缝区域特征图，/>表示所述空间局部显化裂缝区域特征图/>的逐位置平方图，/>为参数可训练的中间权重图，例如基于所述空间局部显化裂缝区域特征图/>的基于特征矩阵内局部空间分布差异和特征矩阵间整体空间分布差异，初始设置为其每个特征值为所述空间局部显化裂缝区域特征图/>的全局特征值均值，此外，为所有特征值为1的单位图，/>表示过渡图，/>表示所述过渡图的逐位置平方图，/>表示特征图的按位置相加，/>表示特征图的按位置点乘，/>表示所述优化后空间局部显化裂缝区域特征图。
这里，为了优化所述空间局部显化裂缝区域特征图的稀疏概率密度在整体概率空间内的分布均匀性和一致性，通过类标准柯西分布式的尾部分布加强机制，来对所述空间局部显化裂缝区域特征图/>在高维特征空间内的距离式空间分布进行基于空间角度倾斜式的距离分布优化，以实现所述空间局部显化裂缝区域特征图/>的各个局部特征分布的距离弱相关的特征分布空间共振，从而提升所述空间局部显化裂缝区域特征图/>整体在概率密度分布层面相对于类概率收敛的均匀性和一致性，提升解码收敛效果，即解码收敛的速度和准确性。这样，能够基于道路的三维点云数据实现对道路裂缝的自动化检测和深度计算，从而提高道路裂缝深度检测的准确性和效率，为道路养护和管理提供重要的技术支持。
进一步地，所述裂缝深度检测单元，用于：使用所述基于解码器的深度检测器以如下解码公式对所述优化后空间局部显化裂缝区域特征图进行解码回归以得到所述裂缝深度值；其中，所述解码公式为：，其中，/>表示所述优化后空间局部显化裂缝区域特征图，/>表示所述裂缝深度值，/>表示权重矩阵，/>表示矩阵乘法。
值得一提的是，解码器（Decoder）是深度学习模型中的一个组件，通常用于将高维的特征表示映射回原始输入空间。在裂缝深度检测单元中，解码器被用于将优化后的空间局部显化裂缝区域特征图解码回裂缝深度值。解码器的主要作用是恢复输入特征图的空间维度，将其逐渐还原为与原始输入尺寸相匹配的深度图。它通过上采样和反卷积等操作，将低分辨率的特征图逐渐放大，以恢复细节和空间结构。解码器在深度计算任务中扮演着重要角色，能够学习到特征图与深度之间的映射关系，并将特征图转化为对应的深度计算值。
解码器的具体结构可以根据任务需求和模型设计进行灵活选择。常见的解码器结构包括逆卷积网络（Deconvolution Network）、上采样网络（Upsampling Network）和转置卷积网络（Transpose Convolution Network）等。这些结构通过反卷积、插值或转置卷积等操作来实现特征图的上采样和空间恢复。
在裂缝深度检测单元中，解码器接收优化后的空间局部显化裂缝区域特征图作为输入，并通过解码操作将其映射回裂缝深度值。解码器学习到的映射关系能够帮助模型理解特征图中的深度信息，并生成对应的深度计算值，从而实现对裂缝深度的计算。总体来说，解码器在裂缝深度检测单元中的作用是将优化后的特征图解码回裂缝深度值，从而完成对裂缝深度的计算任务。
综上，基于本申请实施例的基于三维点云数据的道路裂缝深度检测装置100被阐明，其可以提高道路裂缝深度检测的准确性和效率，为道路养护和管理提供重要的技术支持。
如上所述，根据本申请实施例的基于本申请实施例的基于三维点云数据的道路裂缝深度检测装置100可以实现在各种终端设备中，例如具有基于本申请实施例的基于三维点云数据的道路裂缝深度检测算法的服务器等。在一个示例中，基于本申请实施例的基于三维点云数据的道路裂缝深度检测装置100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的基于三维点云数据的道路裂缝深度检测装置100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的基于三维点云数据的道路裂缝深度检测装置100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的基于三维点云数据的道路裂缝深度检测装置100与该终端设备也可以是分立的设备，并且该基于三维点云数据的道路裂缝深度检测装置100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图2为根据本申请实施例的基于三维点云数据的道路裂缝深度检测方法的流程图。图3为根据本申请实施例的基于三维点云数据的道路裂缝深度检测方法的系统架构的示意图。如图2和图3所示，根据本申请实施例的基于三维点云数据的道路裂缝深度检测方法，其包括：S110，利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据；S120，对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据；S130，对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域；S140，基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图；S150，对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征；以及，S160，基于所述空间局部显化裂缝区域特征，确定裂缝深度值。
在一个具体示例中，在上述基于三维点云数据的道路裂缝深度检测方法中，所述深度神经网络模型为三维卷积神经网络模型。
在一个具体示例中，在上述基于三维点云数据的道路裂缝深度检测方法中，基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图，包括：通过所述三维卷积神经网络模型各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述三维卷积神经网络模型的最后一层的输出为所述裂缝区域特征图，其中，所述三维卷积神经网络模型的第一层的输入为所述裂缝区域。
这里，本领域技术人员可以理解，上述基于三维点云数据的道路裂缝深度检测方法中的各个步骤的具体操作已经在上面参考图1的基于三维点云数据的道路裂缝深度检测装置100的描述中得到了详细介绍，并因此，将省略其重复描述。
图4为根据本申请实施例的基于三维点云数据的道路裂缝深度检测装置的应用场景图。如图4所示，在该应用场景中，首先，利用激光扫描仪（例如，图4中所示意的C）对道路表面进行扫描以得到道路三维点云数据（例如，图4中所示意的D），然后，将所述道路三维点云数据输入至部署有基于三维点云数据的道路裂缝深度检测算法的服务器（例如，图4中所示意的S）中，其中，所述服务器能够使用所述基于三维点云数据的道路裂缝深度检测算法对所述道路三维点云数据进行处理以得到裂缝深度值。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本申请所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本申请的说明，而不应被认为是对其的限制。尽管描述了本申请的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本申请的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本申请范围内。应当理解，上面是对本申请的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本申请由权利要求书及其等效物限定。
Claims (2)
1.一种基于三维点云数据的道路裂缝深度检测装置，其特征在于，包括：
道路扫描模块，用于利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据；
三维点云数据滤波模块，用于对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据；
三维点云数据分割模块，用于对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域；
裂缝区域特征提取模块，用于基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图；
裂缝区域特征空间显化模块，用于对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征；以及
裂缝深度计算模块，用于基于所述空间局部显化裂缝区域特征，确定裂缝深度值；
其中，所述深度神经网络模型为三维卷积神经网络模型；
其中，所述裂缝区域特征提取模块，用于：通过所述三维卷积神经网络模型各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述三维卷积神经网络模型的最后一层的输出为所述裂缝区域特征图，其中，所述三维卷积神经网络模型的第一层的输入为所述裂缝区域；
其中，所述裂缝区域特征空间显化模块，用于：将所述裂缝区域特征图通过基于空间自注意力模块的裂缝深度强化表达器以得到空间局部显化裂缝区域特征图作为所述空间局部显化裂缝区域特征；
其中，所述裂缝区域特征空间显化模块，用于：将所述裂缝区域特征图通过所述基于空间自注意力模块的裂缝深度强化表达器以如下空间显化公式进行处理以得到所述空间局部显化裂缝区域特征图；其中，所述空间显化公式为：
;
;
其中，为所述裂缝区域特征图，/>为空间注意力图，/>表示激活函数，/>表示卷积层，且/>表示当卷积核的大小大于一时，对所述裂缝区域特征图进行的低廉增广，/>为所述空间局部显化裂缝区域特征图，/>表示按位置点乘；
其中，所述裂缝深度计算模块，包括：
裂缝区域特征优化单元，用于对所述空间局部显化裂缝区域特征图进行优化以得到优化后空间局部显化裂缝区域特征图；以及
裂缝深度检测单元，用于将所述优化后空间局部显化裂缝区域特征图通过基于解码器的深度检测器以得到裂缝深度值；
其中，所述裂缝区域特征优化单元，进一步用于：以如下优化公式对所述空间局部显化裂缝区域特征图进行优化以得到所述优化后空间局部显化裂缝区域特征图；其中，所述优化公式为：
;
;
其中，表示所述空间局部显化裂缝区域特征图，/>表示所述空间局部显化裂缝区域特征图/>的逐位置平方图，/>为参数可训练的中间权重图，例如基于所述空间局部显化裂缝区域特征图/>的基于特征矩阵内局部空间分布差异和特征矩阵间整体空间分布差异，初始设置为其每个特征值为所述空间局部显化裂缝区域特征图/>的全局特征值均值，此外，/>为所有特征值为1的单位图，/>表示过渡图，/>表示所述过渡图的逐位置平方图，/>表示特征图的按位置相加，/>表示特征图的按位置点乘，/>表示所述优化后空间局部显化裂缝区域特征图；
其中，所述裂缝深度检测单元，用于：使用所述基于解码器的深度检测器以如下解码公式对所述优化后空间局部显化裂缝区域特征图进行解码回归以得到所述裂缝深度值；其中，所述解码公式为：，其中，/>表示所述优化后空间局部显化裂缝区域特征图，/>表示所述裂缝深度值，/>表示权重矩阵，/>表示矩阵乘法。
2.一种基于三维点云数据的道路裂缝深度检测方法，其特征在于，包括：
利用激光扫描仪对道路表面进行扫描以得到道路三维点云数据；
对所述道路三维点云数据进行滤波以得到滤波后道路三维点云数据；
对所述滤波后道路三维点云数据进行分割以得到无裂缝区域和裂缝区域；
基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图；
对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征；以及
基于所述空间局部显化裂缝区域特征，确定裂缝深度值；
其中，所述深度神经网络模型为三维卷积神经网络模型；
其中，基于深度神经网络模型对所述裂缝区域进行三维卷积编码以得到裂缝区域特征图，包括：通过所述三维卷积神经网络模型各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述三维卷积神经网络模型的最后一层的输出为所述裂缝区域特征图，其中，所述三维卷积神经网络模型的第一层的输入为所述裂缝区域；
其中，对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征，包括：将所述裂缝区域特征图通过基于空间自注意力模块的裂缝深度强化表达器以得到空间局部显化裂缝区域特征图作为所述空间局部显化裂缝区域特征；
其中，对所述裂缝区域特征图进行裂缝区域空间局部特征显化处理以得到空间局部显化裂缝区域特征，包括：将所述裂缝区域特征图通过所述基于空间自注意力模块的裂缝深度强化表达器以如下空间显化公式进行处理以得到所述空间局部显化裂缝区域特征图；其中，所述空间显化公式为：
;
;
其中，为所述裂缝区域特征图，/>为空间注意力图，/>表示激活函数，/>表示卷积层，且/>表示当卷积核的大小大于一时，对所述裂缝区域特征图进行的低廉增广，/>为所述空间局部显化裂缝区域特征图，/>表示按位置点乘；
其中，基于所述空间局部显化裂缝区域特征，确定裂缝深度值，包括：
对所述空间局部显化裂缝区域特征图进行优化以得到优化后空间局部显化裂缝区域特征图；以及
将所述优化后空间局部显化裂缝区域特征图通过基于解码器的深度检测器以得到裂缝深度值；
其中，将所述优化后空间局部显化裂缝区域特征图通过基于解码器的深度检测器以得到裂缝深度值，包括：以如下优化公式对所述空间局部显化裂缝区域特征图进行优化以得到所述优化后空间局部显化裂缝区域特征图；其中，所述优化公式为：
;
;
其中，表示所述空间局部显化裂缝区域特征图，/>表示所述空间局部显化裂缝区域特征图/>的逐位置平方图，/>为参数可训练的中间权重图，例如基于所述空间局部显化裂缝区域特征图/>的基于特征矩阵内局部空间分布差异和特征矩阵间整体空间分布差异，初始设置为其每个特征值为所述空间局部显化裂缝区域特征图/>的全局特征值均值，此外，/>为所有特征值为1的单位图，/>表示过渡图，/>表示所述过渡图的逐位置平方图，/>表示特征图的按位置相加，/>表示特征图的按位置点乘，/>表示所述优化后空间局部显化裂缝区域特征图；
其中，将所述优化后空间局部显化裂缝区域特征图通过基于解码器的深度检测器以得到裂缝深度值，包括：使用所述基于解码器的深度检测器以如下解码公式对所述优化后空间局部显化裂缝区域特征图进行解码回归以得到所述裂缝深度值；其中，所述解码公式为：，其中，/>表示所述优化后空间局部显化裂缝区域特征图，/>表示所述裂缝深度值，/>表示权重矩阵，/>表示矩阵乘法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186585.4A CN117745786B (zh) | 2024-02-20 | 2024-02-20 | 基于三维点云数据的道路裂缝深度检测装置及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186585.4A CN117745786B (zh) | 2024-02-20 | 2024-02-20 | 基于三维点云数据的道路裂缝深度检测装置及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117745786A CN117745786A (zh) | 2024-03-22 |
| CN117745786B true CN117745786B (zh) | 2024-05-14 |
Family
ID=90283597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410186585.4A Active CN117745786B (zh) | 2024-02-20 | 2024-02-20 | 基于三维点云数据的道路裂缝深度检测装置及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745786B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208569041U (zh) * | 2018-01-05 | 2019-03-01 | 株洲时代电子技术有限公司 | 桥梁巡检系统 |
| CN113822880A (zh) * | 2021-11-22 | 2021-12-21 | 中南大学 | 一种基于深度学习的裂缝识别方法 |
| CN114841923A (zh) * | 2022-04-10 | 2022-08-02 | 同济大学 | 一种基于无人机的高精度实时裂缝检测方法 |
| CN115035065A (zh) * | 2022-06-13 | 2022-09-09 | 常州大学 | 基于深度学习的道路裂缝检测方法 |
| CN115311274A (zh) * | 2022-10-11 | 2022-11-08 | 四川路桥华东建设有限责任公司 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
| CN115731391A (zh) * | 2022-10-08 | 2023-03-03 | 北京瀚景锦河科技有限公司 | 一种目标区域提取装置以及提取方法 |
| KR102565689B1 (ko) * | 2022-10-12 | 2023-08-09 | 부경대학교 산학협력단 | 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 |
| CN116612082A (zh) * | 2023-05-18 | 2023-08-18 | 重庆交通大学 | 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法 |
| CN117152156A (zh) * | 2023-10-31 | 2023-12-01 | 通号通信信息集团有限公司 | 一种基于多模态数据融合的铁路异常检测方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013020142A2 (en) * | 2011-08-04 | 2013-02-07 | University Of Southern California | Image-based crack detection |
| US11810364B2 (en) * | 2020-08-10 | 2023-11-07 | Volvo Car Corporation | Automated road damage detection |
| US20220092856A1 (en) * | 2020-09-22 | 2022-03-24 | Bentley Systems, Incorporated | Crack detection, assessment and visualization using deep learning with 3d mesh model |
| US20230080178A1 (en) * | 2021-09-02 | 2023-03-16 | Northeastern University | Automated assessment of cracks using lidar and camera data |
-
2024
- 2024-02-20 CN CN202410186585.4A patent/CN117745786B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208569041U (zh) * | 2018-01-05 | 2019-03-01 | 株洲时代电子技术有限公司 | 桥梁巡检系统 |
| CN113822880A (zh) * | 2021-11-22 | 2021-12-21 | 中南大学 | 一种基于深度学习的裂缝识别方法 |
| CN114841923A (zh) * | 2022-04-10 | 2022-08-02 | 同济大学 | 一种基于无人机的高精度实时裂缝检测方法 |
| CN115035065A (zh) * | 2022-06-13 | 2022-09-09 | 常州大学 | 基于深度学习的道路裂缝检测方法 |
| CN115731391A (zh) * | 2022-10-08 | 2023-03-03 | 北京瀚景锦河科技有限公司 | 一种目标区域提取装置以及提取方法 |
| CN115311274A (zh) * | 2022-10-11 | 2022-11-08 | 四川路桥华东建设有限责任公司 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
| KR102565689B1 (ko) * | 2022-10-12 | 2023-08-09 | 부경대학교 산학협력단 | 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치 |
| CN116612082A (zh) * | 2023-05-18 | 2023-08-18 | 重庆交通大学 | 一种基于高低层特征关联的混凝土桥梁网状裂缝检测方法 |
| CN117152156A (zh) * | 2023-10-31 | 2023-12-01 | 通号通信信息集团有限公司 | 一种基于多模态数据融合的铁路异常检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 基于三维点云数据的沥青路面裂缝识别方法;周卓 等;《交通科技》;20220831(第04期);第9-14页 * |
| 基于三维点云数据的沥青路面裂缝识别方法;江宛琪;《中国优秀硕士学位论文全文数据库 基础科学辑》;20240115(第01期);第1-124页 * |
| 基于深度卷积神经网络融合模型的路面裂缝识别方法;孙朝云 等;《长安大学学报(自然科学版)》;20200715;第40卷(第04期);第1-13页 * |
| 基于路面三维图像的沥青路面裂缝自动识别算法;李保险;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20200315(第03期);第1-110页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117745786A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Automatic pixel‐level crack detection and measurement using fully convolutional network | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN109544555B (zh) | 基于生成式对抗网络的细小裂缝分割方法 | |
| CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| JP2024509411A (ja) | 欠陥検出方法、装置及びシステム | |
| CN111160407B (zh) | 一种深度学习目标检测方法及系统 | |
| US20200380653A1 (en) | Image processing device and image processing method | |
| CN108830832A (zh) | 一种基于机器视觉的塑料筒表面缺陷检测算法 | |
| CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
| CN112232391A (zh) | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN115861409B (zh) | 大豆叶面积测算方法、系统、计算机设备及存储介质 | |
| US11410300B2 (en) | Defect inspection device, defect inspection method, and storage medium | |
| CN116563262A (zh) | 基于多模态的建筑裂缝检测算法 | |
| CN116052159A (zh) | 基于深度霍夫投票的3d物体识别系统及其识别方法 | |
| CN117745786B (zh) | 基于三维点云数据的道路裂缝深度检测装置及检测方法 | |
| CN115294392B (zh) | 基于生成网络模型的可见光遥感图像云去除方法及系统 | |
| CN115690070A (zh) | 一种火箭发动机燃烧室缺陷智能判读方法 | |
| CN112686222B (zh) | 星载可见光探测器对船舶目标检测的方法和系统 | |
| CN114821174A (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
| CN117280356A (zh) | 学习装置、学习方法、图像处理装置和图像处理方法 | |
| CN113920087A (zh) | 基于深度学习的微小元器件缺陷检测系统及方法 | |
| JP5773935B2 (ja) | シーンにおけるオブジェクトを分類する方法 | |
| CN113971755B (zh) | 基于改进yolov3模型的全天候海面目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |