CN117197586A - 基于神经网络和点云处理的隧道喷浆智能检测方法及系统 - Google Patents
基于神经网络和点云处理的隧道喷浆智能检测方法及系统 Download PDFInfo
- Publication number
- CN117197586A CN117197586A CN202311352617.5A CN202311352617A CN117197586A CN 117197586 A CN117197586 A CN 117197586A CN 202311352617 A CN202311352617 A CN 202311352617A CN 117197586 A CN117197586 A CN 117197586A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- tunnel
- multiplied
- guniting
- arch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 239000004567 concrete Substances 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 29
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013138 pruning Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 206010037180 Psychiatric symptoms Diseases 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011378 shotcrete Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005422 blasting Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统，方法包括：通过目标检测网络结构提取出隧道拱架在图像中的大致位置，然后利用直线提取模块提取出隧道拱架的精确位置；将所述隧道拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的k‑d树结构，提取出隧道拱架在点云中具体位置；通过激光雷达实时扫描得到整个隧道的三维点云模型，重建三角网格曲面，得到隧道的超欠挖模型；根据所述超欠挖模型和所述隧道拱架在三维点云中的具体位置进行喷浆指导作业。本发明解决了隧道喷浆的自动化程度不高，喷浆区域的识别准确性有待提高的问题。
Description
技术领域
本发明涉及目标识别技术领域，尤其涉及一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统。
背景技术
近年来，我国山岭隧道，城市地铁隧道和矿山资源开采等地下空间建设高速发展，这使得喷浆支护装备的需求与日俱增，同时也对喷浆装备的自动化程度和可靠性提出了更高的要求。目前传统手持式喷浆作业对这种大型隧道施工需借助脚手架等辅助设备，工作效率十分低下，无法满足施工要求。为了提高喷浆的效率和质量，喷浆台车逐步代替人工完成喷浆作业。尽管喷浆台车能够在一定程度上提高隧道喷浆施工的可靠性，施工效率和安全性，但是仍然需要工人在隧道内来进行操作喷浆机械臂完成喷浆作业，自动化程度不高。由于隧道喷浆任务的特殊性，目前隧道施工自动化的研究主要针对隧道凿岩作业，对喷浆作业的自动化研究还较少，而且在实际的隧道施工过程中，使用光学摄像头进行目标检测仍然存在一个问题，那就是图像中拱架的形状会受到拍摄角度和相机自身光学畸变的影响，使得喷浆区域的识别过小，与实际的喷浆作业不符，影响喷浆作业的准确性。
发明内容
(一)要解决的技术问题
基于上述问题，本发明提供一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统，解决隧道喷浆的自动化程度不高，喷浆区域的识别准确性有待提高的问题。
(二)技术方案
基于上述的技术问题，本发明提供一种基于神经网络和点云处理的隧道喷浆智能检测方法，包括：
S1、通过目标检测网络结构提取出隧道拱架在图像中的大致位置，然后利用直线提取模块提取出隧道拱架的精确位置；所述利用直线提取模块提取出隧道拱架的精确位置包括：
S121、利用直线特征提取卷积核对拱架图像预处理，提取拱架的边缘特征；
S122、通过直线提取算法提取图像中的所有直线；
S123、将图像坐标转化为极坐标，将相似的两条线段进行合并；
S124、对检测结果进行非极大值抑制；
S125、筛选符合竖直直线的斜率条件，并去除距离过近的两直线段后，将最长的两条直线作为隧道拱架的轮廓线，由两轮廓线组成的矩形框即为图像中隧道拱架的精确位置；
S2、将所述隧道拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的k-d树结构，提取出隧道拱架在点云中具体位置；
S3、通过激光雷达实时扫描得到整个隧道的三维点云模型，重建三角网格曲面，得到隧道的超欠挖模型；
S4、根据所述超欠挖模型和所述隧道拱架在三维点云中的具体位置进行喷浆指导作业。
进一步的，所述目标检测网络结构包括：将长×宽×通道为416×416×3的图像输入特征提取层，所述特征提取层依次包括卷积核尺寸为3×3的卷积单元DBL、残差块res1、第一个残差块res2、第二个残差块res2、残差块res4；然后在坐标预测模块中，将第一个残差块res2的输出输入步长stride为2，卷积核尺寸为1×1的卷积单元DBL进行下采样，与第二个残差块res2的输出一同输入concat连接层，再依次通过卷积核尺寸为1×1、3×3、1×1、3×3的卷积单元DBL，最后经卷积核尺寸为1×1的卷积模块conv，输出长×宽×通道为52×52×21的图像y2；将第二个残差块res2的输出输入步长stride为2，卷积核尺寸为1×1的卷积单元DBL进行下采样，与残差块res4的输出一同输入concat连接层，再依次通过卷积核尺寸为1×1、3×3、1×1、3×3的卷积单元DBL，最后经卷积核尺寸为1×1的卷积模块conv，输出长×宽×通道为26×26×21的图像y1；
其中，所述残差块resn中，n＝1,2,4，输入特征首先会经过一个Zero padding零填充模块对数据进行填充，然后再通过一个卷积核步长为2的3×3的卷积单元DBL对输入特征进行降维，最后将降维后的数据作为堆叠的n个残差单元res unit的输入来提取特征；在所述残差单元res unit中，输入特征在通过两个步长为1的1×1和3×3的卷积单元DBL后再与输入特征叠加作为残差单元的输出。
进一步的，对所述目标检测网络结构通过深度剪枝的模型压缩方法进行压缩，所述目标检测网络结构损失函数：
L＝lossobj+lossnoobj+losscls+losscoor
式中，lossobj和lossnoobj分别表示目标置信度和标记目标之间的置信度损失，losscls表示预测类别和标记类别之间的类别损失，losscoor表示模型预测框和标定框之间的坐标预测损失。
进一步的，步骤S121中，所述直线特征提取卷积核为
进一步的，步骤S123中，所述相似的两条线段的两条线段的判断方法为：计算任意两条线段的相似性e，若e<T，则这两条线段视为同一条线段进行合并；否则不相似，不合并；
e＝αΔθ+(1-α)Δρ，
Δρ＝|ρ1-ρ2|
Δθ＝|θ1-θ2|
ρ1＝xcosθ1+ysinθ1
ρ2＝xcosθ2+ysinθ2
式中，α为权值系数，用于控制Δθ和Δρ在误差中的占比；Δθ为角度误差；Δρ为距离误差；ρ1、ρ2分别为从原点到两条直线段的垂直距离，θ1为垂线ρ1与x轴的夹角，θ2为垂线ρ2与x轴的夹角，(x,y)为直线段上的点；T为设定阈值。
进一步的，所述步骤S2包括：
S21、通过联合标定将图像中检测出的拱架位置投影到三维点云中，将所述隧道拱架的精确位置的像素坐标变换到三维空间的世界坐标；
S22、对所述三维空间的世界坐标进行镜头畸变的修正；
S23、通过基于k-d树数据结构的聚类方法，进行三维点云的目标检测，得到隧道拱架在三维点云中的具体位置。
进一步的，所述步骤S21包括：
式中，(xw,yw,zw)为点P在世界坐标系下的坐标值，(u，ν)为点P在相机坐标系下的坐标值；M1为相机的内参矩阵；M2为相机的外参矩阵；γ为扭曲参数；fx、fy分别为焦距的x轴和y轴分量；u0、v0分别为相机坐标系原点的坐标；R3×3为外参旋转矩阵；t3×1为外参平移矩阵。
进一步的，所述步骤S22包括：
式中，(x′rcrt,y′rcrt)为经径向畸变修正后的坐标；(x,y)为物体修正前的实际坐标；r为物体离透镜的距离，其值为k1,k2,k3为径向畸变参数。
进一步的，所述步骤S3包括：
S31、通过激光雷达实时扫描得到整个隧道的点云数据的连续时间序列，再对采集到的连续点云数据进行下采样获取离散的点云数据序列，对所述离散的点云数据序列进行配准后，与所述点云数据的连续时间序列融合得到整个隧道的三维点云模型；
S32、将所述三维点云模型利用贪婪三角投影算法重建三角网格曲面，得到隧道的超欠挖模型。
本发明公开了一种基于神经网络和点云处理的隧道喷浆智能检测系统，运行所述的基于神经网络和点云处理的隧道喷浆智能检测方法。
(三)有益效果
本发明的上述技术方案具有如下优点：
(1)本发明通过一种新的目标检测网络结构提取出拱架在图像中的大致位置后，再通过直线提取算法，相似性、斜率和距离筛除干扰，根据最长的两条直线得到图像中隧道拱架的精确位置，提高在图像中识别隧道拱架的精确度；再将图像中的检测的隧道拱架的精确位置映射到三维点云中，通过联合标定将图像的像素坐标变换到三维空间的世界坐标，通过镜头畸变的修正、三维点云的聚类算法，提取出隧道拱架在三维点云中的具体位置，降低镜头透镜带来的畸变误差，提高在三维点云中识别隧道拱架的精确度；从而提高喷浆作业的自动化水平，提高识别喷浆作业目标拱架的精确度；
(2)本发明通过图像与点云数据之间的投影，直接将图像中的检测的隧道拱架的精确位置映射到三维点云中，不需要对点云数据进行处理，从而改善三维点云中目标检测算法的检测效率；并通过基于k-d树数据结构的聚类方法，根据点云的簇内方差划分空间范围，实现快速的最邻近搜索，进一步提高三维点云中目标检测算法的检测效率；
(3)本发明的新的目标检测网络结构采用残差结构，并设有下采样层提高算法的检测精度和速度；而且通过深度剪枝算法，评估神经网络中通道数对输出性能贡献度的大小，删除对精度影响较小的通道，在一定程度上防止网络出现过拟合问题，同时能够进一步压缩模型体积，提高网络的适用性，提高算法的检测速度；
(4)本发明通过激光雷达对整个隧道进行扫描获取连续的点云时间序列，然后通过降采样的方法使用ICP点云配准算法对点云进行拼接，再通过贪婪三角投影算法完成隧道的三维曲面重建，从而实现隧道施工信息的可视化设计，实时更新的隧道的超欠挖模型，能更直观地了解隧道的施工状态，由此进行喷浆指导作业，能有效提高施工效率。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例的基于神经网络和点云处理的隧道喷浆智能检测方法的流程图；
图2为本发明实施例的喷浆区域示意图；
图3为本发明实施例的喷浆区域识别算法流程；
图4为本发明实施例的隧道拱架的目标检测网络结构框架；
图5为本发明实施例的深度剪枝流程；
图6为本发明实施例的不同拍摄角度的拱架最小包围框；
图7为本发明实施例的两条线段的合并过程；
图8为本发明实施例的联合标定中不同坐标系之间的关系；
图9为本发明实施例的基于k-d树数据结构的聚类方法流程图；
图10为本发明实施例的基于连续点云数据的配准过程；
图11为本发明实施例的使用激光雷达的隧道连续点云扫描过程；
图12为本发明实施例的隧道三维重构示意图；
图13为本发明实施例的隧道智能喷浆检测系统的流程图；
图14为本发明实施例的隧道智能喷浆检测系统的上位机控制平台。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明实施例为一种基于神经网络和点云处理的隧道喷浆智能检测方法，如图1所示，包括以下步骤：
S1、通过目标检测网络结构提取出拱架在图像中的大致位置，然后利用直线提取模块提取出拱架的精确位置；
在隧道喷浆过程中，喷浆区域是以拱架划分的，两个拱架之间的区域即为喷浆区域，如图2所示。因此，本发明将隧道喷浆区域的识别问题转化为隧道拱架的检测问题，如图3所示，包括以下步骤：
S11、通过基于单阶段模型的目标检测网络结构提取出拱架在图像中的大致位置；
基于one-stage模型的目标检测网络结构的特征提取框架共有82层，如图4所示，本模型共包含特征提取模块和坐标预测模块两部分。将长×宽×通道为416×416×3的图像输入特征提取层，特征提取层依次包括卷积核尺寸为3×3的卷积单元DBL、残差块res1、第一个残差块res2、第二个残差块res2、残差块res4。在坐标预测模块中，将第一个残差块res2的输出输入步长stride为2，卷积核尺寸为1×1的卷积单元DBL进行下采样，与第二个残差块res2的输出一同输入concat连接层，再依次通过卷积核尺寸为1×1、3×3、1×1、3×3的卷积单元DBL，最后经卷积核尺寸为1×1的卷积模块conv，输出长×宽×通道为52×52×21的图像y2；将第二个残差块res2的输出输入步长stride为2，卷积核尺寸为1×1的卷积单元DBL进行下采样，与残差块res4的输出一同输入concat连接层，再依次通过卷积核尺寸为1×1、3×3、1×1、3×3的卷积单元DBL，最后经卷积核尺寸为1×1的卷积模块conv，输出长×宽×通道为26×26×21的图像y1。
在特征提取层中，本模型采用了ResNet中的残差结构来改善网络性能，并且仅使用了3×3和1×1大小的卷积核来进行卷积操作。整个特征提取网络由卷积单元DBL，残差单元res unit和残差块resn堆叠而成。在残差块resn中，n＝1,2,4，输入特征首先会经过一个Zero padding零填充模块对数据进行填充，然后再通过一个卷积核步长为2的3×3的卷积单元DBL对输入特征进行降维，维度变为输入特征的一半，最后将降维后的数据作为堆叠的n个残差单元res unit的输入来提取特征。在残差单元res unit中，输入特征在通过两个步长为1的1×1和3×3的卷积单元DBL后再与输入特征叠加作为残差单元的输出，此时输入特征的维度不发生改变。
在坐标预测模块中，本模型使用连接层concat来连接不同卷积层之间的数据，作为坐标预测网络的输入。在进行不同卷积层的数据连接前，需要保证连接的数据维度相同，本发明使用下采样策略对高维特征的维度进行降维，从而实现不同残差块之间的信息融合进行训练。下采样通过步长stride为2，卷积核尺寸为1×1的卷积单元来实现。
模型的损失函数主要包括三个部分：分别是表示目标置信度和标记目标之间的置信度损失lossobj和lossnoobj，表示预测类别和标记类别之间的类别损失losscls和表示模型预测框和标定框之间的坐标预测损失losscoor，网络的整个损失函数如式1所示。其中坐标预测损失使用均方误差损失函数来计算，类别损失和置信度损失使用二值交叉熵损失函数来计算。
L＝lossobj+lossnoobj+losscls+losscoor (1)
在基于one-stage模型的目标检测网络结构的基础上，通过基于深度剪枝的模型压缩方法压缩模型的体积，去除模型的冗余参数；
尽管上文提出的网络结构能够更好地提取图像的抽象特征，但是训练和测试这些大型的网络模型往往对计算机的硬要件求很高，需要大容量显存的显卡来加速训练过程。为了去除模型中的冗余通道，降低模型的参数量，本发明提出了一种基于深度剪枝的模型压缩方法，其流程图如图5所示，在进行one-stage模型的目标检测网络结构后，评估卷积核通道的重要性，然后修剪卷积核通道数，返回评估卷积核通道的重要性，对one-stage模型的目标检测网络结构实现微调。通过评估神经网络中通道数对输出性能贡献度的大小，删除对精度影响较小的通道，在一定程度上防止网络出现过拟合问题，同时能够进一步压缩模型体积，提高网络的适用性。
S12、利用直线提取模块提取出隧道拱架的精确位置。
尽管利用目标检测神经网络能够很好地检测出拱架在隧道中的位置，并给出拱架在RGB图像中的最小包围框，但是在实际的隧道施工过程中，使用光学摄像头进行目标检测仍然存在一个问题，那就是图像中拱架的形状会受到拍摄角度和相机自身光学畸变的影响。如图6所示，当摄像头和隧道拱架的位置之间存在一定的偏角时会导致拱架的最小包围框的面积变大，当偏角过大时，会导致喷浆区域的识别过小，与实际的喷浆作业不符。考虑到拱架在图像中主要以直线的形式存在，而直线提取算法可以以较小的计算量来修正拱架最小包围框的位置，因此将其作为基于深度学习的目标检测算法的补充，对步骤S11输出的目标检测网络的输出图像做如下处理：
S121、利用直线特征提取卷积核对拱架图像预处理，提取拱架的边缘特征；
考虑隧道中拱架总是竖直的，为了提取拱架的边缘特征，利用两个直线特征提取卷积核来对图像进行预处理，分别是
根据隧道中拱架的特点，该卷积核更关注图像的沿x方向上的梯度变化，利用图像中的卷积操作即可以得到边缘检测图像。经图像预处理操作后，图像拱架的边缘更加明显，可以作为直线提取算法的输入来提取图像中的直线序列。
S122、通过直线提取算法提取图像中的所有直线；
直线提取算法为LSD，Line Segment Detector，提取目标检测网络的输出图像中的所有直线。
S123、将图像坐标转化为极坐标，将相似的两条线段进行合并；
对于LSD算法输出的直线序列，它是由一系列直线段的起点和中点坐标组成的。在LSD算法中，一条长直线会由于遮挡等问题分割成数条小的直线段，为了描述两条直线段之间的相似性，我们使用极坐标来描述直线的位置，如式2所示。
ρ0＝xcosθ0+ysinθ0 (2)
式中，ρ0为从原点到当前直线段的垂直距离；θ0为垂线ρ0与x轴的夹角；(x,y)为直线段上的点。
如果两条直线段的ρ0和θ0参数非常接近，可以将这两条线段视为同一条线段进行合并，合并条件由式3计算。合并过程如图7所示。
因此，相似的两条线段的两条线段的判断方法为：计算任意两条线段的相似性e，若e<T，则这两条线段视为同一条线段进行合并；否则不相似，不合并；
e＝αΔθ+(1-α)Δρ (3)
Δρ＝|ρ1-ρ2|
Δθ＝|θ1-θ2|
ρ1＝xcosθ1+ysinθ1
ρ2＝xcosθ2+ysinθ2
若e<T，则两条直线段相似，进行合并，T为设定阈值，用e评价性，式中，α为权值系数，用于控制Δθ和Δρ在误差中的占比；Δθ为角度误差；Δρ为距离误差；ρ1、ρ2分别为从原点到两条直线段的垂直距离，θ1为垂线ρ1与x轴的夹角，θ2为垂线ρ2与x轴的夹角。
S124、对检测结果进行非极大值抑制；
S125、筛选符合竖直直线的斜率条件，并去除距离过近的两直线段后，将最长的两条直线作为隧道拱架的轮廓线，由两轮廓线组成的矩形框即为图像中隧道拱架的精确位置；
一般直线检测模块的最后一步是对合并后的检测结果进行非极大值抑制，但由于直线检测模块的输入图片中有且仅有一个隧道拱架，而每个拱架只应该有两条竖直的长直线。因此，对于LSD算法输出的直线序列，还需要筛选符合竖直直线的斜率条件，并去除距离过近的两直线段。最后将经直线提取模块提取出的最长的两条直线作为隧道拱架的轮廓线，由两轮廓线组成的矩形框即为图像中隧道拱架的精确位置，即喷浆区域。
S2、将所述拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的k-d树结构，提取出隧道拱架在点云中具体位置
基于三维点云的喷浆信息检测：由于RGB图像不能提供深度信息，为了实现隧道智能喷浆检测，需要在三维点云中指导喷浆设备完成喷浆任务。联合标定方法利用标定板得到相机的外参矩阵，建立图像坐标系和世界坐标系之间的联系。通过图像与点云数据之间的投影，可以直接将RGB图像中的检测结果映射到三维点云中，不需要对点云数据进行处理，从而改善三维点云中目标检测算法的检测效率；在确定了隧道拱架在三维点云中的位置后，利用三维点云的聚类算法，建立点云的k-d树结构，可以提取出隧道拱架在点云中具体位置，实现喷浆区域在三维点云中的检测；由于激光雷达扫描点云的稀疏性，为了提高隧道三维扫描的范围，本发明首先对隧道进行多次扫描采样，然后再利用点云配准的方法来拼接点云；由于隧道环境的复杂性，为了提高施工人员的施工效率和更直观地了解隧道的施工状态，需要应用三维曲面重建算法实现数据可视化，同时需要将激光雷达实时扫描的隧道三维点云数据与隧道设计尺寸对比，建立隧道的超欠挖模型，指导喷浆作业。
S21、通过联合标定将图像中检测出的拱架位置投影到三维点云中，将所述隧道拱架的精确位置的像素坐标变换到三维空间的世界坐标；
通过联合标定可以将图像中检测出的拱架位置投影到三维点云中。结合相机的生产工艺，将RGB图像的像素坐标变换到三维空间的世界坐标还需要经历两个转换平面，分别为图像坐标系平面和相机坐标系平面，如图8所示。其中，像素坐标系的单位为像素，表示图像在点(u,v)处的像素值；图像坐标系的单位为m，建立在相机的成像平面，坐标轴和像素坐标系的坐标轴平行；相机坐标系的原点与相机的焦点重合且与图像平面平行，相机平面相对于图像平面偏置相机的焦距f，其中的一条坐标轴和相机的光轴重合，相机坐标系的单位为m；世界坐标系用于描述真实世界中物体的实际位置，在本发明中，其原点与激光雷达的中心点固连。各联合标定中不同坐标系之间的关系如图8所示。
通过左乘坐标变换矩阵[R,t]，就能得到点P(xw,yw,zw)在相机坐标系下的坐标值(u，ν)，如式4所示。
式中，M1为相机的内参矩阵；M2为相机的外参矩阵；γ为扭曲参数，通常设置为0；fx、fy分别为焦距的x轴和y轴分量；u0、v0分别为相机坐标系原点的坐标；R3×3为外参旋转矩阵；t3×1为外参平移矩阵。
S22、对所述三维空间的世界坐标进行镜头畸变的修正；
由于相机的制造误差，镜头透镜总是存在畸变误差。光学畸变是指光学系统对物体的成像与实际物体之间的失真程度，畸变主要可以分为径向畸变和切向畸变两种，镜头畸变的修正可以根据以下两个公式来完成。因此，联合标定总共需要求解4个内参，外参矩阵和5个畸变参数。
式中，(x′rcrt,y′rcrt)为经径向畸变修正后的坐标；(x,y)为物体修正前的实际坐标；r为物体离透镜的距离，其值为k1,k2,k3为径向畸变参数。
一般而言，为了保证求解的稳定性，求解级数的展开项不会超过三阶。对于对成像影响较小的切向畸变，我们使用式6来修正。
式中，(xt′crt,yt′crt)为经切向畸变修正后的坐标；p1,p2为切向畸变系数。
S23、通过基于k-d树数据结构的聚类方法，进行三维点云的目标检测，得到隧道拱架在三维点云中的具体位置；
对于三维点云的目标检测，常用的主要是基于欧式距离的聚类方法。在确定了拱架的大致位置后，大幅缩短了聚类的范围，提高了聚类的精度，但是传统的K-means聚类方法中聚类中心的选取会影响最终的聚类结果，并且由于点云数据量较大，会影响聚类算法的速度。为此，本发明基于k-d树数据结构的聚类方法，它能够根据点云的簇内方差划分空间范围，从而实现快速的最邻近搜索。
k-d树是一种计算机科学中用于描述k维空间点集的数据结构，它可以表示为一个具有约束条件的二叉搜索树，它的每一个节点包含数据点坐标，切分轴，指向左子空间的指针和指向右子空间的指针等信息。通过k-d树重新组织点云数据后，再利用K-means算法进行聚类能够大幅降低区间搜索和领域搜索的复杂度。基于k-d树数据结构的聚类方法的流程图如图9所示，输入样本类别数目k，随机选取k个质心，计算第i个样本点到第k个质心的距离dik，将距离小于阈值的第i个样本点加入簇Ck，然后更新质心位置，返回计算第i个样本点到第k个质心的距离dik，直到没有样本点加入，停止迭代，完成搜索。
S3、通过激光雷达实时扫描得到整个隧道的三维点云模型，重建三角网格曲面，得到隧道的超欠挖模型；
S31、通过激光雷达实时扫描得到整个隧道的点云数据的连续时间序列，再对采集到的连续点云数据进行下采样获取离散的点云数据序列，对所述离散的点云数据序列进行配准后，与所述点云数据的连续时间序列融合得到整个隧道的三维点云模型；
由于激光雷达传感器的结构和性能的限制，三维激光点云并不能一次扫描就得到完整的隧道点云信息，因此扫描得到的隧道点云信息具有稀疏性，直接通过单帧点云数据完成隧道的三维曲面重建是比较困难的。为了真实反映完整的隧道轮廓信息和超欠挖数据，本发明使用点云配准的方法来扩增三维点云的数据量。
图10和图11展示了基于连续点云数据的配准过程。在隧道喷浆开始之前，激光雷达首先会从隧道施工路段的起始部分依次对整个隧道施工部分进行扫描获取连续的点云数据；得到整个隧道的点云数据的连续时间序列之后，再按照一定的时间间隔对采集到的连续点云数据进行下采样以获取离散的点云数据序列，离散点云数据的密集程度和采样频率有关；为了对隧道点云数据进行扩增，选取某一帧隧道点云数据作为基准，并使用ICP(Iterative Closest Point，迭代最近点)算法对离散后的点云序列进行两两配准，直至所有的离散点云序列配准完成就可以复原整个隧道的三维点云模型。
S32、将所述三维点云模型利用贪婪三角投影算法重建三角网格曲面，得到隧道的超欠挖模型；
通过点云配准方法扩充隧道点云数据之后，就可以利用贪婪三角投影算法来生成三角网格曲面。隧道的三维曲面重构的研究对象主要是三维的点云数据，贪婪三角投影算法属于基于组合结构的方法，是一种对原始点云进行快速三角化的算法，且对假设曲面光滑且原始点云密度变化均匀的情况下有较好的曲面重建效果。本发明首先将三维点根据法线投影到某二维平面上，然后再将投影得到的数据利用Delaunay剖分进行三角化，最后再恢复其三维拓扑结构就能得到三角网格化的曲面。在Delaunay剖分中，每个三角形需要满足两个条件，分别是最大化最小角和空圆特性条件。爆破后隧道表面凸凹不平，凸起来的为欠挖、凹陷下去的为超挖，针对这种凸凹不平的隧道表面形成的空间，称为超欠空间，针对这种超欠空间，用激光点云进行建模表达这种空间，称为超欠挖模型，而且这种空间模型是由三角形立体网络构成的。重新构造出的三角网格曲面或超欠挖模型，能更直观地表达隧道的纹理，形状和轮廓，使得隧道施工人员了解当前隧道的喷浆状态，从而合理规划隧道的施工步骤。最后得到的隧道的超欠挖模型，如图12所示。
S4、根据所述超欠挖模型和所述隧道拱架在三维点云中的具体位置进行喷浆指导作业。
本发明实施例二为一种基于神经网络和点云处理的隧道喷浆智能检测系统，运行所述的隧道喷浆智能检测方法，根据隧道喷浆的任务需求，本实施例以ROS系统(机器人操作系统，Robot Operating System)为整体框架，将不同的功能封装成不同的ROS节点，并使用ROS系统来整合不同传感器的数据，不同节点之间通过发布/订阅的方式完成消息共享，通过上位机运行实施例一的隧道喷浆智能检测方法，一方面获取图像数据，运行步骤S1-S2，同时另一方面获取点云数据，运行步骤S3，然后运行步骤S4，将检测的喷浆区域转换成运动规划，指导连接的喷浆机械臂作业，如图13所示。
为了能够更好地控制隧道喷浆过程，本发明的隧道智能喷浆系统在Ubuntu系统下开发。该系统主要分为两部分功能：一是实现各传感器之间的通信，并研究上述隧道喷浆智能检测算法的软件实现；二是提供喷浆机械臂运动学求解和喷浆设备下位机通信控制的接口，并制定隧道喷浆手动控制，半自动控制和自动控制的策略，控制界面如图14所示。
综上可知，通过上述的一种基于神经网络和点云处理的隧道喷浆智能检测方法及系统，具有以下有益效果：
(1)本发明通过一种新的目标检测网络结构提取出拱架在图像中的大致位置后，再通过直线提取算法，相似性、斜率和距离筛除干扰，根据最长的两条直线得到图像中隧道拱架的精确位置，提高在图像中识别隧道拱架的精确度；再将图像中的检测的隧道拱架的精确位置映射到三维点云中，通过联合标定将图像的像素坐标变换到三维空间的世界坐标，通过镜头畸变的修正、三维点云的聚类算法，提取出隧道拱架在三维点云中的具体位置，降低镜头透镜带来的畸变误差，提高在三维点云中识别隧道拱架的精确度；从而提高喷浆作业的自动化水平，提高识别喷浆作业目标拱架的精确度；
(2)本发明通过图像与点云数据之间的投影，直接将图像中的检测的隧道拱架的精确位置映射到三维点云中，不需要对点云数据进行处理，从而改善三维点云中目标检测算法的检测效率；并通过基于k-d树数据结构的聚类方法，根据点云的簇内方差划分空间范围，实现快速的最邻近搜索，进一步提高三维点云中目标检测算法的检测效率；
(3)本发明的新的目标检测网络结构采用残差结构，并设有下采样层提高算法的检测精度和速度；而且通过深度剪枝算法，评估神经网络中通道数对输出性能贡献度的大小，删除对精度影响较小的通道，在一定程度上防止网络出现过拟合问题，同时能够进一步压缩模型体积，提高网络的适用性，提高算法的检测速度；
(4)本发明通过激光雷达对整个隧道进行扫描获取连续的点云时间序列，然后通过降采样的方法使用ICP点云配准算法对点云进行拼接，再通过贪婪三角投影算法完成隧道的三维曲面重建，从而实现隧道施工信息的可视化设计，实时更新的隧道的超欠挖模型，能更直观地了解隧道的施工状态，由此进行喷浆指导作业，能有效提高施工效率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，包括：
S1、通过目标检测网络结构提取出隧道拱架在图像中的大致位置，然后利用直线提取模块提取出隧道拱架的精确位置；所述利用直线提取模块提取出隧道拱架的精确位置包括：
S121、利用直线特征提取卷积核对拱架图像预处理，提取拱架的边缘特征；
S122、通过直线提取算法提取图像中的所有直线；
S123、将图像坐标转化为极坐标，将相似的两条线段进行合并；
S124、对检测结果进行非极大值抑制；
S125、筛选符合竖直直线的斜率条件，并去除距离过近的两直线段后，将最长的两条直线作为隧道拱架的轮廓线，由两轮廓线组成的矩形框即为图像中隧道拱架的精确位置；
S2、将所述隧道拱架的精确位置映射到三维点云中，利用三维点云的聚类算法，建立点云的k-d树结构，提取出隧道拱架在点云中具体位置；
S3、通过激光雷达实时扫描得到整个隧道的三维点云模型，重建三角网格曲面，得到隧道的超欠挖模型；
S4、根据所述超欠挖模型和所述隧道拱架在三维点云中的具体位置进行喷浆指导作业。
2.根据权利要求1所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，所述目标检测网络结构包括：将长×宽×通道为416×416×3的图像输入特征提取层，所述特征提取层依次包括卷积核尺寸为3×3的卷积单元DBL、残差块res1、第一个残差块res2、第二个残差块res2、残差块res4；然后在坐标预测模块中，将第一个残差块res2的输出输入步长stride为2，卷积核尺寸为1×1的卷积单元DBL进行下采样，与第二个残差块res2的输出一同输入concat连接层，再依次通过卷积核尺寸为1×1、3×3、1×1、3×3的卷积单元DBL，最后经卷积核尺寸为1×1的卷积模块conv，输出长×宽×通道为52×52×21的图像y2；将第二个残差块res2的输出输入步长stride为2，卷积核尺寸为1×1的卷积单元DBL进行下采样，与残差块res4的输出一同输入concat连接层，再依次通过卷积核尺寸为1×1、3×3、1×1、3×3的卷积单元DBL，最后经卷积核尺寸为1×1的卷积模块conv，输出长×宽×通道为26×26×21的图像y1；
其中，所述残差块resn中，n＝1,2,4，输入特征首先会经过一个Zero padding零填充模块对数据进行填充，然后再通过一个卷积核步长为2的3×3的卷积单元DBL对输入特征进行降维，最后将降维后的数据作为堆叠的n个残差单元res unit的输入来提取特征；在所述残差单元res unit中，输入特征在通过两个步长为1的1×1和3×3的卷积单元DBL后再与输入特征叠加作为残差单元的输出。
3.根据权利要求2所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，对所述目标检测网络结构通过深度剪枝的模型压缩方法进行压缩，所述目标检测网络结构损失函数：
L＝lossobj+lossnoobj+losscls+losscoor
式中，lossobj和lossnoobj分别表示目标置信度和标记目标之间的置信度损失，losscls表示预测类别和标记类别之间的类别损失，losscoor表示模型预测框和标定框之间的坐标预测损失。
4.根据权利要求1所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，步骤S121中，所述直线特征提取卷积核为
5.根据权利要求1所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，步骤S123中，所述相似的两条线段的两条线段的判断方法为：计算任意两条线段的相似性e，若e<T，则这两条线段视为同一条线段进行合并；否则不相似，不合并；
e＝αΔθ+(1-α)Δρ，
Δρ＝|ρ1-ρ2|
Δθ＝|θ1-θ2|
ρ1＝xcosθ1+ysinθ1
ρ2＝xcosθ2+ysinθ2
式中，α为权值系数，用于控制Δθ和Δρ在误差中的占比；Δθ为角度误差；Δρ为距离误差；ρ1、ρ2分别为从原点到两条直线段的垂直距离，θ1为垂线ρ1与x轴的夹角，θ2为垂线ρ2与x轴的夹角，(x,y)为直线段上的点；T为设定阈值。
6.根据权利要求1所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，所述步骤S2包括：
S21、通过联合标定将图像中检测出的拱架位置投影到三维点云中，将所述隧道拱架的精确位置的像素坐标变换到三维空间的世界坐标；
S22、对所述三维空间的世界坐标进行镜头畸变的修正；
S23、通过基于k-d树数据结构的聚类方法，进行三维点云的目标检测，得到隧道拱架在三维点云中的具体位置。
7.根据权利要求6所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，所述步骤S21包括：
式中，(xw,yw,zw)为点P在世界坐标系下的坐标值，(u，ν)为点P在相机坐标系下的坐标值；M1为相机的内参矩阵；M2为相机的外参矩阵；γ为扭曲参数；fx、fy分别为焦距的x轴和y轴分量；u0、v0分别为相机坐标系原点的坐标；R3×3为外参旋转矩阵；t3×1为外参平移矩阵。
8.根据权利要求6所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，所述步骤S22包括：
式中，(xr′crt,yr′crt)为经径向畸变修正后的坐标；(x,y)为物体修正前的实际坐标；r为物体离透镜的距离，其值为k1,k2,k3为径向畸变参数。
9.根据权利要求1所述的基于神经网络和点云处理的隧道喷浆智能检测方法，其特征在于，所述步骤S3包括：
S31、通过激光雷达实时扫描得到整个隧道的点云数据的连续时间序列，再对采集到的连续点云数据进行下采样获取离散的点云数据序列，对所述离散的点云数据序列进行配准后，与所述点云数据的连续时间序列融合得到整个隧道的三维点云模型；
S32、将所述三维点云模型利用贪婪三角投影算法重建三角网格曲面，得到隧道的超欠挖模型。
10.一种基于神经网络和点云处理的隧道喷浆智能检测系统，其特征在于，运行权利要求1-9任一项所述的基于神经网络和点云处理的隧道喷浆智能检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311352617.5A CN117197586A (zh) | 2023-10-18 | 2023-10-18 | 基于神经网络和点云处理的隧道喷浆智能检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311352617.5A CN117197586A (zh) | 2023-10-18 | 2023-10-18 | 基于神经网络和点云处理的隧道喷浆智能检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197586A true CN117197586A (zh) | 2023-12-08 |
Family
ID=88994437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311352617.5A Pending CN117197586A (zh) | 2023-10-18 | 2023-10-18 | 基于神经网络和点云处理的隧道喷浆智能检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197586A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117740186A (zh) * | 2024-02-21 | 2024-03-22 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置和计算机设备 |
-
2023
- 2023-10-18 CN CN202311352617.5A patent/CN117197586A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117740186A (zh) * | 2024-02-21 | 2024-03-22 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置和计算机设备 |
| CN117740186B (zh) * | 2024-02-21 | 2024-05-10 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| Zhou et al. | Seamless fusion of LiDAR and aerial imagery for building extraction | |
| CN103703490B (zh) | 用于产生三维特征数据的设备以及用于产生三维特征数据的方法 | |
| CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN102750537B (zh) | 一种高精度图像自动配准方法 | |
| KR102113068B1 (ko) | 수치지도 및 도로정밀지도 구축 자동화를 위한 방법 | |
| CN105160702A (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
| CN117197586A (zh) | 基于神经网络和点云处理的隧道喷浆智能检测方法及系统 | |
| JP4058293B2 (ja) | レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム | |
| CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
| CN115479598A (zh) | 基于多传感器融合的定位与建图方法及紧耦合系统 | |
| Melo et al. | 3D correspondence and point projection method for structures deformation analysis | |
| CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
| Chun-Lei et al. | Intelligent detection for tunnel shotcrete spray using deep learning and LiDAR | |
| CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
| Hu et al. | 3D vision technologies for a self-developed structural external crack damage recognition robot | |
| CN111489416A (zh) | 隧道轴线拟合方法及在超欠挖方量计算上的应用 | |
| CN114677435A (zh) | 一种点云全景融合要素提取方法和系统 | |
| CN114998395A (zh) | 一种有效的堤岸三维数据变化检测方法及系统 | |
| CN114565726A (zh) | 一种非结构化动态环境下的同时定位与建图方法 | |
| Kurdi et al. | Full series algorithm of automatic building extraction and modelling from LiDAR data | |
| Ekhtari et al. | Automatic building extraction from LIDAR digital elevation models and WorldView imagery | |
| CN116524382A (zh) | 一种桥梁转体合拢准确性检验方法系统、设备 | |
| CN116817891A (zh) | 一种实时多模态感知的高精地图构建方法 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |