CN116579989A - 一种基于深度相机的隧道打孔倾角修正方法 - Google Patents

一种基于深度相机的隧道打孔倾角修正方法 Download PDF

Info

Publication number
CN116579989A
CN116579989A CN202310434628.1A CN202310434628A CN116579989A CN 116579989 A CN116579989 A CN 116579989A CN 202310434628 A CN202310434628 A CN 202310434628A CN 116579989 A CN116579989 A CN 116579989A
Authority
CN
China
Prior art keywords
normal vector
point
cloud data
punching
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310434628.1A
Other languages
English (en)
Other versions
CN116579989B (zh
Inventor
邹建伟
张毅
吴定贵
孙海涛
乔宇
刘峰
蒋伟
吴雄
王大伟
董宁
赵珂铭
王宇轩
陈迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Original Assignee
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway No9 Group Electrical Engineering Co ltd, China Railway No 9 Group Co Ltd filed Critical China Railway No9 Group Electrical Engineering Co ltd
Priority to CN202310434628.1A priority Critical patent/CN116579989B/zh
Publication of CN116579989A publication Critical patent/CN116579989A/zh
Application granted granted Critical
Publication of CN116579989B publication Critical patent/CN116579989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21B—EARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
    • E21B47/00—Survey of boreholes or wells
    • E21B47/02—Determining slope or direction
    • E21B47/022—Determining slope or direction of the borehole, e.g. using geomagnetism
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21B—EARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
    • E21B47/00—Survey of boreholes or wells
    • E21B47/002—Survey of boreholes or wells by visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geology (AREA)
  • Mining & Mineral Resources (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fluid Mechanics (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geophysics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及隧道工程测量技术领域，具体涉及一种基于深度相机的隧道打孔倾角修正方法。该方法包括：利用优化目标检测模型识别匹配凹槽对，并定位打孔点；以打孔点为中心点在匹配凹槽对中的左侧凹槽与右侧凹槽之间获取限定范围内的点云数据，记为修正点云数据；获取修正点云数据对应的拟合曲面以及拟合曲面的中心法向量；根据以打孔点为中心的预设范围内的点云数据获取其对应的估计法向量；基于中心法向量和估计法向量获取修正法向量；根据修正法向量计算得到第一方向和第二方向的倾角修正分量；利用第一方向和第二方向的倾角修正分量对打孔机器人钻头的打孔倾角进行修正。本发明能够精确的对打孔机器人钻头的打孔倾角进行修正。

Description

一种基于深度相机的隧道打孔倾角修正方法
技术领域
本发明涉及隧道工程测量技术领域，具体涉及一种基于深度相机的隧道打孔倾角修正方法。
背景技术
在地铁隧道的施工中，需要在隧道侧壁上安装线缆、管道等，因此需要在隧道壁进行钻孔。通常，采用的都是人工作业的方式，也即是工人在梯车上持电钻进行钻孔，进行钻孔操作时一般是依据经验来控制钻孔外倾角度的，但是由于工人主观性的存在，隧道的倾斜角度往往达不到后续施工要求的标准，会给后续的施工带来很大的困难。此外，传统的人工钻孔效率低，成本高，风险大，劳动强度高，飞溅的灰尘可能对建筑工人的健康构成重大威胁。
目前，除了传统的依靠工人经验控制钻孔和倾角专用测量设备对隧道打孔倾角预判和修正外，还有一些借助工业级3D相机使用3D图像技术或者多个激光测距仪来计算隧道打孔点位置倾角的方法。
工业级3D相机能记录相机视角范围内隧道墙面上所有点的三维坐标数据，让机器人的视觉系统能够轻松地获取到包括打孔点在内所有点的深度信息，从而利用打孔点周围点的深度信息去计算打孔点所在位置的倾角；利用多个激光测距仪的方式，可以获取其平面所在法向量，再计算需要修正的倾角。但利用上述这些方法存在许多不足：工业级3D相机，相对来说价格高昂，大幅增加了打孔机器人的设备成本；3D相机的结构复杂，在打孔机器人工作时引发的震动，可能会影响其内部结构的稳定性，造成设备较易发生故障；若采用激光测距仪方案，工控机需要完全接收激光测距仪返回的结果，若其中一个测距仪的结果有误或者在运行中无法返回结果，则会导致倾角计算失败，无法进行打孔法向修正的操作，降低了系统的可靠性。激光测距仪的测距点易落在盾构板凹槽中或激光在途中受障碍物格挡，将导致计算的修正倾角结果不正确，进而影响打孔机器人垂直打孔。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于深度相机的隧道打孔倾角修正方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于深度相机的隧道打孔倾角修正方法：
对获取的隧道盾构板的表面图像进行增强处理获得增强表面图像；
改变目标检测模型的结构获得优化目标检测模型；
利用优化目标检测模型识别增强表面图像中的匹配凹槽对，基于匹配凹槽对定位打孔点；
以打孔点为中心点在匹配凹槽对中的左侧凹槽与右侧凹槽之间获取限定范围内的点云数据，记为修正点云数据；
获取所述修正点云数据对应的拟合曲面以及所述拟合曲面的中心法向量；
根据以所述打孔点为中心的预设范围内的点云数据获取其对应的估计法向量；
基于所述中心法向量和所述估计法向量获取修正法向量；
根据所述修正法向量计算得到第一方向和第二方向的倾角修正分量；
利用所述第一方向和第二方向的倾角修正分量对打孔机器人钻头的打孔倾角进行修正。
优选地，改变目标检测模型的结构获得优化目标检测模型，包括：
将所述目标检测模型的骨干网络和特征提取网络的C3结构全部替换为C2F结构，在骨干网络的SPPF结构前添加CA注意力模块，在特征提取网络中除第一个CSP结构之外的CSP结构后增加ECA注意力模块，得到优化目标检测模型。
优选地，利用优化目标检测模型识别增强表面图像中的匹配凹槽对，包括：
将增强表面图像输入优化目标检测模型，输出信息标注图；所述信息标注图中匹配凹槽对被包围框标注出，所述包围框为矩形。
优选地，对获取的隧道盾构板的表面图像进行增强处理获得增强表面图像，包括：
将表面图像灰度化，并均匀划分为至少两个小区域，并利用直方图均衡化和双线性插值对每个小区域进行处理获得高对比度图像；
基于表面图像获得其对应的高斯掩膜，基于表面图像和高斯掩膜获取表面图像对应的低频成分；
根据所述高对比度图像和所述低频成分获取高频细节成分；
将所述高对比度图像与所述高频细节成分进行线性融合获得第一图像；
利用MEDHS算法对第一图像进行处理获得第二图像；对第二图像进行分割获得不同区域，并对不同区域的亮度和对比度进行调整，得到增强表面图像。
优选地，基于匹配凹槽对确定打孔点，包括：
获取匹配凹槽对中左侧凹槽的包围框的右侧的边，记为定位基准边；所述打孔点与隧道的地面距离为预设高度；根据预设高度和所述定位基准边确定所述打孔点，所述打孔点与定位基准边的水平距离为预设长度。
优选地，根据以所述打孔点为中心的预设范围内的点云数据获取其对应的估计法向量，包括：
获取所述点云数据中的每个点的最近邻点集合；计算所述每个点的最近邻点集合中的每个点的法向量；
设定弧度阈值，若一个点的法向量与其对应的最近邻点集合中的每个点的法向量之间的夹角都大于弧度阈值，则以该点对应的最近邻点集合中所有点的法向量的平均法向量作为该点的最终法向量；
若一个点的法向量与其对应的最近邻点集合中的任一点的法向量之间的夹角小于或等于弧度阈值，则该点的最终法向量为该点的法向量；
对所有点的最终法向量进行平滑处理，获得每个点平滑后的最终法向量；
距离打孔点最近的点的平滑后的最终法向量为所述预设范围内的点云数据的估计法向量。
优选地，基于所述中心法向量和所述估计法向量获取修正法向量，包括：
若所述中心法向量与所述估计法向量之间的角度小于角度阈值，则将中心法向量和估计法向量的法向量均值作为修正法向量；
若所述中心法向量与所述估计法向量之间的角度大于或等于角度阈值，则将估计法向量作为修正法向量。
优选地，在所述获取所述修正点云数据对应的拟合曲面以及所述拟合曲面的中心法向量之前，还包括：
对所述修正点云数据进行滤波，滤除所述修正点云数据中的离群点。
本发明实施例至少具有如下有益效果：本发明对于盾构板的表面图像进行增强，获得增强表面图像，相对于未进行增强的表面图像，增强表面图像的对比度更高，噪声更少，能够提高后续图像识别的准确性，同时提高了后续对于打孔倾角修正的精度；本发明对于目标检测模型的结构进行了改变，利用优化目标检测模型对增强表面图像进行识别，能够更准确的获取增强表面图像中的匹配凹槽对，使得能够精确的定位打孔点；进一步的，以打孔点为中心获取限定范围内的修正点云数据，并利用修正点云数据进行曲面拟合获得拟合曲面，拟合曲面与盾构板的表面形状一致，能够代替盾构板作为对打孔修正的模板，保证后续对隧道打孔的倾角的修正的分析合理性和准确性；同时本发明还获取了以打孔点为中心的预设范围内的点云数据对应的估计法向量，对拟合曲面的中心法向量进行修正得到更加准确的修正法向量，修正法向量能够表征打孔点周围的全局特征，通过修正法向量获得第一方向和第二方向的倾角修正分量，然后对孔机器人钻头与打孔点所在切面的打孔倾角进行修正，提高了打孔的精度和效率，使得打的孔能够满足后续的施工要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例提供的一种基于深度相机的隧道打孔倾角修正方法的方法流程图；
图2为本发明实施例提供的过曝区域示意图；
图3为本发明实施例提供的暗光区域示意图；
图4为本发明实施例提供的未增强表面图像；
图5为本发明实施例提供的增强表面图像；
图6为本发明实施例提供的优化目标检测模型的网络结构图；
图7为本发明实施例提供的信息标注图；
图8为本发明实施例提供的工具坐标系示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于深度相机的隧道打孔倾角修正方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于深度相机的隧道打孔倾角修正方法的具体方案。
实施例：
本发明的主要应用场景为：隧道施工过程中，需要对隧道侧壁上的盾构板进行打孔，在打孔过程中，首先需要确定打孔点，确定打孔点之后，在打孔的过程中，需要求打孔机器人上的钻头与打孔点所在切面垂直，才能打出符合要求的孔，以便于后续的施工。
请参阅图1，其示出了本发明实施例提供的一种基于深度相机的隧道打孔倾角修正方法的方法流程图，该方法包括以下步骤：
步骤S1，对获取的隧道盾构板的表面图像进行增强处理获得增强表面图像。
在打孔机器人上搭载深度相机，利用深度相机获取隧道盾构班的RGB-D图像数据，记为隧道盾构板的表面图像，获取隧道盾构板的表面图像是为了后续通过表面图像检测可以辅助打孔的目标。
在隧道中拍摄图像，受环境的影响非常大，由于隧道的光线原因，地铁隧道的环境的呈现出低亮度光照特点。因此获得的盾构板的表面图像具有低对比度和高噪声的特点，会对后续利用表面图像识别盾构板上辅助打孔的目标物体造成很大的影响，影响识别的准确性。
因此需要对表面图像进行增强，本发明实施例中，基于限制性自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)和概率分布规范化(Maximum Entropy Distribution based Histogram Specification,MEDHS)的暗光增强算法对表面图像进行处理，达到图像增强的目的，其具体步骤如下：
首先，将原始的盾构板的表面图像灰度化，实施者可以根据实际情况选择灰度化的方法，对灰度化后的原始的盾构板的表面图像使用CLAHE算法，具体的，将表面图像均匀的分割为若干个小区域，其中每个小区域的大小都相同，接着分别利用直方图均衡化和双线性插值单独对每个小区域进行处理获得高对比图像，其中通过双线性插值可以消除人工边界效应；接着，利用空间均值滤波器的高斯滤波算法对表面图像进行处理，生成一个高斯掩膜，并利用高斯掩膜去除表面图像的噪声，获取表面图像对应的低频成分；进一步的，利用高对比度图像与低频成分相减得到高频细节成分；然后，将高对比图像与高频细节成分进行线性融合获得第一图像，其中线性融合指的是将高对比度图像与高频细节成分相加；最后，利用MEDHS算法对第一图像进行处理获得第二图像，具体的，根据概率分布函数调整第一图像中每个灰度级别的映射关系，并最大化整体熵值，并保持平均亮度不变，得到第二图像，得到第二图像之后，还需对第二图像进行基于灰度直方图的自适应阈值分割算法，将其分割成不同的区域，并根据每个区域不同的区域特征对每个区域的亮度和对比度进行调整，得到增强表面图像。
需要说明的是，本发明实施例中每个区域不同的区域特征指的是该区域为过曝区域还是暗光区域，如图2和图3所示，图2为过曝区域示意图，图3为暗光区域示意图，对于为过曝区域的区域，基于概率分布规范化的过曝减弱算法对其进行处理，对于为暗光区域的区域，基于概率分布规范化的暗部提亮算法对其进行处理，以此达到对表面图像增强的目的。
至此，可以得到隧道盾构板的表面图像增强后的增强表面图像，增强表面图像相对于表面图像，对比度高，噪声少，图像可见性更高，其中增强前的表面图像如图4所示，可见，表面图像的可见度低，对后续的目标检测会造成很大的影响，增强表面图像如图5所示，可见，经过增强的表面图像的可见度高，图像清晰，便于后续的图像识别。
步骤S2，改变目标检测模型的结构获得优化目标检测模型；利用优化目标检测模型识别增强表面图像中的匹配凹槽对，基于匹配凹槽对定位打孔点。
为了更加准确的确定打孔点，方便后续分析钻孔倾角的修正，需要利用目标检测模型对盾构板对应的增强表面图像进行目标检测，识别出能够在盾构板上辅助打孔的目标，其中辅助打孔的目标主要包括盾构板的凹槽，其中盾构板上的凹槽是成对出现的，成对出现的凹槽中一个凹槽处于左侧，一个凹槽处于右侧，其中在盾构板上的一些成对的凹槽中间，可能会存在锚栓，但锚栓并不会影响打孔点的定位。
需要说明的是，本发明实施例的目标检测模型为YOLOV5模型，为了能够更加准确的对盾构板上的凹槽进行检测，需要对目标检测模型的结构进行改变，达到对目标检测模型优化的目的，具体为：首先，将目标检测模型中的骨干网络和特征提取网络中的C3结构都替换成梯度流更丰富的C2F结构；然后，在骨干网络的SPPF结构前加上CA注意力模块；最后，在特征提取网络中，除第一个CSP结构，其他的CSP结构后都增加ECA注意力模块；基于上述的对于目标检测模型的结构的改变，可以达到对目标检测模型优化的作用，得到优化目标检测模型，提升目标检测模型检测的精度。
其中，梯度流更丰富的C2F结构是YOLOV8模型中的一个模块，可以保证轻量化的同时，获得更加丰富的梯度流信息，C2F模块参考了C3模块的结构，利用split操作将特征图沿通道方向分割，再通过并行的更多的Bottleneck梯度流分支，使其可以获得更丰富的梯度信息，进而获得更高的精度和更低的延迟；此结构能够在减轻模型参数量的基础上，获得更多的便于定位盾构板凹槽的特征，同时还能加快网络训练的收敛，提高用于识别盾构板凹槽的目标检测模型的检测效率，模型准确率相比基准模型YOLOv5，由94.9％提升到了95.6％。
ECA模块是一种轻量级的注意力模块，它以SE注意力模块为基础，通过引入一维卷积，不仅避免了特征维度的缩减，并且保证了通道间的信息交互，在降低复杂度的同时，保持了模型性能。ECA模块主要包含三个部分：全局平均池化产生对应特征图，计算得到自适应的kernel_size(算子尺寸)，应用kernel_size到一维卷积产生对应通道权重，此结构能够提高盾构板辅助打孔目标检测的精度；ECA可以帮助模型更好地关注盾构板凹槽和锚栓等目标区域，减少盾构板环缝或破损等无关区域对于凹槽检测的干扰；同时还可以改善目标检测模型的鲁棒性，具体表现为：ECA可以减少输入盾构板的增强表面图像数据中的图像过曝等噪声对模型的干扰和影响，提高目标检测模型的鲁棒性，目标检测模型的准确率相比基准模型YOLOv5，由94.9％提升到了95.7％。
关于CA注意力模块，其工作的机理为利用两个1D全局池操作，分别将沿垂直和水平方向的输入特征聚合为两个单独的方向性特征图；然后将这两个具有嵌入的方向和特定信息的特征图分别编码为两个关注图，每个关注图捕获输入特征图沿一个空间方向的长距离相关性；因此，位置信息可以被保存生成为两个注意力图。然后通过乘法将两个注意力图应用于输入特征图以强调感兴趣的表示。此结构能够提高对于凹槽检测的精度，CA注意力模块可以帮助目标检测模型更好的关注盾构板上的凹槽的坐标关系，赋予需要关注的区域更高的权值；目标检测模型的准确率相比基准模型YOLOv5，由94.9％提升到了95.9％，其中优化目标检测模型的网络结构如图6所示。
由此，可以得到优化目标检测模型，针对于盾构板上的凹槽进行检测，在对优化目标检测模型进行训练时，本发明实施例中设置学习率为0.0001，批量大小为64，采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay默认为0.0005，动力为0.935，优化器采用的是AdamW，池化层采用平均池化方式，同时将最大池化的Padding的模式设为SAME，迭代训练100次，进而得到训练好的优化目标检测模型。
将增强表面图像输入训练好的优化目标检测模型，输出信息标注图，其中信息标注图中的内容包括被包围框标注出的匹配凹槽对，有的匹配凹槽对之间还可能会有锚栓，锚栓也会被识别，由包围框标注，其中包围框的形状为矩形。其信息标注示意图如图7所示，可见匹配凹槽对中的左侧凹槽、右侧凹槽和锚栓都被包围框标注出来，位于左侧凹槽和右侧凹槽中间的为锚栓也被包围框标注出了。
进一步的，需要匹配凹槽对辅助定位打孔点，获取匹配凹槽对中左侧凹槽的包围框的右侧的边，记为定位基准边，其中在本发明实施例中打孔点与隧道地面的距离为预设高度，优选地，预设高度为离地面2米，在实际的施工过程中，实施者可以根据实际情况对预设高度的取值进行调整；另外在本发明实施例中打孔点距离定位基准边的距离为预设长度，获取定位基准边到右侧凹槽的包围框位于左侧的边的距离，记为第一距离，优选地，在本发明实施例中预设长度的为第一距离的三分之一，由此可以定位到打孔点；定位的具体过程为：x轴选取打孔点距离定位基准边的距离，也即是预设长度，y轴选取预设高度，x轴和y轴的交点即为打孔点，打孔点与定位基准边的水平距离为预设长度。由此基于识别出的匹配凹槽对可以准确的定位到打孔点。
步骤S3，以打孔点为中心点在匹配凹槽对中的左侧凹槽与右侧凹槽之间获取限定范围内的点云数据，记为修正点云数据；利用所述修正点云数据获得其对应的拟合曲面，并获取拟合曲面的中心法向量；根据以打孔点为中心的预设范围内的点云数据获取其对应的估计法向量。
包含信息完备的点云数据可以表征一个物体的特征，因此本发明选择获取匹配凹槽对之间的点云数据，用来表征打孔点附近盾构板的特征，便于后续对打孔倾角的修正。因此需要以打孔点为中心点，在匹配凹槽对中的左侧凹槽和右侧凹槽之间获取相应的点云数据，具体的，以打孔点为中心点在匹配凹槽对中的左侧凹槽与右侧凹槽之间获取限定范围内的点云数据，记为修正点云数据，优选地，在本实施例中，限定范围的上下高低范围为1.90米到2.10米，左右之间的范围为上述预设长度的两倍，也即是打孔点到限定范围左侧的距离为预设长度，打孔点到限定范围最右侧的距离也为预设长度；需要说明的是，实施者可以根据实际情况对限定范围进行修正，以获取符合实际情况的点云数据。需要说明的是，匹配凹槽对之间的锚栓的点云数据的特征并不会影响盾构板上打孔点周围的特征。
进一步的，需要对获取点云数据进行滤波，过滤掉其中的离群点，同时在限定范围内获取修正点云数据时，有可能包括锚栓，进行滤波可以将锚栓的影响降到最低，使得，以减少参与后续计算的点云的个数；优选地，本发明实施例中选取点云体素滤波对修正点云数据进行滤波，滤除离群点，使用点云滤波过滤掉离群点云是非常有效的，可以有效的减少后续计算的负担，从而减少计算成本，提升计算效率。
其中，利用点云体素滤波算法过滤修正点云数据中的离群点云的算法具体流程为：
1)读入修正点云数据：从外部读入修正点云数据，包括点的坐标和属性等信息；
2)创建体素网格：将修正点云数据转换为三维体素网格，每个体素的大小为一定的体素大小，体素网格可以快速地对点云进行处理和分析；
3)计算每个体素的密度：对于每个体素，计算其内部点的数量，如果点的数量小于设定阈值，优选地，本发明实施例中设定阈值的取值为0.01，则该体素被认为是离群点；
4)标记离群体素：将密度小于设定阈值的体素标记为离群点；
5)进行体素滤波：在保留点云表面形状的前提下，对离群体素进行滤波处理，常见的滤波方法有高斯滤波、均值滤波、中值滤波等，优选地，本发明实施例利用高斯滤波进行滤波，实施者可以根据具体情况选用合适的滤波算法；
6)保存滤波后的修正点云数据：将滤波后的修正点云数据保存为点云格式文件。
进一步的，将过滤后的修正点云数据进行二次曲面拟合，获得修正点云数据对应的拟合曲面，拟合出来的二次曲面的形状可以用来表示盾构板的形状，因此可以以此为基准进行分析对打孔倾角进行修正。二次曲面拟合算法是一种有效的曲面拟合方法，可以从点云数据拟合出曲面。它的基本思想是通过构建拟合曲面的拟合函数，使用最小二乘法来实现点云数据和拟合曲面之间的最优解。二次曲面拟合算法通过调整拟合函数的参数，使得点云数据和拟合曲面的差距最小，从而能够更准确的拟合出盾构板对应的修正点云数据对应的曲面；得到拟合曲面后，计算拟合曲面的中心法向量V1。
接着，为了使得后续对于打孔倾角的分析更加准确，需要对中心法向量V1进行修正，具体的，在以打孔点为中心的预设范围内获取点云数据，并获取预设范围内的点云数据对应的估计法向量V2，以估计法向量V2对中心法向量V1进行修正获取修正法向量V3，需要说明的是，预设范围的上下高低范围为1厘米，左右范围与限定范围相同；估计法向量V2的获取方式具体为：
1)对于预设范围内的点云数据中的每个点，确定其最近邻点集合，对于每个点，确定其最近邻点集合，通常使用K近邻算法或半径最近邻算法，优选地，本发明实施例中利用K近邻算法求取预设范围内的点云数据中的每个点的最近邻点集合；
2)计算每个点的法向量，以及每个点的最近邻点集合中的每个点的法向量，优选地，本发明实施例中使用主成分分析的方法，计算每个点的法向量；
3)对于一些不可靠的法向量，可以通过计算每个点与其最近邻点集合中的每个点的法向量之间的角度来确定其是否可靠；设定弧度阈值，如果一个点与其最近邻点集合中的每个点的法向量之间的角度都超过弧度阈值，则认为该法向量不可靠并将其替换为平均法向量；若一个点与其最近邻点集合中的每个点的法向量的角度有一个角度小于或等于弧度阈值，则该点的最终法向量为该点的法向量本身。例如，一个点的最近邻点集合中的点的个数为20，优选地，在本发明实施例中弧度阈值设置为0.1弧度，如果该点的法向量与其最近20个邻居点之间的角度都超过0.1弧度，则认为该法向量不可靠，并将其替换为这些点的平均法向量，作为该点的最终法向量；如果该点的法向量与其最近20个邻居点之间的角度有一个角度小于0.1弧度，则该点的最终法向量为该点对应的法向量本身，至此可以获取每个点的最终法向量；
4)对每个点的最终法向量进行平滑，优选地，本发明实施例使用高斯滤波方法对每个点的最终法向量进行平滑处理，获得预设范围内的点云数据中每个点平滑后的最终法向量，对每个点的最终法向量进行平滑后，可以减少噪声和不良估计的影响；
5)由于在获取预设范围内的点云数据时，是以打孔点为中心的，因此计算每个点到打孔点的距离，距离打孔点最近的点对应的平滑后的最终法向量能够更完整的表征需要打孔点的信息，因此选取距离打孔点最近的点的平滑后的最终法向量作为预设范围内的点云数据的估计法向量V2。
步骤S4，利用估计法向量V2对中心法向量V1进行修正获取修正法向量V3；根据修正法向量V3计算得到第一方向和第二方向的倾角修正分量；利用第一方向和第二方向的倾角修正分量对打孔机器人钻头的打孔倾角进行修正。
仅仅以拟合的二次曲面的中心法向量V2直接进行分析，进而对打孔的倾角进行分析，可能会产生误差，使得后续的分析结果不够准确，因此需要对求得的中心法向量V2进行修正后，再用于后续的分析，具体的需要结合估计法向量进行修正。
设定角度阈值，优选地，本实施例中角度阈值的取值为0.5°，计算中心法向量V1和估计法向量V2之间的夹角，若夹角满足小于角度阈值，则将中心法向量V1和估计法向量V2的法向量均值作为修正法向量V3；若中心法向量V1与估计法向量V2之间的角度大于或等于角度阈值，则以估计法向量V2作为修正法向量V3。
获得修正法向量V3后，基于修正法向量V3进行分析，计算打孔机器人在打孔修正时主轴进给方向需要偏移的角度，也即是倾角修正分量，其中倾角修正分量的计算过程如下：
假定打孔机器人在进行倾角修正前，主轴进给方向为[a0,b0,c0]T，对打孔的倾角修正后，主轴进给方向与打孔点相互对应，且与以打孔点基准求出的修正法向量的法矢方向重合。此时主轴进给方向即为当前工具坐标系Z轴方向，可以用[0,0,1]T表示，其中工具坐标系如图8所示，可以看出工具坐标系是以打孔钻头的顶端为坐标原点的，其具体的x轴、y轴和z轴的方向就如图中所示。若以倾角修正后的工具坐标系为参考，则修正前工具坐标系可用T01表示。
在步骤S3中根据修正点云数据进行了拟合获得了拟合曲面，也可以求出拟合曲面的解析式，根据拟合曲面的解析式求得的拟合曲面的主法矢向量是与上述求得的修正法向量V3相同，将修正法向量V3作为主法矢方向，记为为(a0,b0,c0)。
进一步的，为了表示修正前工具坐标系T01，本发明实施例引入了欧拉角变换原理，欧拉角是一种描述三维空间中物体旋转的方式，欧拉角变换包括绕三个坐标轴依次旋转，具体而言，先绕z轴旋转一个角度，再绕新的y轴旋转一个角度，最后绕新的x轴旋转一个角度。这三个旋转分别称为yaw(偏航角)、pitch(俯仰角)和roll(翻滚角)。欧拉角变换的原理是，在三维空间中，任何旋转操作都可以通过一系列绕坐标轴的旋转来表示。则T01可以表示为：
其中，Rx(γ)表示绕原工具坐标系的x轴旋转γ度；Ry(β)表示在绕原工具坐标系的x轴旋转γ度后，以此时的工具坐标系为参考，再绕y轴旋转β度；Rz(α)表示在绕y轴旋转β度后，以此时的工具坐标系为参考，再绕z轴旋转α度；其中cα＝cos(α)，sα＝sin(α)，cβ＝cos(β)，sβ＝sin(β)，cγ＝cos(y)，sα＝sin(γ)。则绕着x轴，y轴和z轴的旋转操作可以用调姿变换公式表示：
六关节机器人因存在自由度冗余现象，在不同孔位处进行倾角修正时，打孔机器人需要姿态调整，这会引起关节变换幅度的增加。为了解决这一问题且由于打孔电钻的位置保持不变即可打孔，决定取消工具坐标系Z轴的变换过程，从而使得调姿变换过程更加简化。具体地，将参数α赋值为0，可以确定cα＝cos(α)＝1，sα＝sin(α)＝0，这样，简化后的调姿变换公式如下所示：
进一步的，求解上述非齐次线性方程，需要说明的是，非齐次线性方程是由调姿变换公式变换所得的，可得：
根据欧拉变换原理，存在唯一的γ满足条件，因此可以求得：
由此可以得到，绕每个轴的旋转的角度分别为：
α＝0
其中，ry和rx分别表示第一方向和第二方向的倾角修正量，也即是y轴和x轴方向上的倾角修正量。
最后，将第一方向和第二方向的倾角修正量ry和rx送入打孔机器人中，执行相应的偏移程序，使得打孔机器人上打孔电钻的钻头与打孔点所在的切面垂直，之后执行打孔程序，完成打孔操作。
同时，本实施例中以打孔机器人作为倾角偏移移动的配套模块，其主要的功能是调整打孔机器人的执行端钻头，使其垂直于待打孔盾构板。所以在打孔机器人中需要配置相关的子作业，调用倾角测量程序，辅助打孔机器人将钻头移动到垂直打孔盾构板上相应的位置，也即是打孔点所在的位置。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度相机的隧道打孔倾角修正方法，其特征在于，该方法包括：
对获取的隧道盾构板的表面图像进行增强处理获得增强表面图像；
改变目标检测模型的结构获得优化目标检测模型；
利用优化目标检测模型识别增强表面图像中的匹配凹槽对，基于匹配凹槽对定位打孔点；
以打孔点为中心点在匹配凹槽对中的左侧凹槽与右侧凹槽之间获取限定范围内的点云数据，记为修正点云数据；
获取所述修正点云数据对应的拟合曲面以及所述拟合曲面的中心法向量；
根据以所述打孔点为中心的预设范围内的点云数据获取其对应的估计法向量；
基于所述中心法向量和所述估计法向量获取修正法向量；
根据所述修正法向量计算得到第一方向和第二方向的倾角修正分量；
利用所述第一方向和第二方向的倾角修正分量对打孔机器人钻头的打孔倾角进行修正。
2.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，所述改变目标检测模型的结构获得优化目标检测模型，包括：
将所述目标检测模型的骨干网络和特征提取网络的C3结构全部替换为C2F结构，在骨干网络的SPPF结构前添加CA注意力模块，在特征提取网络中除第一个CSP结构之外的CSP结构后增加ECA注意力模块，得到优化目标检测模型。
3.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，所述利用优化目标检测模型识别增强表面图像中的匹配凹槽对，包括：
将增强表面图像输入优化目标检测模型，输出信息标注图；所述信息标注图中匹配凹槽对被包围框标注出，所述包围框为矩形。
4.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，所述对获取的隧道盾构板的表面图像进行增强处理获得增强表面图像，包括：
将表面图像灰度化，并均匀划分为至少两个小区域，并利用直方图均衡化和双线性插值对每个小区域进行处理获得高对比度图像；
基于表面图像获得其对应的高斯掩膜，基于表面图像和高斯掩膜获取表面图像对应的低频成分；
根据所述高对比度图像和所述低频成分获取高频细节成分；
将所述高对比度图像与所述高频细节成分进行线性融合获得第一图像；
利用MEDHS算法对第一图像进行处理获得第二图像；对第二图像进行分割获得不同区域，并对不同区域的亮度和对比度进行调整，得到增强表面图像。
5.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，所述基于匹配凹槽对确定打孔点，包括：
获取匹配凹槽对中左侧凹槽的包围框的右侧的边，记为定位基准边；所述打孔点与隧道的地面距离为预设高度；根据预设高度和所述定位基准边确定所述打孔点，所述打孔点与定位基准边的水平距离为预设长度。
6.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，所述根据以所述打孔点为中心的预设范围内的点云数据获取其对应的估计法向量，包括：
获取所述点云数据中的每个点的最近邻点集合；计算所述每个点的最近邻点集合中的每个点的法向量；
设定弧度阈值，若一个点的法向量与其对应的最近邻点集合中的每个点的法向量之间的夹角都大于弧度阈值，则以该点对应的最近邻点集合中所有点的法向量的平均法向量作为该点的最终法向量；
若一个点的法向量与其对应的最近邻点集合中的任一点的法向量之间的夹角小于或等于弧度阈值，则该点的最终法向量为该点的法向量；
对所有点的最终法向量进行平滑处理，获得每个点平滑后的最终法向量；
距离打孔点最近的点的平滑后的最终法向量为所述预设范围内的点云数据的估计法向量。
7.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，所述基于所述中心法向量和所述估计法向量获取修正法向量，包括：
若所述中心法向量与所述估计法向量之间的角度小于角度阈值，则将中心法向量和估计法向量的法向量均值作为修正法向量；
若所述中心法向量与所述估计法向量之间的角度大于或等于角度阈值，则将估计法向量作为修正法向量。
8.根据权利要求1所述的一种基于深度相机的隧道打孔倾角修正方法，其特征在于，在所述获取所述修正点云数据对应的拟合曲面以及所述拟合曲面的中心法向量之前，还包括：
对所述修正点云数据进行滤波，滤除所述修正点云数据中的离群点。
CN202310434628.1A 2023-04-21 2023-04-21 一种基于深度相机的隧道打孔倾角修正方法 Active CN116579989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310434628.1A CN116579989B (zh) 2023-04-21 2023-04-21 一种基于深度相机的隧道打孔倾角修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310434628.1A CN116579989B (zh) 2023-04-21 2023-04-21 一种基于深度相机的隧道打孔倾角修正方法

Publications (2)

Publication Number Publication Date
CN116579989A true CN116579989A (zh) 2023-08-11
CN116579989B CN116579989B (zh) 2024-05-14

Family

ID=87538681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310434628.1A Active CN116579989B (zh) 2023-04-21 2023-04-21 一种基于深度相机的隧道打孔倾角修正方法

Country Status (1)

Country Link
CN (1) CN116579989B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706563A (zh) * 2024-02-05 2024-03-15 中南大学 矿井垂直断面钻孔定位方法、系统、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012097429A (ja) * 2010-10-29 2012-05-24 Raito Kogyo Co Ltd 方向制御削孔方法及び装置
CN104915640A (zh) * 2015-05-22 2015-09-16 中国科学院武汉岩土力学研究所 一种钻孔图像结构面自动识别与参数提取方法
CN109458133A (zh) * 2018-12-21 2019-03-12 吕永宏 一种隧道自动钻孔机及方法
CN111623821A (zh) * 2020-05-15 2020-09-04 天津时空经纬测控技术有限公司 隧道钻孔方向的检测、偏差检测、钻孔位置确定的方法
CN111677457A (zh) * 2020-06-28 2020-09-18 中铁九局集团电务工程有限公司 一种钻孔臂
KR102241933B1 (ko) * 2020-07-30 2021-04-19 (주)강호지엔씨 천공 드릴장비의 천공각도 조정 시스템 및 그 방법
CN113404426A (zh) * 2021-04-30 2021-09-17 吕永宏 一种隧道钻孔机及其施工方法
CN113914880A (zh) * 2021-09-01 2022-01-11 中铁九局集团电务工程有限公司 基于激光测距的倾角可修正隧道打孔方法及打孔机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012097429A (ja) * 2010-10-29 2012-05-24 Raito Kogyo Co Ltd 方向制御削孔方法及び装置
CN104915640A (zh) * 2015-05-22 2015-09-16 中国科学院武汉岩土力学研究所 一种钻孔图像结构面自动识别与参数提取方法
CN109458133A (zh) * 2018-12-21 2019-03-12 吕永宏 一种隧道自动钻孔机及方法
CN111623821A (zh) * 2020-05-15 2020-09-04 天津时空经纬测控技术有限公司 隧道钻孔方向的检测、偏差检测、钻孔位置确定的方法
CN111677457A (zh) * 2020-06-28 2020-09-18 中铁九局集团电务工程有限公司 一种钻孔臂
KR102241933B1 (ko) * 2020-07-30 2021-04-19 (주)강호지엔씨 천공 드릴장비의 천공각도 조정 시스템 및 그 방법
CN113404426A (zh) * 2021-04-30 2021-09-17 吕永宏 一种隧道钻孔机及其施工方法
CN113914880A (zh) * 2021-09-01 2022-01-11 中铁九局集团电务工程有限公司 基于激光测距的倾角可修正隧道打孔方法及打孔机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. FAN, Q. LIU, K. YAO, H. TIAN AND X. YIN: "Hydraulic system design for tunnel drilling rig based on pump-controlled technology", 《 2011 INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS, COMMUNICATIONS AND NETWORKS (CECNET)》, 16 May 2011 (2011-05-16) *
张革胜;: "倾角变化对钻孔成果可靠性影响分析", 中国煤炭地质, no. 11, 25 November 2016 (2016-11-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706563A (zh) * 2024-02-05 2024-03-15 中南大学 矿井垂直断面钻孔定位方法、系统、设备及存储介质
CN117706563B (zh) * 2024-02-05 2024-05-07 中南大学 矿井垂直断面钻孔定位方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN116579989B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN107179768B (zh) 一种障碍物识别方法及装置
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN106056643B (zh) 一种基于点云的室内动态场景slam方法及系统
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN116579989B (zh) 一种基于深度相机的隧道打孔倾角修正方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN110533716B (zh) 一种基于3d约束的语义slam系统及方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN113295171B (zh) 一种基于单目视觉的旋转刚体航天器姿态估计方法
CN117274499B (zh) 一种基于无人机倾斜摄影的钢结构加工及安装方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN112945196A (zh) 一种基于点云数据的露天矿台阶线提取和边坡监测的方法
CN115345934A (zh) 一种基于坡度因子的激光定位与建图方法及系统
CN117532225A (zh) 可预测焊缝与位姿估计的焊接机器人三维视觉方法及系统
CN112902981A (zh) 机器人导航方法和装置
CN116958083A (zh) 基于机器人自适应位姿调整的动车车底螺栓松动检测方法
CN114419259B (zh) 一种基于物理模型成像仿真的视觉定位方法及系统
CN115908731A (zh) 一种基于云边协同的双无人机三维重建方法
CN111915632B (zh) 一种基于机器学习的贫纹理目标物体真值数据库构建方法
CN114429469A (zh) 一种基于三激光点标靶的掘进机机身位姿确定方法及系统
CN113971699A (zh) 目标物识别方法、装置、电子设备和存储介质
CN112815911A (zh) 基于三目视觉的输电线路交跨距离测量方法
CN118604865B (zh) 一种基于田间信息约束的农机定位方法
CN109919969A (zh) 一种利用深度卷积神经网络实现视觉运动控制的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant