CN117635867A - 一种局部特征融合的端到端真实隧道点云三维重建方法 - Google Patents

一种局部特征融合的端到端真实隧道点云三维重建方法 Download PDF

Info

Publication number
CN117635867A
CN117635867A CN202311661167.8A CN202311661167A CN117635867A CN 117635867 A CN117635867 A CN 117635867A CN 202311661167 A CN202311661167 A CN 202311661167A CN 117635867 A CN117635867 A CN 117635867A
Authority
CN
China
Prior art keywords
tunnel
point
point cloud
voxel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311661167.8A
Other languages
English (en)
Inventor
孙海丽
刘长青
张建坤
苏增云
王金明
王鑫
姚添宝
于风彬
王智
张子真
陆悦
张振鑫
钟若飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202311661167.8A priority Critical patent/CN117635867A/zh
Publication of CN117635867A publication Critical patent/CN117635867A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种局部特征融合的端到端真实隧道点云三维重建方法，主要针对真实隧道点云的三维重建任务，将隧道点云的要素结构特征重建为隧道表面，特征主要包括隧道原始结构(如横缝、环缝、螺栓孔、注浆孔等)、隧道内部要素(如消防水管、电线线缆等)、隧道壁标识(逃生标、百米标等)、隧道病害信息(渗漏水、衬砌剥落等)等。由于隧道的结构设计容易产生变形、裂缝等问题，威胁隧道安全减少使用寿命，因此需要高度关注隧道内部状态，定期进行安全监测。本发明提出的网络无需人工操作便能够高精度的重建隧道场景，有利于隧道的后期检查和人工观测。

Description

一种局部特征融合的端到端真实隧道点云三维重建方法
技术领域
本发明属于计算机视觉领域，具体涉及一种局部特征融合的端到端真实隧道点云三维重建方法。
背景技术
近年来，随着经济的快速发展和城市人口密集化的不断加重，许多大中城市的交通承受能力已经达到瓶颈，如何减轻交通压力成为急需解决的迫切问题。城市地铁作为交通系统中的现代化工具，以其安全，高效的优势迅速成为城市交通网的重要组成部分。随着城市地下轨道交通建设的不断发展，地铁隧道的安全也成为社会广泛关注的问题。地铁隧道经过长期的运营，外加各种地质条件和周围环境的影响，内部会出现各种病害，如渗漏水、衬砌剥落等。这些病害不仅会降低混凝土强度，也会损伤隧道衬砌结构，对城市轨道交通运营造成巨大的安全隐患。因此，对隧道内部的监测工作迫在眉睫。
目前传统的地铁隧道测量和监测任务中，主要是通过全站仪、断面仪等仪器或者摄影测量等方式来获取隧道3D点云，具有低密度、低效率、大工作量等缺陷。这种获取隧道点云的方式存在的缺陷为：
1)密度不均，传统扫描仪手动操作的模式使得生成的点云密度并不均匀。
2)低效率，传统扫描仪固定采集的方式使得隧道点云的生成效率低下。
3)工作量巨大，传统仪器通常需要手动搬动更换地点进行测量。
相较而言，三维激光扫描技术具有工作效率高，采集规模大，数据精度高等优势，克服了传统方法的缺点，因而被广泛应用于地铁隧道监测的相关工作中。使用激光雷达获取隧道点云数据质量高，时间效率快，近年来已经成为隧道实地测量的重要方法，同时也衍生出了一系列产学研的工作。将测量的隧道点云数据用于学习和研究已经成为了一种趋势，目的都是为了分析实地情况，更好的监测隧道内部状态。
对隧道的三维重建工作也是如此，通过隧道点云数据尽可能的复原真实隧道场景，观测隧道内部状态，监测并警示潜在风险。传统的隧道三维隧道重建采用BIM全手动建模，耗时费力不利于高效监测。而人工智能的不断发展，凸显了深度学习模型在点云处理中显著优势，也为隧道的三维重建提供了新的方法。
随着三维激光扫描技术的飞速发展，许多研究者致力于研究激光雷达数据的三维重建任务，我们将从三方面对已有的隧道建模技术进行阐述。
(1)BIM
从历史的角度来看，BIM模型是在三维实体建模的基础上形成、发展和成熟的。该模型通常提供大量预定义的参数化对象类和族，并允许用户在特定BIM工具中自定义所需的参数化对象。Cheng等开发了一种通用技术，提取与轨道内部边界相关的铁路道床点云，并结合2D凸包算法和拟合分段回归模型来估计隧道衬砌和底板的参数。最后，通过对隧道衬砌表面的点进行分组，对设施和避难所的点进行分类并拟合在另一坐标系中来自动识别不同类型的部件(轨道、横截面、管道、接触网设备和避难所)，为BIM建模提供了不同的参数设置。Duan等提出了一种使用地面激光扫描数据自动识别管段并创建盾构隧道衬砌参数化竣工建筑信息模型(BIM)的技术。
这种建模方法是最传统也是应用比较广的方法，基于此类方法的软件开发也十分成熟(如Revit等)，用户自定义建模参数的加入使得针对不同结构特征的精细化建模成为可能。然而过于精细化的全手动建模会耗费大量的时间效率，因此需要探究更高效的方法。
(2)传统方法
传统算法主要使用数学方法来逼近点云和重建曲面，但是这种方法往往受噪声影响较大，对原始数据质量要求较高。Xu等提出了一种RBM B-spline曲面建模方法，针对激光扫描点云数据可以自动重建鲁棒的曲面模型，以提高三维参数化竣工建模的质量和检测结构变形的效率，在隧道结构自动健康监测中具有抗噪声优势。Song等提出了一种基于改进的迭代最近点(ICP)算法和贪婪投影三角剖分(GPT)算法的3D地表重建算法来重建隧道表面。传统SfM方法主要侧重于三维重建，但缺乏尺度信息，而DLT方法侧重于剖面测量，但缺乏环境信息。因此Xue等将两者结合，针对地铁隧道的三维重建提出了一种新的方法。通过SfM方法展示了无序3D点云的定性特征(如泄漏、管道等状态)。摄影测量的DLT方法提供缺失的尺度信息和定量特征(如轮廓变形)隧道的状态。不仅降低了操作现场要求和降低设备成本，在不同隧道环境中也有了更大的适用性。
传统方法在深度学习还未广泛应用于三维建模领域之前是研究的主流方向，目前一些点云处理软件中的建模仍使用此类算法(如MeshLab中的screened poisson算法)。但此类算法往往研究的是一种普适性的重建方法，针对隧道特殊结构特点进行三维重建的研究较少。
(3)深度学习
Zhang等提出了一种使用深度卷积神经网络(CNN)从单目RGB图像构建三维隧道模型的方法。该方法利用单目相机拍摄的2D高分辨率照片和3D重建技术获得隧道围岩的3D模型。Cao等提出了一种结合数据驱动分割和模型驱动装配的块级精度盾构隧道重建方法，根据点的法向量与隧道轴线方向之间的角度，将三维点云展开为二维图像后对光栅化图像执行隧道衬砌块分割。分割后的3D块通过约束总最小二乘匹配方法与来自原始库的一组预定义的3D模板进行匹配，并组装匹配的3D模板以创建最终的隧道模型。Yi等提出了一种基于图像和几何协同分层分割的3D激光雷达点云隧道建模的有效框架，将基于设计模式的分层分割和元素提取应用于强度图像，根据点云与图像的对应关系，提取点云内的片段，从而构建了相应的管片3D模型，以获得隧道的精确结构模型。
这些方法大多侧重于从点云数据中分割提取隧道内部结构(如衬砌等)，匹配模板后组装形成最终的隧道模型。这种方法相较于直接从真实点云数据中提取点云特征进行重建而言，缺失了隧道场景的真实性。
在这样的发展背景下，我们研究了一种基于真实隧道场景的高精度重建方法，能够快速重现隧道内部三维空间环境，为后续隧道病害检测等工作创造条件。
发明内容
为了解决上述问题，本发明提供了一种局部特征融合的端到端真实隧道点云三维重建方法，所述方法包括：
S1逐点特征提取；
S2局部特征增强；
S3隧道面拟合优化；
S4重现隧道内部的纹理信息。
所述S1，具体内容包括：
原始输入隧道点云P∈RN×(3+d)(P＝{p1,…,pi,…pN},i＝1,…N)包含三维坐标S∈RN×3,S＝{s1,…,si,…sN},i＝1,…N和特征信息C∈RN×d,C＝{c1,…,ci,…cN},i＝1,…N(在隧道场景中，通常为强度信息)；其中N指的是输入点云的数量，d指的是输入点云特征信息的维度；
构建一个隧道特征逐点提取模块(Tunnel feature pointwise extractionblock)，用于从原始点云中提取每个点的潜在特征信息；这个模块包含L个相同的层，每个层由两个子层组成；每个子层周围采用残差连接；
第一个子层U由两个线性层和多头注意力机制组成，其输入和输出分别表示为 (其中l代表当前层数，l∈[1,L]且l∈Z)；多头注意力的参数设置如下：/> 输出特征表示为Fl；/>的计算可参考等式1；
第二个子层V接收来自U层的输出作为输入(见等式2)，经过两个线性层后同样采用了残差连接；/>的计算如等式3所示；在线性层之后，引入dropout＝0.1以缓解潜在的过拟合问题，并使用ReLU作为激活函数。
所述S2，具体内容包括：
根据所设定的体素分辨率，对所在的空间包围盒进行分割，构建隧道的网格体素；
对点云P所在的空间包围盒进行了划分，形成体素网格V＝{v1,…,vi,…vM},i＝1,…M，其中每个体素的占用率表示为而颜色信息为/>其中M为体素的数量；
根据点云P与体素V之间的空间包含关系，采用以下策略来确定不包含点云数据的体素的占有率：以该体素的中心点作为查询点Q，并在点云P中寻找Q的邻居点以及邻居点的潜在特征/>(i＝1,…kp,kp为邻居点数量)，这些特征的维度为(kp，f)；引入体素中心点与其邻居点的空间坐标差值/>来增强位置特征，并学习权重以获取点之间的空间相关性；具体地，计算空间坐标差值/>将其与邻居点的潜在特征/>相连接，经过多层感知器(MLP)得到增强后的位置特征/>将/>输入线性层，并通过softmax进行归一化求平均，得到/>的空间相关性权重/>首先将权重/>与位置特征进行矩阵乘法以突出在与查询点Q空间相关性较强的邻居点特征，然后通过线性层并进行归一化操作，最终计算出体素的占有率。
其中(Qx,Qy,Qz)为点Q的空间坐标，为邻居点/>的空间坐标；
同样从两种情况来考虑体素的颜色；当体素中包含点时，该体素的颜色由体素内所有点共同决定，假设体素内包含点P＝{p1,…,pi,…pn},i＝1,…n,每个点的颜色为C＝{c1,…,ci,…cn},i＝1,…n),具体公式如下:
在点云P中寻找查询点Q的邻居点邻居点的颜色/>以及邻居点的潜在特征/>(i＝1,…kc,kc为邻居点数量)；使用与之前相似的权重加强模块来获得颜色权重/>通过以下公式来增强颜色特征，得到体素的颜色属性；
此模块中邻居点的数量kc与上一个模块中的邻居点数量kp是不同的。
所述S3，具体内容包括：
每个立方体单元内的等值面通过线性插值来估计，它们由单元的八个顶点和等值点之间的关系确定；当等值点穿过立方体单元时，Marching Cubes算法会生成一个或多个面，而这些面的形状会受到立方体的几何形状和等值点的位置的影响；
对提取的等值面进行优化，以打破原本的方形结构，使等值面更好地拟合环形表面；
等值面由节点和面组成，其中面的形状由节点坐标决定；通过组合每三个节点的坐标，可以构建等值面；v1代表原始等值面提取的节点，其方形结构特点导致v1与输入点云P之间存在较大偏差；我们的目标是将v1尽可能地靠近原始点云，使等值面尽可能地与原始隧道表面贴合，具体的公式如下所示：
v′1＝((p1x+p2x+o3x)/3,(p1y+p2y+p3y)/3,(o1z+p2z+p3z)/3)#(7)
其中v'1就是v1修改后的节点，p1，p2，p3分别是v1在输入点云PC中的三个最近邻点。
所述S4，具体内容包括：
采用激光雷达扫描仪获取真实场景隧道数据，除了点云的空间坐标外，还包含了强度信息；这里的强度信息指的是激光扫描仪接收装置采集到的回波强度，它与物体的表面材料、激光距离等因素相关，能够提供一定的物体区分度；
设计一个全新的二分类交叉熵损失函数，它在确保隧道三维重建效果的同时，也考虑了隧道的纹理信息；具体的损失函数公式如下所示：
其中表示网络预测生成的体素颜色值，/>表示体素颜色的真值。
本申请的优点和效果如下：
本发明主要研究真实隧道场景的三维重建，通过将点云重建算法与激光雷达获取的隧道数据特征相结合来实现的。我们的方法，在三种隧道3D点云数据集中重建结果大大超过了现有的重建方法。在本发明中，我们的主要贡献是：
(1)我们提出了一种基于transformer提取逐点特征和学习局部权重聚合局部特征的端到端的隧道三维重建模型，能够有效改善真实场景隧道点云高噪声和密度不均的问题，并获得高精度的隧道场景重建结果。与此同时，端到端的模型结构能够自动化生成重建结果，展现了模型在工程化应用中的优势。
(2)由于主流的体素化建模方法受到体素立方结构的较大影响，因此在应用于环形结构的隧道场景时效果并不理想。因此，我们提出了一种隧道面拟合重建优化方法，该方法旨在更好地逼近等值面和原始点云，从而显著提高了隧道场景下的重建精度。
(3)由于隧道点云数据既包含空间坐标又包含纹理特征，我们设计了一种兼顾纹理信息的二元交叉熵损失函数，保证隧道表面结构的同时准确呈现隧道内部纹理。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，从而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下以本申请的较佳实施例并配合附图详细说明如后。
根据下文结合附图对本申请具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述及其他目的、优点和特征。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1.点云、体素和相邻点之间的关系(2D表示)。(a)点云分布。(b)点云和体积分割。(c)没有数据量和相邻点(k＝10)。
图2.网络架构示意图，工作的总体结构。
图3.网络架构示意图，体素特征增强块的详细结构。
图4.体素节点和相邻曲面。
图5.激光扫描仪隧道作业现场。(a)经典的隧道检测设备。(b)新的隧道监控设备。
(c)便携式隧道监控设备。
图6.三种类型的隧道和横断面结构。(a)矩形。(b)圆圈。(c)马蹄。
图7.矩形隧道不同方法的重建结果。(a)点云。(b)筛选泊松。(c)MLS。(d)ConvONet。(e)POCO。(f)我们的(没有颜色)。
图8采用不同方法重建圆形隧道的结果。(a)点云。(b)筛选泊松。(c)MLS。(d)ConvONet。(e)POCO。(f)我们的(没有颜色)。
图9.马蹄形隧道不同方法的重建结果。(a)点云。(b)筛选泊松。(c)MLS。(d)ConvONet。(e)POCO。(f)我们的(没有颜色)。
图10.不同地区隧道的重建结果(我们的彩色)。
图11不同情况下的重建结果。
图12不同密度下显色效果的比较。
具体实施例
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外，为了清楚和简洁，实施例中省略了对已知功能和构造的描述。
应该理解，说明书通篇中提到的“一个实施例”或“本实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“一个实施例”或“本实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身并不指示所讨论各种实施例和/或设置之间的关系。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
本文中术语“至少一种”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B的至少一种，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。
实施例1
如附图1和附图2、附图3所示的一种局部特征融合的端到端真实隧道点云三维重建方法，图1为点云、体素和相邻点之间的关系(2D表示)。(a)点云分布。(b)点云和体积分割。(c)没有数据量和相邻点(k＝10)。图2.为网络架构示意图，我们工作的总体结构。图3.为网络架构示意图，体素特征增强块的详细结构。
本发明主要针对真实隧道点云的三维重建任务，将隧道点云的要素结构特征重建为隧道表面，特征主要包括隧道原始结构(如横缝、环缝、螺栓孔、注浆孔等)、隧道内部要素(如消防水管、电线线缆等)、隧道壁标识(逃生标、百米标等)、隧道病害信息(渗漏水、衬砌剥落等)等。由于隧道的结构设计容易产生变形、裂缝等问题，威胁隧道安全减少使用寿命，因此需要高度关注隧道内部状态，定期进行安全监测。本发明提出的网络无需人工操作便能够高精度的重建隧道场景，有利于隧道的后期检查和人工观测。
实施例2
在实施例1的基础上，此实施例说明逐点特征提取模块的详细内容：
在我们的研究中，原始输入隧道点云P∈RN×(3+d)(P＝{p1,…,pi,…pN},i＝1,…N)包含三维坐标S∈RN×3,S＝{s1,…,si,…sN},i＝1,…N和特征信息C∈RN×d,C＝{c1,…,ci,…cN},i＝1,…N(在隧道场景中，通常为强度信息)。其中N指的是输入点云的数量，d指的是输入点云特征信息的维度。
我们构建了一个隧道特征逐点提取模块(Tunnel feature pointwiseextraction block)，用于从原始点云中提取每个点的潜在特征信息。这个模块包含L个相同的层，每个层由两个子层组成。为了减轻网络深度增加可能带来的信息丢失和梯度消散等问题，我们在每个子层周围采用了残差连接。
第一个子层U由两个线性层和多头注意力机制组成，其输入和输出分别表示为 (其中l代表当前层数，l∈[1,L]且l∈Z)。多头注意力机制有助于丰富点云在不同子空间中的编码表示信息，从而增强了特征的多维度表达能力，具体的公式参考文献。在我们的研究中，多头注意力的参数设置如下：/> 输出特征表示为Fl。/>的计算可参考等式1。
第二个子层V接收来自U层的输出作为输入(见等式2)，经过两个线性层后同样采用了残差连接。/>的计算如等式3所示。值得一提的是，在线性层之后，我们引入了dropout＝0.1以缓解潜在的过拟合问题，并使用ReLU作为激活函数。
实施例3
此实施例在上述实施例的基础上，继续说明局部特征增强模块的详细内容；
根据所设定的体素分辨率，我们对所在的空间包围盒进行分割，构建了隧道的网格体素(如图1b所示)。由于隧道点云包含了空间坐标信息和纹理信息，因此我们需要根据点云在体素中的分布情况来计算每个体素的占用率(用0或1标记，即表示是否在空白区域或形状内部)和颜色值。如图1c所示，当体素中包含点云数据时，我们将体素的占用率标记为1，而体素的颜色值则由体素内所有点云的颜色值共同决定。然而，当体素中没有点云数据时(如图中的红框所示体素)，我们可以利用voxel feature enhancement block来学习体素周围的邻居特征，并将这些特征附加到no-data volume中，从而获得体素的占用率和颜色信息。
经过上述实施例中的点云特征提取后，我们获得了点云P中每个点的潜在特征向量Fp，其维度为(N,f)。在我们的工作中，特征维度f的大小为32。正如图1b所示，根据体素分辨率(每个体素单元的单位长度)，我们对点云P所在的空间包围盒进行了划分，形成了体素网格V＝{v1,…,vi,…vM},i＝1,…M，其中每个体素的占用率表示为 而颜色信息为/> 其中M为体素的数量。
根据点云P与体素V之间的空间包含关系，我们采用以下策略来确定不包含点云数据的体素的占有率：我们以该体素的中心点作为查询点Q，并在点云P中寻找Q的邻居点以及邻居点的潜在特征/>(i＝1,…kp,kp为邻居点数量)，这些特征的维度为(kp，f)。基于Alexandre Boulch的研究，我们引入了体素中心点与其邻居点的空间坐标差值/>来增强位置特征，并学习权重以获取点之间的空间相关性，从而更好地聚合特征在物体表面。具体地，我们计算了空间坐标差值/>将其与邻居点的潜在特征/>相连接，经过多层感知器(MLP)得到增强后的位置特征/>然后，将/>输入线性层，并通过softmax进行归一化求平均，得到/>的空间相关性权重/>我们首先将权重/>与位置特征进行矩阵乘法以突出在与查询点Q空间相关性较强的邻居点特征，然后通过线性层并进行归一化操作，最终计算出体素的占有率。
其中(Qx,Qy,Qz)为点Q的空间坐标，为邻居点/>的空间坐标。
我们同样从两种情况来考虑体素的颜色。当体素中包含点时，该体素的颜色由体素内所有点共同决定，假设体素内包含点P＝{p1,…,pi,…pn},i＝1,…n,每个点的颜色为C＝{c1,…,ci,…cn},i＝1,…n),具体公式如下:
当体素中不包含点云数据时，类似于Position feature enhancement block模块的处理方式，我们同样在点云P中寻找查询点Q的邻居点邻居点的颜色/>以及邻居点的潜在特征/>(i＝1,…kc,kc为邻居点数量)。然后我们使用与之前相似的权重加强模块来获得颜色权重/>并通过以下公式来增强颜色特征，从而得到体素的颜色属性。
值得注意的是，此模块中邻居点的数量kc与上一个模块中的邻居点数量kp是不同的。较多的邻居点对体素占有率的判断是有利的，然而这也会导致细节纹理丢失。根据地理学中的定律：越相近的物体，特征越相似，因此颜色的判断应该是高度局部的问题。
实施例4
此实施例在上述实施例的基础上，继续说明隧道面拟合优化的详细内容；
由于Marching Cubes算法是一种离散的立方体单元等值面提取方法，所以使用该方法从体素V中提取的等值面形状受到立方体结构影响较大。每个立方体单元内的等值面是通过线性插值来估计的，它们由单元的八个顶点和等值点之间的关系确定。当等值点穿过立方体单元时，Marching Cubes算法会生成一个或多个面，而这些面的形状会受到立方体的几何形状和等值点的位置的影响。
以往一些使用Marching Cube算法从体素中提取等值面的方法(如POCO)在隧道场景下表现不佳。这是因为隧道结构通常呈环形，表面为圆形面，而立方体通常是方形，在每个顶点处产生的等值面有很大的概率为方形或矩形。如图四中，原始等值面顶点v1受方形结构影响，与环形隧道点云所在的隧道表面并不贴合。因此，我们对提取的等值面进行了优化，以打破原本的方形结构，使等值面更好地拟合环形表面。
等值面由节点和面组成，其中面的形状由节点坐标决定。通过组合每三个节点的坐标，可以构建等值面。因此，我们只需要考虑节点位置的优化。如图3所示，v1代表原始等值面提取的节点，其方形结构特点导致v1与输入点云P(绿色点云)之间存在较大偏差。我们的目标是将v1尽可能地靠近原始点云，使等值面尽可能地与原始隧道表面贴合，具体的公式如下所示：
v′1＝((p1x+p2x+p3x)/3,(p1y+p2y+p3y)/3,(p1z+p2z+p3z)/3)#(7)
其中v'1就是v1修改后的节点，p1，p2，p3分别是v1在输入点云PC中的三个最近邻点。
实施例5
在调研中我们发现，目前的公开数据集(如Synthetic Rooms[15]、SceneNet[9]等)主要包含空间坐标和法向量等信息。然而，我们的研究采用激光雷达扫描仪获取了真实场景隧道数据，除了点云的空间坐标外，还包含了强度信息。这里的强度信息指的是激光扫描仪接收装置采集到的回波强度，它与物体的表面材料、激光距离等因素相关，能够提供一定的物体区分度。因此，我们的任务不仅是关注隧道三维表面的重建，还要重现隧道内部的纹理信息。
为了实现这一目标，我们设计了一个全新的二分类交叉熵损失函数，它在确保隧道三维重建效果的同时，也考虑了隧道的纹理信息。具体的损失函数公式如下所示：
其中表示网络预测生成的体素颜色值，/>表示体素颜色的真值。我们在传统二分类交叉熵损失函数中加入了衡量颜色损失的部分，通过约束真实值和预测值之间的差值来准确呈现隧道内部纹理。
实施例6
本实施例在上述实施例的基础上，介绍一种局部特征融合的端到端真实隧道点云三维重建方法的实验准备工作与实验进行过程。
数据集的获取
激光扫描仪的应用给不同行业带来了新的发展机遇，我们团队研发了隧道检测装备包括支持Faro、Z+F、Leica等品牌扫描仪的隧道检测装备，如图5所示，实现了隧道点云数据的高效快速获取。
多类型隧道
各地的地形地貌大不相同，隧道的类型也是多种多样的。如图6所示，本文主要考虑了三种断面形状(圆形、马蹄形、矩形)隧道，数据来源于不同地区不同区段地铁实际测量中获取的真实隧道数据。
数据集组织
鉴于真实隧道场景中缺乏可用于训练的真值数据，我们采用了一种策略，将隧道数据展开成平面，并利用公开的室内数据集Synthetic Rooms进行训练。这一策略建立在展平后的隧道面与室内数据之间的相似性之上，因为它们都由平面和平面上的物体组成。值得一提的是，公开的Synthetic Rooms数据集中并不包含颜色信息，因此我们根据物体类型在原始数据上进行了颜色标记。
为了综合考虑不同扫描仪类型和隧道截面形状等因素对重建结果的影响，我们创建了三个不同长度的真实隧道数据集，具体的数据组织方式如表1所示。需要特别强调的是，表1中列出的数据集适用于除4.3节中的泛化性实验外的所有实验，而泛化性实验的相关数据集组织将在相关实验中详细介绍。
表1测试数据集组织。
实验环境和精度指标
我们的模型以及所有对比方法实验均在一个搭载了NVIDIA RTX2080Ti GPU的服务器上进行，开发环境包括Python3.7.10，Pytorch 1.8.1和CUDA 11.1.1等。
重建精度衡量我们采用了三维重建中的标准指标Chamfer distance(CD)和F-Score(FS)，以便我们能够与以前工作的进行比较。除此之外，我们针对隧道的工程化应用提出了Point-to-surface(P2S)指标,用于衡量隧道三维重建表面与原始隧道点云之间的贴合程度。假设原始输入点云为P1，重建表面的随机采样点云为P2，重建表面的三角网顶点集合为P3，则三个精度指标的具体定义如下：
Chamfer distance(CD)：点云P1和P2之间的倒角距离由公式9计算可得
其中指的是点p1和p2之间的距离。Following ConvONet and POCO，we use the L1-norm.
F-Score(FS):点云P1和P2之间的F得分由公式9和10计算可得。值得一提的是，为了实验的公平性，所有对比实验我们都保持t＝0.02进行测试。
FS(t,P1,P2)＝2*Recall*Precision/(Recall+Precision)#(9)
Point-to-surface(P2S)：点云P1和P3之间的P2S由公式11和12计算可得。
fo(P1,P3)＝((v1x+v2x+v3x)/3,(v1y+v2y+v3y)/3,(v1z+v2z+v3z)/3)#(12)
其中pi∈P1，v1，v2，v3表示点pi在点云P3中最近的三个点。fo表示v1，v2，v3形成三角面的重心。
值得一提的是，我们同样定义了一个衡量纹理差异的指标Color-difference(Fcd)，用来量化纹理特征实验部分的细微变化。假设原始输入点云P1的颜色为C1，重建表面的三角网顶点P3的颜色为C3，则Fcd的具体定义如下。
Color-difference(Fcd)：点云P1和P3之间的Fcd由公式13计算可得。
其中ci∈C1，c1，c2，c3表示点ci在C3中三个最近邻点的颜色值。
实施例7
在上述实施例的基础上，本实施例介绍一种局部特征融合的端到端真实隧道点云三维重建方法的隧道重建结果对比。
对比方法实验
为了进行更全面的比较，我们选择了两种传统的三维重建算法，即ScreenedPoisson和MLS(分别通过Meshlab和PCL库实现)，以及两种先进的深度学习算法，分别是ConvONet和POCO(代码均已在GitHub上开源)。同时，为了评估各种方法在不同点云密度下的性能，我们将测试数据集进行了降采样，使其密度降低到原始密度的50％进行测试。需要注意的是，表2中的密度值是三组隧道数据的平均值，方法的运行时间也是每个隧道场景的平均值。另外，为了公平比较，我们的方法在计算方法的运行时间时排除了颜色渲染部分的时间。
从表2可以看出，我们的方法在精度指标上相对于传统方法和先进深度学习方法都有显著的优势。尽管在时间效率方面不如传统方法，但在精度方面取得了明显的提升。与精度最高的传统方法MLS相比，在数据密度为1956pts/m2的数据集上，我们的方法在CD、FS和P2S方面分别提高了0.6cm、11.88％和0.76cm。与先进的深度学习方法相比，我们的方法在时间效率上具有一定优势，同时在所有精度指标上都取得了显著的提高。与精度最高的深度学习方法POCO相比，在数据密度为1956个点/平方米的数据集上，我们的方法在CD、FS和P2S方面分别提高了0.85cm、21.84％和0.51cm，算法运行时间也加快了51min。
表2隧道场景下不同方法精度与时间对比。
我们对密度为1956pts/m2的数据集实验结果进行了可视化(图7、8、9)，并清晰地观察到不同方法在隧道场景下重建效果的对比。我们的方法在隧道整体结构的还原和局部细节的重现方面表现出色，这也表明我们的方法在隧道重建应用中具有显著的优势。对于隧道内部的细节特征，例如隧道线缆、探照灯等(图7-Detail1、图9-Detail1和图9-Detail2等)，我们能够准确地根据原始点云结构进行还原。对于隧道壁上的局部结构，如螺栓孔等(图8-Detail1)，我们同样取得了令人满意的结果。
实施例8
本实施例在上述实施例的基础上，对一种局部特征融合的端到端真实隧道点云三维重建方法进行模型泛化性实验。具体内容分为以下几个部分。
多扫描仪多密度实验
在这一小节中，我们着重讨论本方法对不同扫描仪和不同密度的隧道数据的泛化性能。为验证扫描仪的泛化性能并排除其他因素的干扰，我们选择了相同地区、同一区段、相同密度(下采样至相同值)、相同长度(49.49m)的两套隧道数据进行测试。表3中的实验结果表明，我们的方法对于不同扫描仪采集的数据表现出了良好的鲁棒性，为进一步的工程应用提供了有力支持。当点云密度仅为260pts/m2时，两种扫描仪数据结果的CD、FS和P2S值仍保持在约1.34cm、85％和1.72cm左右。而在点云密度介于780到2600pts/m2之间时，CD、FS和P2S的平均值约为0.78cm、97.16％和0.54cm，表现出了本方法显著的稳健性。
表3不同扫描仪泛化性的结果。
多地区多类型隧道泛化性实验
在这一小节中，我们重点讨论了我们的方法在不同地区和不同类型隧道中的泛化性能。我们选择了十套真实测量的隧道数据进行测试，以证明我们的方法在各种不同隧道场景中的实用性。为了保护数据隐私，我们用字母代替地区名称，所有隧道的长度都在19.88到53.09米之间。
从表4中可以看出，我们的方法对不同地区和不同类型的隧道都表现出了较强的鲁棒性。十套隧道数据结果的平均CD、FS和P2S值分别约为0.84cm、97.17％和0.43cm，显示出了方法卓越的性能。
表4不同区域隧道精度结果。
我们同样展示了十套隧道数据的可视化重建效果(图10)，所有结果都包含了纹理信息。从这些展示的结果中可以看出，我们的方法在多个方面都表现出了出色的重建效果。我们成功还原了隧道的原始结构，包括横缝、环缝、螺栓孔、注浆孔等(如A-Detail1、C-Detail2、G-Detail1、J-Detail1)。此外，我们还成功还原了隧道的内部要素，包括消防水管、电线电缆等(如A-Detail2、C-Detail1、D-Detail1、G-Detail2、J-Detail2)。对于隧道壁标识，包括逃生标志、百米标志等，我们也实现了良好的还原(如B-Detail1、F-Detail1)。最重要的是，我们的方法还能够捕捉到隧道的病害信息，如渗漏水等(如A-Detail2、G-Detail2)。这些可视化结果进一步验证了我们的方法在各种隧道场景中的有效性和实用性。
实施例9
本实施例在上述实施例的基础上，对一种局部特征融合的端到端真实隧道点云三维重建方法进行模型有效性实验。具体内容分为以下几个部分。
重要参数敏感性测试
kp和kc
kp表示的是Position feature enhancement block中的邻居点数量，而kc表示的是Color feature enhancement block中的邻居点数量。这两个模块相互独立，对结果的影响各不相同，所以我们将对这两个参数分开讨论。
在三维空间中，我们通过考虑邻居点的特征来确定No-data volume的占有率，因此邻居点的数量kp对占有率结果的精度产生直接影响。kp数量太少可能导致邻居特征不足，而过多的邻居点则可能影响网络的效率。因此，我们需要找到一个合适的kp值，以在保证结果精度的同时提高运行速度。
从表5中可以发现，kp的数量与学习到的邻居特征和重建精度之间存在关联。随着kp的增加，学习到的邻居特征增多，重建精度也有所提高。然而，当kp数量过多时，会导致邻居点搜索时间过长且数据运算量增加，导致网络的运行时间的增加。比较kp＝64和kp＝128的结果，我们可以看到，增加邻居点数量并没有明显提高精度结果，反而增加了网络的运行时间。这个现象在我们的网络中是可以解释的。Position feature enhancement block中的的引入使得特征更加集中在离中心点更近的邻居点上，而离中心点较远的邻居点对结果影响较小。因此，kp＝128相比于kp＝64，多出的64个邻居点对中心点的影响不大，因此对精度结果的贡献较小。因此，我们在精度和运行时间之间权衡，选择了合适的kp＝64以满足数据需求。
表5kp对于准确性和效率的影响。
纹理信息作为一种高度局部的特征，要求kc值相对较小才能将局部特征聚焦。从图11中可以看出，当kc＝3时，重建后的面节点颜色值与原始点云颜色值差值最小，比kc＝16时的差值提升了约5.094。我们同样以可视化的纹理结果进行展示，发现kc＝3时可以重现比较精细的局部纹理特征。
体素分辨率
体素分辨率指的是对输入点云的空间包围盒进行划分构造网格的单位长度，对重建结果的精度和网络计算量有非常大的影响。假设输入点云P所在的空间包围盒尺寸为10*10*10(m),那么resolution等于0.1，0.01，0.005(m)时会产生100*100*100，1000*1000*1000，2000*2000*2000尺寸的体素网格。Resolution越小，体素网格划分越细，需要计算的No-data volume占有率越多。从表7可以发现，随着体素分辨率的增加，运行时间呈现多倍增长。resolution从0.1提升到0.01时，精度结果有了显著的提升，而0.01到0.005的分辨率变化对精度的提升却并不明显。这种现象的原因在于过大的分辨率可能导致细节信息的丢失，而过小的分辨率会增加大量无意义的计算工作。因此，体素分辨率的选择应该与隧道点云的平均相邻点距离尽量保持一致。这样一来，既可以保证捕捉到细节信息，又可以避免不必要的计算负担，从而在精度和效率之间取得平衡。为此，在我们的实验中，我们选择了密度为1956pts/m2的测试数据集，即点云的平均相邻点距离约为0.01m。
表7不同分辨率的精度和时间比较。
消融实验
LC层数
在这一小节中，我们进行了Tunnel feature pointwise extraction block的消融验证，同样使用了密度为1956pts/m2的数据集。从表8的实验结果可以明显看出，逐点的潜在特征提取对结果产生了显著影响。随着网络深度的增加，对原始点云特征的提取也更加深入，结果的精度也在不断提升。这一趋势在实验结果中非常明显，从L＝0(即直接将点云的原始特征作为Voxel feature enhancement block的输入)到L＝4，精度结果都有显著的提升。这也表明，潜在隧道特征的提取能够有效地捕捉原始隧道点云的特征信息，并对隧道的重建结果产生积极的影响。
表8不同方法的精度和时间比较。
sTSFO消融
这一小节中，我们将验证Tunnel Surface fitting optimization(简称为TSFO)的实用性，分别在我们的方法和对比方法POCO上进行了实验，实验数据为密度为1956pts/m2的测试数据集。通过表9的实验结果，我们可以明显看出，无论是POCO还是我们的方法，TSFO都显著提高了算法在隧道数据上的重建精度。这表明我们的隧道表面拟合优化算法能够有效改进体素建模在隧道场景下的应用。
表9TSFO消融精度比较。
颜色渲染
这一小节我们将讨论Color feature enhancement block在渲染纹理特征中的作用，由于增删该模块只是最后的重建结果中有无纹理信息，所以消融并没有太大的对比意义。因此本节的实验我们选了传统KNN邻居点插值的方法进行对比。传统KNN插值法即在原始点云P中寻找Query pointQ的k个邻居点，并使用k个邻居点的强度值对Q进行插值。为了保证实验的公平性，我们选取k＝kc＝3，并将测试数据集下采样至三种密度(260pts/m2，780pts/m2，1560pts/m2)进行实验。
表10展示了两种纹理渲染方法的颜色精度差异，从表中可以看出，我们的方法与传统KNN插值赋色的方法相比，在260pts/m2，780pts/m2，1560pts/m2的数据集下精度分别提高了4.195，3.025，1.429，在稀疏数据集下体现了一定的优势。图12的试验可视化结果也佐证了这一结论，从中可以发现我们的方法比传统KNN方法更能准确呈现场景的纹理信息，并且点云密度越低优势越大。当点云密度十分低时，传统KNN方法可能需要从相距较远的点进行插值，这便是误差的来源。而我们的方法通过体素赋色的思想，恢复了空缺部分原有的纹理信息，弥补了因为距离造成的误差，因此获得了更好的纹理重建结果。
表10两种显色方法的精度比较。
以上所述仅为本发明的优选实施例而已，其并非因此限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，通过常规的替代或者能够实现相同的功能在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和参数变更均落入本发明的保护范围内。

Claims (5)

1.一种局部特征融合的端到端真实隧道点云三维重建方法，其特征在于，所述方法包括：
S1逐点特征提取；
S2局部特征增强；
S3隧道面拟合优化；
S4重现隧道内部的纹理信息。
2.如权利要求1所述的一种局部特征融合的端到端真实隧道点云三维重建方法，其特征在于，所述S1，具体内容包括：
原始输入隧道点云P∈RN×(3+d)(P＝{p1，...，pi，…pN}，i＝1，...N)包含三维坐标S∈RN ×3，S＝{s1，...，si，...sN}，i＝1，...N和特征信息C∈RN×d，C＝(c1，...，ci，...cN}，i＝1，...N(在隧道场景中，通常为强度信息)；其中N指的是输入点云的数量，d指的是输入点云特征信息的维度；
构建一个隧道特征逐点提取模块(Tunnel feature pointwise extraction block)，用于从原始点云中提取每个点的潜在特征信息；这个模块包含L个相同的层，每个层由两个子层组成；每个子层周围采用残差连接；
第一个子层U由两个线性层和多头注意力机制组成，其输入和输出分别表示为 (其中l代表当前层数，l∈[1，L]且l∈Z)；多头注意力的参数设置如下：h＝n_head＝4，输出特征表示为Fl；/>的计算可参考等式1；
第二个子层V接收来自U层的输出作为输入(见等式2)，经过两个线性层后同样采用了残差连接；/>的计算如等式3所示；在线性层之后，引入dropout＝0.1以缓解潜在的过拟合问题，并使用ReLU作为激活函数。
3.如权利要求1所述的一种局部特征融合的端到端真实隧道点云三维重建方法，其特征在于，所述S2，具体内容包括：
根据所设定的体素分辨率，对所在的空间包围盒进行分割，构建隧道的网格体素；
对点云P所在的空间包围盒进行了划分，形成体素网格V＝{v1，...，vi，...vM}，i＝1，...M，其中每个体素的占用率表示为Vo∈{0，1}，而颜色信息为Vc∈[0，255]，/>其中M为体素的数量；
根据点云P与体素V之间的空间包含关系，采用以下策略来确定不包含点云数据的体素的占有率：以该体素的中心点作为查询点Q，并在点云P中寻找Q的邻居点以及邻居点的潜在特征/>(i＝1，...kp，kp为邻居点数量)，这些特征的维度为(kp，f)；引入体素中心点与其邻居点的空间坐标差值/>来增强位置特征，并学习权重以获取点之间的空间相关性；具体地，计算空间坐标差值/>将其与邻居点的潜在特征/>相连接，经过多层感知器(MLP)得到增强后的位置特征/>将/>输入线性层，并通过softmax进行归一化求平均，得到/>的空间相关性权重/>首先将权重/>与位置特征进行矩阵乘法以突出在与查询点Q空间相关性较强的邻居点特征，然后通过线性层并进行归一化操作，最终计算出体素的占有率。/>其中(Qx，Qy，Qz)为点Q的空间坐标，/>为邻居点/>的空间坐标；
同样从两种情况来考虑体素的颜色；当体素中包含点时，该体素的颜色由体素内所有点共同决定，假设体素内包含点P＝{p1，...，pi，…pn}，i＝1，...n，每个点的颜色为C＝{c1，...，ci，...cn}，i＝1，...n)，具体公式如下：
在点云P中寻找查询点Q的邻居点邻居点的颜色/>以及邻居点的潜在特征/>(i＝1，...kc，kc为邻居点数量)；使用与之前相似的权重加强模块来获得颜色权重/>通过以下公式来增强颜色特征，得到体素的颜色属性；
此模块中邻居点的数量kc与上一个模块中的邻居点数量kp是不同的。
4.如权利要求1所述的一种局部特征融合的端到端真实隧道点云三维重建方法，其特征在于，所述S3，具体内容包括：
每个立方体单元内的等值面通过线性插值来估计，它们由单元的八个顶点和等值点之间的关系确定；当等值点穿过立方体单元时，Marching Cubes算法会生成一个或多个面，而这些面的形状会受到立方体的几何形状和等值点的位置的影响；
对提取的等值面进行优化，以打破原本的方形结构，使等值面更好地拟合环形表面；
等值面由节点和面组成，其中面的形状由节点坐标决定；通过组合每三个节点的坐标，可以构建等值面；v1代表原始等值面提取的节点，其方形结构特点导致v1与输入点云P之间存在较大偏差；我们的目标是将v1尽可能地靠近原始点云，使等值面尽可能地与原始隧道表面贴合，具体的公式如下所示：
v′1＝((p1x+p2x+p3x)/3，(p1y+p2y+p3y)/3，(p1z+p2z+p3z)/3)#(7)
其中v′1就是v1修改后的节点，p1，p2，p3分别是v1在输入点云PC中的三个最近邻点。
5.如权利要求1所述的一种局部特征融合的端到端真实隧道点云三维重建方法，其特征在于，所述S4，具体内容包括：
采用激光雷达扫描仪获取真实场景隧道数据，除了点云的空间坐标外，还包含了强度信息；这里的强度信息指的是激光扫描仪接收装置采集到的回波强度，它与物体的表面材料、激光距离等因素相关，能够提供一定的物体区分度；
设计一个全新的二分类交叉熵损失函数，它在确保隧道三维重建效果的同时，也考虑了隧道的纹理信息；具体的损失函数公式如下所示：
其中表示网络预测生成的体素颜色值，/>表示体素颜色的真值。
CN202311661167.8A 2023-12-06 2023-12-06 一种局部特征融合的端到端真实隧道点云三维重建方法 Pending CN117635867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311661167.8A CN117635867A (zh) 2023-12-06 2023-12-06 一种局部特征融合的端到端真实隧道点云三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311661167.8A CN117635867A (zh) 2023-12-06 2023-12-06 一种局部特征融合的端到端真实隧道点云三维重建方法

Publications (1)

Publication Number Publication Date
CN117635867A true CN117635867A (zh) 2024-03-01

Family

ID=90031902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311661167.8A Pending CN117635867A (zh) 2023-12-06 2023-12-06 一种局部特征融合的端到端真实隧道点云三维重建方法

Country Status (1)

Country Link
CN (1) CN117635867A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872398A (zh) * 2024-03-13 2024-04-12 中国科学技术大学 一种大规模场景实时三维激光雷达密集建图方法
CN118195425A (zh) * 2024-05-14 2024-06-14 成都工业职业技术学院 基于三维建模的教学任务评分方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872398A (zh) * 2024-03-13 2024-04-12 中国科学技术大学 一种大规模场景实时三维激光雷达密集建图方法
CN117872398B (zh) * 2024-03-13 2024-05-17 中国科学技术大学 一种大规模场景实时三维激光雷达密集建图方法
CN118195425A (zh) * 2024-05-14 2024-06-14 成都工业职业技术学院 基于三维建模的教学任务评分方法及系统

Similar Documents

Publication Publication Date Title
Stilla et al. Change detection of urban objects using 3D point clouds: A review
Zhai et al. Synthetic data augmentation for pixel-wise steel fatigue crack identification using fully convolutional networks
CN117635867A (zh) 一种局部特征融合的端到端真实隧道点云三维重建方法
Xue et al. 3D reconstruction and automatic leakage defect quantification of metro tunnel based on SfM-Deep learning method
Wu et al. Automatic building rooftop extraction using a digital surface model derived from aerial stereo images
Alidoost et al. Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image
Chen et al. Classification of soft-story buildings using deep learning with density features extracted from 3D point clouds
Yang et al. Superpixel image segmentation-based particle size distribution analysis of fragmented rock
Luo et al. Using deep learning-based defect detection and 3D quantitative assessment for steel deck pavement maintenance
Wang et al. An automatic defect classification and segmentation method on three-dimensional point clouds for sewer pipes
Huang et al. Underwater dam crack image generation based on unsupervised image-to-image translation
Li et al. GL-Net: Semantic segmentation for point clouds of shield tunnel via global feature learning and local feature discriminative aggregation
Dong et al. Automatic augmentation and segmentation system for three-dimensional point cloud of pavement potholes by fusion convolution and transformer
Hao et al. Automatic building extraction from terrestrial laser scanning data
Veselý Building massing generation using GAN trained on Dutch 3D city models
Azhari Automated crack detection and characterisation from 3D point clouds of unstructured surfaces
Fang et al. A status digital twin approach for physically monitoring over-and-under excavation in large tunnels
Wang et al. Quantitative Analysis Method of the Organizational Characteristics and Typical Types of Landscape Spatial Sequences Applied with a 3D Point Cloud Model
Wang et al. Crack Detection and Feature Extraction of Heritage Architecture Via Point Clouds
Yao et al. Indoor LiDAR Point Clouds Upsampling for Object Detection Enhancement
Liu et al. Road detection and three-dimensional visualization management using deep learning and BIM integration
Talreja et al. Unsupervised Domain Adaptation Using Generative Adversarial Network for Extreme Events Monitoring
CN114092433B (zh) 一种基于三角形质心优化的表观缺陷检测方法
Gao Constructing a Complete and Accurate As-Built BIM Based on an As-Designed BIM and Progressive Laser Scans
Guo et al. A Local Enhancement Method for Large‐Scale Building Facade Depth Images using Densely Matched Point Clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination