CN116721230A - 一种三维实景模型的构建方法、装置、设备及存储介质 - Google Patents

一种三维实景模型的构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116721230A
CN116721230A CN202310514386.7A CN202310514386A CN116721230A CN 116721230 A CN116721230 A CN 116721230A CN 202310514386 A CN202310514386 A CN 202310514386A CN 116721230 A CN116721230 A CN 116721230A
Authority
CN
China
Prior art keywords
point cloud
constructing
initial
cloud data
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310514386.7A
Other languages
English (en)
Inventor
胡华科
蔡永香
王荟奥
杨岸霖
游小玲
张凇源
张梦琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Litu Space Information Technology Co ltd
Yangtze University
Original Assignee
Guangdong Litu Space Information Technology Co ltd
Yangtze University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Litu Space Information Technology Co ltd, Yangtze University filed Critical Guangdong Litu Space Information Technology Co ltd
Priority to CN202310514386.7A priority Critical patent/CN116721230A/zh
Publication of CN116721230A publication Critical patent/CN116721230A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种三维实景模型的构建方法、装置、设备及存储介质，方法包括：获取目标物体的点云数据；根据目标物体的结构构造规则多面体，基于多面体的各个面延伸将点云数据进行区域划分，确定多个点云数据集；采用随机抽样一致性法确定点云平面，根据面面相交的方式构建初始三维模型，获取初始三维模型各个面对应的目标纹理信息；基于UV映射技术，构建三维模型各个平面信息的坐标与目标纹理信息的坐标之间的映射关系，并基于MaxScript脚本，自动的将目标纹理信息与对应的平面信息融合，得到目标三维实景模型。本发明克服了点云数据建模中存在表面粗糙、结构失真、无法反映真实纹理特征信息的问题，实现了将点云与视频数据融合，对地下构筑物进行实景模型构建的目的。

Description

一种三维实景模型的构建方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种三维实景模型的构建方法、装置、电子设备及存储介质。
背景技术
为解决交通拥堵、耕地流失、环境问题、基础设施匮乏、资源的不合理分配等问题，城市地下空间的开发应用得到迅速发展，但由于地下空间工程的建设成本高，维护需求日趋增大，存在既有城市地下空间的探测与安全评估难题。充分利用先进的技术手段，将多源数据信息融合进行三维建模与可视化，对地下空间资源的运营养护十分必要。
点云数据获取高效，具有无需接触、全局性等优点，已成为工程领域不可或缺的重要技术。但由于地下空间结构具有隐蔽性的特点，且存在包括水面反射等多种因素在内的干扰，获取的点云数据噪声异常明显，极大地影响后续点云三维建模结果质量。常用的贪婪三角化、泊松重建、凸包重建等自动建模算法，往往存在构建的模型表面粗糙、结构失真等问题，且无材质纹理，无法真实反映地下构筑物的状态及纹理变化特征等。
发明内容
本发明的目的在于克服上述技术不足，提供一种三维实景模型的构建方法、装置、电子设备及存储介质，解决现有技术中针对地下空间结构进行三维建模和可视化的过程中，传统的方式建模存在表面粗糙、结构失真、无法反映真实纹理特征信息的技术问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种三维实景模型的构建方法，包括：
获取目标物体的点云数据；
根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；
采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，确定所述目标物体对应的点云平面；根据所述点云平面，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；
获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行形状和位置变换处理，得到目标纹理信息；
基于预设的UV映射技术，构建所述初始三维模型各平面信息的坐标与所述目标纹理信息的坐标之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面信息融合，确定目标三维实景模型。
在一些实施例中，获取所述点云数据之后，还包括：
基于预设的统计离群过滤方法对所述点云数据进行降噪处理，得到去噪点云数据；
以所述目标物体的几何中心为原点以及以所述目标物体的延伸方向为空间坐标系的Z方向，对所述去噪点云数据进行刚体坐标系变换，得到目标点云数据。
在一些实施例中，所述根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集，包括：
根据所述目标物体的结构，确定所述规则多面体对应的各个初始几何面的法向量；
以所述目标物体的几何中心为原点，提取各个所述初始几何面对应的点云数据距离所述几何中心的几何距离；其中所述几何距离的数目与所述初始几何面的数目一致；
以所述法向量和所述几何距离为条件，沿所述目标点云数据所构成的立体构筑物的延伸方向，构建各个面围成的规则多面体；
根据所述规则多面体各个面延伸形成的夹持空间，将所述点云数据划分为多个区域的点云数据集。
在一些实施例中，所述构建初始三维模型，还包括：
获取所述目标点云数据相对于Z轴的最大值与最小值，其中Z轴为与所述目标物体延伸方向一致的轴；确定位于所述目标物体延伸方向两端的平面与原点的垂向距离及其对应的与Z轴方向一致的法向量；
根据所述与原点的垂向距离及所述法向量，确定所述目标物体延伸方向两端的平面信息；
基于预设的面面相交确定交点信息的方式，确定所述平面信息与相邻的所述点云平面之间的交点位置；
以所述交点位置为边界，构建所述初始三维模型。
在一些实施例中，所述获取所述初始三维模型对应的各个平面的初始纹理信息，包括：
采用预设的均匀抽帧法提取所述目标物体的视频数据中的目标帧；
基于所述目标帧，采用预设的Mask-RCNN的实例分割算法对所述目标物体各个面进行图片区域识别和分割，确定初始纹理信息。在一些实施例中，所述对所述初始纹理信息进行形状和位置变换处理，得到目标纹理信息，包括：
采用预设的特征点匹配算法，提取所述初始纹理信息的特征点和映射坐标；
根据所述特征点和映射坐标，确定变换参数；
根据所述变换参数对所述初始纹理信息进行变换处理，得到目标纹理信息。
在一些实施例中，所述基于预设的UV映射技术，构建所述初始三维模型各平面与所述目标纹理信息之间的映射关系，包括：
获取初始三维模型各个平面的顶点坐标信息与对应的所述目标纹理信息所在平面的顶点坐标信息；
根据所述初始三维模型各个平面的顶点坐标信息与所述纹理顶点坐标信息之间的关联关系，确定所述映射关系。第二方面，本发明还提供了一种三维实景模型的构建装置，包括：
获取模块，用于获取目标物体的点云数据；
点云数据集分割模块，用于根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；
初始三维模型构建模块，用于采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；
目标纹理信息获取模块，用于获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行形状和位置变换处理，，得到目标纹理信息；
目标三维实景模型确定模块，用于基于预设的UV映射技术，构建所述初始三维模型各平面信息的坐标与所述目标纹理信息的坐标之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面信息融合，确定目标三维实景模型。
第三方面，本发明还提供了一种电子设备，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如上所述的三维实景模型的构建方法中的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的三维实景模型的构建方法中的步骤。
与现有技术相比，本发明提供的三维实景模型的构建方法、装置、电子设备及存储介质，首先获取目标物体的点云数据；随后根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；随后采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，根据所述拟合平面，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；再获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行变换处理，得到目标纹理信息；最后基于预设的UV映射技术，构建所述初始三维模型各平面与所述目标纹理信息之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面融合，确定目标三维实景模型。本发明将点云建模与数字视频提供的纹理信息结合，克服了点云数据建模中点云数据噪声明显导致模型准确率低的问题，同时克服了传统建模方式中表面粗糙、结构失真、无法反映材质真实纹理信息及纹理变化特征的问题，实现了高精度的模型构建，提高了地下管道的运维管理效率。
附图说明
图1是本发明提供的三维实景模型的构建方法的一实施例的流程图；
图2是本发明提供的三维实景模型的构建方法中，对点云数据进行预处理的一实施的流程图；
图3是本发明提供的三维实景模型的构建方法中，步骤S102一实施例的流程图；
图4是本发明提供的三维实景模型的构建方法中，构建三维初始模型另一实施例的流程图；
图5是本发明提供的三维实景模型的构建方法中，步骤S104一实施例的流程图；
图6是本发明提供的三维实景模型的构建装置的一实施例的示意图；
图7是本发明提供的电子设备一实施例的运行环境示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明涉及一种点云与视频数据融合构建(箱涵)三维实景模型的方法，具体是采用构筑多面体分割点云平面的方法，利用三维激光扫描点云数据进行箱涵三维模型的快速搭建；基于Mask-RCNN实例分割算法从视频图像帧中提取三维模型各个面所对应的纹理；最后，在3dsMax软件基础上，基于MaxScript脚本语言进行纹理自动化融合贴图。该方法构建的实景三维模型能真实得反映箱涵管道内部情况，便于管理人员进入浏览，高效维护。本发明能为地下空间构筑物的智慧运维管理提供有效的数据支撑和可视化监测，促进既有城市地下空间的探测与安全评估难题的解决。
本发明实施例提供了一种三维实景模型的构建方法，请参阅图1，包括：
S101、获取目标物体的点云数据；S102、根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；
S103、采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；
S104、获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行形状和位置变换处理，得到目标纹理信息；
S105、基于预设的UV映射技术，构建所述初始三维模型各平面信息的坐标与所述目标纹理信息的坐标之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面信息融合，确定目标三维实景模型。
在本实施例中，首先获取目标物体的点云数据；随后根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；随后采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，拟合平面采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；再获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行变换处理，得到目标纹理信息；最后基于预设的UV映射技术，构建所述初始三维模型各个平面与所述目标纹理信息之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面融合，确定目标三维实景模型。本发明将点云建模与数字视频提供的纹理信息结合，克服了点云数据建模中点云数据噪声明显导致模型准确率低的问题，同时克服了传统建模方式中表面粗糙、结构失真、无法反映材质真实纹理特征信息等问题，实现了高精度的模型构建，提高了地下管道的运维管理效率。
需要说明的是，激光点云与视频图像融合建模的研究重点在于建立两种不同类型数据之间的联系。激光点云能够构建精细的三维模型，而数字视频图像能为模型提供丰富真实的纹理信息，将二者融合起来构筑三维实景模型，就能充分利用两种数据的优势。目标物体为任何想要进行三维建模的物体，其中于本实施例中，目标物体为横断面是六边形的代表性构筑物箱涵。
进一步的，在步骤S103中，分割出的各个点云集合包含了各单个平面信息的点云数据及少量相邻平面角点上的一些点云数据。随机抽样一致性(Random SampleConsensus,RANSAC)方法能拟合出在同一平面上的多数点云数据所在的平面，而将少量相邻平面上的数据忽略掉。通过随机选取样本数据，多次评估平面参数，并进行误差对比，来寻找拟合误差最小的平面模型；当点云数据中包含多个平面时，RANSAC能拟合出包含点数占比最多的平面。
在一些实施例中，请参阅图2，在获取所述点云数据之后，还包括：
S201、基于预设的统计离群过滤方法对所述点云数据进行降噪处理，得到去噪点云数据；
S202、以所述目标物体的几何中心为原点以及以所述目标物体的延伸方向为空间坐标系的Z方向，对所述去噪点云数据进行刚体坐标系变换，得到目标点云数据。
在本实施例中，激光雷达采集的点云数据是无序点云，离群点往往由测量噪声引起，其特征是在空间中分布稀疏，体素栅格过滤、统计离群过滤是主要的降噪方法。统计离群过滤方法(Statistical Outlier Removal Filter，SORF)主要用于剔除点云中的离散噪声点，其思想是对点云的k个临近点进行统计分析，针对每个点计算它到所有临近点的平均距离。假设这个距离服从高斯分布，超过一定阈值范围的点则定义为离散点被删除。于本实施例采用统计离群过滤方法来对点云数据降噪。统计离群过滤方法通过计算数据集中的各种统计量，例如均值、方差、中位数等，来检测和识别异常值。常见的统计离群过滤方法包括Z-score方法、箱线图方法、基于密度的离群点检测方法等。这些方法可以用于数据清洗、异常检测、数据分析等方面。
进一步的，由于点云坐标系的Z轴与地下构筑物的延伸方向可能存在偏移，其中心点也不一定在坐标原点上，为方便后期数据处理，需要通过变换，让地下构筑物中心点为坐标系原点，且使点云坐标系的Z轴方向与地下构筑物的延伸方向一致。
将物体从一个状态转换到另一个状态，且只有物体的位置(平移变换)和方向(旋转变换)发生改变的变换称为刚体变换。点云数据的坐标变换就是从一种三维坐标到另一种三维坐标的刚体变换。设存在旋转矩阵R和平移矩阵T，使得(x,y,z)三维坐标刚体变换到(u,v,w)三维坐标，则坐标变换公式为：
其中，R、T由主成分分析(Principal Component Analysis，PCA)求取。旋转矩阵通过利用PCA计算点云的协方差矩阵M得到，平移矩阵则通过计算点云质心作为特征值λ，再利用λ而得到平移矩阵T。求变换矩阵的具体的计算过程为：
设整个点云数据P＝{p0,p1,p2,…,pn}，计算其协方差矩阵公式如下：
式中M为3×3的协方差矩阵，亦为刚体变换的旋转矩阵R，pi∈P，为点云数据集P的中心点：
计算点云质心坐标λ的获取公式如下：
平移矩阵T用公式T＝-Mλ计算出。获得R，T后，即可对点云进行刚体变换。
在一些实施例中，请参阅图3，根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集，包括：
S301、根据所述目标物体的结构，确定所述规则多面体对应的各个初始几何面的法向量；
S302、以所述目标物体的几何中心为原点，提取各个所述初始几何面对应的点云数据距离所述几何中心的几何距离；其中所述几何距离的数目与所述初始几何面的数目一致；
S303、以所述法向量和所述几何距离为条件，沿所述目标点云数据所构成的立体构筑物的延伸方向，构建各个面围成的规则多面体；
S304、根据所述规则多面体各个面延伸形成的夹持空间，将所述点云数据划分为多个区域的点云数据集。
在本实施例中，由于地下空间在开采时，必然存在与“地面”平行的地平面和顶面，以及与“地面”垂直的侧壁面，因此在构造规则多面体的过程中，规则多面体的截面示意图中，仅存在n个面面相互对称的斜面(其中，n一般情况下为偶数)，在一个具体的实施例中，当箱涵的横截面为六边形时，以箱涵柱体横截面中心点为坐标原点，沿着管道的延伸方向，在点云所围成的柱体内创建一个与箱涵结构相似的六面体模型。
设点云在各个方向上离原点的最短距离分别为w、h和s，其中包括两个平行地面的方向、两个垂直于地面侧壁以及两个与地面呈一定角度的倾斜面，具体的，在不确定斜平面倾角的情况下，默认以±45°倾角创建，其他平面分别与X、Y轴垂直。
构造柱体各平面离原点的距离直接影响分割点云平面的准确性，为确保最大程度的获取主要包含单个平面的点云数据，而相邻其它面上的点云数尽可能包含得少；采取找出不同角度范围内离原点最近的点来确定w、h、s。主要思路是先将点云投影到XY二维空间中，然后计算每一个点到原点的连线与X轴的夹角，选择出一定夹角范围内的点云，找出这些点云中在所要创建平面法向量方向上的投影距离最小的点的距离，具体实现方法如下：
假设平面P1为左边待拟合的真实平面，其附近点云分布存在一定的分布带。首先对点云在XY平面投影后的每一个点计算到原点连线与X轴的夹角α，设任一点N的坐标为(x,y)，NO与X轴的夹角α＝tan-1(y/x)；针对待拟合的P1平面，其法向量与X轴平行，截取X轴负半轴且夹角α在[180°-θ,180°+θ]范围内分布带区域的点云，在这些点云中找出x属性最小的点a，求得距离w＝|x0|，这样可以最大程度的保留待拟合平面P1附近的点云，从而达到准确拟合出该平面的目的。同样的，上部待拟合平面的法向量和Y轴平行，截取Y轴正半轴且夹角α在[90°-θ,90°+θ]范围内分布带区域的点云，在这些点云中找出y属性最小的点来求得距离h。在求取w、h过程中，θ取值为30°。
求解斜平面距离s：在求出w、h后，运用反正切三角函数求得∠SOQ＝tan-1(h/w)，截取夹角α在[180°-tan-1(h/w)-θ,180°-tan-1(h/w)+θ]范围内分布带区域的点云；因斜平面的法向量平行于直线x＝-y，为了简化投影计算，θ取较小的值5°，在截取点云中直接找出离原点的最近距离作为斜平面离原点的距离s。
确定w、h、s距离后就可以构造出多面体，并利用多面体各个面的延伸平面来切割点云数据。
在一些实施例中，请参阅图4，所述构建初始三维模型，还包括：
S401、获取所述目标点云数据相对于Z轴的最大值与最小值，其中Z轴为与所述目标物体延伸方向一致的轴；确定位于所述目标物体延伸方向两端的平面与原点的垂向距离及其对应的与Z轴方向一致的法向量；
S402、根据所述与原点的垂向距离及所述法向量，确定所述目标物体延伸方向两端的平面信息；
S403、基于预设的面面相交确定交点信息的方式，确定所述平面信息与相邻的所述点云平面之间的交点位置；
S404、以所述交点位置为边界，构建所述初始三维模型。
在本实施例中，除了由点云数据拟合出管道侧面各平面以外，管道延伸方向上的前后平面也需要拟合。计算出点云Z属性上的最大值和最小值，确定前后平面到原点的距离d1、d2，因前后平面都垂直于Z轴，平面的法向量根据/>和d1、d2由下列公式即可求出前后平面方程。
在三维空间中，平面方程是一个没有边界无限延伸的平面，因此点云拟合的平面存在边缘延伸情况，不能直接构建模型，因此采用面面相交求交点的方式构建模型。
在一些实施例中，获取所述初始三维模型对应的各个平面的初始纹理信息，包括：
采用预设的均匀抽帧法提取所述目标物体的视频数据中的目标帧；
基于所述目标帧，采用预设的Mask-RCNN的实例分割算法对所述目标物体各个面进行图片区域识别和分割，确定初始纹理信息。
在本实施例中，三维模型中各个面所对应的纹理要从管道视频中获得。由于视频是连续拍摄，同一位置会有多帧图像反映，存在很大的信息冗余，采用均匀抽帧的方式从视频中获得反映箱涵每节构件的图像帧。对图像帧进行纹理提取时，采用基于Mask-RCNN的实例分割算法来进行三维模型各个面所对应的图片区域识别及分割。
需要说明的是，实例分割模型的建立需要准备训练数据。在管道视频中，存在镜头聚焦在管道的中心线上或者偏离中心线的情况，也存在光线充足或者不足的情况，训练数据集的选取要将上述各种情况下的图像都选入。图像上需要识别和裁剪的区域分为六个：左平面区域、左斜平面区域、上平面区域、右斜平面区域、右平面区域、下平面区域，可以使用labelme工具完成样本标签制作。为了提升实例分割的效果，可以采用图像随机旋转变换、灰度化、高斯模糊、锐化处理等图像处理方法对原始样本数据进行增强扩充。
在一些实施例中，请参阅图5，对所述初始纹理信息进行形状和位置变换处理，得到目标纹理信息，包括：
S501、采用预设的特征点匹配算法，提取所述初始纹理信息的特征点和映射坐标；
S502、根据所述特征点和映射坐标，确定变换参数；
S503、根据所述变换参数对所述初始纹理信息进行变换处理，得到目标纹理信息。
在本实施例中，Mask-RCNN通过在Faster RCNN基础上增加一个额外的掩膜分支来扩展其目标检测框架，增加全连接层(RoIAlign)并重新定义ROI损失函数，从而改进得到的一种用于实例分割的深度学习神经网络。整体网络结构分为输入图像、特征提取、RPN生成候选框、头部预测分支3个部分，包含Mask掩膜、边界框回归和分类预测。使用制作的数据在Mask-RCNN网络上进行实例分割模型训练，输出类别数设置为7，对应着目标分割的六个平面区域和背景。训练后建立的模型用来进行管道图像内部各区域的实例检测与分割。
基于构建的模型进行区域识别，会生成对应实例区域的Mask掩膜，利用掩膜运算来实现各区域的图像裁剪。由于视频帧存在着形变，得到的裁剪区域有不同程度的倾斜和变形，需要对其进行变换处理，便于后面与三维模型中的面建立映射关系。特征点匹配是一种快速校正图像的方法，它不需要准确的相机参数。它首先检测图像中的特征点，然后对这些特征点进行匹配，并计算出变换参数；再利用这些参数对图像进行变换处理。本文基于裁剪区域掩膜拟合成四边形来获取四个关键特征点，再将四边形的最小外接矩形作为变换后的图像获取特征点的映射坐标。
裁剪区域Mask掩膜的轮廓是一个多边形，从多边形中拟合出四边形轮廓即可获得四个关键特征点。多边形拟合成四边形可采用经典的Douglas-Peucker算法完成，四边形的四个顶点为特征点。
裁剪出的纹理区域对应的是三维模型中的各个矩形面，因此，要将纹理区域(任意四边形)变换成矩形，为方便后续贴图，还需要进行坐标变换，以拟合四边形的最小外接矩形作为矫正后的图像，来获取特征点的映射坐标。基于上述方法获取到关键特征点及其映射坐标，计算出变换参数，再利用这些参数对纹理图像进行变换处理。
在一些实施例中，所述基于预设的UV映射技术，构建所述初始三维模型各平面与所述目标纹理信息之间的映射关系，包括：
获取初始三维模型各个平面的顶点坐标信息与对应的所述目标纹理信息所在平面的顶点坐标信息；
根据所述初始三维模型各个平面的顶点坐标信息与所述纹理顶点坐标信息之间的关联关系，确定所述映射关系。在本实施例中，在建立三维模型中的面与二维纹理图像之间的映射关系时，通常使用UV映射(UV Mapping)技术，建立起模型平面与纹理图像坐标系上点之间的映射关系。箱涵管道是由多节构件连接而成，按构件长度将点云数据建立的箱涵管道三维模型裁剪成多节独立构件，每节构件的六个面都是具有4个顶点的矩形，而由视频帧图像中裁剪出的纹理区域经过图像变换处理后也为矩形，纹理映射就是建立三维模型各个面的4个顶点(M1，M2，M3，M4)，与对应的纹理图像在UV坐标系中的四个顶点(P1，P2，P3，P4)之间的映射关系：P1→M1，P2→M2，P3→M3和P4→M4。
设模型面四边形宽M1 M4为X，高M1 M2为Y，纹理图像和四边形的映射公式如下：
在此基础上基于MaxScript脚本实现自动纹理贴图，主要步骤为：
(1)导入三维模型
(2)添加UVW修改器，设置纹理坐标
(3)添加纹理图像
(4)纹理映射到模型表面
(5)重复步骤(2)、(3)、(4)进行下一张纹理图像的贴图，直至所有纹理贴图完成。
(6)设置渲染的参数。使用setProp命令设置相关参数，比如对比度、饱和度、亮度等，最后渲染模型，查看纹理贴图的效果。
通过上述步骤完成点云模型与视频图像纹理的融合，得到具有清晰纹理的三维实景地下管道模型。
基于上述三维实景模型的构建方法，本发明实施例还相应的提供一种三维实景模型的构建装置600，请参阅图6，该三维实景模型的构建装置600包括获取模块610、点云数据集分割模块620、初始三维模型构建模块630、目标纹理信息获取模块640和目标三维实景模型确定模块650。
获取模块610，用于获取目标物体的点云数据；
点云数据集分割模块620，用于根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；
初始三维模型构建模块630，用于采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；
目标纹理信息获取模块640，用于获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行形状和位置变换处理，，得到目标纹理信息；
目标三维实景模型确定模块650，用于基于预设的UV映射技术，构建所述初始三维模型各平面信息的坐标与所述目标纹理信息的坐标之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面信息融合，确定目标三维实景模型。
如图7所示，基于上述三维实景模型的构建方法，本发明还相应提供了一种电子设备，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器710、存储器720及显示器730。图7仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器720在一些实施例中可以是该电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器720在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecUVeDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器720还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器720用于存储安装于电子设备的应用软件及各类数据，例如安装电子设备的程序代码等。存储720还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器720上存储有三维实景模型的构建程序740，该三维实景模型的构建程序740可被处理器710所执行，从而实现本申请各实施例的三维实景模型的构建方法。
处理器710在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器720中存储的程序代码或处理数据，例如执行三维实景模型的构建方法等。
显示器730在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器730用于显示在所述三维实景模型的构建设备的信息以及用于显示可视化的用户界面。电子设备的部件710-730通过系统总线相互通信。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种三维实景模型的构建方法，其特征在于，包括：
获取目标物体的点云数据；
根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；
采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，确定所述目标物体对应的点云平面；根据所述点云平面，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；
获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行形状和位置变换处理，得到目标纹理信息；
基于预设的UV映射技术，构建所述初始三维模型各平面信息的坐标与所述目标纹理信息的坐标之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面信息融合，确定目标三维实景模型。
2.根据权利要求1所述的三维实景模型的构建方法，其特征在于，在获取所述点云数据之后，还包括：
基于预设的统计离群过滤方法对所述点云数据进行降噪处理，得到去噪点云数据；
以所述目标物体的几何中心为原点以及以所述目标物体的延伸方向为空间坐标系的Z方向，对所述去噪点云数据进行刚体坐标系变换，得到目标点云数据。
3.根据权利要求2所述的三维实景模型的构建方法，其特征在于，所述根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集，包括：
根据所述目标物体的结构，确定所述规则多面体对应的各个初始几何面的法向量；
以所述目标物体的几何中心为原点，提取各个所述初始几何面对应的点云数据距离所述几何中心的几何距离；其中所述几何距离的数目与所述初始几何面的数目一致；
以所述法向量和所述几何距离为条件，沿所述目标点云数据所构成的立体构筑物的延伸方向，构建各个面围成的规则多面体；
根据所述规则多面体各个面延伸形成的夹持空间，将所述点云数据划分为多个区域的点云数据集。
4.根据权利要求1所述的三维实景模型的构建方法，其特征在于，所述构建初始三维模型，还包括：
获取所述目标点云数据相对于Z轴的最大值与最小值，其中Z轴为与所述目标物体延伸方向一致的轴；确定位于所述目标物体延伸方向两端的平面与原点的垂向距离及其对应的与Z轴方向一致的法向量；
根据所述与原点的垂向距离及所述法向量，确定所述目标物体延伸方向两端的平面信息；
基于预设的面面相交确定交点信息的方式，确定所述平面信息与相邻的所述点云平面之间的交点位置；
以所述交点位置为边界，构建所述初始三维模型。
5.根据权利要求1所述的三维实景模型的构建方法，其特征在于，所述获取所述初始三维模型对应的各个平面的初始纹理信息，包括：
采用预设的均匀抽帧法提取所述目标物体的视频数据中的目标帧；
基于所述目标帧，采用预设的Mask-RCNN的实例分割算法对所述目标物体各个面进行图片区域识别和分割，确定初始纹理信息。
6.根据权利要求1所述的三维实景模型的构建方法，其特征在于，所述对所述初始纹理信息进行形状和位置变换处理，得到目标纹理信息，包括：
采用预设的特征点匹配算法，提取所述初始纹理信息的特征点和映射坐标；
根据所述特征点和映射坐标，确定变换参数；
根据所述变换参数对所述初始纹理信息进行变换处理，得到目标纹理信息。
7.根据权利要求6所述的三维实景模型的构建方法，其特征在于，所述基于预设的UV映射技术，构建所述初始三维模型各平面与所述目标纹理信息之间的映射关系，包括：
获取初始三维模型各个平面的顶点坐标信息与对应的所述目标纹理信息所在平面的顶点坐标信息；
根据所述初始三维模型各个平面的顶点坐标信息与所述纹理顶点坐标信息之间的关联关系，确定所述映射关系。
8.一种三维实景模型的构建装置，其特征在于，包括：
获取模块，用于获取目标物体的点云数据；
点云数据集分割模块，用于根据所述目标物体的结构构造对应的规则多面体，基于所述多面体的各个面延伸将所述点云数据进行区域划分，确定多个点云数据集；
初始三维模型构建模块，用于采用预设的随机抽样一致性法对所述多个点云数据集进行平面拟合，采用预设的面面相交的方式构建初始三维模型，并标记对应的平面信息；
目标纹理信息获取模块，用于获取所述初始三维模型对应的各个平面的初始纹理信息，并对所述初始纹理信息进行形状和位置变换处理，，得到目标纹理信息；
目标三维实景模型确定模块，用于基于预设的UV映射技术，构建所述初始三维模型各平面信息的坐标与所述目标纹理信息的坐标之间的映射关系；根据所述映射关系，基于预设的MaxScript脚本，将所述目标纹理信息与对应的所述平面信息融合，确定目标三维实景模型。
9.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如权利要求1-7所述的三维实景模型的构建方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7所述的三维实景模型的构建方法中的步骤。
CN202310514386.7A 2023-05-08 2023-05-08 一种三维实景模型的构建方法、装置、设备及存储介质 Pending CN116721230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310514386.7A CN116721230A (zh) 2023-05-08 2023-05-08 一种三维实景模型的构建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310514386.7A CN116721230A (zh) 2023-05-08 2023-05-08 一种三维实景模型的构建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116721230A true CN116721230A (zh) 2023-09-08

Family

ID=87870455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310514386.7A Pending CN116721230A (zh) 2023-05-08 2023-05-08 一种三维实景模型的构建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116721230A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252991A (zh) * 2023-10-25 2023-12-19 北京华科软科技有限公司 一种体素构造与边界表示的融合方法及三维图形引擎

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252991A (zh) * 2023-10-25 2023-12-19 北京华科软科技有限公司 一种体素构造与边界表示的融合方法及三维图形引擎
CN117252991B (zh) * 2023-10-25 2024-03-29 北京华科软科技有限公司 一种体素构造与边界表示的融合方法及三维图形引擎

Similar Documents

Publication Publication Date Title
Ochmann et al. Automatic reconstruction of fully volumetric 3D building models from oriented point clouds
US9189862B2 (en) Outline approximation for point cloud of building
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
Chauve et al. Robust piecewise-planar 3D reconstruction and completion from large-scale unstructured point data
Jung et al. Automated 3D wireframe modeling of indoor structures from point clouds using constrained least-squares adjustment for as-built BIM
Murali et al. Indoor Scan2BIM: Building information models of house interiors
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Zhang et al. Online structure analysis for real-time indoor scene reconstruction
CN105993034B (zh) 用于增强表面重构的轮廓求全
Cheng et al. Integration of LiDAR data and optical multi-view images for 3D reconstruction of building roofs
US20110304619A1 (en) Primitive quadric surface extraction from unorganized point cloud data
CN112771573A (zh) 基于散斑图像的深度估计方法及装置、人脸识别系统
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
Hu et al. Efficient and automatic plane detection approach for 3-D rock mass point clouds
Hou et al. Planarity constrained multi-view depth map reconstruction for urban scenes
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN116721230A (zh) 一种三维实景模型的构建方法、装置、设备及存储介质
Hu et al. IMGTR: Image-triangle based multi-view 3D reconstruction for urban scenes
CN114299242A (zh) 高精地图中图像处理方法、装置、设备以及存储介质
CN113192174A (zh) 建图方法、装置及计算机存储介质
CN117522963A (zh) 棋盘格的角点定位方法、装置、存储介质及电子设备
CN116051771A (zh) 一种基于无人机倾斜摄影模型的光伏bim屋顶自动建模方法
CN112767424B (zh) 一种基于室内三维点云空间自动剖分方法
CN117557617B (zh) 一种基于平面先验优化的多视密集匹配方法、系统及设备
JP7350122B2 (ja) 車両の底面境界点の確定方法、装置、路側機器及びクラウド制御プラットフォーム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination