CN113223173B - 基于图模型的三维模型重建迁移方法及系统 - Google Patents

基于图模型的三维模型重建迁移方法及系统 Download PDF

Info

Publication number
CN113223173B
CN113223173B CN202110508658.3A CN202110508658A CN113223173B CN 113223173 B CN113223173 B CN 113223173B CN 202110508658 A CN202110508658 A CN 202110508658A CN 113223173 B CN113223173 B CN 113223173B
Authority
CN
China
Prior art keywords
dimensional model
model
dimensional
reconstruction
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110508658.3A
Other languages
English (en)
Other versions
CN113223173A (zh
Inventor
钟睿
汪芝羽
黄炎森
邹洁
张敏跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202110508658.3A priority Critical patent/CN113223173B/zh
Publication of CN113223173A publication Critical patent/CN113223173A/zh
Application granted granted Critical
Publication of CN113223173B publication Critical patent/CN113223173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Architecture (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于图模型的三维模型重建迁移方法及系统，进行资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维点云重建，重建得到多个建筑的三维模型，最终建立三维模型库；语义信息处理，包括采用基于图模型的关键词抽取方法，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；三维模型迁移，包括通过关键语义信息，对匹配到的三维模型进行迁移处理，得到所需目标三维模型。

Description

基于图模型的三维模型重建迁移方法及系统
技术领域
本发明属于三维重建领域，尤其涉及基于图模型的三维模型重建迁移方法及系统。
背景技术
近年来，随着三维模型获取技术、计算机图形学以及计算机网络技术的发展，三维空间信息的快速获取在资源环境、土地利用、建筑三维重建以及自然灾害等领域发挥着越来越重要的作用。传统的三维空间信息获取主要依赖星载、机载和地面测量等方式，普遍存在采集成本高、成果周期长、时间分辨率低等问题。由于无人机具有云下飞行、数据采集灵活、成本低、时效性强、降低野外作业人员危险等优势，因此基于无人机影像序列的三维重建方法是解决上述问题的有效手段。无人机获取的影像具有相幅小、姿态角变化幅度大、位姿精度低、影像畸变大等问题，导致传统航空摄影测量方法难以有效地处理无人机影像序列。为此，众多学者研究基于传统航摄或计算机视觉技术的无人机影像序列处理方法的改进。
由于物体的形状、大小以及三维激光扫描设备视角范围的限制，一次扫描不能够获得物体的完整三维模型信息。因此，需要对不同视角下获取的点云数据进行配准。目前点云配准算法的种类繁多，大体上可分为两类，基于局部特征以及基于全局的配准算法。基于局部特征的算法侧重依据点邻域信息对特征进行描述，建立点的特征描述子，然后根据该特征描述子确定两幅点云的对应关系，从而完成配准。2008年，Rusu等提出对相邻两个点的法向量的夹角进行统计的点特征直方图(PFH)及其改进算法快速点特征直方图(FPFH)。2011年，Chu Jun等使用scale invariant feature transform(SIFT)算法获得图像纹理特点，并应用到点云中，以此找到两幅点云中的对应关系。除此之外，3D形状上下文(3DSC)，旋转不变特征变换(RIFT)，旋转投影统计(RoPS)等也是常用在点云配准过程中的特征描述符。
基于全局搜索策略的算法是在全局范围内限制一定的条件并通过循环迭代确定最优变换，例如迭代最近点法(ICP)、基于统计学概率的算法、基于一致性4点集的算法等。基于统计学概率的算法将空间离散化处理，用概率密度函数来估计点云的分布，通过最优化技术的方法得到两片点云之间的变换矩阵，典型的算法有多层NDT(ML—NDT)，加速相干点漂移算法(ACPD)等，但对于大规模点云，基于概率算法的计算复杂度较高。基于一致性4点集的一系列算法是在全局范围内根据刚体不变量搜索全等的4点集来确定最佳刚体变换的算法，典型的有一致性4点集法(4-point congruent sets，4PCS)、动态4点法(dynamic4PCS，D4PCS)、超级4点法(super 4PCS)及其改进算法等。1992年，Besl等提出的迭代最近点算法(iterative closest point，ICP)，通过不断迭代搜索待配准点云中距离最近的点来确定符合误差函数的刚性变换矩阵，但在最近点搜索过程中消耗了大量时间，对此，研究学者对其进行了改进，2010年，Tamaki等使用CUDA实现了EM—ICP，该变体提高了ICP的稳健性和适用性。即便如此，这类算法对点云初始条件要求较为苛刻，需要两片点云初始位姿相近，否则容易陷入局部最优，导致配准失败，因此，研究学者们多在用基于局部几何特征寻找对应关系并进行粗配准之后，将ICP用于精确配准。
[文献一]NIU YongJie,JIANG Ning.“Research on influence factors ofkeyword extraction algorithm TextRank,”.ELECTRONIC DESIGN ENGINEERING,vol.28,no.12,1-2(2020)
[文献二]XU Li.“Text Keyword Extraction Method Based on WeightedTextRank,”.COMPUTER SCIENCE,vol.46,no.6A,143-144(2019)
发明内容
为提高三维重建技术的效率，本发明提供一种基于图模型的三维模型重建迁移方法及系统。该方法主要提供了一种三维模型重建迁移技术，其特征在于：首先通过基于关键点特征匹配的点云配准方法的三维点云重建技术建立模型库，然后通过图模型的关键词提取技术，提取出输入信息中的关键语义信息；其次，使用Luence搜索引擎平台进行三维模型特征匹配；最后对匹配到的模型进行迁移修改得到目标三维建筑模型。
本发明提出一种基于图模型的三维模型重建迁移方法，包括以下步骤：
步骤1，资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；
步骤2，建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维点云重建，重建得到多个建筑的三维模型，最终建立三维模型库；
步骤3，语义信息处理，包括采用基于图模型的关键词抽取方法，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；
步骤4，搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；
步骤5，三维模型迁移，包括通过关键语义信息，对匹配到的三维模型进行迁移处理，得到所需目标三维模型。
而且，所述步骤1中，无人机拍摄方式为基于五方位高重叠率航线的无人机拍摄。
而且，所述步骤2中，基于关键点特征匹配的点云配准方式的实现过程中，先进行多尺度加权法向投影均值差的关键点选取，再进行对应关系检测。
而且，所述步骤3中，所述基于图模型的关键词抽取方采用TextRank关键词提取算法实现。
而且，所述步骤4中，使用Luence搜索引擎实现匹配三维建筑模型。
而且，所述步骤5中，通过关键语义信息，对匹配到的三维模型进行迁移处理，实现方式如下，
首先调用步骤4匹配到的输入文本信息基础风格相应三维建筑模型；
然后，通过基于图模型的关键词提取方法，对文本信息进行词性分析得到了目标建筑的关键语义信息；
接下来进行第二层迁移，通过格式化的文本信息，调整修改匹配到的三维模型，最后输出经过迁移调整得到的目标三维模型。
另一方面，本发明提供一种基于图模型的三维模型重建迁移系统，用于实现如上所述的一种基于图模型的三维模型重建迁移方法。
而且，包括以下模块，
第一模块，用于资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；
第二模块，用于建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维点云重建，重建得到多个建筑的三维模型，最终建立三维模型库；
第三模块，用于语义信息处理，包括采用基于图模型的关键词抽取方法，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；
第四模块，用于搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；
第五模块，用于三维模型迁移，包括通过关键语义信息，对匹配到的三维模型进行迁移处理，得到所需目标三维模型。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于图模型的三维模型重建迁移方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于图模型的三维模型重建迁移方法。
本发明技术方案首先需要通过采集图像资料重建的三维模型库。然后，采用基于图模型的关键词抽取技术，提取出输入的迁移文本中的关键语义信息，转换为处理内容。其次，通过Luence搜索引擎平台进行三维模型特征匹配。最后，对匹配出的三维模型进行迁移处理，转化为最终的目标三维模型。
附图说明
图1是本发明实施例的建立三维模型库原理图；
图2是本发明实施例的关键点提取原理示意图；
图3是OPW-TextRank算法的流程图；
图4是本发明实施例的三维迁移流程图；
图5是本发明实施例的流程图。
具体实施方式
以下结合附图和具体实施例说明本发明的技术方案。
本发明提供一种基于图模型的三维模型重建迁移方法及系统，通过新型的基于五方位高重叠率航线的无人机拍摄技术获取高质量建筑图片，结合基于图模型的关键词抽取技术，快速提取出关键语义信息。然后，通过Luence搜索引擎平台进行三维模型特征匹配，接下来对匹配得到的三维模型进行迁移处理，转化为最终的目标三维模型。
如图5所示，本发明实施例的三维模型重建迁移方法很好地提高了三维重建的重建效率和精确度，优化了三维重建的过程，同时得到较好的三维模型迁移效果。以下是对本发明实施例方法的具体步骤解释：
1、资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；
首先，通过建筑资料收集，实地建筑考察利用无人机进行航拍，规划特殊的航拍路线，通过基于五方位高重叠率航线的无人机拍摄技术，获取建筑正上方及前后左右五个方位的RGB图片若干，各照片间的重叠率需较高，航向重叠率一般应为60％～80％，旁向重叠率一般应为15％～60％，最小不应小于8％；或通过视频资料，如环绕型拍摄视角，进行五个方位的截图，获取合适的高清图片资料。
2、建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维重建，重建得到多个建筑的三维模型，最终建立三维模型库；
利用获得的图片资料，实施例优选通过基于点匹配模型的三维点云重建技术，进行建筑的三维重建，为便于实施参考起见，提供三维重建流程图如图1所示，其基本过程如下：
(1)第一阶段：相机对齐。首先确定特征点及匹配算法，在这个阶段，搜索照片上的同名像点并匹配它们，以及为每张照片找到相机的位置并改进相机校准参数，该过程的结果是形成了稀疏点云，稀疏点云表示照片对齐的结果，稀疏点云模型可以在3D编辑器中用作参考。
(2)第二阶段：生成密集点云。根据稀疏点云和图片本身构建。密集点云可以在导出或进入下一阶段之前进行编辑和分类；
(3)第三阶段：生成3D网格模型。利用获取的RGB图像建立纹理映射关系，形成3D多边形网格模型，该模型是基于密集点云用于表示对象表面；
(4)第四阶段：纹理化模型及补洞。在重建表面之后，可以对网格模型进行纹理化，生成纹理贴图，并利用补洞技术对模型进行修复形成最终的三维建筑模型。
在本发明中，进一步提出采用一种基于关键点特征匹配的点云配准方法，基于一种多尺度加权法向投影均值差的关键点提取算法，结合SHOT描述子对关键点进行特征描述，融合几何一致性以及RANSAC算法去除匹配过程中的误匹配点对，优化关键点之间的对应关系，通过奇异值分解计算刚体变换矩阵，完成点云粗配准，然后使用ICP进行精确配准。基于关键点特征匹配的点云配准方法过程如下所示：
1)关键点选取
设计了一种多尺度加权法向投影均值差的关键点选取方法。以点云中的某点为中心，建立2个不同半径大小的邻域，模拟不同的尺度空间，以较小半径为基准，通过主成分分析法(principal components analysis，PCA)计算中心点的法向量，计算不同半径邻域内的点与中心点形成的向量在中心点法向上的加权投影均值，以2个不同尺度下的加权投影均值的差值为依据，设定阈值，如果差值大于阈值，说明该点处曲面越突出，曲面特征更明显，选取这样的点为关键点，反之，舍弃该点。
[1]求取法向量
PCA是一种常用的数据分析方法，它通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。这个方法也是常常被用于法向量估计，计算量小并且精度较高，具体过程如下。
①对于点云中的任意一点P，构建点邻域的协方差矩阵
Figure BDA0003059394670000051
式中：R为邻域半径；k为以点P为中心，R为邻域内点的数量；pi为邻域内的第i个点；p′为邻域的质心；di为邻域球内的点到质心p′的欧式距离，表示为di＝||pi-p′||，i为邻域内点的序号。
②求解特征矢量vj和特征值λj。
E3×3vj＝λjvj,j∈{1,2,3}. (2)
记特征值λ1<λ2<λ3，则最小特征值λ1所对应的特征向量v1，被认为是P的法向量n。
[2]关键点提取原理
如图2所示，为点云的横切面，假设点云中的某点s，以该点为中心取两个不同半径大小r1,r2(r1<r2)的邻域模拟不同的尺度空间，以半径为r1的邻域为基准求取点的法向量n，对于2个不同尺度空间内的点，分别计算其与中心点s所组成的向量在点S法向上的投影h1i、h2i：
Figure BDA0003059394670000061
式中：n为中心点的法向量；s1i为半径为r1的尺度空间内的点；s2i为半径为r2的尺度空间内的点，abs()是取绝对值运算符。
求取各尺度空间内的所有点与中心点组成的向量在中心点法向方向的加权投影均值σ1、σ2：
Figure BDA0003059394670000062
定义ξ为加权平均函数，表示为
Figure BDA0003059394670000063
式中a(x)为幂指数函数，hi为点i与中心点s所组成的向量在点S法向量上的投影。
记2个加权投影均值的差值为w＝|σ2-σ1|，设定阈值C0，选取满足w≥C0的点为关键点。
设计加权平均函数的主要思想是提高具有更大投影的点在计算过程中的比重，以避免选取出邻域内点的投影较小，但点数相较于投影大的点数明显较多的情况。
2)SHOT特征算法
2014年，Tombari等将点签名和点特征直方图的思想相结合，提出SHOT特征描述子。首先将点邻域空间分成几个子空间，然后对子空间中每个点的法向特征统计到直方图进行编码，再将每个子空间的直方图联合到一起得到三维描述子。此方法对于含有噪声、杂波的点云以及密度不均的点云都具有一定的鲁棒性、高效性和较好的描述性。具体过程如下。
①按照式(1)所述的协方差矩阵，通过求解可得协方差矩阵的特征值以及特征值对应的特征向量，将特征值以递减的顺序进行排列可得λ1>λ2>λ3，其对应的向量为v1、v2、v3，分别代表x、y、z3个坐标轴，并记为(x+,y+,z+)，记其相反方向为(x-,y-,z-)为保证局部坐标系的唯一准确性，需要对局部坐标系的二义性进行消除，方法的中心思想就是近邻点与查询点组成的向量的方向尽量与查询点的法向保持一致。具体实施方法如下。
S+＝{i|di≤R∧(pi-p)x+≥0}, (6)
S-＝{i|di≤R∧(pi-p)x->0}, (7)
Figure BDA0003059394670000071
Figure BDA0003059394670000072
Figure BDA0003059394670000073
式中，为确定局部参考系x轴的正方向，在半径R内，计算特征点p到pi的向量与x+或x-的点积，非负即两向量夹角在0到90°之间，S+为符合这一条件的x轴正方向上点的集合，S-为符合这一条件的x轴负方向上点的集合；
Figure BDA0003059394670000074
为在k近邻点集M(k)周围正方向上点的集合，
Figure BDA0003059394670000075
为在k近邻点集M(k)周围正方向上点的集合，x为参考系x轴的正方向，具体过程为：统计S+，S-的数目以确定x轴正方向，当|S+|＝|S-|，进一步将采样点的k近邻点集M(k)作为邻域点，统计
Figure BDA0003059394670000076
的数目用于确定x轴正方向。di为采样点p和邻域点pi的欧式距离||pi-p||。由上述方法确定z、x轴方向，y轴方向由z×x确定，至此局部参考坐标系二义性消除，局部参考坐标系被唯一确定。
②特征点邻域的空间划分。对特征点的邻域进行空间划分，沿方位划分为8份，沿高度划分为2份，沿半径划分为2份，邻域空间总共划分为32份。
③计算局部直方图。局部参考坐标系确定后，选取采样点R邻域内其他点法向量nq。与采样点局部参考坐标系的z轴方向向量zk的夹角余弦作为函数值如式(11)，将其累计到直方图不同的盒子中。对每个子空间将cosθ的值划分为11份，SHOT描述子的维度为32×11＝352维。
cosθ＝zknq, (11)
2)对应关系检测
点与点之间的对应关系是计算旋转变换矩阵的直接依据，因此点对应关系的准确查找是直接影响后续的配准精度，本文将对应点之间的查找分为2个阶段进行。
[1]初始对应关系查找
点的特征描述子就是用来对不同的点进行识别，在源点云及目标点云中的同一点的特征描述子应近似相同，因此，在初始确定点对问的对应关系时，使用基于特征空间的欧式距离作为评价条件，设定一定的阈值，将距离小于阈值的点对作为初始对应关系。
①假设源点云中某点pi的特征描述为pi(SHOT)＝{a1,a2,…,a352}，源点云中某点qi的特征描述符为qi(SHoT)＝{b1,b2,…,b352}。
②对于源点云中的某点，计算其与目标点云中每一点基于特征的欧式距离
Figure BDA0003059394670000081
③设定阈值Δ，若D(pi,qi)≥Δ，则将此对应关系去除；若D(pi,qi)<Δ，则认为此对应关系成立，将其加入到对应点集L中。
[2]去除错误对应关系
经过上述初始对应关系查找，特征相似的点对对应关系大体上被确定下来，但由于噪声点以及低重叠率中非重叠区域点的干扰，仍然具有大量的误匹配关系。为保证刚性变换矩阵计算的精确性，本文融合了几何一致性和RANSAC算法来去除误匹配点对，其流程如下。
经上述初始对应关系查找，得到一个初始匹配点对集合，将其记为
L＝{(pi,qi)|pi∈S1,qi∈S2,i＝1,2,…,N}, (13)
式中：S1、S2分别为P、Q的关键点集；N为L中的元素数量。在L中随机取2个元素(pi,qi),(pj,qj),i≠j，如果其满足式(14)，则(pi,qi),(pj,qj)属于正确匹配点对集合E，
Figure BDA0003059394670000091
式中：d(pj,qj)为点pi、qj欧式距离；ω为大于0的阈值。接着再使用随机采样一致性(RANSAC)算法来精确对应关系。具体步骤如下。
①从集合E中随机选取n个元素组成样本子集S，其中n≥3。
②由样本子集S估计总样本集的参数模型，即2片点云配准所需的旋转平移矩阵。
③计算样本总集中所有元素与当前估计的参数模型的偏差，设定参数偏差阈值。若元素偏差小于阈值，则该元素被认定为内样本，否则偏差过大的被认为是外样本，记录当前所有的内样本及其数量。
④重新在样本总集中选择样本子集，重复①～④过程。每一次迭代都保存内样本和内样本数量，直到达到设定的结束值或迭代次数，停止计算.
⑤选择内样本数量最多的参数模型作为最终的参数模型，此时内样本中的元素就是去除了错误关系的对应关系。
最后，重建出的多个建筑的三维模型可建立三维建筑模型库。通过自然语言处理技术中的词性分析功能，形成建筑的特征信息。
3、语义信息处理，包括采用基于图模型的关键词抽取技术，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；
通过自然语言处理技术中的基于图模型的关键词自动化提取技术，从粗粒度的用户友好的输入文本中，提取出细粒度的三维建筑模型信息。主要采用的算法是TextRank关键词提取算法，为便于实施参考提供实现方式介绍如下。
(1)TextRank算法介绍
本发明中主要用到了HanLP工具包中的TextRank关键词提取功能。输入一段文本，再通过自然语言处理技术以及对HanLP库的调用，经由词性分析所输入的文本得到建筑特征信息，特征信息包括名称、层数、形状和大小等信息，从而得到格式化的文本信息。其中所用到的HanLP是由一系列模型与算法组成的Java工具包，目的是促进自然语言处理在生产环境中的应用。
以下将简要概述TextRank关键词提取功能。(文献一)
TextRank算法的主要思想是：将文本转化为图模型,并通过式(1)迭代计算出词的得分,排名靠前的词语可作为文本的关键词。
文本转化为图模型：将文本看成是句子集合T＝{S1,S2,…,Sn}，任一句子Si∈T又可以看作词的集合Si＝{W1,W2,…,Wm}，构建图模型G＝(V，E),其中V＝S1∪S2∪…∪Sn，当两个节点(词)共现于任一句子时，则节点间有边，否则无边。
Figure BDA0003059394670000101
其中,In(Wi)是指向节点i的节点集合，Out(Wj)是节点j指向的节点集合。d为阻尼系数，它原是PageRank算法随机游走概率，设置的初衷是为了防止那些没通过点击链接而跳转的页面吞噬用户向下浏览的机会，在文本图模型中，也存在没有任何指向的节点，通常情况下，d值取0.85。在TextRank算法中，我们只考虑词与词之间的共现关系对重要性得分的影响，而事实上，除了词共现关系外，还有几个因素会影响词的重要性得分：词频、词长、词语位置及词性。将这4种影响因素量化，用于改进原有算法中的重要性得分公式，因此式(1)可以改进为：
Figure BDA0003059394670000102
其中，Score′(Wj)为改进后节点j的得分；OPW(Wi)为节点i的最优化权重系数，是将词频、词长、词语位置及词性因素量化得到的，OPW(Wi)可以表示为：
OPW(Wi)＝α×A(Wi)+β×B(Wi)+γ×C(Wi)+δ×D(Wi) (3)
其中，A(Wi)，B(Wi)，C(Wi)，D(Wi)，α，β，γ，δ分别为节点i的词频、词长、词语位置及词性的权重及权重系数,α+β+γ+δ＝1。
(2)利用TextRank算法提取关键词的步骤
在使用OPW-TextRank提取文本关键词时要经过文本预处理、参数设置、转换图模型、初始化节点评分、迭代运算、取TopN等步骤，为便于参考起见，提供算法应用流程如图3所示。
图3中，虚线部分是为了确定win，α，β，γ，δ等参数的最优值，先凭经验为其设定初始值，然后通过实验得出最优值。实线部分是在测试集或工作数据集上运行算法的流程。(文献二)，具体描述如下：
文本预处理主要包括将文本按句子切词、去停用词。汉语与英文不同，词与词之间没有天然的分隔符号(空格)，将句子变成词的集合必须经过中文切词；参数设置是指上文中提到的阻尼系数d、滑动窗口大小win等，滑动窗口大小的设置需要通过实验确定，以找到合适的win值；转换图模型是指将文本信息转化为无向图，其中，若两个节点(词语)出现在同一个句子中，则两节点之间存在边，否则无边。
初始化节点评分是指运用式(2)迭代计算前，需要为每一个节点赋一个初始分值，一般初始赋值为1；取TopN是指将排名靠前的前N个词语作为文本的关键词。
4、搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；
实施例中，优选采用Luence搜索引擎平台，利用搜索匹配引擎，对于所输入的文本信息，在相应的三维模型数据库中进行特征匹配检索，检索到相应的三维模型。
5、三维模型迁移
利用步骤4中所得到的关键语义信息通过三维图像处理软件对三维模型进行调整，比较输入的格式化文本信息和三维模型的特征信息，然后对三维模型进行迁移，将其修改为目标模型。最后输出结果为最终得到的迁移后的三维模型。三维迁移流程图见图4，三维迁移具体流程如下：
首先调用步骤4匹配到的输入文本信息基础风格相应三维建筑模型，该步骤可视为第一层映射，即：输入文本信息，在第一层映射中，将输入的文本信息与三维模型库中不同风格的高质量三维模型进行匹配，匹配到风格与输入文本信息相符的基础风格三维模型；
然后，通过基于图模型的关键词提取技术，对文本信息进行词性分析得到了目标建筑的关键语义信息，包括层数、形状、方位等关键特征信息；
接下来进行第二层迁移，通过格式化的文本信息，调整修改匹配到的三维模型，最后输出经过迁移(调整)得到的目标三维模型。
为便于了解本发明技术效果起见，提供具体实例如下：
本实验共选择了10个位置合适(前、后、左、右4个方位没有遮挡物并且无人机卫星信号良好)的建筑物进行重建生成三维模型库，并对其中一个建筑文华大学礼拜堂进行三维迁移得到目标层数建筑。这里以位于武汉的文华大学礼拜堂为例，其建筑层数为2层，本实验采用基于五方位高重叠率航线的无人机拍摄技术获取了文华大学礼拜堂的高质量RGB图片；然后利用基于关键点特征匹配的点云配准方法的三维点云技术，重建得到文华大学礼拜堂三维模型，并将其加入到三维模型库中；输入文本信息“假设文华大学礼拜堂层数为3层的建筑，它将会呈现出怎样的一种式样呢？”，通过输入文本信息匹配到基础风格模型文华大学礼拜堂三维模型；通过基于图模型的关键词抽取技术处理后，得到格式化文本信息“层数3”，通过自动对比文华大学礼拜堂基础三维模型的特征信息为“层数2”，检测到特征信息与格式化文本信息的不一致后，进行三维模型迁移修改，将文华大学礼拜堂三维模型迁移为3层的三维建筑模型得到了目标模型，最终输出3层的文华大学礼拜堂三维建筑模型。
实验时采用的流程如下：
1、资料采集
收集的建筑图片资料为位于武汉的文华大学礼拜堂，利用无人机规划特定航线进行航拍，获得该建筑多角度全方位的数张RGB图片。例如通过无人机航拍搜集到的文华大学礼拜堂的部分图片资料。
2、建立三维模型库
基于三维点云重建技术，重建文华大学礼拜堂的三维模型，并将重建出的三维模型加入到三维模型库中，此时方法及系统的三维模型库中已经拥有足够多数量的三维建筑模型，形成的文华大学礼拜堂三维建筑模型。
3、搜索相应三维模型
输入“文化大学礼拜堂”通过自然语言处理技术以及配置的搜索引擎，搜索匹配到文华大学礼拜堂相应的三维建筑模型。
4、语义信息处理
输入语义信息文本：“假设文华大学礼拜堂层数为3层的建筑，它将会呈现出怎样的一种式样呢？让我们来一探究竟”，通过关键词提取技术中的TextRank算法步骤处理后，提取出语义信息中的关键词“层数3”。
5、三维模型迁移
对比文华大学礼拜堂原三维模型的特征信息为“层数2”，检测到这个特征信息和关键词“层数3”的不一致后，进行三维模型迁移修改，将文华大学礼拜堂的三维模型的顶层复制后，手动粘贴到顶层并进行一定的修复，成为一栋三层的三维建筑模型。最终输出三维迁移后由两层变为三层的文华大学礼拜堂的三维建筑模型。
实验算法效率以及重建效果分析如下所示：
为了测试本发明重建方法的效率，基于华中师范大学南湖校区综合楼的三维重建，分别统计了稀疏点云生成、稠密点云建立、网格生成、纹理生成这4个环节的处理时间，并与基于增量SFM算法的VisualSFM重建方法及系统进行了对比，结果如下表所示。
Figure BDA0003059394670000131
使用VisualSFM进行稀疏重建的效率较低，且在影像数据大于300张时，时常出现内存溢出现象。本发明采用了16GB的运行内存来加速稀疏点云生成过程。
在网格生成和纹理生成环节，本发明算法的处理效率与基于泊松重建算法的Meshlab相比有显著提高，网格生成时间由344min减小到271min，纹理生成时间由32min减少到20min。三维重建总耗时减少了54min，效率提高了7.4％。
相较于VisualSFM+Meshlab重建方法及系统，本发明方法的自动化程度更高，在一定程度上降低了人工成本。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于图模型的三维模型重建迁移系统，包括以下模块，
第一模块，用于资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；
第二模块，用于建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维点云重建，重建得到多个建筑的三维模型，最终建立三维模型库；
第三模块，用于语义信息处理，包括采用基于图模型的关键词抽取方法，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；
第四模块，用于搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；
第五模块，用于三维模型迁移，包括通过关键语义信息，对匹配到的三维模型进行迁移处理，得到所需目标三维模型。
在一些可能的实施例中，提供一种基于图模型的三维模型重建迁移系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于图模型的三维模型重建迁移方法。
在一些可能的实施例中，提供一种基于图模型的三维模型重建迁移系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于图模型的三维模型重建迁移方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于图模型的三维模型重建迁移方法，其特征在于，包括以下步骤：
步骤1，资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；
步骤2，建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维点云重建，重建得到多个建筑的三维模型，最终建立三维模型库；
步骤3，语义信息处理，包括采用基于图模型的关键词抽取方法，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；
步骤4，搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；
步骤5，三维模型迁移，包括通过关键语义信息，对匹配到的三维模型进行迁移处理，得到所需目标三维模型。
2.根据权利要求1所述的基于图模型的三维模型重建迁移方法，其特征在于：所述步骤1中，无人机拍摄方式为基于五方位高重叠率航线的无人机拍摄。
3.根据权利要求1所述的基于图模型的三维模型重建迁移方法，其特征在于：所述步骤2中，基于关键点特征匹配的点云配准方式的实现过程中，先进行多尺度加权法向投影均值差的关键点选取，再进行对应关系检测。
4.根据权利要求1所述的基于图模型的三维模型重建迁移方法，其特征在于：所述步骤3中，所述基于图模型的关键词抽取方采用TextRank关键词提取算法实现。
5.根据权利要求1所述的基于图模型的三维模型重建迁移方法，其特征在于：所述步骤4中，使用Luence搜索引擎实现匹配三维建筑模型。
6.根据权利要求1或2或3或4或5所述的基于图模型的三维模型重建迁移方法，其特征在于：所述步骤5中，通过关键语义信息，对匹配到的三维模型进行迁移处理，实现方式如下，
首先调用步骤4匹配到的输入文本信息基础风格相应三维建筑模型；
然后，通过基于图模型的关键词提取方法，对文本信息进行词性分析得到了目标建筑的关键语义信息；
接下来进行第二层迁移，通过格式化的文本信息，调整修改匹配到的三维模型，最后输出经过迁移调整得到的目标三维模型。
7.一种基于图模型的三维模型重建迁移系统，其特征在于：用于实现如权利要求1-6任一项所述的一种基于图模型的三维模型重建迁移方法。
8.根据权利要求7所述基于图模型的三维模型重建迁移系统，其特征在于：包括以下模块，
第一模块，用于资料采集，包括利用无人机拍摄方式进行航拍，获取高质量目标建筑图片；
第二模块，用于建立三维模型库，包括通过基于关键点特征匹配的点云配准方式，对采集到的数据进行三维点云重建，重建得到多个建筑的三维模型，最终建立三维模型库；
第三模块，用于语义信息处理，包括采用基于图模型的关键词抽取方法，对输入的文本信息进行自动化提取，最终提取出关键语义信息，所述关键语义信息包括三维模型的名称、层数、形状和方位信息；
第四模块，用于搜索相应三维模型，包括在三维模型库中搜索匹配到目标基础风格的三维建筑模型；
第五模块，用于三维模型迁移，包括通过关键语义信息，对匹配到的三维模型进行迁移处理，得到所需目标三维模型。
9.根据权利要求7所述基于图模型的三维模型重建迁移系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种基于图模型的三维模型重建迁移方法。
10.根据权利要求7所述基于图模型的三维模型重建迁移系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于图模型的三维模型重建迁移方法。
CN202110508658.3A 2021-05-11 2021-05-11 基于图模型的三维模型重建迁移方法及系统 Active CN113223173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110508658.3A CN113223173B (zh) 2021-05-11 2021-05-11 基于图模型的三维模型重建迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110508658.3A CN113223173B (zh) 2021-05-11 2021-05-11 基于图模型的三维模型重建迁移方法及系统

Publications (2)

Publication Number Publication Date
CN113223173A CN113223173A (zh) 2021-08-06
CN113223173B true CN113223173B (zh) 2022-06-07

Family

ID=77094423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110508658.3A Active CN113223173B (zh) 2021-05-11 2021-05-11 基于图模型的三维模型重建迁移方法及系统

Country Status (1)

Country Link
CN (1) CN113223173B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674400A (zh) * 2021-08-18 2021-11-19 公安部物证鉴定中心 基于重定位技术的光谱三维重建方法、系统及存储介质
CN114118181B (zh) * 2021-08-26 2022-06-21 西北大学 一种高维回归点云配准方法、系统、计算机设备及应用
CN114707019A (zh) * 2022-03-29 2022-07-05 北京拥抱在线科技有限公司 用于阅读的信息处理方法及装置
CN115631091B (zh) * 2022-12-23 2023-03-21 南方科技大学 一种选择性风格迁移方法及终端
CN116151917B (zh) * 2023-01-04 2024-02-13 上海铱维思智能科技有限公司 一种基于三维模型的交易确权方法及系统
CN117475089B (zh) * 2023-12-27 2024-03-29 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维场景生成方法及相关组件

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719286A (zh) * 2009-12-09 2010-06-02 北京大学 融合单视点场景分析的多视点三维场景重建方法及其系统
CN105006016A (zh) * 2015-05-21 2015-10-28 北京航空航天大学 一种贝叶斯网络约束的部件级三维模型构建方法
EP2991037A1 (en) * 2013-04-23 2016-03-02 Tsinghua University Method of generating three-dimensional scene model
CN106897378A (zh) * 2017-01-20 2017-06-27 浙江大学 一种面向三维cad模型的语义参数检索动态调节方法
US9916345B1 (en) * 2014-02-12 2018-03-13 Google Llc Searching three-dimensional (3D) object data models
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN111815776A (zh) * 2020-02-04 2020-10-23 山东水利技师学院 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN111932671A (zh) * 2020-08-22 2020-11-13 扆亮海 基于密集点云数据的三维实体模型重建方法
CN112598796A (zh) * 2020-12-28 2021-04-02 华东交通大学 基于广义点云的三维建筑物信息模型构建与自动更新的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719286A (zh) * 2009-12-09 2010-06-02 北京大学 融合单视点场景分析的多视点三维场景重建方法及其系统
EP2991037A1 (en) * 2013-04-23 2016-03-02 Tsinghua University Method of generating three-dimensional scene model
US9916345B1 (en) * 2014-02-12 2018-03-13 Google Llc Searching three-dimensional (3D) object data models
CN105006016A (zh) * 2015-05-21 2015-10-28 北京航空航天大学 一种贝叶斯网络约束的部件级三维模型构建方法
CN106897378A (zh) * 2017-01-20 2017-06-27 浙江大学 一种面向三维cad模型的语义参数检索动态调节方法
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN111815776A (zh) * 2020-02-04 2020-10-23 山东水利技师学院 综合机载和车载三维激光点云及街景影像的三维建筑物精细几何重建方法
CN111932671A (zh) * 2020-08-22 2020-11-13 扆亮海 基于密集点云数据的三维实体模型重建方法
CN112598796A (zh) * 2020-12-28 2021-04-02 华东交通大学 基于广义点云的三维建筑物信息模型构建与自动更新的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ren P 等.Rapid three-dimensional scene modeling by sketch retrieval and auto-arrangement.《Computers & Graphics》.2017, *
Zhong R 等.Dictionary Learning-based, Directional and Optimized Prediction for Lenslet Image Coding.《IEEE Transactions on Circuits and Systems for Video Technology》.2018, *
杜国光 等.基于样例的古建模型快速重建.《系统仿真学报》.2014, *

Also Published As

Publication number Publication date
CN113223173A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113223173B (zh) 基于图模型的三维模型重建迁移方法及系统
CN107256262B (zh) 一种基于物体检测的图像检索方法
Hays et al. Im2gps: estimating geographic information from a single image
CN108875813B (zh) 一种基于几何图像的三维网格模型检索方法
Karantzalos et al. Large-scale building reconstruction through information fusion and 3-d priors
CN103914571B (zh) 一种基于网格分割的三维模型检索方法
CN103218783A (zh) 基于控制点影像数据库的卫星遥感图像快速几何纠正方法
CN114996488B (zh) 一种天网大数据决策级融合方法
Bespalov et al. Scale-space representation of 3d models and topological matching
CN106295613A (zh) 一种无人机目标定位方法及系统
CN113223042B (zh) 一种遥感影像深度学习样本智能采集方法及设备
Jiang et al. Parallel structure from motion for UAV images via weighted connected dominating set
CN106897722A (zh) 一种基于区域形状特征的商标图像检索方法
CN114972459A (zh) 一种基于低维点云局部特征描述符的点云配准方法
CN112668461B (zh) 一种具有野生动物识别的智能监管系统
CN105740378A (zh) 一种数字病理全切片图像检索方法
Gao et al. Classification of 3D terracotta warrior fragments based on deep learning and template guidance
CN113205548A (zh) 一种林区无人机和地基点云的自动化配准方法及系统
CN111354076A (zh) 一种基于嵌入空间的单幅图像三维零件组合式建模方法
CN112241676A (zh) 一种地形杂物自动识别的方法
Brown et al. Height and facet extraction from LiDAR point cloud for automatic creation of 3D building models
CN116010644A (zh) 基于轴向移动和局部匹配的重复性建筑元素检索方法
CN104965928B (zh) 一种基于形状匹配的汉字图像检索方法
Wang et al. LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer
CN111339332B (zh) 一种基于树形结构拓扑图的三维体数据检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant