CN110009743B - 一种场景理解的网格曲面重建方法 - Google Patents

一种场景理解的网格曲面重建方法 Download PDF

Info

Publication number
CN110009743B
CN110009743B CN201910131518.1A CN201910131518A CN110009743B CN 110009743 B CN110009743 B CN 110009743B CN 201910131518 A CN201910131518 A CN 201910131518A CN 110009743 B CN110009743 B CN 110009743B
Authority
CN
China
Prior art keywords
point cloud
mapping
reconstruction
data
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910131518.1A
Other languages
English (en)
Other versions
CN110009743A (zh
Inventor
袁天然
汪俊
罗春英
侯志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Huaiyin Institute of Technology
Original Assignee
Nanjing University of Aeronautics and Astronautics
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics, Huaiyin Institute of Technology filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910131518.1A priority Critical patent/CN110009743B/zh
Publication of CN110009743A publication Critical patent/CN110009743A/zh
Application granted granted Critical
Publication of CN110009743B publication Critical patent/CN110009743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种场景理解的网格曲面重建方法，属于三维图形学领域，本发明方法通过基于无向图网络的数学模型自动识别异常数据，采用内在曲面映射的方式估算调整点云法向矢量；求解点云模型的低纬度特征信息，抽取骨架中心曲线，设计复杂分支区域的“块”体分割模式；对去除分支后的点云，采用深度图映射的方式识别构建点云的视场可见区域，设计基于视觉聚类的“片”体分割模式；基于分割结果构建自学习场景理解模型，对缺失区域实现自动修复；最后，设计基于超球面映射机制的点云重建算法，实现忠实于原始点云的表面数据重建，该能够应用于对CAD模型、建筑物、有机体及多种场景混合的点云模型进行高效准确的重建。

Description

一种场景理解的网格曲面重建方法
技术领域
本发明属于三维图形学领域，本发明涉及一种场景理解的网格曲面重建方法及系统，具体是一种场景理解的网格曲面重建方法。
背景技术
针对测量所得点云的大数据量、散乱无序、局部缺失的特点，如何能对多种类型(如：LIDAR数据，ATOS结构光、Faro激光等扫描仪获取的数据)的被测实体进行高效、准确的重建出其对应的三角网格模型，一直是学界研究的热点。
综合从重建算法理论、模型来源分类、处理海量点云的方式三个方面的研究分析来看，重建算法在具有以下三个方面的特性时，将使得重建算法能有效处理复杂形态、多种来源的海量点云数据：(a)具有一定视觉感知的面向广义几何图元的分割；(b)具有一定场景理解的局部缺失区域自动修；(c)遵循ρ-ε准则具有整体和增量特性的拟计算几何重建模型。
针对测量所得点云的大数据量、散乱无序、局部缺失的特点，如何能对多种类型(如：LIDAR数据，ATOS结构光、Faro激光等扫描仪获取的数据)的被测实体进行高效、准确的重建出其对应的三角网格模型，一直是学界研究的热点。从国内已公开发表的文献资料、软件系统研究成果来看，针对源自不同场景的点云模型，仍缺少对同时具备“面向网格曲面重建的点云分割”、“具有模型场景理解的缺失区域自动修复”、“具有计算几何特性的点云曲面重建理论”三个特性的点云网格曲面重建算法方面的系统性实现。
此外，随着测量设备精度、效率的提高，测量获取的点云模型所包含的顶点多以千万、亿计数。由于点云模型是对实物模型或场景的直接三维采样，所蕴含的信息有限，并不能准确的表示被测实体的表面形态，为对实物模型进行更准确的数字化表达，并且进行高效的建模、编辑、分析、渲染等后续操作，需对点云进行基于三角网格的曲面模型重建。因此，本发明的研究应运而生。
发明内容
本发明针对现有技术中存在的问题，本发明提供一种针对来源自不同场景的点云数据，模拟和抽象视觉成像原理，遵循ρ-ε重建准则、不依赖于采样密度的网格重建方法和系统。
本发明是这样实现的：
本发明公开了一种场景理解的网格曲面重建方法，具体步骤如下：
步骤一、采用光学或非光学设备获取点云模型，并输入来源自不同场景的点云模型；
步骤二、对输入的数据进行异常数据识别、法矢量计算和一致性调整；点云的异常数据识别和法向量计算，包括：对点云进行基于无向图网络的异常数据识别和法矢量计算调整的预处理。
步骤三、对点云进行视觉感知特性的广义几何图元区域分割；基于“先提取分支区域，再切片剩余区域”的点云分割思路，提取模型的以2D曲面或1D曲线呈现的低维度内在特征信息，作为视觉感知分割的基础依据，实现分支区域点云对应的“块”体分割方法；针对分支区域提取后的点云，根据对模型的仔细观察分析，对取出分支区域后剩下的形态复杂区域或结构化明显的点云采用基于“片体”的划分更为合理。基于视觉投影映射的可视区域采集方法，将对三维点云的分析降维到对二维深度图的分析，基于顶点与法矢量内在一致统一的分割算法，实现对形态复杂区域具有局部视觉感知的“片”状分割。从而最终实现点云具有视觉感知特性的区域分割；
步骤四、对分割后的点云广义几何图元进行基于场景的自学习理解和缺失区域自动修复；场景的自学习理解是对分割结果之间的几何形态和物理位置关系进行明确的标志、归类，提取分割结果中具有相近形态的几何体。对于形态相近的物体根据具有相同特征类型的区域其映射值也相近的分析结果，转化为基于模板匹配的图像修复算法实现自动修复。对于具有明分支区域的缺失，采用截面扫掠的方式自动实现修复；对于CAD等结构化点云可以采用基本图元逻辑运算的方式进行自动修复。
步骤五、对进行场景理解和自动修复后的分割点云进行视觉超球面二元映射的拟计算几何点云曲面重建；视觉超球面点云映射是根据近距看细节(大眼睛细看小物体)、远距看轮廓(小眼睛粗看大物体)的特性，当眼睛相对于物体无穷大时可清晰观测到物体上的极细微特征，以半径R远大于被观测物体尺寸的球体代替眼睛，并对倒立成像进行翻转，得到可见视角区域超球面映射翻转的基本原理。
步骤六、对应为重建后的点云网格模型，重建结果遵循ρ-ε重建准则。
进一步，所述的步骤二具体为：
2.1，设定
Figure BDA0001975495370000031
表示真实场景的物体，
Figure BDA0001975495370000032
表示物体边界，
Figure BDA0001975495370000033
为对
Figure BDA0001975495370000034
进行采集到的散乱数据点集合，
Figure BDA0001975495370000035
为点p在点集P中的K临近集合，构建点云的无向图G(V,E)，V＝P，E为由P顶点对构成的边集；数据pi,pj的相似度度量函数可表示为k(pi,pj)，pi,pj隶属同一子空间时度量函数应取较大值，反之较小，qpi,qpj为pi,pj对应的映射属性值；
2.2，对点云异常数据的分析可转化为对以下目标函数求解结果的分析：
Figure BDA0001975495370000036
将异常数据的识别问题转化为LX＝λX的特征值、特征向量计算问题；
2.3，对存在噪声的点云法向矢量，用通过提取局部邻域所蕴含的最大内在曲面数据，并将其投影曲面空间从而估算出点云的准确法向矢量，并设计点云数据保持特征的法向矢量调整算法；
2.4，基于数据局部最优的聚类子空间，构建相似函数来衡量法向之间的相似度，据此设计数据点云法矢的一致性调整算法。
进一步，所述的步骤三具体为：
3.1，将复杂的场景根据局部区域的特征划分为由多个基本的“块”或“片”对应的广义几何图元组合体，把点云整体模型的重建问题统一转化为对广义几何图元的重建；
3.2，基于“先提取分支区域，再切片剩余区域”的点云分割思路，提取模型的以2D曲面或1D曲线呈现的低维度内在特征信息，作为视觉感知分割的基础依据；
3.3，基于视觉投影映射的可视区域采集方法，将对三维点云的分析降维到对二维深度图的分析，基于顶点与法矢量内在一致统一的分割算法，实现对形态复杂区域具有局部视觉感知的“片”状分割，从而最终实现点云具有视觉感知特性的区域分割；
3.4，根据骨架点在其对应法向n所在直线上的特性，设计面向开放、噪声曲面点云的近似骨架点求解算法：
Figure BDA0001975495370000041
为点云
Figure BDA0001975495370000042
对应的骨架；(p,q)对应的最大内切球
Figure BDA0001975495370000043
球心cp＝q＝p-ρpnp，
Figure BDA0001975495370000044
为Bp与
Figure BDA0001975495370000045
的切点，θp为球心到两切点的张角，半径
Figure BDA0001975495370000046
骨架点的求解可转化为迭代计算
Figure BDA0001975495370000047
是否为1的问题；
蕴含顶点位置、半径信息等的相似度度量函数可表示为k(Bpi,Bpj)＝f1(||pi-pj||)f2(|ρi-ρj|)，采用异常数据识别的最优化目标函数，依据局部形态的几何信息重新计算准确的数据信息；
骨架点可表示为
Figure BDA0001975495370000048
从中提取出对应的1D结构骨架中心曲线表示为
Figure BDA0001975495370000049
骨架中心曲线的提取转化为求解类似AX＝BQ方程，A为严格对角占优矩阵；
3.5，对求解得出的结果采用基于MLS的移动最小二乘曲线拟合和基于主成分分析投影的方法得到最终的骨架中心曲线，对应曲线的分支为
Figure BDA00019754953700000410
采用骨架中心曲线并结合扫掠判断准则，提取得到视觉感知明显的“最小”化分支区域，扫掠依据的判断准则可设计为：
Figure BDA00019754953700000411
g(θi|Θ)越大，θi越优，当g(θi|Θ)小于给定阈值时延分支的扫掠停止；
骨架曲线分支的垂直平面表示为π⊥，θ作为垂直平面π⊥的临近区域，
Figure BDA0001975495370000051
为前后相邻的K个临近区域提取结果，核函数f(x)计算θi临近之间的相似度；
骨架点对应内切球Bp的并集
Figure BDA0001975495370000052
能准确的对模型Ω进行基于体方式的描述，因此点p的可见性即转化成其是否落在球
Figure BDA0001975495370000053
的可见范围内，从而采用深度图映射的方式实现对视场可见区域点云的提取；
3.6，构建单位球在与视平面平行的H×H的正方形栅格化板上的深度值映射函数T(u,v)，T(u,v)为单位球在
Figure BDA0001975495370000054
位置对应的深度值；对所有
Figure BDA0001975495370000055
进行栅格化映射后即可得到模型对应视场方向上的深度图矩阵D，点p的可见性由其深度值可以直接计算；从视场L*方向上提取的可见点云为PV，根据D与PV之间的对应关系，对D中对应像素点进行平面网格化即可得到PV对应的空间网格MV；对整个点云模型从多个不同视场方向进行基于深度图映射的分割，最终得到对整个点云模型的具有视觉感知的分割结果。
进一步，所述的步骤四具体为对点云模型P进行分割结果表示为：
Figure BDA0001975495370000056
χi为分割出的具有基本“块”、“片”状的简单形态点云区域，设计自学习函数，根据其拓扑、几何形态特征，物理空间中的临近关系，将这些简单的“块”、“片”进行归类、组合，实现对场景的理解。
进一步，所述的步骤四具体如下：
4.1，分类函数采用以下的设计方式：
Figure BDA0001975495370000057
为分类标志向量，Yi是χi对应的分类标志；
Figure BDA0001975495370000058
K表示共有K个分类标准，
Figure BDA0001975495370000059
表示χi是否属于第k个分类的概率，fW(X,Y)反映了所有分割结果之间的最大相似度；
4.2，构建分块X的无向图G(V,E)，V＝{1,…,N}，
Figure BDA00019754953700000510
χi对应的用以作为分类依据的特征向量映射为φn(χi)，
Figure BDA0001975495370000061
为分类权重；φr(χi,χj)为度量两个分块之间相似度关系的特征向量，表明其是否隶属于同一个或同一类物体，对应权重
Figure BDA0001975495370000062
度量两分类之间的依赖关系；X的分类结果
Figure BDA0001975495370000063
通过具有带有权重向量W的判别函数fW(X,Y)求解：
Figure BDA0001975495370000064
Figure BDA0001975495370000065
ΓO为由基本“块”、“片”经分类后组成的某一物体，Γ为对应物体的集合。
进一步，所述的步骤五具体为：
5.1，基于视觉超球面点云映射的基本原理，以R表示映射半径，C为观察点，超球面映射函数fP(R,C)可设计为：
Figure BDA0001975495370000066
经计算后，点云模型可见区域映射为接近于球面的超薄球壳内、非可见点云映射为球面内；因可见区域的源点云与映射后的超球面点云拓扑同胚，因此由映射后点云所构建的凸包表面网格即可得到可见区域源点云对应的三角网格表达，可将超球面映射的用以实现对空间点云的分割和网格重建上；
5.2，以正反二元分割为基础实现对模型点云数据的二元分割；利用超球面点云映射凸包与局部视角可见点云重建之间的一致性关系和映射准确性约束条件，对正、反二元视角的凸包重建网格进行反映射、融合后即可实现对应图元点云的整体网格重建模型；在对点云进行数据处理、分割、自学习归类的基础上，对分割结果中
Figure BDA0001975495370000067
的每一个简单广义几何图元χi采用基于二元视角映射的重建，并对图元之间进行融合，即能实现对整个物体的细粒度几何重建。
本发明与现有技术的有益效果在于：本发明针对来自不同场景的点云数据重建中存在的普遍问题，首先将复杂场景进行基于具有局部视觉感知特性的小单元分割，深入分析子分割区域的空间结构、几何形态信息，构建出对应的自学习归类模型，基于视觉超球面映射原理，提出来一整套带有基础语义特性的数据分析和高质量表面模型重建算法，该算法具有O(N log N)的复杂度，重建结果不依赖于点云的几何拓扑信息，插值于源输入点云，满足采用几何重建时的ρ-ε重建准则。
附图说明
图1是本发明一种场景理解的网格曲面重建方法的流程图；
图2是本发明实现本发明方法的结构示意图。
具体实施方式
为使本发明实施例的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供了一种场景理解的网格曲面重建方法，如图1所示，具体步骤为：
步骤S101，来源自不同场景的点云模型。采用光学设备获取点云模型时，根据光的直线传播特性，单次测量时只能获得物体的单向局部视角数据。在测量大尺寸场景或形态复杂的模型时，为获取被测物体的全向模型数据，必须从多个视角进行多次测量和拼接融合，从源头降低采样不均、噪声杂点、数据缺失等问题。采用非光学设备获取点云模型时，如：CT、MRI，为获取准确的三维数据集，需对影像数据进行去噪、特征增强，以降低噪声，准确提取有效信息。
步骤S102，对输入的数据进行异常数据识别、法矢量计算和一致性调整。点云数据通常是由多个局部具有一定特征的子空间结构组成，重现这些子空间能准确的区分正常和异常数据。
Figure BDA0001975495370000071
表示真实场景的物体，
Figure BDA0001975495370000072
表示物体边界，
Figure BDA0001975495370000073
为对
Figure BDA0001975495370000074
进行采集到的散乱数据点集合，
Figure BDA0001975495370000075
为点p在点集P中的K临近集合。构建点云的无向图G(V,E)，V＝P，E为由P顶点对构成的边集。
数据pi,pj的相似度度量函数可表示为k(pi,pj)，pi,pj隶属同一子空间时度量函数应取较大值，反之较小，qpi,qpj为pi,pj对应的映射属性值。对点云异常数据的分析可转化为对以下目标函数求解结果的分析：
Figure BDA0001975495370000081
通过推导，在本发明实施例中，将异常数据的识别问题转化为LX＝λX的特征值、特征向量计算问题。通过考察特征值、特征向量之间的关系，设计相应的判断，准则自动识别异常数据。
对存在噪声的点云法向矢量，用通过提取局部邻域所蕴含的最大内在曲面数据，并将其投影曲面空间从而估算出点云的准确法向矢量，并设计点云数据保持特征的法向矢量调整算法。
调整函数设计准则是法矢量偏差较大的邻域数据影响权重应较小，而偏差较小的邻域数据则具有较大影响。基于数据局部最优的聚类子空间，可构建相似函数来衡量法向之间的相似度，据此设计数据点云法矢的一致性调整算法。
步骤S103，对点云进行视觉感知特性的广义几何图元区域分割。点云模型对应的场景通常是由多个物体组成，物体与物体之间、物体自身不同部位之间通常在视觉或空间位置上会具有明显的分界。
将复杂的场景根据局部区域的特征划分为由多个基本的“块”或“片”对应的广义几何图元组合体，把点云整体模型的重建问题统一转化为对广义几何图元的重建。
基于“先提取分支区域，再切片剩余区域”的点云分割思路，提取模型的以2D曲面或1D曲线呈现的低维度内在特征信息，作为视觉感知分割的基础依据，实现分支区域点云对应的“块”体分割方法；针对分支区域提取后的点云，根据对模型的仔细观察分析，对取出分支区域后剩下的形态复杂区域或结构化明显的点云采用基于“片体”的划分更为合理。基于视觉投影映射的可视区域采集方法，将对三维点云的分析降维到对二维深度图的分析，基于顶点与法矢量内在一致统一的分割算法，实现对形态复杂区域具有局部视觉感知的“片”状分割。从而最终实现点云具有视觉感知特性的区域分割。
根据骨架点在其对应法向n所在直线上的特性，设计面向开放、噪声曲面点云的近似骨架点求解算法。
Figure BDA0001975495370000091
为点云
Figure BDA0001975495370000092
对应的骨架。(p,q)对应的最大内切球
Figure BDA0001975495370000093
球心cp＝q＝p-ρpnp，
Figure BDA0001975495370000094
为Bp与
Figure BDA00019754953700000912
的切点，θp为球心到两切点的张角，半径
Figure BDA0001975495370000095
骨架点的求解可转化为迭代计算
Figure BDA0001975495370000096
是否为1的问题。在具体实施中，蕴含顶点位置、半径信息等的相似度度量函数可表示为k(Bpi,Bpj)＝f1(||pi-pj||)f2(|ρi-ρj|)，采用异常数据识别的最优化目标函数，依据局部形态的几何信息重新计算准确的数据信息。
骨架点可表示为
Figure BDA0001975495370000097
从中提取出对应的1D结构骨架中心曲线表示为
Figure BDA0001975495370000098
骨架中心曲线的提取转化为求解类似AX＝BQ方程，A为严格对角占优矩阵。对求解得出的结果采用基于MLS的移动最小二乘曲线拟合和基于主成分分析投影的方法得到最终的骨架中心曲线，对应曲线的分支为
Figure BDA0001975495370000099
采用骨架中心曲线并结合扫掠判断准则，提取得到视觉感知明显的“最小”化分支区域。扫掠依据的判断准则可设计为：
Figure BDA00019754953700000910
g(θi|Θ)越大，θi越优，当g(θi|Θ)小于给定阈值时延分支的扫掠停止。骨架曲线分支的垂直平面表示为π⊥，θ作为垂直平面π⊥的临近区域，
Figure BDA00019754953700000911
为前后相邻的K个临近区域提取结果，核函数f(x)计算θi临近之间的相似度。
模拟光学方法获取的物体表面数据，是从多个视角观察到的数据拼接融合而得的原理，点云数据可采用基于视觉投影映射的方法实现可视区域的反向提取分割，并降维映射到二维的图像空间，实现对形态复杂的点云区域进行基于网格的更为有效的分析。
骨架点对应内切球Bp的并集
Figure BDA0001975495370000101
能准确的对模型Ω进行基于体方式的描述，因此点p的可见性即转化成其是否落在球
Figure BDA0001975495370000102
的可见范围内，从而可采用深度图映射的方式实现对视场可见区域点云的提取。
构建单位球在与视平面平行的H×H的正方形栅格化板上的深度值映射函数T(u,v)，T(u,v)为单位球在
Figure BDA0001975495370000103
位置对应的深度值。对所有
Figure BDA0001975495370000104
进行栅格化映射后即可得到模型对应视场方向上的深度图矩阵D，点p的可见性由其深度值可以直接计算。从视场L*方向上提取的可见点云为PV，根据D与PV之间的对应关系，对D中对应像素点进行平面网格化即可得到PV对应的空间网格MV。对整个点云模型从多个不同视场方向进行基于深度图映射的分割，最终得到对整个点云模型的具有视觉感知的分割结果。
步骤S104，对分割后的点云广义几何图元进行基于场景的自学习理解和缺失区域自动修复。场景的自学习理解是对分割结果之间的几何形态和物理位置关系进行明确的标志、归类，提取分割结果中具有相近形态的几何体。对于形态相近的物体根据具有相同特征类型的区域其映射值也相近的分析结果，转化为基于模板匹配的图像修复算法实现自动修复。对于具有明分支区域的缺失，采用截面扫掠的方式自动实现修复；对于CAD等结构化点云可以采用基本图元逻辑运算的方式进行自动修复。
对点云模型P进行分割结果可表示为：
Figure BDA0001975495370000105
χi为分割出的具有基本“块”、“片”状的简单形态点云区域，设计自学习函数，根据其拓扑、几何形态特征，物理空间中的临近关系，将这些简单的“块”、“片”进行归类、组合，实现对场景的理解。
分类函数可以采用以下的设计方式：
Figure BDA0001975495370000111
为分类标志向量，Yi是χi对应的分类标志。
Figure BDA0001975495370000112
K表示共有K个分类标准，
Figure BDA0001975495370000113
表示χi是否属于第k个分类的概率，fW(X,Y)反映了所有分割结果之间的最大相似度。构建分块X的无向图G(V,E)，V＝{1,…,N}，
Figure BDA00019754953700001110
χi对应的用以作为分类依据的特征向量映射为φn(χi)，
Figure BDA0001975495370000114
为分类权重。φr(χi,χj)为度量两个分块之间相似度关系的特征向量，表明其是否隶属于同一个或同一类物体，对应权重
Figure BDA0001975495370000115
度量两分类之间的依赖关系。X的分类结果
Figure BDA0001975495370000116
可通过具有带有权重向量W的判别函数fW(X,Y)求解：
Figure BDA0001975495370000117
Figure BDA0001975495370000118
ΓO为由基本“块”、“片”经分类后组成的某一物体，Γ为对应物体的集合。φn(χi)可根据工业模型、CAD模型、建筑模型、有机体等不同子模型所对应的特征进行设计。如：针对CAD模型φn(χi)可由用以反映基本几何图元的平面、球、圆柱、圆锥、圆环对应参数组成，复杂形态的雕塑模型可用反映分割区域几何形态的主成分分析对应的特征值、特征向量等信息组成。
步骤S105，对进行场景理解和自动修复后的分割点云进行视觉超球面二元映射的拟计算几何点云曲面重建。视觉超球面点云映射是根据近距看细节(大眼睛细看小物体)、远距看轮廓(小眼睛粗看大物体)的特性，当眼睛相对于物体无穷大时可清晰观测到物体上的极细微特征，以半径R远大于被观测物体尺寸的球体代替眼睛，并对倒立成像进行翻转，得到可见视角区域超球面映射翻转的基本原理。以R表示映射半径，C为观察点，超球面映射函数fP(R,C)可设计为：
Figure BDA0001975495370000119
经上述公式计算后，点云模型可见区域映射为接近于球面的超薄球壳内(球壳厚度δ<<R，简称超球面)、非可见点云映射为球面内。
因可见区域的源点云与映射后的超球面点云拓扑同胚，因此由映射后点云所构建的凸包表面网格即可得到可见区域源点云对应的三角网格表达，可将超球面映射的用以实现对空间点云的分割和网格重建上。
正反二元分割是根据人类观察简单物体时，从正反二元视角对物体进行两次观察，基本上能看到物体的全貌，以此为基础实现对模型点云数据的二元分割。利用超球面点云映射凸包与局部视角可见点云重建之间的一致性关系和映射准确性约束条件，对正、反二元视角的凸包重建网格进行反映射、融合后即可实现对应图元点云的整体网格重建模型。
可先构建面向基于GPU+CPU的八叉树数据分块和kdtree邻域搜索数据结构，在对点云进行数据处理、分割、自学习归类的基础上，对分割结果中
Figure BDA0001975495370000121
的每一个简单广义几何图元χi采用基于二元视角映射的重建，并对图元之间进行融合，即能实现对整个物体的细粒度几何重建。
步骤S106，对应为重建后对应的点云网格模型。参数选择合理时，重建结果遵循ρ-ε重建准则。
上述方法针对来源自不同场景的点云数据，依据点云模型自身内部组成结构的特性，设计具有视觉感知特性的点云模型分割方法，将复杂场景模型的重建问题进行降维；以分割结果作为基本单元构建模型场景理解的自学习架构，实现对缺失区域依据场景分类的自动修复；模拟和抽象视觉成像原理，实现遵循ρ-ε重建准则、不依赖于采样密度的网格重建算法。
如图2所示，本发明还公开了一种场景理解的网格曲面重建系统，包括：数据输入单元201，数据处理单元202，曲面重建单元207，点云网格模型输出单元210。其中，数据处理单元包括：点云预处理单元203、点云分割单元204、点云修复单元205；曲面重建单元207包括：超球面映射单元208、二元分割重建单元209。
数据输入单元201，用于读取并解析来自不同场景、不同类型的点云三维数据集。数据处理单元202，用于对点云进行具有视觉感知特性的分割，以及对局部数据缺失域区进行基于场景理解的自动修复。点云预处理单元203，用于对点云的异常数据识别、去除，计算获取朝向一致的点云法矢量。点云分割单元204，用于对点云模型进行基于“块体”、“片体”的分割，从而得到用以重建的广义几何图元集合数据集。点云修复单元205，用于广义几何图元进行场景自学习理解的局部缺失数据的自动修复。预处理后的点云数据单元206，用于作为曲面重建单元207的输入数据。曲面重建单元207，用于对经由数据处理单元输出的数据进行基于“超球面映射的正、反视角二元分割重建算法”网格曲面重建。
超球面映射单元208，用于将点云局部视角可见区域的重建转化为超球面映射点云的凸包求解。二元分割重建单元209，用于实现对广义几何图元的基于正、反二元视角的凸包重建。点云网格模型输出单元210，用于输出重建后的网格模型。数据输入单元201，所接受的数据格式包括：asc、vtx、pcd、pts等，来源包括：光学(结构光、激光、LIDAR等)、非光学扫描仪(CT、MRI)。输入的数据通常具有数据量大(包含的顶点多以千万、亿计数)、存在噪声和异常数据的特点，因此通常需要通过数据处理单元202进行处理。
数据处理的主要操作步骤为点云预处理、点云分割、点云修复，分别对应为所述的203、204、205单元。其中所述203、205操作单元可选。例如：若输入的点云数据是经由其他软件或工具已经进行处理过的，包括：异常数据去除、法矢量计算调整、缺失区域修复，则所述203、205单元操作可省略。特殊情况下，若输入的点云数据是简单的基本几何图元，则所述204单元可省略。
在具体实施中，所述点云预处理单元203，首先对异常数据进行识别去除，然后进行法矢量计算，最后进行一致性调整。
在具体实施中，采用最优化目标函数：
Figure BDA0001975495370000131
将异常数据的识别问题转化为LX＝λX的特征值、特征向量计算问题。通过考察特征值、特征向量之间的关系，准确自动识别异常数据。其中，k(pi,pj)为数据pi,pj的相似度度量函数，qpi,qpj为pi,pj对应的映射属性值。
为降低噪声对法矢量计算的影响，采用提取局部邻域所蕴含的最大内在曲面的方法提高法矢量计算的准确度，构建法矢量相似度函数，进行法向量一致性调整。
当对点云进行噪声去除、法向信息计算后，利用所述点云分割单元204对点云进行广义几何图元分割。
对分支明显的“块”状区域优先提取分割，然后对剩余区域切“片”提取分割。“块”体分割依赖于以2D曲面或1D曲线表示的低维度内在特征信息，“片”状分割依赖于将三维点云降维后的二维深度图。
采用骨架中心曲线并结合扫掠判断准则的方式，提取分割视觉感知明显的最小化“块”体分支区域。骨架中心曲线对应骨架点的求解可转化为迭代计算
Figure BDA0001975495370000141
是否为1的问题。其中，θp为最大内切球球心到两切点的张角，ρp为半径。
在具体实施中，扫掠依据的判断函数为：
Figure BDA0001975495370000142
其中，θ作为垂直平面π⊥的临近区域，
Figure BDA0001975495370000143
为K个临近区域提取结果。当g(θi|Θ)小于给定阈值时延分支的扫掠停止。
采用深度图映射的方式实现对视场可见区域点云的“片”状提取。整个点云模型从多个不同视场方向进行基于深度图映射的分割，最终得到对整个点云模型的具有视觉感知的分割结果。在分割时，视场方向通常为正反视角成对出现，以降低分割后的“片”数。
所述点云修复理单元205，对分割后的点云
Figure BDA0001975495370000144
首先对χi进行基于场景理解进行分类，然后对χi的局部缺失区域进行基于场景理解的自动修复。其中，χi为广义几何图元。
分类函数采用：
Figure BDA0001975495370000145
其中，
Figure BDA0001975495370000146
为分类标志向量，Yi是χi对应的分类标志。根据分类结果，针对局部缺失区域分别采用基于模板匹配的图像修复算法、截面扫掠的算法、基本图元逻辑运算的算法进行自动修复。经由数据处理单元202(包含可选操作单元：203、204、205)操作处理后的输出数据对应于206单元，已包含模型必要的几何信息，如：法矢量，并且局部缺失后的数据经修复后已趋于完整，以实现准确的模型重建。
所述预处理后的点云数据单元206，作为曲面重建单元207的输入数据。所述曲面重建单元207，首先采用可见视角区域超球面映射翻转的基本原理对可见区域点云进行映射，依据可见区域的源点云与映射后的超球面点云拓扑同胚，实现对局部视角网格的重建；然后对正、反二元视角经超球面映射后的重建网格进行融合，实现对应广义图元点云的整体网格重建模型；最后对分割结果中
Figure BDA0001975495370000151
的每一个简单广义几何图元χi采用基于二元视角映射的重建，并对图元之间进行融合，实现对整个点云模型曲面重建。超球面映射函数fP(R,C)采用：
Figure BDA0001975495370000152
其中，R表示映射半径，C为观察点。R在对大量模型进行重建后，依据经验，可推算出一个最优值。
正反二元视角分割时，视角选择的原则为局部可见点云包含顶点个数最多为优选方向。广义几何图元内部的融合，图元间的融合，可统一进行处理。
在具体实施中，为使系统具有较好的效率、实时性，数据结构设计时采用基于GPU+CPU的八叉树、kdtree的混合数据结构。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (5)

1.一种场景理解的网格曲面重建方法，其特征在于，步骤如下：
步骤一、采用光学或非光学设备获取点云模型，并输入来源自不同场景的点云模型；
步骤二、对输入的数据进行异常数据识别、法矢量计算和一致性调整；
步骤三、对点云进行视觉感知特性的广义几何图元区域分割；所述的步骤三具体为：
3.1，将复杂的场景根据局部区域的特征划分为由多个基本的“块”或“片”对应的广义几何图元组合体，把点云整体模型的重建问题统一转化为对广义几何图元的重建；
3.2，基于“先提取分支区域，再切片剩余区域”的点云分割思路，提取模型的以2D曲面或1D曲线呈现的低维度内在特征信息，作为视觉感知分割的基础依据；
3.3，基于视觉投影映射的可视区域采集方法，将对三维点云的分析降维到对二维深度图的分析，基于顶点与法矢量内在一致统一的分割算法，实现对形态复杂区域具有局部视觉感知的“片”状分割，从而最终实现点云具有视觉感知特性的区域分割；
3.4，根据骨架点在其对应法向n所在直线上的特性，设计面向开放、噪声曲面点云的近似骨架点求解算法：
Figure FDA0003976045640000011
为点云
Figure FDA0003976045640000012
对应的骨架；(p,q)对应的最大内切球
Figure FDA0003976045640000013
球心cp＝q＝p-ρpnp，
Figure FDA0003976045640000014
为Bp与
Figure FDA0003976045640000015
的切点，θp为球心到两切点的张角，半径
Figure FDA0003976045640000016
骨架点的求解可转化为迭代计算
Figure FDA0003976045640000017
是否为1的问题；
蕴含顶点位置、半径信息等的相似度度量函数可表示为k(Bpi,Bpj)＝f1(||pi-pj||)f2(|ρi-ρj|)，采用异常数据识别的最优化目标函数，依据局部形态的几何信息重新计算准确的数据信息；
骨架点可表示为
Figure FDA0003976045640000021
从中提取出对应的1D结构骨架中心曲线表示为
Figure FDA0003976045640000022
骨架中心曲线的提取转化为求解类似AX＝BQ方程，A为严格对角占优矩阵；
3.5，对求解得出的结果采用基于MLS的移动最小二乘曲线拟合和基于主成分分析投影的方法得到最终的骨架中心曲线，对应曲线的分支为
Figure FDA0003976045640000023
采用骨架中心曲线并结合扫掠判断准则，提取得到视觉感知明显的“最小”化分支区域，扫掠依据的判断准则可设计为：
Figure FDA0003976045640000024
g(θi|Θ)越大，θi越优，当g(θi|Θ)小于给定阈值时延分支的扫掠停止；
骨架曲线分支的垂直平面表示为π⊥，θ作为垂直平面π⊥的临近区域，
Figure FDA0003976045640000025
为前后相邻的K个临近区域提取结果，核函数f(x)计算θi临近之间的相似度；
骨架点对应内切球Bp的并集
Figure FDA0003976045640000026
能准确的对模型Ω进行基于体方式的描述，因此点p的可见性即转化成其是否落在球
Figure FDA0003976045640000027
的可见范围内，从而采用深度图映射的方式实现对视场可见区域点云的提取；
3.6，构建单位球在与视平面平行的H×H的正方形栅格化板上的深度值映射函数T(u,v)，T(u,v)为单位球在
Figure FDA0003976045640000028
位置对应的深度值；对所有
Figure FDA0003976045640000029
进行栅格化映射后即可得到模型对应视场方向上的深度图矩阵D，点p的可见性由其深度值可以直接计算；从视场L*方向上提取的可见点云为PV，根据D与PV之间的对应关系，对D中对应像素点进行平面网格化即可得到PV对应的空间网格MV；对整个点云模型从多个不同视场方向进行基于深度图映射的分割，最终得到对整个点云模型的具有视觉感知的分割结果；
步骤四、对分割后的点云广义几何图元进行基于场景的自学习理解和缺失区域自动修复；
步骤五、对进行场景理解和自动修复后的分割点云进行视觉超球面二元映射的拟计算几何点云曲面重建；
步骤六、对应为重建后的点云网格模型，重建结果遵循ρ-ε重建准则。
2.根据权利要求1所述的一种场景理解的网格曲面重建方法，其特征在于，所述的步骤二具体为：
2.1，设定
Figure FDA0003976045640000037
表示真实场景的物体，
Figure FDA0003976045640000031
表示物体边界，
Figure FDA0003976045640000032
为对
Figure FDA0003976045640000033
进行采集到的散乱数据点集合，
Figure FDA0003976045640000034
为点p在点集P中的K临近集合，构建点云的无向图G(V,E)，V＝P，E为由P顶点对构成的边集；数据pi,pj的相似度度量函数可表示为k(pi,pj)，pi,pj隶属同一子空间时度量函数应取较大值，反之较小，qpi,qpj为pi,pj对应的映射属性值；
2.2，对点云异常数据的分析可转化为对以下目标函数求解结果的分析：
Figure FDA0003976045640000035
将异常数据的识别问题转化为LX＝λX的特征值、特征向量计算问题；
2.3，对存在噪声的点云法向矢量，用通过提取局部邻域所蕴含的最大内在曲面数据，并将其投影曲面空间从而估算出点云的准确法向矢量，并设计点云数据保持特征的法向矢量调整算法；
2.4，基于数据局部最优的聚类子空间，构建相似函数来衡量法向之间的相似度，据此设计数据点云法矢的一致性调整算法。
3.根据权利要求1所述的一种场景理解的网格曲面重建方法，其特征在于，所述的步骤四具体为对点云模型P进行分割结果表示为：
Figure FDA0003976045640000036
χi为分割出的具有基本“块”、“片”状的简单形态点云区域，设计自学习函数，根据其拓扑、几何形态特征，物理空间中的临近关系，将这些简单的“块”、“片”进行归类、组合，实现对场景的理解。
4.根据权利要求3所述的一种场景理解的网格曲面重建方法，其特征在于，所述的步骤四具体如下：
4.1，分类函数采用以下的设计方式：
Figure FDA0003976045640000041
为分类标志向量，Yi是χi对应的分类标志；
Figure FDA0003976045640000042
K表示共有K个分类标准，
Figure FDA0003976045640000043
表示χi是否属于第k个分类的概率，fW(X,Y)反映了所有分割结果之间的最大相似度；
4.2，构建分块X的无向图G(V,E)，
Figure FDA0003976045640000044
χi对应的用以作为分类依据的特征向量映射为φn(χi)，
Figure FDA0003976045640000045
为分类权重；φr(χi,χj)为度量两个分块之间相似度关系的特征向量，表明其是否隶属于同一个或同一类物体，对应权重
Figure FDA0003976045640000046
度量两分类之间的依赖关系；X的分类结果
Figure FDA0003976045640000047
通过具有带有权重向量W的判别函数fW(X,Y)求解：
Figure FDA0003976045640000048
Figure FDA0003976045640000049
ΓO为由基本“块”、“片”经分类后组成的某一物体，Γ为对应物体的集合。
5.根据权利要求1所述的一种场景理解的网格曲面重建方法，其特征在于，所述的步骤五具体为：
5.1，基于视觉超球面点云映射的基本原理，以R表示映射半径，C为观察点，超球面映射函数fP(R,C)可设计为：
Figure FDA00039760456400000410
经计算后，点云模型可见区域映射为接近于球面的超薄球壳内、非可见点云映射为球面内；因可见区域的源点云与映射后的超球面点云拓扑同胚，因此由映射后点云所构建的凸包表面网格即可得到可见区域源点云对应的三角网格表达，可将超球面映射的用以实现对空间点云的分割和网格重建上；
5.2，以正反二元分割为基础实现对模型点云数据的二元分割；利用超球面点云映射凸包与局部视角可见点云重建之间的一致性关系和映射准确性约束条件，对正、反二元视角的凸包重建网格进行反映射、融合后即可实现对应图元点云的整体网格重建模型；在对点云进行数据处理、分割、自学习归类的基础上，对分割结果中
Figure FDA0003976045640000051
的每一个简单广义几何图元χi采用基于二元视角映射的重建，并对图元之间进行融合，即能实现对整个物体的细粒度几何重建。
CN201910131518.1A 2019-02-22 2019-02-22 一种场景理解的网格曲面重建方法 Active CN110009743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910131518.1A CN110009743B (zh) 2019-02-22 2019-02-22 一种场景理解的网格曲面重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910131518.1A CN110009743B (zh) 2019-02-22 2019-02-22 一种场景理解的网格曲面重建方法

Publications (2)

Publication Number Publication Date
CN110009743A CN110009743A (zh) 2019-07-12
CN110009743B true CN110009743B (zh) 2023-04-04

Family

ID=67165934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910131518.1A Active CN110009743B (zh) 2019-02-22 2019-02-22 一种场景理解的网格曲面重建方法

Country Status (1)

Country Link
CN (1) CN110009743B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624994B1 (ko) * 2019-09-30 2024-01-12 지티이 코포레이션 포인트 클라우드 데이터를 위한 파일 형식
CN110705096B (zh) * 2019-09-30 2023-06-02 南京丰恒嘉乐电子科技有限公司 一种适配高尔夫模拟软件球场测量建模系统及其使用方法
CN110660132A (zh) * 2019-10-11 2020-01-07 杨再毅 一种三维模型构建方法及其装置
CN111539361B (zh) * 2020-04-28 2023-09-05 北京小马慧行科技有限公司 噪点的识别方法、装置、存储介质、处理器和运载工具
CN111968089B (zh) * 2020-08-15 2024-06-21 晋江市博感电子科技有限公司 一种基于最大内切球机制的l1中值骨架提取方法
CN114549675A (zh) * 2020-11-25 2022-05-27 天津工业大学 一种基于断层医学图像的骨骼模型重建方法
CN112634149B (zh) * 2020-12-10 2022-11-11 浙江大学 一种基于图卷积网络的点云去噪方法
CN112686916B (zh) * 2020-12-28 2024-04-05 淮阴工学院 一种基于异质多区域ct扫描数据处理的曲面重建系统
CN112686909B (zh) * 2020-12-28 2024-04-19 淮阴工学院 基于异质多区域ct扫描数据处理的多相隐式曲面重建方法
US11972524B2 (en) 2021-03-30 2024-04-30 Hcl Technologies Limited Method and system for generating tightest revolve envelope for computer-aided design (CAD) model
CN114330597B (zh) * 2022-01-14 2022-08-19 阿里巴巴达摩院(杭州)科技有限公司 用户聚类方法、数据聚类方法、装置、电子设备
CN115937461B (zh) * 2022-11-16 2023-09-05 泰瑞数创科技(北京)股份有限公司 多源融合模型构建及纹理生成方法、装置、介质及设备
CN116385698B (zh) * 2023-05-25 2023-09-08 腾讯科技（深圳）有限公司 网格重建模型的训练方法、网格重建方法及装置
CN116681768A (zh) * 2023-08-04 2023-09-01 南京航空航天大学 一种基于零件实体与模型分析的加工特征识别定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749079A (zh) * 2017-09-25 2018-03-02 北京航空航天大学 一种面向无人机扫描重建的点云质量评价和无人机轨迹规划方法
CN108520550A (zh) * 2018-04-10 2018-09-11 南京信息工程大学 基于噪声分类与mls的点云数据泊松曲面重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749079A (zh) * 2017-09-25 2018-03-02 北京航空航天大学 一种面向无人机扫描重建的点云质量评价和无人机轨迹规划方法
CN108520550A (zh) * 2018-04-10 2018-09-11 南京信息工程大学 基于噪声分类与mls的点云数据泊松曲面重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向船体外板加工成型过程的三维点云重建技术研究与实现;孙志敬;《中国优秀硕士论文全文数据库（电子期刊）》;20141015;第1-53页 *

Also Published As

Publication number Publication date
CN110009743A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110009743B (zh) 一种场景理解的网格曲面重建方法
CN110009671B (zh) 一种场景理解的网格曲面重建系统
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
Poullis A framework for automatic modeling from point cloud data
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
CN111414923B (zh) 基于单幅rgb图像的室内场景三维重建方法及系统
CN107545602B (zh) 基于LiDAR点云的空间拓扑关系约束下的建筑物建模方法
CN109615581B (zh) 一种融合扩展高斯球和颜色几何特征的三维碎片的拼接复原方法
CN101853525B (zh) 基于网格分割的带纹理模型细节保持简化方法
CN109191510B (zh) 一种病理切片的3d重建方法及其装置
CN112164145B (zh) 基于点云数据快速提取室内三维线段结构的方法
Pound et al. A patch-based approach to 3D plant shoot phenotyping
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN103714574A (zh) 一种基于gpu加速的海中场景建模与实时交互绘制方法
CN111783798A (zh) 基于显著性特征的模拟残缺点云的遮罩生成方法
Hu et al. Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization
CN113593037A (zh) 一种德劳内三角化表面重建模型的建立方法及其应用
Ge et al. 3D Reconstruction of Ancient Buildings Using UAV Images and Neural Radiation Field with Depth Supervision
Lei et al. Automatic identification of street trees with improved RandLA-Net and accurate calculation of shading area with density-based iterative α-shape
Pound et al. Surface reconstruction of plant shoots from multiple views
Wan et al. Plot-level wood-leaf separation of trees using terrestrial LiDAR data based on a seg‐mentwise geometric feature classification method
Bénière et al. Recovering primitives in 3D CAD meshes
Sahebdivani et al. Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings
CN113902887A (zh) 三维可视边生成方法、系统、计算机及可读存储介质
CN110009744A (zh) 一种视觉映射的点云重建方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant