CN109544681A - 一种基于点云的果实三维数字化方法 - Google Patents

一种基于点云的果实三维数字化方法 Download PDF

Info

Publication number
CN109544681A
CN109544681A CN201811419634.5A CN201811419634A CN109544681A CN 109544681 A CN109544681 A CN 109544681A CN 201811419634 A CN201811419634 A CN 201811419634A CN 109544681 A CN109544681 A CN 109544681A
Authority
CN
China
Prior art keywords
fruit
point
cloud
point cloud
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811419634.5A
Other languages
English (en)
Other versions
CN109544681B (zh
Inventor
杨会君
王志垚
谢君琳
马善鹏
王瑞萍
王昕�
王竟宇
马明跃
张鹏丹
韩旭
沐华艳
毛丰
钟健鹏
姜志鹏
江旭
宋宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Northwest A&F University
Original Assignee
Anhui University
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University, Northwest A&F University filed Critical Anhui University
Priority to CN201811419634.5A priority Critical patent/CN109544681B/zh
Publication of CN109544681A publication Critical patent/CN109544681A/zh
Application granted granted Critical
Publication of CN109544681B publication Critical patent/CN109544681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点云的果实三维数字化方法，包括如下步骤：1)采用便携式激光三维扫描仪获取果实点云数据；2)采用非局部分类，交互式阈值去噪并抽取；3)采用point‑octree，MLS拟合简化果实点模型；4)通过PCA属性计算，几何相似性递归增量抽取点云模型果实片；5)通过oriented‑splat成队配准和层次全局配准将果实点云模型配准；6)通过基于texton子采样的加权模板进行果实点云的纹理合成。该方法对生长中的真实果实进行三维重建，提出了适合果实点云特征的去噪、抽取、配准、直接纹理合成等方法和算法，弥补了当前点模型上直接合成纹理研究存在效果粗糙、编码效率低、存储空间大等不足。

Description

一种基于点云的果实三维数字化方法
技术领域
本发明属于三维数字化方法技术领域，具体涉及一种基于点云的果实三维数字化方法。
技术背景
三维数字化是通过人工获取物品的外形数据，将获得的数据信息进行加工拼接，通过建模的方式加以整理，将各个孤立的单视角三维数字模型无缝集成，经过贴图、渲染处理以后，形成三维数据文件。这其中建模是非常重要的一步，尤其是在面对这种大规模需要模型的三维数据，没有一个强大的团队很难实现。三维是将采集和经过运算分析后对数据的展示、表现。三维数据比二维数据更全面体现客观实际。三维数字模型与二维数字模型类似，都要具备最基本的空间数据处理能力，如数据获取、数据操纵、数据组织、数据分析和数据表现等。相比于二维数字模型，三维数据模型具有更多优势，目前在制造来领域已经广泛推广应用。但是，目前基于果实三维数字化方法还是从杂乱背景点云中提取3D水果形状，其计算量大、效率低、结果不准确。
发明内容
针对上述现技术中存在的问题与缺陷，本发明的目的在于提供一种计算量小、效率高、结果准确的基于点云的果实三维数字化方法。
实现上述发明目的所采用的技术方案是：一种基于点云的果实三维数字化方法，包括如下步骤：
步骤1：采用便携式激光三维扫描仪获取果实点云数据；
步骤2：采用非局部分类，交互式阈值去噪并抽取；
步骤3：采用point-octree，MLS拟合简化果实点模型；
步骤4：通过PCA属性计算，几何相似性递归增量(GSA)抽取点云模型果实片；
步骤5：通过oriented-splat成队配准和层次全局配准将果实点云模型配准；
步骤6：通过基于texton子采样的加权模板进行果实点云的纹理合成。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，步骤1中用便携式激光三维扫描仪获取果实点云数据的具体实现为：
步骤1.1：选择数据获取可行、能体现果实外观共性特征的苹果和梨2种果实样本作为获取点云数据的对象。
步骤1.2：采用便携式激光三维扫描仪通过摄影镜头微动、三维图像反求软件精确的计算出物体表面每一点的空间坐标(X,Y,Z)，并生成三维的(R,G,B)的彩色数据。
进一步，步骤2中采用非局部分类，交互式阈值去噪并抽取果实形状的具体实现为：
步骤2.1：将步骤1中扫描得到的果实模型点云片根据其表面特征分为2类，果实的蒂部周围表面和侧面点云片；
步骤2.2：对第一类点运片先采用全局相似性度量，再用最小包围球方法对局部丰富的细节进行去噪；
步骤2.3：对第二类先基于邻域内相似点的加权平均对离群点进行分类，再用mean-shift迭代将每一个采样点漂移到密度函数的局部最大值点进行去噪。
采用上述进一步方案的有益效果：快速、准确地从杂乱背景中抽取果实外形，避免了处理叶子和树干，使被处理的splats数量最小化。
进一步，步骤3中利用point-octree，MLS拟合简化果实点模型的具体实现为：
步骤3.1：通过点八叉树对去噪后的点集C进行分割
步骤3.1.1：寻找能封装非规则点云集合C的完整数据空间的一个闭包
步骤3.1.2：每个含数据的中间结点都被递归地分割为8个非空的、不交叉的、紧支的子空间。
步骤3.1.3：用扫描仪采集到空间坐标位置每个点pj，k计算法向量、质心
步骤3.1.4：利用每个结点的紧支包围球属性设计一个自上而下的递归算法进行自适应八叉树分割
步骤3.2：将点云转换为splat表示，采用移动最小二乘(MLS)代替传统的圆或者椭圆拟合splat
步骤3.2.1：将每个八叉树的叶子节点转换为一个splat.
步骤3.2.3：通过在对splat中所有的点做加权最小二乘，拟合一个局部二元多项式逼近。
进一步，步骤4中通过PCA属性计算，几何相似性递归增量(GSA)抽取点云模型果实片的具体实现为：
步骤4.1：在球面上基于最小二乘最小化的加权平均计算每个splat平均法向量。
步骤4.2：用平均法向量为圆心的单位球的平面切线计算法向量的二维协方差矩阵。
步骤4.3：基于几何相似性的增量算法(GSA)递归地从树叶、枝干等背景中抽取感兴趣的水果集合。
步骤4.3.1：首先将八叉树的所有叶子节点{pj}初始化为flagj＝0。
步骤4.3.2：从中选择一个特定的叶子节点Pk作为种子点，同时将Pk添加到Oct(spalt)形成一个新的Oct(spalt)，并将Pk推入栈S中。
采用上述进一步方案的有益结果：为了优化成对配准中的刚性变换问题，采用基于两个坐标系之间齐次变换的思想，提出了以oriented-splat作为新的特征描述子的最优变换算法，仅需1对同名点和5个参数决定最优变换。
进一步，步骤5中通过oriented-splat成对配准和层次全局配准将果实点云模型配准的具体实现为：
步骤5.1：成对配准拟采用基于点云多特征的逐步收缩过程搜索同名点对。
步骤5.2：采用误差矩阵度量法对配准误差进行度量，
步骤5.3：最后用采样法对误差进行验证；
步骤5.4：全局配准以成对配准方法为基础，拟设计自下而上的层次全局策略，将累计误差分散至最小，最后设计累计误差度量法对全局累计误差进行度量。
采用上述进一步方案的有益结果：针对现有全局配准策略在累计误差扩散和计算性能方面的不足，提出了一种自下而上层次全局配准策略和基于修正的累计误差度量方法，通过利用最小二叉树使全局配准层次化、同时化。为了有效提高成对配准速度和准确性，利用基于特征描述子和最优变换的优势，提出了两步同名splats快速逐级搜索算法FDSC，用于减小配准误差的双重误差度量方法。
进一步，步骤6中通过基于texton的果实点云纹理合成具体实现为：
步骤6.1：利用点云的分割位置对图像进行分割以生成与点云对应的texton，并选取合适的描述子刻画texton属性；
步骤6.2：采用Z排序空间填充曲线对textons进行线性编码以提高访问效率，并设计多粒度morton码对textons进行索引；
步骤6.3：最后通过“变换颜色空间—二次分割—子采样—重叠加权模板”过程计算每个texton的属性。
采用上述进一步方案的有益效果：提出了点四叉树的简化纹理图像分割方法；基于Z一Order的多粒度自适应morton编码方案；基于人眼色度的二级纹理基元的子采样和重叠加权模板计算每个texton属性的算法。
与现有技术相比较，本发明具有以下有益效果：
本发明提出了能够保留丰富细节、自上而下的点云简化和抽取算法，快速、准确从杂乱背景中抽取果实外形的递归增量算法，并使点云数据得到了简化。提出了以方向-splat作为新的特征描述子的最优变换算法，优化成对配准中的仿射变换问题。提出了同名splats逐级搜索算法FDSC、减小配准误差的双重误差度量方法，有效提高成对配准速度和准确性。提出了一种自下而上层次全局配准策略和基于修正的累计误差度量方法，利用最小二叉树使配准层次化，弥补现有全局配准策略在累计误差扩散和计算性能方面的不足。提出了简化纹理图像分割方法，弥补了当前点模型上直接合成纹理研究存在效果粗糙、编码效率低、存储空间大等不足。
附图说明
图1基于点云的果实三维数字化方法的技术线路图；
图2果实点云去噪流程图；
图3果实形状抽取算法流程图；
图4八叉树分割结构图；
图5结点包围球的质心和半径聚集结构图；
图6方向n和点pj，i(i＝1...m)的MLS投影寻求参考平面图；
图7果实splats集合抽取过程流程图；
图8 L1，L2和Lg相对位置及相互间的两步三维变换曲线图；
图9位于Lg坐标系下的2个Pj1和Pi2之间的变换曲线图；
图10 n个扫描片全局配准二叉树结构图；
图11的加权模板。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，基于点云的果实三维数字化方法，包括如下步骤：
步骤1：利用PCP-400三维扫描仪进行果实点云数据获取。
步骤2：基于非局部分类，交互式阈值去噪进行果实点云去噪处理。
步骤3：基于point-octree，MLS拟合进行果实点模型简化。
步骤4：基于PCA属性计算，几何相似性递归增量(GSA)抽取点云模型果实片。
步骤5：基于双重误差度量和PDCM-NDPM同名点搜索进行成对配准和基于传递误差分散和层次全局配准进行果实点云模型的配准。
步骤6：基于四叉树，Texton，多粒度morton码，聚类细分，子采样，加权模板的果实点云的纹理合成。
第一步：果实三维点云的获取。
步骤1.1：扫描点云数据；
步骤1.2：果实三维点云数据分析；
果实三维点云数据是原始的、只含有坐标位置信息的欧氏空间的点集合，激光扫描仪是按照扫描点与视点之间的距离计算深度坐标，扫描时采用逐行逐列的方式获取空间数据，得到的数据是由一组以行列方式组织的矩阵式深度像素构成，每个单元的像素值为获取的果实表面采样点三维坐标。
第二步：基于非局部分类，交互式阈值去噪进行果实点云去噪处理。
步骤2.1：从激光扫描仪获取的果实数据是三维笛卡尔坐标系中带有激光强度信息的空间点集合:
R＝{xi，yi，zi，Ii}(i＝1，2...K)
用相似点加权平均和均值漂移方法的结合、扩展使其高效地移除离群点。先基于邻域内相似点的加权平均作为度量最近邻域相互作用的标准对离群点进行分类，再选取不同的曲面拟合和核函数，用mean-shift迭代将每一个采样点漂移到密度函数的局部最大值点进行去噪。将非局部去噪方法用于去噪过程，避免了计算局部逼近的过程，允许更快速的估计，最终实现不用滤波器的快速去噪处理如图2。基于这些统计权重和非局部相似度量的均值漂移，将更有利于后续精确地估计法向量、曲率等几何属性。
步骤2.2：本发明提出集分割、局部拟合、特征估计和递归抽取为一体的从去噪后的“干净”点集中抽取果实几何形状算法，过程如图3。
第三步：基于point-octree，MLS拟合进行果实点模型简化。
步骤3.1：八叉树分割，点八叉树(point octree)是在单元内任意点处沿轴方向细分割策略，如图4所示。
本步骤针对现有自下而上的K邻域分割策略存在分割不足或过分割问题，提出适合果实表面特征的点八叉树对去噪后的点集C进行分割。首先，寻找能封装非规则点云集合的完整数据空间的一个闭包，以此包围盒作为根节点开始分割，并设置最大的分割规模n，使分割后的空间规模为2n×2n×2n。根据点的分布，每个含数据的中间结点都被递归地分割为8个非空的、不交叉的、紧支的子空间，这种对中间结点的分割过程一直继续直到满足停止条件，最终形成以叶子结点为单位的数据桶。在每个与结点对应的数据桶中，存储这个封闭体的几何属性，由于扫描仪采集到点云信息只有空间坐标位置，因此为每个点计算法向量、结点质心、闭包球半径，如图5所示。
最后，利用每个结点的紧支包围球属性设计一个自上而下的递归算法进行自适应八叉树分割，递归终止的条件是：每个数据桶中点的数量达到k个，或结点包围球的半径达小于r，或迭代次数大于n，或者结点中所有法向量点乘的最小值大于阈值δ。
算法分割过程从点集合的闭包Octree(C)开始，若满足递归终止条件，则调用Leaf_node(C)函数返回一个叶子节点并将其放入桶中；否则实施自适应分割过程，首先初始化八叉树结点的8个点集为空集，调用分割函数根据点的数量和法向量产生Octree(C)的任意分割坐标，然后根据当前的分割位置，调用代码生成函数为C的任意点产生0→7的八分代码，并将pj加入到其对应的八分点集Pj，同时计算每个结点的半径rsplit。最后，继续调用Octree(Pj)对非空的八分点集进行分割，记录非空集合代码并调用New_octree_node()，返回新的八叉树节点。伪代码下：
步骤3.2:为每个单元构造基于MLS的splat
首先将叶子结点从所有节点中分离，通过简单的递归过程丢弃那些子结点不为空的结点，最终得到一个只有叶子结点的splat集合。每个splat是一个独立的几何对象，其对应的桶中存储了点集Bj，包围球的位置半径和法向
步骤3.2.1，在splat(此处用符号r表示)的球心位置用下式计算一个局部切线的参考平面Hr，Pj，i可以投影到SB上而不必限制一定通过切平面，如图6所示。
Hr＝{x|(n，x)-D＝0，||n||＝1}
式中：n-平面Hr的法向量，D-从坐标原点到平面Hr的距离，||n||一法向量n的模。
步骤3.2.2:通过在Hr上对splat中所有的点pj，i做加权最小二乘，拟合一个局部二元多项式逼近。
步骤3.3：几何特征估计
步骤3.3.1：估计法向量
PCA分析可直接用于有明确度量定义的点空间坐标，此处将单位法向量看做空间某个单位球体上的点，如此对于每个splat，法向量PCA可以看成是直接在球面几何对象上执行PCA。首先，通过在球面上基于最小二乘最小化的加权平均计算平均法向量nj，最小二乘通过对数映射或其逆函数指数映射反映到球面的距离。
PCA的下一步是协方差矩阵的计算，需要按照下式定义每个法向量与平均法向量的差表示，法向量以对数映射方式定义在以平均法向量μ(nj)为圆心的单位球的平面切线上。用下式计算法向量的二维协方差矩阵：
最后一步是求出该协方差矩阵的最大特征值和特征向量，以通用的PCA方法估计splat法向量。
步骤3.3.2：估计其它几何特征
下面用spalt中点的信息估计其它属性，本步骤通过单独计算9个协方差值，并将其放入下式定义的3×3的协方差矩阵(M2)j中。
接着求解线性变换以计算(M2)j的特征值及其对应的特征向量Xi，i＝1，2，3
通过对协方差矩阵进行特征分析，得到特征向量以及沿着这些向量的高斯分布变化。Splat Pj的估计法向量为与最小特征值相对应的、单位化的特征向量Xi,Pj曲面方差的估计值Vj反映了点到切平面SPj偏离程度。由此，Vj能很好地近似质心处的曲率。
步骤3.4基于几何相似性增量算法(GSA)的果实片递归抽取
如上所述，下面用前三步产生的splat作为选择和丢弃的单元设计递归抽取过程。
在递归抽取算法中，首先将八叉树的所有叶子节点{Pj}初始化为flagj＝0，并从中选择一个特定的叶子节点Pk作为种子点，同时将Pk添加到Oct(spalt)，并将Pk推入栈S中。当栈非空时，重复执行以下三步：
步骤3.4.1：从S的栈顶部弹出一个splat Pk；
步骤3.4.2：通过计算Pk质心到Pi质心的欧氏距离，在Pk周围xyz方向上的搜索其标志flagi＝0的八邻结点Pi(i＝1，...，8)。
步骤3.4.3：对每个Pi，用法向量的点乘和曲面变化的差异，作为几何相似性度量标准，判断果实和叶子的边界。
这个迭代过程一直继续，直到栈S为空，整个抽取过程如图7所示。
第四步：通过优化变换算法来优化果实数据片配准中的变换过程
本步骤针对四元数配准，六/七参数配准算法模型中变换参数设置的冗余性等问题，利用齐次表现的优势将其引入配准过程，研究并提出新的几何描述子一oriented-splat及基于该描述子的最优变换模型，最终消除重复、减化参数数量。
步骤4.1：选择几何描述子
本步骤根据上述分析，提出了一个新的描述子一一方向splat(oriented-splat)，正好是splat质心和法向量nj的果实数据数据片的最小单元。
步骤4.2：解决引入齐次变换
扫描仪获得的每个点P欧氏空间的三维向量表示，获得的果实点云数据看成是实数域空间R3上的一个子空间L，点云数据满足欧氏空间的正交性以及内积、范数和距离性质等。所涉及的坐标变换主要是在欧氏空间及其扩展空间上刚性变换，包括平移和旋转。
步骤4.3：推导通用变换公式
(1)基本假定和预处理
可以假设己经从扫描片S1和S2找到1对相应的oriented-splats Pj1和Pi2。
采取连续2步旋转，先绕x轴旋转，再绕Y轴旋转，最终旋转矩阵MR如下。
MR＝MRx(α)×MRy(β)
(2)L1，L2到Lg的变换推导
根据结论2，L1，L2和Lg的相对位置如图8(a)所示；对于给定S1的splat Pj1，应当先将Pj1做平移变换如图8(b)所示。然后Pj1的法向量nj1做旋转变换，如图8(c)所示。
计算S1到Lg的变换矩阵M1，S2到Lg的变换矩阵M2，及Pj1和Pi2在Lg中的新位置和法向量。
(3)Lg坐标系下S1和S2之间的变换，如图9所示，位于Lg坐标系下的2个oriented-splats Pj1和Pi2之间的变换，(a)质心之间的平移(b)法向量之间的旋转。
第1步：完成如图9(a)所示的到的平移变换；
第2步：到的旋转过程如图9(b)所示的,是任意2个向量之间旋转。
步骤4.4：简化到的变换矩阵
根据刚性变换的特点，提出两步简化算法以优化变换过程。
(1)第一步简化:根据步骤4.3的推导，全局坐标系Lg的位置和方向可以自由设置。为了简化计算，将Lg设置为L1。
(2)第二步简化:首先计算M2，其次，根据第一步简化重新计算M21。
通过上述分析、计算和简化，己经解决了在步骤4.3开始提出的:将S2的所有splats变换到S1坐标系的问题。
第五步：基于双重误差度量和PDCM-NDPM同名点搜索进行成对配准和基于传递误差分散和层次全局配准进行果实点云模型的配准。
在果实扫描过程中，通过不同角度扫描得到的视图分别位于自己的局部坐标系，使观察到的相邻果实点云片重叠于相同的空间位置。
步骤5.1：提出一种基于特征的成对配准
成对配准是一个寻找相对位置的过程，通过利用2个重叠扫描片之间对应关系来实现。一种经典的算法包含“初配”和“精配”两阶段，精配在粗配之后，用于优化给定的粗配方案。
本专利提出基于oriented-splat多特征微分的两步逐级收缩法在相邻数据片S2和S2之间搜索对应点，包括基于位置微分的初始特征配准(PDCM)和基于法向量微分的精确特征配准(NDPM)。
与IPC方法相比，其显著进步表现在：由于不需要搜索点云(PCs)中所有的点即可寻找到同名点对而使冗余和不相干的点不会直接影响配准，同时不需要“初配”。
步骤5.2：全局配准和误差分散
在splat级配准中，主要面临全局配准的不确定和传递误差的计算复杂性成为果实片配准面临的新挑战。
采用层次策略的全局配准：定义一个配准坐标系，通过自下而上的方法为所有数据片建立二叉树，层次结构如图10，配准过程从l级叶子节点开始，对每对相邻果实数据片进行匹配，直到0级。
针对现有误差度量方法只能对成对配准一级一级度量，无法进行全局度量的现状，提出利用配准变换引入误差矩阵的误差度量方法，解决累计误差度量及其造成的全局配准失真。
最终可得l-2级的累积误差矩阵计算公式如下式。
所提配准的明显优势在于：以最小生成树为基础，将基于成对配准的顺序策略扩展为适合果实外观的层次模式，减少了参数的数量，并通过双重误差检验方法分散误差累计、提高了准确性。
第六步：基于四叉树，Texton，多粒度morton码，聚类细分，子采样，加权模板的果实点云的纹理合成。
步骤6.6.1：纹理数据的组织、分割与编码
通过自上而下的递归点四叉树分割找到与八叉树结构Octree(C)对应的纹理分割结果。
基于texton描述子的纹理组织，将上述纹理的四叉树分割结果看成是textons的集合，每个texton是属于同一区域的若干像素的集合。最后从包含叶子节点的桶中数据计算texton描述子。
采用Z－排序空间填充曲线，将N维空间的点映射到一维空间，本专利技术中涉及Z-Order排序规则是先按照z值从小到大对不同层次之间进行排序，每层的数据按照平面z-Order曲线顺序对应到一维线性存储(下述以第0层的二维空间编码为例描述相关技术)。
采用三维morton码表对八叉树编码，用数据单元的索引作为三维数组下标，第0层的二维空间编码中使用四进制表示morton码，且在数组中严格按照位读取。在向数组转换的过程中，根据当前叶子节点所处的层次，选择式适当的位数进行编码。纹理基元编码也采用多粒度morton编码。
步骤6.6.2：纹理属性计算与合成
采用PSSOW属性计算方法：在不损失质量的情况下，将texton的颜色从m个离散像素点表示转换为一种简化的表示方式，主要包括颜色空间变换、邻域细分、子采样和纹理计算4个子步骤。
第1步将基于RGB颜色空间表示用下式转换为YCr Cb颜色空间，记为Lab模型
Y＝0.299R×0.578G×0.114B Cr＝(0.500R-0.4187G-0.0813B)×128
Cb＝(-0.1687R-0.3313G×0.500B)×128
第2步用基于欧氏距离聚类方法将基元中的像素聚为确定的几类，邻域细分为对应个数的二级基元。
第3步用n:2:0子采样格式对每个二级基元进行采样，得到二级基元分量结构，再利用每个二级基元分量的维数得平均每像素的分量数和二级基元的压缩率。最后得到一级基元平均每像素的分量数和压缩率。
第4步计算基元Tji的属性，将分割结果中每个二级基元的属性区域，按照图11的加权模板，利用像素颜色分量计算每个二级基元的属性。
采用上述方案的定性有益效果是，该方案比直接二维映射方法视觉效果更好、表面纹理更连续。
采用上述方案的定量有益效果是跟现有方法的空间性能对比。
(1)直接二维映射法将像素点映射到点云上，用下式计算其纹理存储所需的空间(Byte)。
MDT＝pnum*3
式中：MDT―直接二维映射法所需存储空间，Pnum―纹理图像的像素数量。
(2)多分辨率量化方法将彩色的红、绿、蓝部分简化为5-6-5位，用下式计算其纹理存储所需的空间(Byte)。
MMQ＝pnum*(5+6+5)/8＝pnum*2
式中：MMQ―多分辨率量化方法所需存储空间。
(3)颜色视觉模型根据人视觉对红、绿、蓝的感知强度为40:20:1，将颜色编码量化为用式下式计算纹理存储空间(Byte)。
MCVM＝pnum*(1+1/2+1/40)/8＝pnum*1.525
式中：MCVM―颜色视觉模型所需存储空间。
本方法得到纹理数据存储空间比直接二维映射法节约超过70.3％，比多分辨率量化方法节约超过55.5％，比颜色视觉模型节约超过41.7％。
第七步，算法普适性测试
为了验证提出重建框架和算法对具有光滑连续表面特征果实的通用性，除本方案中的测试数据苹果和梨以外，又分别选取了柠檬、柚子、橙子三种果实，用本方案的流程进行去噪、简化、抽取、配准和纹理合成环节测试，得到的结果较好的验证了本方案的普适性。
本方法在对现有基于点云重建流程研究的基础上，分析各阶段方法存在的问题，本发明研究不需维持表面拓扑一致性计算开销的、直接基于点的方法对生长中的真实果实进行三维重建，提出了适合本文果实点云特征的去噪、抽取、配准、直接纹理合成等方法和算法，计算量小、效率高、结果准确。

Claims (7)

1.一种基于点云的果实三维数字化方法，其特征在于，包括如下步骤：
步骤一：采用便携式激光三维扫描仪获取果实点云数据；
步骤二：采用非局部分类、交互式阈值去噪并抽取果实形状；
步骤三：采用点八叉树、移动最小二乘简化拟合果实点模型；
步骤四：通过PCA、属性计算、递归的几何增量算法抽取果实数据；
步骤五：通过利用方向-面元和层次配准进行果实点云模型配准；
步骤六：通过基于texton的多粒度morton码、聚类细分和加权子采样进行果实点云的纹理数字化。
2.根据权利要求1所述一种基于点云的果实三维数字化方法，其特征在于，步骤1中用便携式激光三维扫描仪获取果实点云数据的具体实现为：
步骤1.1：选择数据获取可行、能体现果实外观共性特征的果实样本作为获取点云数据的对象。在其成熟季节，田间植株上进行扫描获取样本数据；
步骤1.2：采用便携式激光三维扫描仪通过摄影镜头微动，拍摄物体不同部位光栅图像，由CCD将拍摄到的条纹图像输入到计算机中，三维图像反求软件根据条纹按照曲率变化的形状利用相位法和三角法等精确的计算出物体表面每一点的空间坐标(X,Y,Z)，生成三维的可输出色彩信息(R，G，B)的彩色面点云数据。
3.根据权利要求1所述一种基于点云的果实三维数字化方法，其特征在于，步骤2中采用非局部分类，交互式阈值去噪并抽取果实形状的具体实现为：
步骤2.1：将步骤一中扫描得到的果实模型点云片根据其表面特征分为2类，第1类是果实的蒂部周围表面和花头部周围表面的点云片，他们的共同特征是：表面光滑且具有丰富的局部细节，第2类是果实的侧面点云片，他们的共同特征是表面光滑，但有边界特征；
步骤2.2：对第一类点云，采用全局相似性度量，再用最小包围球方法对局部丰富的细节进行去噪；
步骤2.3：对第二类点云，先基于邻域内相似点的加权平均对离群点进行分类，再选取不同的拟合曲面和核函数，用均值漂移将每一个点迭代到密度函数的局部最大值点进行去噪，并得到去噪后的点c＝{xi,yi,zi,Ii}(t＝1,2…M)。
4.根据权利要求1所述一种基于点云的田间果实三维数字化技术，其特征在于，步骤3中利用点八叉树，移动最小二乘拟合简化果实点模型的具体实现为：
步骤3.1：通过点八叉树对去噪后的点集C进行分割；
步骤3.1.1：寻找非规则点云集合的闭包，以此包围盒作为根节点开始分割，并设置最大的分割规模n，即分割后的空间规模为23n；
步骤3.1.2：每个含数据的中间结点都被递归地分割为8个相互独立的、非空紧支的子空间p(j＝1,2…N),最终形成以叶子结点为单位的数据桶Bj；
步骤3.1.3：用nj,k＝(Pj,k-Pj,k-l)×(Pj,k+l-Pj,k)将扫描仪采集到空间坐标位置每个点pj，k计算法向量，给出的结点的质心：结点的闭包球半径：
步骤3.1.4：利用每个结点的紧支包围球属性设计一个自上而下的递归算法进行自适应八叉树分割，递归终止的条件是：每个数据桶中点的数量达到k个，或结点包围球的半径fj达小于r，或迭代次数大于n，或者结点中所有法向量点乘的最小值大于阈值5；
步骤3.2：将点云转换为splat表示，采用移动最小二乘(MLS)代替传统的圆或者椭圆拟合splat；
步骤3.2.1：将每个八叉树的叶子节点转换为一个splat.将叶子结点从所有结点中分离，通过简单的递归过程丢弃那些子结点不为空的结点，最终得到一个只有叶子结点的splat集合Pj(j＝1,2…N)；
步骤3.2.2：在splat(此处用符号r表示)的球心位置色，用式Hr＝{x|(n,x)-D＝0,||n||＝1}计算一个局部切线的参考平面Hr，pj,i可以投影到Spj上。式中：n-平面Hr的法向量，D-从坐标原点到平面札的距离，||n||—法向量n的模；
步骤3.2.3：通过在Hr上对splat中所有的点py做加权最小二乘，拟合一个局部二元多项式逼近Gr。
5.根据权利要求1所述一种基于点云的果实三维数字化方法，其特征在于，步骤4中通过PCA属性计算，几何相似性递归增量(GSA)抽取点云模型果实片的具体实现为：
步骤4.1：对于每个splat Pj其每个点的法向量nji用 表示。在球面上基于最小二乘最小化的加权平均计算平均法向量nj；
步骤4.2：用平均法向量为圆心的单位球的平面切线计算法向量的二维协方差矩阵：求出该协方差矩阵的最大特征值和特征向量，以通用的PCA方法估计splat pj的法向量；
步骤4.3：基于几何相似性的增量算法(GSA)递归地从树叶、枝干等背景中抽取感兴趣的水果splats集合；
步骤4.3.1：首先将八叉树的所有叶子节点{pj}初始化为flagj＝0；
步骤4.3.2：从中选择一个特定的叶子节点Pk作为种子点，同时将Pk添加到Oct(spalt)形成一个新的Oct(spalt)，并将Pk推入栈S中，运行如下三步：
(1)从S的栈顶部弹出一个splatPk；
(2)通过计算质心pk到质心pi距离，在Pk周围xyz方向上搜索其标志flagi＝0的八邻结点Pi(i＝1,...,8)；
(3)对每个pi用式|ni*nk|||nj＝1||法向量的点乘和式|vi-vk|曲面变化的差异，作为式||pi-pk||中叶子和水果几何相似性度量标准，
迭代过程一直继续，直到栈S为空。
6.根据权利要求1所述一种基于点云的果实三维数字化方法，其特征在于，步骤5中通过oriented-splat成队配准和层次全局配准将果实点云模型配准的具体实现为：
步骤5.1：成对配准拟采用基于点云多特征的逐步收缩过程搜索同名点对；
步骤5.2：采用误差矩阵度量法对配准误差进行度量；
步骤5.3：最后用采样法对误差进行验证；
步骤5.4：全局配准以成对配准方法为基础，拟设计自下而上的层次全局策略，将累计误差分散至最小，最后设计累计误差度量法对全局累计误差进行度量。
7.根据权利要求1所述一种基于点云的果实三维数字化方法，其特征在于，步骤6中通过四叉树，texton，多粒度morton码，聚类细分，子采样，加权模板进行果实点云的纹理合成的具体实现为：
步骤6.1：利用点云的分割位置对图像进行分割以生成与点云对应的texton，并选取合适的描述子刻画texton属性；
步骤6.2：接着采用Z排序空间填充曲线对textons进行线性编码以提高访问效率，并设计多粒度morton码对textons进行索引；
步骤6.3：最后通过“变换颜色空间—>二次分割—>子采样—>重叠加权模板”过程计算每个texton的属性。
CN201811419634.5A 2018-11-26 2018-11-26 一种基于点云的果实三维数字化方法 Active CN109544681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811419634.5A CN109544681B (zh) 2018-11-26 2018-11-26 一种基于点云的果实三维数字化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811419634.5A CN109544681B (zh) 2018-11-26 2018-11-26 一种基于点云的果实三维数字化方法

Publications (2)

Publication Number Publication Date
CN109544681A true CN109544681A (zh) 2019-03-29
CN109544681B CN109544681B (zh) 2022-09-30

Family

ID=65850075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811419634.5A Active CN109544681B (zh) 2018-11-26 2018-11-26 一种基于点云的果实三维数字化方法

Country Status (1)

Country Link
CN (1) CN109544681B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176020A (zh) * 2019-04-09 2019-08-27 广东工业大学 一种融合2d和3d图像的燕窝杂质分拣方法
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法
CN111402318A (zh) * 2020-02-18 2020-07-10 中国农业科学院农业资源与农业区划研究所 一种树上果实产量快速估测方法及装置
CN112258661A (zh) * 2020-10-28 2021-01-22 江苏旗阵信息技术服务有限公司 一种基于八叉树的电网设备模型切片方法
CN112396641A (zh) * 2020-11-17 2021-02-23 中国矿业大学(北京) 一种基于全等二基线匹配的点云全局配准方法
CN112802179A (zh) * 2021-01-18 2021-05-14 南京航空航天大学 一种基于法向的大规模点云可视化方法
CN113544747A (zh) * 2019-07-12 2021-10-22 腾讯美国有限责任公司 用于点云编解码的几何合并模式的方法和装置
CN113989547A (zh) * 2021-10-15 2022-01-28 天津大学 基于图卷积深度神经网络的三维点云数据分类结构及方法
CN114444615A (zh) * 2022-02-14 2022-05-06 烟台大学 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080238919A1 (en) * 2007-03-27 2008-10-02 Utah State University System and method for rendering of texel imagery
CN106780751A (zh) * 2017-01-19 2017-05-31 桂林电子科技大学 基于改进的屏蔽泊松算法的三维点云重建方法
CN108198230A (zh) * 2018-02-05 2018-06-22 西北农林科技大学 一种基于散乱图像的作物果实三维点云提取系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080238919A1 (en) * 2007-03-27 2008-10-02 Utah State University System and method for rendering of texel imagery
CN106780751A (zh) * 2017-01-19 2017-05-31 桂林电子科技大学 基于改进的屏蔽泊松算法的三维点云重建方法
CN108198230A (zh) * 2018-02-05 2018-06-22 西北农林科技大学 一种基于散乱图像的作物果实三维点云提取系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张伟洁等: "基于三维点云的苹果树叶片三维重建研究", 《农业机械学报》 *
杨会君等: "果实点云配准中的最优变换", 《广西大学学报(自然科学版)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176020A (zh) * 2019-04-09 2019-08-27 广东工业大学 一种融合2d和3d图像的燕窝杂质分拣方法
CN113544747B (zh) * 2019-07-12 2023-08-29 腾讯美国有限责任公司 用于点云编解码的几何合并模式的方法和装置
CN113544747A (zh) * 2019-07-12 2021-10-22 腾讯美国有限责任公司 用于点云编解码的几何合并模式的方法和装置
CN110796694A (zh) * 2019-10-13 2020-02-14 西北农林科技大学 一种基于KinectV2的果实三维点云实时获取方法
CN111402318B (zh) * 2020-02-18 2023-04-07 中国农业科学院农业资源与农业区划研究所 一种树上果实产量快速估测方法及装置
CN111402318A (zh) * 2020-02-18 2020-07-10 中国农业科学院农业资源与农业区划研究所 一种树上果实产量快速估测方法及装置
CN112258661A (zh) * 2020-10-28 2021-01-22 江苏旗阵信息技术服务有限公司 一种基于八叉树的电网设备模型切片方法
CN112258661B (zh) * 2020-10-28 2023-12-26 江苏旗阵信息技术服务有限公司 一种基于八叉树的电网设备模型切片方法
CN112396641B (zh) * 2020-11-17 2023-07-21 中国矿业大学(北京) 一种基于全等二基线匹配的点云全局配准方法
CN112396641A (zh) * 2020-11-17 2021-02-23 中国矿业大学(北京) 一种基于全等二基线匹配的点云全局配准方法
US11532123B2 (en) 2021-01-18 2022-12-20 Nanjing University Of Aeronautics And Astronautics Method for visualizing large-scale point cloud based on normal
CN112802179B (zh) * 2021-01-18 2021-12-07 南京航空航天大学 一种基于法向的大规模点云可视化方法
CN112802179A (zh) * 2021-01-18 2021-05-14 南京航空航天大学 一种基于法向的大规模点云可视化方法
CN113989547A (zh) * 2021-10-15 2022-01-28 天津大学 基于图卷积深度神经网络的三维点云数据分类结构及方法
CN113989547B (zh) * 2021-10-15 2024-05-31 天津大学 基于图卷积深度神经网络的三维点云数据分类系统及方法
CN114444615A (zh) * 2022-02-14 2022-05-06 烟台大学 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法

Also Published As

Publication number Publication date
CN109544681B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109544681A (zh) 一种基于点云的果实三维数字化方法
Livny et al. Automatic reconstruction of tree skeletal structures from point clouds
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
Tang et al. Delicate textured mesh recovery from nerf via adaptive surface refinement
Bucksch et al. SkelTre: Robust skeleton extraction from imperfect point clouds
CN109872397A (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
US7961934B2 (en) Probable reconstruction of surfaces in occluded regions by computed symmetry
CN109410321A (zh) 基于卷积神经网络的三维重建方法
Lindstrom et al. Image-driven simplification
Näf et al. 3D Voronoi skeletons and their usage for the characterization and recognition of 3D organ shape
CN110363858A (zh) 一种三维人脸重建方法及系统
RU2215326C2 (ru) Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
CN108090960A (zh) 一种基于几何约束的目标重建方法
Long et al. Neuraludf: Learning unsigned distance fields for multi-view reconstruction of surfaces with arbitrary topologies
CN106709947A (zh) 一种基于rgbd相机的三维人体快速建模系统
CN110490912A (zh) 基于局部灰度顺序模型描述符的3d-rgb点云配准方法
CN102222357A (zh) 基于图像分割和网格细分的脚型三维表面重建方法
CN109766866A (zh) 一种基于三维重建的人脸特征点实时检测方法和检测系统
CN100375124C (zh) 一种骨架化物体重建方法
Zhang et al. Data-driven flower petal modeling with botany priors
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN110322548B (zh) 一种基于几何图像参数化的三维网格模型生成方法
Sainz et al. A simple approach for point-based object capturing and rendering
CN114494586B (zh) 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法
CN110675381A (zh) 一种基于串行结构网络的本征图像分解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant