CN112330798A - 一种基于参数化模型的三维细小物体重建方法 - Google Patents

一种基于参数化模型的三维细小物体重建方法 Download PDF

Info

Publication number
CN112330798A
CN112330798A CN202011121012.1A CN202011121012A CN112330798A CN 112330798 A CN112330798 A CN 112330798A CN 202011121012 A CN202011121012 A CN 202011121012A CN 112330798 A CN112330798 A CN 112330798A
Authority
CN
China
Prior art keywords
model
dimensional
shape
parameterized
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011121012.1A
Other languages
English (en)
Other versions
CN112330798B (zh
Inventor
李惠芳
蒋素琴
苏智勇
单梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011121012.1A priority Critical patent/CN112330798B/zh
Publication of CN112330798A publication Critical patent/CN112330798A/zh
Application granted granted Critical
Publication of CN112330798B publication Critical patent/CN112330798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于参数化模型的三维细小物体重建方法。该方法包括以下步骤：构建细小物体的三维形状模型库；统计模型库中的形状变形，建立参数化模板模型；根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型；输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型。本发明基于参数化模型的三维细小物体重建方法，能够根据单张RGB图像重建出完整的、无噪声点的三维网格模型。

Description

一种基于参数化模型的三维细小物体重建方法
技术领域
本发明涉及计算机辅助设计和计算机图形学技术领域，特别是一种基于参数化模型的三维细小物体重建方法。
背景技术
近年来三维模型在3D游戏、影视动漫、三维打印等多个领域都有着巨大的市场需求。然而，由于细小物体的视觉特征点较少，重建出完整的几何模型成为了一件困难的事情。根据重建原理的不同，细小物体的重建方法主要分为以下几类：
基于图像的三维重建方法，这种方法是利用场景中的视觉特征点估计摄像机的姿态，然后识别纹理特征之间的密集点对应关系。由于细小物体的结构缺乏纹理特征，且只有几个像素宽，经典的对应匹配方法表现不佳或失败。此外，即使是很小的摄像机标定误差也会严重影响重建精度。为了解决这个问题，有研究利用高阶曲线原语进行图像匹配。然而，这些工作假设输入图像是预先校准的，而这种假设通常很难满足。
基于RGBD深度相机的三维重建方法，大多数方法使用截断有符号距离场(TSDF)来对齐和整合深度扫描，从中可以提取出最终的曲面。这些方法可以成功地扫描重建出相对较大的结构和环境。然而，由于大多数深度相机的高噪声和低分辨率，使得它们无法捕捉到一些结构较小的部位。
文献(Lingjie Liu,Nenglun Chen,Duygu Ceylan,et al.CurveFusion:reconstructing thin structures from RGBD sequences[J].ACM Transactions onGraphics,2018,37(6):218:1-281:12)首次提出了一种利用RGBD相机重建高精度细丝状结构组成的物体的方法，使用曲线骨架代替截断有符号距离场(TSDF)作为新的依赖于数据的融合原语来对齐和整合深度扫描。该方法所使用的基于红外的深度传感器仅适用于某些场景条件，如室内无强光的环境和非黑色表面的物体，这大大限制了它的应用。此外，深度传感器有限的深度分辨率限制了重建的最大精度，这常常导致复杂节点上的曲线缺失或拓扑结构错误。
发明内容
本发明的目的在于提供一种基于参数化模型的三维细小物体重建方法，从而根据单张RGB图像重建出完整的、无噪声点的三维网格模型。
实现本发明目的的技术解决方案为：一种基于参数化模型的三维细小物体重建方法，包括以下步骤：
步骤1、构建细小物体的三维形状模型库；
步骤2、统计模型库中的形状变形，建立参数化模板模型；
步骤3、根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型；
步骤4、输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型。
进一步地，步骤1所述的构建细小物体的三维形状模型库，具体步骤如下：
步骤1.1、利用三维建模软件C4D设计三维网格模板模型；
步骤1.2、对三维网格模板模型进行自由变形FFD合成新的三维网格模型，新合成的模型与模板模型具有相同的拓扑结构和顶点数，且网格模型点对点稠密对应；
步骤1.3、对三维模型库中的所有形状进行全局的尺寸变形，合成新的形状模型以扩充模型库。
进一步地，步骤2所述的统计模型库中的形状变形，建立参数化模板模型，具体如下：
步骤2.1、将三维模型库分成两个子集，一个是带有尺寸变化的模型集合，另一个是带有形状变化的模型集合；
步骤2.2、第一个计算的是带有尺寸变化的形状模型；对于同一款式的两个不同尺寸的形状VG和VmG，VG表示有全局尺寸变化的模型，VmG表示无尺寸变化的形状模型，计算网格顶点偏移量ΔVG＝VG-VmG，然后对顶点偏移量进行主成分分析得到全局形状空间的一组基底
Figure BDA0002732014470000021
一个新的带有尺寸变化的形状模型通过改变全局形状系数
Figure BDA0002732014470000022
来获得：
Figure BDA0002732014470000023
其中Vmodel∈R3×N是任意形变形状，N是形状模型的顶点个数，
Figure BDA0002732014470000024
是平均形状模型，αi表示全局形状系数，Gi表示全局形状空间的基向量矩阵，
Figure BDA0002732014470000025
表示全局形状系数的个数；
步骤2.3、第二个计算的是带有款式变化的形状模型；对于同一尺寸的两个不同款式的形状VL和VmL，VL表示有局部款式变化的模型，VmL表示无款式变化的形状模型，将顶点偏移量ΔVL＝VL-VmL进行主成分分析得到一组基底
Figure BDA0002732014470000031
所以不同款式的形状模型通过改变局部形状系数
Figure BDA0002732014470000032
来获得：
Figure BDA0002732014470000033
其中
Figure BDA0002732014470000034
表示局部形状系数的个数，βi表示局部形状系数，Li表示局部形状空间的基向量矩阵；
步骤2.4、新的形状模型在均值模板模型上附加偏移量获得，形式上采用加法模型表示：
Figure BDA0002732014470000035
进一步地，步骤3所述的根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型，具体如下：
步骤3.1、根据细小物体的形状特点选取合适的特征点；
步骤3.2、根据特征点索引得到基于稀疏特征点的参数化模型
Figure BDA0002732014470000036
具体如下：
Figure BDA0002732014470000037
其中，k表示三维特征点的索引向量，K表示特征点的个数，
Figure BDA0002732014470000038
表示从形状模型中按索引信息挑选出的特征点的顶点坐标。
进一步地，步骤4所述输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型，具体如下：
步骤4.1、假设相机模型是一个沿z轴投影的弱透视投影模型，将三维稀疏模板模型通过弱透视投影投影到二维图像空间：
Figure BDA0002732014470000041
其中，Xprojection∈R2是三维模板模型上的特征点投影到二维图像空间对应的点，
Figure BDA0002732014470000042
为投影矩阵，R为旋转矩阵，t为位移矩阵；
步骤4.2、使用能量函数将模板模型特征点的投影和输入图像的二维标记点进行对齐，具体如下：
Figure BDA0002732014470000043
其中Elandmarks表示关键点重投影最小化能量函数，x2d表示输入图像的二维标记点，σ表示形状系数对应的主成分偏差；λ1与λ2分别为全局形状和局部形状的先验项所对应的权重系数，由经验确定；
步骤4.3、首先初始化模型参数，通过求解最小化能量函数，得到模型参数和投影参数，具体如下：
Figure BDA0002732014470000044
步骤4.4、然后固定投影参数和局部形状参数，求解全局形状参数，具体如下：
Figure BDA0002732014470000045
步骤4.5、最后固定投影参数和全局形状参数，求解局部形状参数，具体如下：
Figure BDA0002732014470000046
步骤4.6、重复运行步骤4.3～4.5，直至算法收敛得到模型的优化参数，将参数代入公式(3)得到输入图像的三维模型。
本发明与现有技术相比，其显著优点为：(1)利用参数化的方法重建三维细小物体，提高了重建精度和重建效率，有效解决了传统RGBD相机重建小物体数据容易丢失的问题；(2)根据物体的结构特征选取特征点，提高了特征点的语义表达能力；(3)采用基于稀疏特征点的参数化模型，能够在参数拟合和模型重建时减少运行时间。
附图说明
图1是本发明基于参数化模型的三维细小物体重建方法的流程示意图。
图2是本发明中示例的眼镜架形状的特征点示意图，其中(a)为鼻梁特征点示意图，(b)为镜桩特征点示意图，(c)为镜框特征点示意图，(d)为镜腿特征点示意图。
图3是本发明中所使用的合成数据中测试模型的重建结果的可视化图，其中(a)为原始测试图，(b)为标注特征点后图，(c)为重建的三维模型图。
具体实施方式
本发明基于参数化模型的三维细小物体重建方法，利用参数化的方法重建三维物体，能够有效解决传统RGBD相机重建小物体数据容易丢失的问题，其次，根据物体本身的特点提取特征点，建立基于稀疏特征点的参数化模型，能够在参数拟合和模型重建时减少运行时间，具体包括以下步骤：
步骤1、构建细小物体的三维形状模型库；
步骤2、统计模型库中的形状变形，建立参数化模板模型；
步骤3、根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型；
步骤4、输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型。
进一步地，步骤1所述的构建细小物体的三维形状模型库，具体步骤如下：
步骤1.1、利用三维建模软件C4D设计三维网格模板模型；
步骤1.2、对三维网格模板模型进行自由变形FFD合成新的三维网格模型，新合成的模型与模板模型具有相同的拓扑结构和顶点数，且网格模型点对点稠密对应；
步骤1.3、对三维模型库中的所有形状进行全局的尺寸变形，合成新的形状模型以扩充模型库。
进一步地，步骤2所述的统计模型库中的形状变形，建立参数化模板模型，具体如下：
步骤2.1、将三维模型库分成两个子集，一个是带有尺寸变化的模型集合，另一个是带有形状变化的模型集合；
步骤2.2、第一个计算的是带有尺寸变化的形状模型；对于同一款式的两个不同尺寸的形状VG和VmG，VG表示有全局尺寸变化的模型，VmG表示无尺寸变化的形状模型，计算网格顶点偏移量ΔVG＝VG-VmG，然后对顶点偏移量进行主成分分析得到全局形状空间的一组基底
Figure BDA0002732014470000061
一个新的带有尺寸变化的形状模型通过改变全局形状系数
Figure BDA0002732014470000062
来获得：
Figure BDA0002732014470000063
其中Vmodel∈R3×N是任意形变形状，N是形状模型的顶点个数，
Figure BDA0002732014470000064
是平均形状模型，αi表示全局形状系数，Gi表示全局形状空间的基向量矩阵，
Figure BDA0002732014470000065
表示全局形状系数的个数；
步骤2.3、第二个计算的是带有款式变化的形状模型；对于同一尺寸的两个不同款式的形状VL和VmL，VL表示有局部款式变化的模型，VmL表示无款式变化的形状模型，将顶点偏移量ΔVL＝VL-VmL进行主成分分析得到一组基底
Figure BDA0002732014470000066
所以不同款式的形状模型通过改变局部形状系数
Figure BDA0002732014470000067
来获得：
Figure BDA0002732014470000068
其中
Figure BDA0002732014470000069
表示局部形状系数的个数，βi表示局部形状系数，Li表示局部形状空间的基向量矩阵；
步骤2.4、新的形状模型在均值模板模型上附加偏移量获得，形式上采用加法模型表示：
Figure BDA00027320144700000610
进一步地，步骤3所述的根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型，具体如下：
步骤3.1、根据细小物体的形状特点选取合适的特征点；
步骤3.2、根据特征点索引得到基于稀疏特征点的参数化模型
Figure BDA0002732014470000071
具体如下：
Figure BDA0002732014470000072
其中，k表示三维特征点的索引向量，K表示特征点的个数，
Figure BDA0002732014470000073
表示从形状模型中按索引信息挑选出的特征点的顶点坐标。
进一步地，步骤4所述输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型，具体如下：
步骤4.1、假设相机模型是一个沿z轴投影的弱透视投影模型，将三维稀疏模板模型通过弱透视投影投影到二维图像空间：
Figure BDA0002732014470000074
其中，Xprojection∈R2是三维模板模型上的特征点投影到二维图像空间对应的点，
Figure BDA0002732014470000075
为投影矩阵，R为旋转矩阵，t为位移矩阵；
步骤4.2、使用能量函数将模板模型特征点的投影和输入图像的二维标记点进行对齐，具体如下：
Figure BDA0002732014470000076
其中Elandmarks表示关键点重投影最小化能量函数，x2d表示输入图像的二维标记点，σ表示形状系数对应的主成分偏差；λ1与λ2分别为全局形状和局部形状的先验项所对应的权重系数，由经验确定；
步骤4.3、首先初始化模型参数，通过求解最小化能量函数，得到模型参数和投影参数，具体如下：
Figure BDA0002732014470000077
步骤4.4、然后固定投影参数和局部形状参数，求解全局形状参数，具体如下：
Figure BDA0002732014470000081
步骤4.5、最后固定投影参数和全局形状参数，求解局部形状参数，具体如下：
Figure BDA0002732014470000082
步骤4.6、重复运行步骤4.3～4.5，直至算法收敛得到模型的优化参数，将参数代入公式(3)得到输入图像的三维模型。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例
结合图1、图2(a)～(d)，本发明基于参数化模型的三维细小物体重建方法，以眼镜架为例，包括以下步骤：
步骤1、构建眼镜架形状的三维模型库，具体如下：
步骤1.1、利用三维建模软件C4D设计三维眼镜架网格模板模型。
步骤1.2、对三维网格模板模型进行自由变形FFD合成新的眼镜架三维网格模型。新合成的模型与模板模型具有相同的拓扑结构和顶点数，且网格模型点对点稠密对应。
步骤1.3、对三维模型库中的所有眼镜架形状进行全局的尺寸变形，合成新的眼镜架形状模型以扩充模型库。
步骤2、统计模型库中的形状变形，建立参数化模板模型，具体如下：
步骤2.1、将三维模型库分成两个子集，一个是带有尺寸变化的模型集合，另一个是带有形状变化的模型集合；
步骤2.2、第一个计算的是带有尺寸变化的镜架模型；对于同一款式的两个不同尺寸的镜架形状VG和VmG，VG表示有全局尺寸变化的模型，VmG表示无尺寸变化的镜架模型，计算网格顶点偏移量ΔVG＝VG-VmG，然后对顶点偏移量进行主成分分析得到全局形状空间的一组基底
Figure BDA0002732014470000083
一个新的带有尺寸变化的镜架形状通过改变全局形状系数
Figure BDA0002732014470000084
来获得：
Figure BDA0002732014470000085
其中Vmodel∈R3×N是任意形变形状，N是形状模型的顶点个数，
Figure BDA0002732014470000086
是平均形状模型，αi表示全局形状系数，Gi表示全局形状空间的基向量矩阵，
Figure BDA0002732014470000091
表示全局形状系数的个数。
步骤2.3、第二个计算的是带有款式变化的镜架模型；对于同一尺寸的两个不同款式的镜架形状VL和VmL，VL表示有局部款式变化的模型，VmL表示无款式变化的镜架模型，将顶点偏移量ΔVL＝VL-VmL进行主成分分析得到一组基底
Figure BDA0002732014470000092
所以不同款式的镜架形状通过改变局部形状系数
Figure BDA0002732014470000093
来获得：
Figure BDA0002732014470000094
其中
Figure BDA0002732014470000095
表示局部形状系数的个数，βi表示局部形状系数，Li表示局部形状空间的基向量矩阵。
步骤2.4、新的镜架形状在均值模板模型上附加偏移量获得，形式上采用加法模型表示：
Figure BDA0002732014470000096
步骤3、根据形状特点获取三维形状的特征点信息，提取特征点索引得到基于稀疏特征点的参数化模型，具体如下：
步骤3.1、将鼻托和铰链部分简化，镜框、鼻梁和镜桩作为一个整体统一处理；根据眼镜架的设计特征，选取62个特征点；将镜腿与脚套作为一个整体统一处理，选取23个特征点；
步骤3.2、根据特征点索引得到基于稀疏特征点的参数化模型
Figure BDA0002732014470000097
具体如下：
Figure BDA0002732014470000098
其中，k表示三维特征点的索引向量，K表示特征点的个数，
Figure BDA0002732014470000099
表示从形状模型中按索引信息挑选出的特征点的顶点坐标。
步骤4、根据给定的二维眼镜架图像，计算输入图像数据与参数化网格模型之间的误差优化模型的参数，最终根据优化的参数调整参数化模板模型得到与输入图像相似的三维网格模型，具体如下：
步骤4.1、假设相机模型是一个沿z轴投影的弱透视投影模型，将三维稀疏模板模型通过弱透视投影投影到二维图像空间：
Figure BDA0002732014470000101
其中，Xprojection∈R2是三维模板模型上的特征点投影到二维图像空间对应的点，
Figure BDA0002732014470000102
为投影矩阵，R为旋转矩阵，t为位移矩阵；
步骤4.2、使用能量函数将模板模型特征点的投影和输入图像的二维标记点进行对齐，具体如下：
Figure BDA0002732014470000103
其中Elandmarks表示关键点重投影最小化能量函数，x2d表示输入图像的二维标记点，σ表示形状系数对应的主成分偏差；λ1与λ2分别为全局形状和局部形状的先验项所对应的权重系数，由经验确定；
步骤4.3、首先初始化模型参数，通过求解最小化能量函数，得到模型参数和投影参数，具体如下：
Figure BDA0002732014470000104
步骤4.4、然后固定投影参数和局部形状参数，求解全局形状参数，具体如下：
Figure BDA0002732014470000105
步骤4.5、最后固定投影参数和全局形状参数，求解局部形状参数，具体如下：
Figure BDA0002732014470000106
步骤4.6、重复运行步骤4.3～4.5，直至算法收敛得到模型的优化参数，将参数代入公式(3)得到输入图像的三维模型。图3是本发明中所使用的合成数据中测试模型的重建结果的可视化图，其中(a)为原始测试图，(b)为标注特征点后图，(c)为重建的三维模型图。
本发明利用参数化的方法重建三维细小物体，提高了重建精度和重建效率，有效解决了传统RGBD相机重建小物体数据容易丢失的问题；根据物体的结构特征选取特征点，提高了特征点的语义表达能力；采用基于稀疏特征点的参数化模型，能够在参数拟合和模型重建时减少运行时间。

Claims (5)

1.一种基于参数化模型的三维细小物体重建方法，其特征在于，包括以下步骤：
步骤1、构建细小物体的三维形状模型库；
步骤2、统计模型库中的形状变形，建立参数化模板模型；
步骤3、根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型；
步骤4、输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型。
2.根据权利要求1所述的基于参数化模型的三维细小物体重建方法，其特征在于，步骤1所述的构建细小物体的三维形状模型库，具体步骤如下：
步骤1.1、利用三维建模软件C4D设计三维网格模板模型；
步骤1.2、对三维网格模板模型进行自由变形FFD合成新的三维网格模型，新合成的模型与模板模型具有相同的拓扑结构和顶点数，且网格模型点对点稠密对应；
步骤1.3、对三维模型库中的所有形状进行全局的尺寸变形，合成新的形状模型以扩充模型库。
3.根据权利要求2所述的基于参数化模型的三维细小物体重建方法，其特征在于，步骤2所述的统计模型库中的形状变形，建立参数化模板模型，具体如下：
步骤2.1、将三维模型库分成两个子集，一个是带有尺寸变化的模型集合，另一个是带有形状变化的模型集合；
步骤2.2、第一个计算的是带有尺寸变化的形状模型；对于同一款式的两个不同尺寸的形状VG和VmG，VG表示有全局尺寸变化的模型，VmG表示无尺寸变化的形状模型，计算网格顶点偏移量
Figure FDA0002732014460000011
然后对顶点偏移量进行主成分分析得到全局形状空间的一组基底
Figure FDA0002732014460000012
一个新的带有尺寸变化的形状模型通过改变全局形状系数
Figure FDA0002732014460000013
来获得：
Figure FDA0002732014460000014
其中Vmodel∈R3×N是任意形变形状，N是形状模型的顶点个数，
Figure FDA0002732014460000015
是平均形状模型，αi表示全局形状系数，Gi表示全局形状空间的基向量矩阵，
Figure FDA0002732014460000016
表示全局形状系数的个数；
步骤2.3、第二个计算的是带有款式变化的形状模型；对于同一尺寸的两个不同款式的形状VL和VmL，VL表示有局部款式变化的模型，VmL表示无款式变化的形状模型，将顶点偏移量
Figure FDA0002732014460000021
进行主成分分析得到一组基底
Figure FDA0002732014460000022
所以不同款式的形状模型通过改变局部形状系数
Figure FDA0002732014460000023
来获得：
Figure FDA0002732014460000024
其中
Figure FDA0002732014460000025
表示局部形状系数的个数，βi表示局部形状系数，Li表示局部形状空间的基向量矩阵；
步骤2.4、新的形状模型在均值模板模型上附加偏移量获得，形式上采用加法模型表示：
Figure FDA0002732014460000026
4.根据权利要求3所述的基于参数化模型的三维细小物体重建方法，其特征在于，步骤3所述的根据形状特点获取三维形状的特征点信息，提取特征点索引建立基于稀疏特征点的参数化模型，具体如下：
步骤3.1、根据细小物体的形状特点选取合适的特征点；
步骤3.2、根据特征点索引得到基于稀疏特征点的参数化模型
Figure FDA0002732014460000027
具体如下：
Figure FDA0002732014460000028
其中，k表示三维特征点的索引向量，K表示特征点的个数，
Figure FDA0002732014460000029
表示从形状模型中按索引信息挑选出的特征点的顶点坐标。
5.根据权利要求4所述的基于参数化模型的三维细小物体重建方法，其特征在于，步骤4所述输入待重建模型的二维图像，提取二维特征点位置信息；计算输入图像特征点与参数化模型特征点之间的误差，通过最小化目标函数优化模型参数，根据优化的模型参数对参数化模型进行调整，重建出与输入图像对应的三维网格模型，具体如下：
步骤4.1、假设相机模型是一个沿z轴投影的弱透视投影模型，将三维稀疏模板模型通过弱透视投影投影到二维图像空间：
Figure FDA0002732014460000031
其中，Xprojection∈R2是三维模板模型上的特征点投影到二维图像空间对应的点，
Figure FDA0002732014460000032
为投影矩阵，R为旋转矩阵，t为位移矩阵；
步骤4.2、使用能量函数将模板模型特征点的投影和输入图像的二维标记点进行对齐，具体如下：
Figure FDA0002732014460000033
其中Elandmarks表示关键点重投影最小化能量函数，x2d表示输入图像的二维标记点，σ表示形状系数对应的主成分偏差；λ1与λ2分别为全局形状和局部形状的先验项所对应的权重系数，由经验确定；
步骤4.3、首先初始化模型参数，通过求解最小化能量函数，得到模型参数和投影参数，具体如下：
Figure FDA0002732014460000034
步骤4.4、然后固定投影参数和局部形状参数，求解全局形状参数，具体如下：
Figure FDA0002732014460000035
步骤4.5、最后固定投影参数和全局形状参数，求解局部形状参数，具体如下：
Figure FDA0002732014460000036
步骤4.6、重复运行步骤4.3～4.5，直至算法收敛得到模型的优化参数，将参数代入公式(3)得到输入图像的三维模型。
CN202011121012.1A 2020-10-20 2020-10-20 一种基于参数化模型的三维细小物体重建方法 Active CN112330798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011121012.1A CN112330798B (zh) 2020-10-20 2020-10-20 一种基于参数化模型的三维细小物体重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011121012.1A CN112330798B (zh) 2020-10-20 2020-10-20 一种基于参数化模型的三维细小物体重建方法

Publications (2)

Publication Number Publication Date
CN112330798A true CN112330798A (zh) 2021-02-05
CN112330798B CN112330798B (zh) 2022-09-30

Family

ID=74310436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011121012.1A Active CN112330798B (zh) 2020-10-20 2020-10-20 一种基于参数化模型的三维细小物体重建方法

Country Status (1)

Country Link
CN (1) CN112330798B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487728A (zh) * 2021-07-23 2021-10-08 中国科学院水生生物研究所 一种鱼体模型确定方法及系统
GB2613240A (en) * 2021-10-01 2023-05-31 Disney Entpr Inc Transformer-based shape models

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044322A1 (en) * 2012-08-08 2014-02-13 The Hong Kong Polytechnic University Contactless 3D Biometric Feature identification System and Method thereof
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140044322A1 (en) * 2012-08-08 2014-02-13 The Hong Kong Polytechnic University Contactless 3D Biometric Feature identification System and Method thereof
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487728A (zh) * 2021-07-23 2021-10-08 中国科学院水生生物研究所 一种鱼体模型确定方法及系统
GB2613240A (en) * 2021-10-01 2023-05-31 Disney Entpr Inc Transformer-based shape models
AU2022241513B2 (en) * 2021-10-01 2023-11-09 Disney Enterprises, Inc. Transformer-based shape models
GB2613240B (en) * 2021-10-01 2024-01-03 Disney Entpr Inc Transformer-based shape models

Also Published As

Publication number Publication date
CN112330798B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
Cohen-Steiner et al. Variational shape approximation
Krishnamurthy et al. Fitting smooth surfaces to dense polygon meshes
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN108876814B (zh) 一种生成姿态流图像的方法
Bojsen-Hansen et al. Tracking surfaces with evolving topology.
CN113077553B (zh) 一种基于表面属性的三维模型分割方法
CN101388115A (zh) 一种结合纹理信息的深度图像自动配准方法
CN112330798B (zh) 一种基于参数化模型的三维细小物体重建方法
CN109377563A (zh) 一种人脸网格模型的重建方法、装置、设备和存储介质
Schertler et al. Field-aligned online surface reconstruction
Hsiao et al. Multi-view wire art.
Xi et al. Analysis of segmented human body scans
Wei et al. GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds
EP1241623A2 (en) Hierarchical control point editing of adaptively sampled distance fields
Hilton et al. From 3D Shape Capture to Animated Models.
Zell et al. Elastiface: Matching and blending textured faces
Meyer et al. PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DOF Object Pose Dataset Generation
Zhang Image-based modeling of objects and human faces
Wu et al. Photogrammetric reconstruction of free-form objects with curvilinear structures
CN114049423B (zh) 一种自动的真实感三维模型纹理映射方法
Ma et al. FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting
He et al. Garment reconstruction from a single-view image based on pixel-aligned implicit function
EP3779878A1 (en) Method and device for combining a texture with an artificial object
Jiang A Survey On Text-to-3D Contents Generation In The Wild
Wilson et al. Facial cartography: interactive scan correspondence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Su Zhiyong

Inventor after: Li Huifang

Inventor after: Jiang Suqin

Inventor after: Shan Liang

Inventor before: Li Huifang

Inventor before: Jiang Suqin

Inventor before: Su Zhiyong

Inventor before: Shan Liang

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant