CN108961384A - 三维图像重建方法 - Google Patents

三维图像重建方法 Download PDF

Info

Publication number
CN108961384A
CN108961384A CN201710359418.5A CN201710359418A CN108961384A CN 108961384 A CN108961384 A CN 108961384A CN 201710359418 A CN201710359418 A CN 201710359418A CN 108961384 A CN108961384 A CN 108961384A
Authority
CN
China
Prior art keywords
characteristic point
image characteristic
image
dimensional image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710359418.5A
Other languages
English (en)
Other versions
CN108961384B (zh
Inventor
韩丽华
肖泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN201710359418.5A priority Critical patent/CN108961384B/zh
Publication of CN108961384A publication Critical patent/CN108961384A/zh
Application granted granted Critical
Publication of CN108961384B publication Critical patent/CN108961384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种三维图像重建方法，其包括：提取输入图像的二维图像特征点；利用第一映射关系对二维图像特征点进行估计，以获取与二维图像特征点对应的三维图像特征点；所述第一映射关系通过学习训练样本中的原始二维图像特征点和原始三维图像特征点之间的映射关系而得到；基于第二映射关系对所述训练样本进行扩展；所述第二映射关系通过学习二维图像特征点和三维图像特征点之间的映射关系而得到；基于扩展后的训练样本及三维图像特征点获取全像素图像。本发明提供的三维图像重建方法能够扩展训练样本，有效地解决了全像素图像重建过程训练样本不足的问题。

Description

三维图像重建方法
技术领域
本发明属于图像处理技术领域，具体地讲，涉及一种三维图像重建方法。
背景技术
近年来，随着计算机视觉领域的发展，三维人脸得到广泛的应用，例如，人脸动画、人脸识别、人脸跟踪和游戏等领域。现有三维人脸重建技术可以分为两类：基于三维点云的重建方法和基于二维图像的重建方法。其中，基于三维点云的方法依赖于昂贵的三维数据采集设备，并且需要被采集者高度配合。因此，该类方法一般用于三维人脸训练库的建立。而基于二维图像的方法通常能够从日常采集到的二维图像重建三维人脸，扩大了其应用范围，受到了广泛的关注。
目前，基于二维图像的三维人脸重建方法主要有从明暗恢复形状的方法、基于形变模型的方法和基于回归的方法。其中，从明暗恢复形状的方法通过对光源、物体表面和投影方式进行约束，能够利用二维图像的明暗变化恢复三维物体的形状，但该类方法通常难以获得全局唯一的解，并且对光照不具有鲁棒性。基于形变模型的方法基于线性组合的思想，由训练样本计算一个统计模型，用模型拟合输入图像得到三维人脸。虽然该类方法能够自动重建任意姿态的三维人脸，但计算过程容易陷入局部最小值，难以精确重建人脸形状。不同于以上两种方法，基于回归的方法从样本学习二维和三维人脸之间的映射关系，用于三维人脸重建。由于该类方法所有信息均从训练样本学习得到，在样本规模足够的情况下可以精确重建三维人脸。
现有基于回归的方法能够取得比较好的重建结果，但也存在无法克服的缺点，例如需要大量训练样本才能精确学习高维人脸之间的映射及分布情况，但现有三维人脸训练集规模通常较小，并且人脸样本种类单一。因此，基于小规模训练样本的三维人脸重建是人脸重建需要解决的问题。
发明内容
为了解决上述现有技术存在的问题，本发明提供了一种三维图像重建方法。
根据本发明的一方面，提供了一种三维图像重建方法，其包括：提取输入图像的二维图像特征点；利用第一映射关系对二维图像特征点进行估计，以获取与二维图像特征点对应的三维图像特征点；所述第一映射关系通过学习训练样本中的原始二维图像特征点和原始三维图像特征点之间的映射关系而得到；基于第二映射关系对所述训练样本进行扩展；所述第二映射关系通过学习二维图像特征点和三维图像特征点之间的映射关系而得到；基于扩展后的训练样本及三维图像特征点获取全像素图像。
可选地，利用自动检测算法提取输入图像的二维图像特征点。
可选地，利用下面的式子学习得到所述第一映射关系，
其中，X2D和X3D分别为所述原始二维图像特征点和所述三维图像特征点的训练集，和分别为X2D与X3D在超完备空间中的表示，λ1和λ2为约束参数；W为映射矩阵。
可选地，利用下面的式子获取与二维图像特征点对应的三维图像特征点，
其中，x2D和x3D分别为二维图像特征点和三维图像特征点；和分别为二维图像特征点和三维图像特征点在超完备空间中的表示。
可选地，所述“基于第二映射关系对所述训练样本进行扩展”的具体方法包括：利用第二映射关系对原始二维图像特征点进行估计，以获取与原始二维图像特征点对应的新三维图像特征点；利用所述新三维图像特征点对所述训练样本中的原始图像样本进行变形，以得到变形图像样本；将新三维图像特征点以及变形图像样本迁移到所述训练样本中，以对训练样本进行扩展。
可选地，利用样条插值函数学习二维图像特征点和三维图像特征点之间的映射关系，以得到所述第二映射关系。
可选地，基于样条插值函数利用所述新三维图像特征点对所述训练样本中的原始图像样本进行变形。
可选地，所述“基于扩展后的训练样本及三维图像特征点获取全像素图像”的具体方法包括：基于扩展后的训练样本中的图像特征点样本以及三维图像特征点估计出样本组合系数；所述图像特征点样本至少包括原始三维图像特征点和新三维图像特征点；基于扩展后的训练样本中的图像样本以及所述样本组合系数获取全像素图像；所述图像样本至少包括原始图像样本和变形图像样本。
可选地，基于扩展后的训练样本中的图像特征点样本以及三维图像特征点利用下面的式子估计出样本组合系数，
其中，β*为样本组合系数，λ3为约束参数，为扩展后的训练样本中的三维图像特征点样本，x3D为三维图像特征点。
可选地，基于扩展后的训练样本中的图像样本以及所述样本组合系数利用下面的式子获取全像素图像，
其中，s为全像素图像，为扩展后的训练样本中的图像样本。
本发明的有益效果：本发明能够将复杂的三维图像重建过程拆分为三维图像特征点重建和高维图像(即全像素图像)重建两部分，在特征点重建过程引入联合空间学习的方法能够更精确的学习二维和三维图像特征点之间的映射关系，并且在高维图像重建过程将测试图像二维特征点和三维特征点之间的映射迁移到训练样本，用于扩展样本，有效地解决了高维图像重建过程训练样本不足的问题。
附图说明
通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：
图1是根据本发明的实施例的三维图像重建方法的流程图；
图2是根据本发明的实施例的二维图像特征点在输入图像上的分布图；
图3是根据本发明的实施例的基于第二映射关系对训练样本进行扩展的方法的流程图；
图4是根据本发明的实施例的基于扩展后的训练样本及三维图像特征点获取全像素图像的方法的流程图；
图5是根据本发明的实施例的重建的三维人脸的示意图。
具体实施方式
以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。
图1是根据本发明的实施例的三维图像重建方法的流程图。
参照图1，根据本发明的实施例的三维图像重建方法包括步骤：
S110：提取输入图像的二维图像特征点。
由于自动检测算法具有较高的提取精度，因此在步骤S110中，进一步地，可以利用自动检测算法提取输入图像的二维图像特征点。当然，应当理解的是，也可以利用其他的特征点提取方法来提取输入图像的二维图像特征点。
图2是根据本发明的实施例的二维图像特征点在输入图像上的分布图。参照图2，在本实施例中，从输入的二维人脸图像上提取出74个二维图像特征点，当然这里的二维图像特征点的数量仅为一示例，本发明并不限制于此。
S120：利用第一映射关系对提取出的二维图像特征点进行估计，以获取与二维图像特征点对应的三维图像特征点；所述第一映射关系通过学习训练样本中的原始二维图像特征点和原始三维图像特征点之间的映射关系而得到。
这里，由于从输入的二维人脸图像上提取出74个二维图像特征点，因此获取的三维图像特征点的数量也为74个；换句话讲，二维图像特征点和三维图像特征点一一对应。
此外，进一步地，由于联合空间学习方法能够较准确地获取训练样本中的原始二维图像特征点和原始三维图像特征点之间的映射关系，因此在本实施例中，在对训练样本的学习训练过程中，原始二维图像特征点和原始三维图像特征点之间的映射模型为加入稀疏约束的联合空间模型，从而具体的训练模型为：
其中，X2D和X3D分别为所述原始二维图像特征点和所述三维图像特征点的训练集，和分别为X2D与X3D在超完备空间中的表示，λ1和λ2为约束参数；W为映射矩阵。
这里，优选地，λ1和λ2的取值范围均为0.01～0.1。
通过学习上述的训练模型可以获取原始二维图像特征点和原始三维图像特征点之间的映射关系，即所述第一映射关系。
这里，需要说明的是，原始二维图像特征点和原始三维图像特征点属于训练样本，而二维图像特征点是由输入的二维人脸图像上提取得到的，所述三维图像特征点是利用第一映射关系对所述二维图像特征点估计得到的。
另外，在对提取出的二维图像特征点进行估计测试出与二维图像特征点对应的三维图像特征点的估计测试过程中，三维图像特征点的重建模式为：
其中，x2D和x3D分别为二维图像特征点和三维图像特征点；和分别为二维图像特征点和三维图像特征点在超完备空间中的表示。
S130：基于第二映射关系对所述训练样本进行扩展；所述第二映射关系通过学习二维图像特征点和三维图像特征点之间的映射关系而得到。
这里，利用插值变形函数学习二维图像特征点和三维图像特征点之间的映射关系，以得到所述第二映射关系。进一步地，该插值变形函数优选为样条插值函数。
图3是根据本发明的实施例的基于第二映射关系对训练样本进行扩展的方法的流程图。
参照图3，根据本发明的实施例的基于第二映射关系对训练样本进行扩展的方法包括步骤：
S310：利用第二映射关系对原始二维图像特征点进行估计，以获取与原始二维图像特征点对应的新三维图像特征点。
S320：利用所述新三维图像特征点对所述训练样本中的原始图像样本进行变形，以得到变形图像样本。这里，基于样条插值函数利用所述新三维图像特征点对所述训练样本中的原始图像样本进行变形。进一步地，该插值变形函数优选为样条插值函数。
S330：将新三维图像特征点以及变形图像样本迁移到所述训练样本中，以对训练样本进行扩展。
这样，扩展后的训练样本包括图像特征点样本和图像样本，其中图像特征点样本至少包括原始二维图像特征点、原始三维图像特征点和新三维图像特征点，图像样本至少包括原始图像样本和变形图像样本。
S140：基于扩展后的训练样本及三维图像特征点获取全像素图像。
图4是根据本发明的实施例的基于扩展后的训练样本及三维图像特征点获取全像素图像的方法的流程图。
参照图4，根据本发明的实施例的基于扩展后的训练样本及三维图像特征点获取全像素图像的方法包括步骤：
S410：基于扩展后的训练样本中的图像特征点样本以及三维图像特征点估计出样本组合系数。
具体地，构造最小化目标函数，利用扩展后的训练样本中的图像特征点样本对三维图像特征点进行重建，以估计出样本组合系数。其中，构造的最小化目标函数如下：
其中，β*为样本组合系数，λ3为约束参数，为扩展后的训练样本中的三维图像特征点样本，x3D为三维图像特征点。
S420：基于扩展后的训练样本中的图像样本以及所述样本组合系数获取全像素图像(或称高维图像)。全像素人脸或称高维人脸的重建模型请参照图5所示。
具体地，基于扩展后的训练样本中的图像样本以及所述样本组合系数利用下面的式子获取全像素图像：
其中，s为全像素图像，为扩展后的训练样本中的图像样本。
综上所述，根据本发明的实施例的三维图像重建方法，能够将复杂的三维人脸重建过程拆分为三维人脸特征点重建和高维人脸重建两部分，在特征点重建过程引入联合空间学习的方法能够更精确的学习二维和三维人脸特征点之间的映射关系，并且在高维人脸重建过程将测试人脸二维特征点和三维特征点之间的映射迁移到训练样本，用于扩展样本，有效地解决了高维人脸重建过程训练样本不足的问题。
虽然已经参照特定实施例示出并描述了本发明，但是本领域的技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在此进行形式和细节上的各种变化。

Claims (10)

1.一种三维图像重建方法，其特征在于，包括：
提取输入图像的二维图像特征点；
利用第一映射关系对二维图像特征点进行估计，以获取与二维图像特征点对应的三维图像特征点；所述第一映射关系通过学习训练样本中的原始二维图像特征点和原始三维图像特征点之间的映射关系而得到；
基于第二映射关系对所述训练样本进行扩展；所述第二映射关系通过学习二维图像特征点和三维图像特征点之间的映射关系而得到；
基于扩展后的训练样本及三维图像特征点获取全像素图像。
2.根据权利要求1所述的三维图像重建方法，其特征在于，利用自动检测算法提取输入图像的二维图像特征点。
3.根据权利要求1所述的三维图像重建方法，其特征在于，利用下面的式子学习得到所述第一映射关系，
其中，X2D和X3D分别为所述原始二维图像特征点和所述三维图像特征点的训练集，和分别为X2D与X3D在超完备空间中的表示，λ1和λ2为约束参数；W为映射矩阵。
4.根据权利要求3所述的三维图像重建方法，其特征在于，利用下面的式子获取与二维图像特征点对应的三维图像特征点，
其中，x2D和x3D分别为二维图像特征点和三维图像特征点；和分别为二维图像特征点和三维图像特征点在超完备空间中的表示。
5.根据权利要求1所述的三维图像重建方法，其特征在于，所述“基于第二映射关系对所述训练样本进行扩展”的具体方法包括：
利用第二映射关系对原始二维图像特征点进行估计，以获取与原始二维图像特征点对应的新三维图像特征点；
利用所述新三维图像特征点对所述训练样本中的原始图像样本进行变形，以得到变形图像样本；
将新三维图像特征点以及变形图像样本迁移到所述训练样本中，以对训练样本进行扩展。
6.根据权利要求1或5所述的三维图像重建方法，其特征在于，利用样条插值函数学习二维图像特征点和三维图像特征点之间的映射关系，以得到所述第二映射关系。
7.根据权利要求5所述的三维图像重建方法，其特征在于，基于样条插值函数利用所述新三维图像特征点对所述训练样本中的原始图像样本进行变形。
8.根据权利要求5所述的三维图像重建方法，其特征在于，所述“基于扩展后的训练样本及三维图像特征点获取全像素图像”的具体方法包括：
基于扩展后的训练样本中的图像特征点样本以及三维图像特征点估计出样本组合系数；所述图像特征点样本至少包括原始三维图像特征点和新三维图像特征点；
基于扩展后的训练样本中的图像样本以及所述样本组合系数获取全像素图像；所述图像样本至少包括原始图像样本和变形图像样本。
9.根据权利要求8所述的三维图像重建方法，其特征在于，基于扩展后的训练样本中的图像特征点样本以及三维图像特征点利用下面的式子估计出样本组合系数，
其中，β*为样本组合系数，λ3为约束参数，为扩展后的训练样本中的三维图像特征点样本，x3D为三维图像特征点。
10.根据权利要求7所述的三维图像重建方法，其特征在于，基于扩展后的训练样本中的图像样本以及所述样本组合系数利用下面的式子获取全像素图像，
其中，s为全像素图像，为扩展后的训练样本中的图像样本。
CN201710359418.5A 2017-05-19 2017-05-19 三维图像重建方法 Active CN108961384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710359418.5A CN108961384B (zh) 2017-05-19 2017-05-19 三维图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710359418.5A CN108961384B (zh) 2017-05-19 2017-05-19 三维图像重建方法

Publications (2)

Publication Number Publication Date
CN108961384A true CN108961384A (zh) 2018-12-07
CN108961384B CN108961384B (zh) 2021-11-30

Family

ID=64462820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710359418.5A Active CN108961384B (zh) 2017-05-19 2017-05-19 三维图像重建方法

Country Status (1)

Country Link
CN (1) CN108961384B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042720A1 (zh) * 2018-08-28 2020-03-05 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
CN111243081A (zh) * 2020-01-08 2020-06-05 广西医科大学附属口腔医院 一种数字化椅旁树脂充填导板的制作方法及导板

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
US20130039551A1 (en) * 2008-04-30 2013-02-14 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN105303615A (zh) * 2015-11-06 2016-02-03 中国民航大学 一种图像二维拼接与三维表面重建的组合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130039551A1 (en) * 2008-04-30 2013-02-14 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN105303615A (zh) * 2015-11-06 2016-02-03 中国民航大学 一种图像二维拼接与三维表面重建的组合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李欣: "二维及双模态融合的单训练样本人脸识别技术研究", 《中国博士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042720A1 (zh) * 2018-08-28 2020-03-05 腾讯科技（深圳）有限公司 一种人体三维模型重建方法、装置和存储介质
US11302064B2 (en) 2018-08-28 2022-04-12 Tencent Technology (Shenzhen) Company Limited Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
CN111243081A (zh) * 2020-01-08 2020-06-05 广西医科大学附属口腔医院 一种数字化椅旁树脂充填导板的制作方法及导板

Also Published As

Publication number Publication date
CN108961384B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Liu et al. Attribute-aware face aging with wavelet-based generative adversarial networks
CN108416840A (zh) 一种基于单目相机的三维场景稠密重建方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN104869387B (zh) 基于光流法的双目图像最大视差获取方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN110428493B (zh) 基于网格形变的单图像人体三维重建方法及系统
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106600626B (zh) 三维人体运动捕获方法与系统
CN109214282A (zh) 一种基于神经网络的三维手势关键点检测方法和系统
CN112287820A (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN103268629B (zh) 三维人体形态和姿态的无标记点实时复原方法
CN111414923B (zh) 基于单幅rgb图像的室内场景三维重建方法及系统
CN106157372A (zh) 一种基于视频图像的3d人脸网格重构方法
CN108921939A (zh) 一种基于图片的三维场景重建方法
CN101398886A (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN104915978A (zh) 基于体感相机Kinect的真实感动画生成方法
CN101877143A (zh) 一种二维图像组的三维场景重建方法
CN108010123A (zh) 一种保留拓扑信息的三维点云获取方法
CN114359509A (zh) 一种基于深度学习的多视图自然场景重建方法
CN112927251B (zh) 基于形态学的场景稠密深度图获取方法、系统及装置
CN107357426A (zh) 一种用于虚拟现实设备的体感控制方法
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN108010122B (zh) 一种人体三维模型重建与测量的方法及系统
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN108961384A (zh) 三维图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant