CN104952111A - 采用便携式相机获得三维脸部模型的方法和装置 - Google Patents

采用便携式相机获得三维脸部模型的方法和装置 Download PDF

Info

Publication number
CN104952111A
CN104952111A CN201410589974.8A CN201410589974A CN104952111A CN 104952111 A CN104952111 A CN 104952111A CN 201410589974 A CN201410589974 A CN 201410589974A CN 104952111 A CN104952111 A CN 104952111A
Authority
CN
China
Prior art keywords
face
image
user
create
facial model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410589974.8A
Other languages
English (en)
Inventor
金钟旻
李尚纪
金万洙
安敏虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tricubics Inc
Original Assignee
Tricubics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tricubics Inc filed Critical Tricubics Inc
Publication of CN104952111A publication Critical patent/CN104952111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开一种采用便携式相机获得三维脸部模型的方法和装置，该装置包括：脸部图像捕获单元；脸部图像处理单元；3D脸部网格产生单元，配置成分析脸部图像的关系以创建3D用户脸部网格；标准脸部模型匹配单元，配置成使3D脸部标准模型与网格产生单元生成的3D脸部网格匹配以创建最终的高质量用户脸部模型；脸部皮肤纹理合成单元，配置成从捕获的图像创建脸部皮肤纹理；以及逼真的脸部绘制单元，配置成通过使用用户的高质量3D脸部模型以及皮肤纹理，实施逼真的绘制。根据本发明的装置可以以低成本获得高质量的、逼真的3D模型。

Description

采用便携式相机获得三维脸部模型的方法和装置
技术领域
本发明涉及一种用于使用相机创建三维(3D)脸部模型的方法和装置，尤其涉及一种用于从一系列由相机捕获的连续图像中产生高质量的、逼真的3D脸部模型的方法和装置。
背景技术
采用相机创建3D脸部模型的方法包括采用多个同步相机的方法和采用单独一个相机的方法。在采用多个同步相机的情况下，多个高分辨率的相机布置在固定的位置，而且在这种情况下，相机可以包括深度相机以及彩色相机。在这种方式中，采用相机一次获得多个校准图像以创建3D脸部模型。
采用这种方法，由于可以在一瞬间获得脸部图像，并且使用的是已经同步的相机信息，所以可以在短时间内创建3D脸部模型。然而，通常来说，需要高价的设备，并且需要大的空间来将相机布置在固定的位置，这导致高的安装成本，并且对普通用户来说存在成本和空间的限制。
为了采用单独一个相机创建3D脸部模型，脸部需要多次成像以获得一个或者多个图像。首先，搜索多个脸部的特征点(接近眼睛、鼻子和嘴巴的点)，并且分析特征点的相互关系以获得3D空间中的坐标。将已经创建的与3D模型对应的点变形以获得用户的3D脸部模型。然而，创建的特征点的数量仅仅是几十个点，这在三维方向上精确地将人们的各种脸部形状恢复成能够虚拟整形手术(virtual plastic surgey)的水平方面还存在限制。
发明内容
考虑到上述内容，因此，本发明提供一种从利用相机捕获的一系列连续图像中产生高质量的、逼实的3D脸部模型的方法和装置。
从下面的描述本领域的技术人员将明显地理解，本发明的技术问题并不局限于上述的内容和其它这里没有提及的技术问题。
根据本发明的一个方案，提供了一种采用便携式相机获得三维(3D)脸部模型的装置，其包括：脸部图像捕获单元，配置成捕获多个用户脸部图像；脸部图像处理单元，配置成从捕获的多个用户脸部图像提取一系列的脸部图像；3D脸部网格产生单元，配置成分析多个脸部图像的关系以产生3D用户脸部网格；标准脸部模型匹配单元，配置成使3D脸部标准模型与网格创建单元创建的3D脸部网格匹配以创建最终的高质量的用户脸部模型；脸部皮肤纹理合成单元，配置成从捕获的多个图像创建脸部皮肤纹理；以及逼真的脸部绘制(rendering)单元，配置成通过使用用户的高质量的3D脸部模型以及皮肤纹理实施逼真的绘制。
在实施例中，其中脸部图像捕获单元配置成通过使用便携式相机依赖于图像捕获指导用户界面(UI)捕获用户脸部的图像，并且随后存储视频和图像。
在实施例中，其中脸部图像处理单元配置成以预定的间隔从传输的一组连续图像中选择图像以优化处理过程，并且探测脸部的轮廓线(counter line)部分，其余的部分被排出在后期处理目标之外。
在实施例中，其中3D脸部网格创建单元配置成从一系列优化的图像中提取关键点，分析这些点之间的关系以创建3D点云，并且在3D空间中连接点以创建3D脸部网格。
在实施例中，其中标准脸部模型匹配单元配置成将所述3D脸部网格与之前建模的高质量的标准模型匹配以创建最终的高质量脸部可变形的3D脸部模型，所述标准模型定义了关于脸部可变形的控制点。
在实施例中，其中脸部皮肤纹理合成单元配置成将3D脸部模型转换至UV空间，并且合成用户图像以创建用于脸部皮肤绘制的纹理图(map)。
在实施例中，其中逼真的脸部绘制单元配置成将脸部皮肤纹理绘制成3D脸部模型，并且通过使用模拟皮肤效果的技术实施逼真的脸部绘制。
根据本发明的一个方案，提供了一种获取三维(3D)脸部模型的方法，该方法通过采用便携式相机获得3D脸部模型的装置来获取所述三维(3D)脸部模型，该方法包括：通过使用便携式相机依赖于图像捕获指导用户界面(UI)捕获用户脸部图像；以特定的帧间隔从捕获的多个图像中获得多个图像以探测脸部轮廓线；从所述多个预处理的图像中识别关键点并且分析这些点之间的空间关系以创建3D点云；连接3D点云的点以创建3D脸部网格；使预先存储的3D脸部标准模型与之前过程中创建的3D脸部网格匹配，以模拟出光滑的高质量的3D脸部模型；以及合成用户脸部图像以创建用于与所述3D脸部模型一起绘图的纹理图。
在实施例中，其中，在捕获中，采用所述用户脸部保持静止的方式，通过将所述相机从所述脸部的左侧移动至所述脸部的右侧，或者通过将所述相机从所述脸部的右侧移动至所述脸部的左侧，获取所述用户脸部的多个图像，或者采用相机固定的方式，通过从左侧至右侧旋转所述脸部，或者通过从右侧至左侧旋转所述脸部，获取用户脸部的多个图像。
在实施例中，其中，在获取中，以预定的间从脸部图像捕获过程传递的视频或者系列连续的图像中隔选择最少的图像，通过用于从相应的图像中提取脸部轮廓线的算法提取脸部轮廓线，并且随后实施屏蔽处理以将剩余的区域排除在处理目标之外。
在实施例中，其中，在识别中，从图像处理过程传递的脸部图像中提取关键点，从相邻的图像中搜索相应的关键点并且连接所述相应的关键点，通过实施利用因式分解(factorization)的空间频率调制(Sfm)算法分析所述图像的所述关键点的结构，从而根据捕获的图像获取相机的属性，例如焦距、角度等，并且基于这些信息，通过对关键点实施三角测量(triangulation)创建与所述关键点有关的3D空间中的坐标值。
在实施例中，其中，在连接中，通过利用光流技术创建额外的点云，并且随后通过对所述创建的稠密点云应用三角测量将3D网络创建成稠密的点云。
在实施例中，其中，在匹配中，通过使用预存储的高质量3D标准模型的标记在之前过程中创建的3D脸部网络上设置标记，基于相应的标记，利用迭代最近点(ICP)算法使两个模型对准，并且随后，所述3D脸部标准模型的所述标记首先被改变成相应位置的所述3D脸部网格的标记，随后所述3D脸部标准模型的其余的顶点(vertice)通过非线性变形与所述3D脸部网格的顶点匹配。
在实施例中，其中，在合成中，创建的3D脸部模型被绘制到UV空间，搜索相应于UV坐标的用户图像的像素值以创建用户脸部皮肤颜色纹理图，并且随后，为了逼真地描绘，通过使用法向向量、光源位置等，针对所创建的颜色图和所创建的3D脸部模型，创建诸如法向图(normal map)或者镜面图(specular map)等的附加文本图。
附图说明
专利或者申请文件包括至少一个在彩色下可执行的图片。在请求和缴纳必要费用之后，包含彩色图片的该专利文本或者专利申请公开文本将由政府部门提供。
本发明的上述以及其它的目的和特征将从以下结合附图的实施例的描述变得清楚，附图中：
图1是示出了根据本发明实施例的用于采用便携式相机获得3D脸部模型的装置的视图；
图2是示出了根据本发明实施例的采用便携式相机获得3D脸部模型的过程的流程图；
图3是示出了根据本发明实施例的从由便携式相机获得的一系列的脸部图像中修复的3D脸部网格(mesh)的中间结果的视图；
图4是示出了根据本发明实施例的3D脸部标准模型以及通过匹配3D脸部标准模型创建的最终3D脸部模型的视图。
具体实施方式
本发明的优点和特点以及完成其的方法将通过参考下文的实施例的具体描述以及附图得到更加清楚的理解。然而，本发明可通过很多不同的形式实施，不应被解释为限定为这里提供的实施例。而是提供这些实施例使得该发明将被彻底和完全地理解，并且完整地将本发明的概念传达给本领域技术人员，并且本发明仅仅通过所附的权利要求来限定。在整个说明书中，类似的附图标记指代类似的元件。
在本发明的下文描述中，如果已知的结构和操作的详细描述可能混淆了本发明的主题，其详细描述将被删除。下文的术语是考虑到其在本发明的实施例中的功能的专门用语，并且可能由于运营商对发明和实践的意愿而改变。因此，术语需要贯穿本发明的描述进行定义。
下文中，将结合附图对本发明的实施例进行更加详细的描述。在下文的描述中，为了便于对整个发明进行整体的了解，类似的附图标记用于指代附图中相同的或者相似的元素，并且因此将省略重复的描述。
图1是示出了根据本发明实施例的用于采用便携式相机获取3D脸部模型的装置的视图。
参考图1，根据本发明的实施例，用于采用便携式相机获取3D脸部模型的装置包括脸部图像捕获单元100、脸部图像处理单元200、3D脸部网格创建单元300、标准脸部模型匹配单元400、脸部皮肤纹理合成单元500、以及逼真的脸部绘制单元600。
脸部图像捕获单元100采用便携式相机捕获多个用户脸部图像。这里，为了获得适于后期处理的图像，提供了用于图像捕获指导的用户界面(UI)。随后，为了优化后期处理的性能，脸部图像处理单元200以预定的间隔从传输的一组连续图像中选择图像，并且探测脸部的轮廓线部分，其剩余部分将被排除在后期处理目标之外。
然后，3D脸部网格创建单元300从一系列优化的图像中提取多个关键点，分析这些点之间的关系以创建3D点云，并且在3D空间中连接多个点以创建3D脸部网格。
随后，标准脸部模型匹配单元400将3D脸部网格与之前建模的高质量标准模型匹配以创建最终的高质量脸部-可变形的3D脸部模型，该标准模型模型限定了关于脸部可变形的控制点。然后，脸部皮肤纹理合成单元500将3D脸部模型转换至UV空间，并且合成用户图像以创建用于脸部皮肤绘制的纹理图。随后，逼真的脸部绘制单元600将脸部皮肤纹理映射到3D脸部模型，并且通过采用模拟皮肤效果的技术实施逼真的脸部绘制。
图2是示出了根据本发明实施例的采用便携式相机获取3D脸部模型的方法的流程图。
参考图2，根据本发明的实施例，在步骤S100中，用户脸部保持静止，通过将相机从脸部的左侧移动至脸部的右侧，或者将相机从脸部的右侧移动至脸部的左侧捕获用户的脸部图像，或者相机固定，通过从左侧至右侧旋转脸部，或者从右侧至左侧旋转脸部来捕获用户的脸部图像。这里，捕获的图像将作为视频被压缩和存储，或者以连续图像的形式被存储。
随后，在步骤S101中，以预定的间隔从脸部图像捕获过程传递的视频或者一系列的连续图像中选择最少的图像，通过用于提取脸部轮廓线的算法从相应的图像中提取脸部轮廓线，并且随后实施屏蔽处理以从处理的目标中排除剩余的区域。
随后，在步骤S102中，从图像处理过程传递的脸部图像中提取关键点，并且从相邻的图像搜索相应的关键点并且将其连接。这里，从图像中提取关键点并且连接图像中的关键点以将它们绘制的算法可参考已知的技术[1](参见[1]Stefan Leutenegger,Margarita Chli和Roland Siegwart所著的"二进制稳健不变量可伸缩关键点(BRISK:Binary Robust Invariant ScalableKeypoints)",Proceedings of the IEEE International Conference on ComputerVision,2011)。
随后，在步骤103中，检查是否已经创建对于创建3D网格足够的关键点。如果没有创建足够的关键点，可以要求用户再次捕获图像。随后，通过使用绘制的关键点实施利用因式分解的Sfm算法，获得关键点移动的方向、关键点已经移动的距离、关键点移动的速度等，从而可从捕获的图像中获得相机的属性，也就是焦距、角度等。基于这些信息，在步骤S104中，通过对关键点实施三角测量可以创建3D空间中的坐标值。通过该过程，可以创建3D脸部的稀疏的点云。
随后，由于以在前述过程中创建的稀疏的点云创建3D网格是很困难的，在步骤S105中，为了获得稠密的点云，通过应用光流技术创建额外的点云以创建稠密的点云。
随后，在步骤106中，通过对前述过程创建的稠密的点云实施三角计算，产生3D网格。
这样产生的3D网络可能具有孔，或者由于噪声产生不规则的网格。网格的形状也可能不规则，从而使变形网格很困难。因此，在本发明中，预先存储一个单独的高质量3D标准脸部模型，该模型是可变形的并且具有预先设置的脸部的主要特征点，将该标准脸部模型与创建的网格匹配以创建最终的3D用户脸部模型。
为此目的，在步骤107中，通过使用3D标准模型的标记，在之前过程中创建的3D脸部网格上设置标记，基于相应的标记，通过应用迭代最近点(ICP)算法使两个模型对准。随后，在步骤108中，3D脸部标准模型的标记首先在原位被改变成3D脸部网格的标记，并且之后3D脸部标准模型中剩余的顶点通过非线性变形与3D脸部网格内的顶点匹配。该匹配的特定的算法可参考文献[2]来实施(参见[2]David C.Schneider和Peter Eisert,所著的"用于3D扫描头的自动和稳健注册的算法(Algorithms For Automatic AndRobust Registration Of 3D Head Scans).JVRB-Journal of Virtual Reality andBroadcasting"2010)。
随后，在步骤109中，创建的3D脸部模型被映射到UV空间，并且在步骤110，搜索与UV坐标对应的用户图像的像素值以创建用户脸部皮肤颜色纹理图。然后，为了逼真地绘制，在步骤S111中，可使用法向向量、光源位置等关于所创建的彩色图和所创建的3D脸部模型而创建诸如法向图或者镜面图等的额外文本图。随后，在步骤S112中，通过利用完成的3D脸部模型以及自动创建的皮肤纹理图模拟出皮肤反射模型(次表面散射)。
图3是示出了根据本发明实施例的从采用便携式相机获得的一系列脸部图像中修复的3D脸部网格的中间结果的视图。
参考图3，根据本发明实施例的300表示用于由用户捕获的图像中获得3D模型的连续图像，301表示在图2的步骤104中创建的稀疏的点云以及相应的相机位置信息。而且，302表示通过实施图2的步骤105获得的稠密的点云，303表示通过实施图2的步骤S106获得的3D脸部网格。
图4是示出了根据本发明实施例的3D脸部标准模型以及通过匹配该3D脸部标准模型而创建的最终的3D脸部模型的视图。
参考图4，根据本发明实施例的401表示之前创建的3D脸部标准模型。该之前创建的3D脸部标准模型具有标记，该标记用于与在3D脸部网格创建过程中创建的3D脸部网格400匹配，并且该之前创建的3D脸部标准模型还被结构化成将脸部分成多个区域，并且控制所分的区域以便于容易地变形。因此，通过图2的步骤S107和S108匹配的最终3D脸部模型可具有与3D脸部标准模型相同的网格结构，并且因此，其可容易地变形。
根据如上述的用于采用便携式相机获得3D脸部模型的方法和装置，个人可容易地通过使用诸如智能手机等的便携式相机或者DSLR相机，以低的成本容易地对用户的3D脸部建模，而无需使用特定目的的扫描设备或者单独的高价相机，并且不需要必须到相应的设备安装的位置。
而且，根据本发明的实施例，可获得高质量的、逼真的3D模型，而不是仅利用成像脸部的有限数量的特征点来创建用于网络空间中游戏或者头像的角色的低质量3D脸部。
此外，根据本发明的实施例，由于以低成本捕获高质量的3D用户脸部，所述可以更容易地提供逼真的虚拟整形手术服务。而且，由于可以利用用户的3D脸部模型提供多种与脸部相关的虚拟模拟服务，诸如虚拟穿戴如眼镜和耳环等的配件服务、虚拟的发型服务或者3D皮肤化妆服务，所以相关的行业可得到极大发展。
虽然结合实施例对本发明进行了展示和说明，本发明并不仅限于此。本领域技术人员应当理解，在不脱离本发明的以下权利要求限定的范围的情况下，本发明可作出多种变化和修正。

Claims (14)

1.一种采用便携式相机获得三维(3D)脸部模型的装置，包括：
脸部图像捕获单元，配置成捕获多个用户脸部图像；
脸部图像处理单元，配置成从所述捕获的多个用户脸部图像中提取一系列脸部图像；
3D脸部网格创建单元，配置成分析所述多个脸部图像的关系以创建3D用户脸部网格；
标准脸部模型匹配单元，配置成将3D脸部标准模型与由所述网格创建单元创建的所述3D脸部网格匹配，以产生最终的高质量用户脸部模型；
脸部皮肤纹理合成单元，配置成从所述捕获的多个图像中创建脸部皮肤纹理；以及
逼真的脸部绘制单元，配置成通过使用所述用户的高质量3D脸部模型和所述皮肤纹理实施逼真的绘制。
2.根据权利要求1所述的装置，其中所述脸部图像捕获单元配置成通过采用便携式相机依赖于图像捕获指导用户界面捕获所述用户脸部的图像，并且随后存储视频和图像。
3.根据权利要求1所述的装置，其中所述脸部图像处理单元配置成以预定的间隔从传输的一组连续图像中选择图像，以优化处理性能，并且探测脸部的轮廓线部分，其剩余部分被排除在后期处理目标之外。
4.根据权利要求1所述的装置，其中所述3D脸部网格产生单元配置成从一系列优化的图像中提取关键点，分析这些点之间的关系以创建3D点云，并且在3D空间中连接点以创建3D脸部网格。
5.根据权利要求1所述的装置，其中所述标准脸部模型匹配单元配置成将所述3D脸部网格与之前建模的高质量标准模型匹配以创建最终的高质量脸部可变形的3D脸部模型，所述标准模型定义了关于脸部可变形的控制点。
6.根据权利要求1所述的装置，其中所述脸部皮肤纹理合成单元配置成将所述3D脸部模型转换至UV空间，并且合成用户图像以创建用于脸部皮肤绘制的纹理图。
7.根据权利要求1所述的装置，其中所述逼真的脸部绘制单元配置成将脸部皮肤纹理绘制成所述3D脸部模型，并且通过使用模拟皮肤效果的技术实施逼真的脸部绘制。
8.一种用于获取三维脸部模型的方法，该方法通过采用便携式相机获得3D脸部模型的装置来获取所述三维脸部模型，该方法包括：
通过采用所述便携式相机，依赖于图像捕获指导用户界面捕获用户脸部的多个图像；
以特定的帧间隔从所述捕获的多个图像中获取图像以探测脸部的轮廓线；
从所述多个预处理的图像中识别关键点，并且分析这些点之间的空间关系以产生3D点云；
连接3D点云的点以创建3D脸部网格；
将预存储的3D脸部标准模型与之前过程中创建的所述3D脸部网格匹配以建模出光滑的高质量3D脸部模型；以及
合成用户脸部图像以创建用于与所述3D脸部模型一起绘图的纹理图。
9.根据权利要求8所述的方法，其中，在捕获中，采用所述用户脸部保持静止的方式，通过将所述相机从所述脸部的左侧移动至所述脸部的右侧，或者通过将所述相机从所述脸部的右侧移动至所述脸部的左侧，获取所述用户脸部的多个图像，或者采用相机固定的方式，通过从左侧至右侧旋转所述脸部，或者通过从右侧至左侧旋转所述脸部，获取所述用户脸部的多个图像。
10.根据权利要求8所述的方法，其中，在获取中，以预定的间隔从脸部图像捕获过程传递的视频或者一组连续图像中选择最少的图像，通过用于从相应的图像中提取脸部轮廓线的算法提取脸部轮廓线，并且随后实施屏蔽处理以将剩余的区域排除在处理目标之外。
11.根据权利要求8所述的方法，其中，在识别中，从图像处理过程传递的所述脸部图像提取关键点，从相邻的图像中搜索相应的关键点并且连接所述相应的关键点，通过实施利用因式分解的空间频率调制算法分析所述图像的所述关键点的结构，从而根据捕获的图像获取相机的属性，例如焦距、角度等，并且基于这些信息，通过对所述关键点实施三角测量创建与所述关键点有关的3D空间中的坐标值。
12.根据权利要求8所述的方法，其中，在连接中，通过利用光流技术创建额外的点云，并且随后通过对创建的稠密点云应用三角测量将3D网络创建成稠密的点云。
13.根据权利要求8所述的方法，其中，在匹配中，通过使用预存储的高质量3D标准模型的标记在之前过程中创建的3D脸部网络上设置标记，基于相应的标记，利用迭代最近点(ICP)算法使两个模型对准，并且随后所述3D脸部标准模型的所述标记首先被改变成相应位置的所述3D脸部网格的标记，随后所述3D脸部标准模型的其余的顶点通过非线性变形与所述3D脸部网格的顶点匹配。
14.根据权利要求8所述的方法，其中，在合成中，创建的3D脸部模型被映射到UV空间，搜索相应于UV坐标的所述用户图像的像素值以创建用户脸部皮肤颜色纹理图，并且随后，为了逼真地描绘，通过使用法向向量、光源位置等，针对所创建的颜色图和所创建的3D脸部模型，创建诸如法向图或者镜面图等的附加文本图。
CN201410589974.8A 2014-03-31 2014-10-28 采用便携式相机获得三维脸部模型的方法和装置 Pending CN104952111A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140038194A KR20150113751A (ko) 2014-03-31 2014-03-31 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR10-2014-0038194 2014-03-31

Publications (1)

Publication Number Publication Date
CN104952111A true CN104952111A (zh) 2015-09-30

Family

ID=54166736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410589974.8A Pending CN104952111A (zh) 2014-03-31 2014-10-28 采用便携式相机获得三维脸部模型的方法和装置

Country Status (3)

Country Link
US (1) US9710912B2 (zh)
KR (1) KR20150113751A (zh)
CN (1) CN104952111A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938627A (zh) * 2016-04-12 2016-09-14 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN106952336A (zh) * 2017-03-13 2017-07-14 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN108340405A (zh) * 2017-11-10 2018-07-31 广东康云多维视觉智能科技有限公司 一种机器人三维扫描系统及方法
CN108550170A (zh) * 2018-04-25 2018-09-18 深圳市商汤科技有限公司 虚拟角色驱动方法及装置
CN108876886A (zh) * 2017-05-09 2018-11-23 腾讯科技（深圳）有限公司 图像处理方法、装置和计算机设备
CN109035171A (zh) * 2018-08-01 2018-12-18 中国计量大学 一种网纹人脸图像修复方法
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170111593A1 (en) * 2005-06-21 2017-04-20 Cedar Crest Partners Inc. System, method and apparatus for capture, conveying and securing information including media information such as video
US20160314616A1 (en) * 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
US9734594B2 (en) * 2015-08-26 2017-08-15 Electronics Arts Inc. Producing three-dimensional representation based on images of an object
KR101644087B1 (ko) * 2015-11-11 2016-08-11 공간정보기술 주식회사 다시점 원샷 촬영 영상을 이용한 3차원 스캐너 시스템
KR102509934B1 (ko) * 2016-08-01 2023-03-15 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
WO2018053703A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Estimating accurate face shape and texture from an image
KR102336284B1 (ko) * 2017-01-11 2021-12-08 한국전자기술연구원 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
US11665308B2 (en) * 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
US10572720B2 (en) * 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
US10636193B1 (en) * 2017-06-29 2020-04-28 Facebook Technologies, Llc Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
US10636192B1 (en) 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
CN109325988B (zh) * 2017-07-31 2022-11-11 腾讯科技（深圳）有限公司 一种面部表情合成方法、装置及电子设备
KR102042902B1 (ko) 2017-12-18 2019-11-08 한국 한의학 연구원 3차원 안면 진단 장치의 동작 방법
CN111382618B (zh) * 2018-12-28 2021-02-05 广州市百果园信息技术有限公司 一种人脸图像的光照检测方法、装置、设备和存储介质
CN109919876B (zh) * 2019-03-11 2020-09-01 四川川大智胜软件股份有限公司 一种三维真脸建模方法及三维真脸照相系统
CN110176052A (zh) * 2019-05-30 2019-08-27 湖南城市学院 一种面部表情模拟用模型
CN110288554B (zh) * 2019-06-29 2022-09-16 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288551B (zh) * 2019-06-29 2021-11-09 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
US11556172B1 (en) 2020-12-22 2023-01-17 Meta Platforms Technologies, Llc Viewpoint coordination on artificial reality models
CN113343879A (zh) * 2021-06-18 2021-09-03 厦门美图之家科技有限公司 全景面部图像的制作方法、装置、电子设备及存储介质
US11461962B1 (en) * 2021-06-28 2022-10-04 Meta Platforms Technologies, Llc Holographic calling for artificial reality
US11831814B2 (en) 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
US11676329B1 (en) 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture
WO2024076027A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 포인트 클라우드를 생성하는 방법 및 전자 장치
KR102659898B1 (ko) * 2022-11-30 2024-04-23 (주)비주얼신 모바일 단말을 이용한 3차원 발 모델 생성 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153553A1 (en) * 2007-12-15 2009-06-18 Electronics And Telecommunications Research Institute Method and apparatus for creating 3D face model by using multi-view image information
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100914846B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
US9782324B2 (en) * 2011-09-15 2017-10-10 Sigma Instruments Holdings, Llc System and method for treating skin and underlying tissues for improved health, function and/or appearance
US9552668B2 (en) * 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
KR101389980B1 (ko) * 2013-03-06 2014-05-07 주식회사 슈프리마 사용자 그룹핑을 통해 사용자를 관리하는 얼굴 인식장치와 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153553A1 (en) * 2007-12-15 2009-06-18 Electronics And Telecommunications Research Institute Method and apparatus for creating 3D face model by using multi-view image information
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID C. SCHNEIDER、PETER EISERT: "Algorithms For Automatic And Robust Registration Of 3D Head Scans", 《VIRTUAL REALITY AND BROADCASTING》 *
ZHENGYOU ZHANG 等: "Robust and Rapid Generation of Animated Faces from Video Images: A Model-Based Modeling Approach", 《COMPUTER VISION》 *
岳振: "个性化人脸建模技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938627A (zh) * 2016-04-12 2016-09-14 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN105938627B (zh) * 2016-04-12 2020-03-31 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN106952336B (zh) * 2017-03-13 2020-09-15 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN106952336A (zh) * 2017-03-13 2017-07-14 武汉山骁科技有限公司 一种保特征的人类三维头像生产方法
CN108876886A (zh) * 2017-05-09 2018-11-23 腾讯科技（深圳）有限公司 图像处理方法、装置和计算机设备
CN108876886B (zh) * 2017-05-09 2021-07-27 腾讯科技（深圳）有限公司 图像处理方法、装置和计算机设备
CN108340405A (zh) * 2017-11-10 2018-07-31 广东康云多维视觉智能科技有限公司 一种机器人三维扫描系统及方法
CN108340405B (zh) * 2017-11-10 2021-12-07 广东康云多维视觉智能科技有限公司 一种机器人三维扫描系统及方法
CN108550170A (zh) * 2018-04-25 2018-09-18 深圳市商汤科技有限公司 虚拟角色驱动方法及装置
CN108550170B (zh) * 2018-04-25 2020-08-07 深圳市商汤科技有限公司 虚拟角色驱动方法及装置
CN109035171B (zh) * 2018-08-01 2021-06-15 中国计量大学 一种网纹人脸图像修复方法
CN109035171A (zh) * 2018-08-01 2018-12-18 中国计量大学 一种网纹人脸图像修复方法
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN111862348B (zh) * 2020-07-30 2024-04-30 深圳市腾讯计算机系统有限公司 视频显示方法、视频生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20150113751A (ko) 2015-10-08
US9710912B2 (en) 2017-07-18
US20150279044A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
CN104952111A (zh) 采用便携式相机获得三维脸部模型的方法和装置
KR102069964B1 (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
WO2017026839A1 (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR102120046B1 (ko) 오브젝트를 표시하는 방법
US20150279121A1 (en) Active Point Cloud Modeling
EP3997662A1 (en) Depth-aware photo editing
Zhi et al. Texmesh: Reconstructing detailed human texture and geometry from rgb-d video
US10223839B2 (en) Virtual changes to a real object
CN105556508A (zh) 虚拟镜子的装置、系统和方法
CN107479801A (zh) 基于用户表情的终端显示方法、装置及终端
KR20180035869A (ko) 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체
JP2016537901A (ja) ライトフィールド処理方法
WO2019228144A1 (zh) 图像处理方法和装置
CA3184368A1 (en) Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN109906600A (zh) 模拟景深
CN106023307A (zh) 基于现场环境的快速重建三维模型方法及系统
CN109064533B (zh) 一种3d漫游方法及系统
CN104680520B (zh) 一种现场三维信息勘验方法及系统
Siegmund et al. Virtual Fitting Pipeline: Body Dimension Recognition, Cloth Modeling, and On-Body Simulation.
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
Savakar et al. A relative 3D scan and construction for face using meshing algorithm
JP2016071496A (ja) 情報端末装置、方法及びプログラム
KR102316042B1 (ko) 3d 모형의 마커를 다중으로 인식하는 증강현실 콘텐츠 제공 방법 및 시스템
TWI768231B (zh) 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150930