CN110520905B - 人脸姿势矫正装置及方法 - Google Patents
人脸姿势矫正装置及方法 Download PDFInfo
- Publication number
- CN110520905B CN110520905B CN201880025110.XA CN201880025110A CN110520905B CN 110520905 B CN110520905 B CN 110520905B CN 201880025110 A CN201880025110 A CN 201880025110A CN 110520905 B CN110520905 B CN 110520905B
- Authority
- CN
- China
- Prior art keywords
- face data
- face
- dimensional
- model
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000009466 transformation Effects 0.000 claims abstract description 152
- 238000012937 correction Methods 0.000 claims abstract description 66
- 230000002146 bilateral effect Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 87
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000000354 decomposition reaction Methods 0.000 claims description 26
- 230000001131 transforming effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000012952 Resampling Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000004929 Facial Paralysis Diseases 0.000 description 1
- 208000036826 VIIth nerve paralysis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
根据本发明，提供一种人脸姿势矫正装置，使用特定于输入的三维人脸数据的人物对象正面模型来矫正人脸姿势。所述装置包括：生成部，基于预先存储的三维标准人脸模型，对输入的三维人脸数据进行三维刚性变换，从而生成矫正的第一人脸数据；以及矫正部，生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。
Description
技术领域
本发明涉及一种人脸姿势矫正装置及方法，减少与标准人脸模型匹配过程中的拟合误差，以将输入的三维人脸数据矫正为正面姿势，更具体地，使用特定于输入的三维人脸数据的人物对象(person-specific)正面模型来矫正人脸姿势。
背景技术
从扫描为三维图像的人脸数据中进行姿势矫正估计是一项新兴的技术，可以应用于颌骨关节矫正、面瘫诊断等医学领域，还可以应用于人脸识别、教育等各个领域，特别是在估计人脸数据的正面姿势或获取用于将输入的三维人脸数据矫正为正面姿势的刚性变换的问题方面具有很高的利用率。
之前主要采用的矫正方式为：基于在坐标轴上以正面姿势存在的三维标准人脸模型来匹配输入数据，或者通过拟合人脸正面的代表性平面来以正面姿势进行矫正。三维标准人脸通常是通过对多个人脸数据求平均来生成，如果作为矫正对象的输入的三维人脸数据与三维标准人脸模型之间的形状差异较大，则无法避免在匹配过程中产生较大误差。此类匹配误差会在矫正人脸数据的姿势时降低精度，还是重复进行姿势矫正的障碍。
发明内容
解决问题的技术方法
根据一方面，提供一种人脸姿势矫正装置，用于使用特定于输入的三维人脸数据的人物对象正面模型来矫正人脸姿势。所述装置可以包括：生成部，基于预先存储的三维标准人脸模型，对输入的三维人脸数据进行三维刚性变换，从而生成矫正的第一人脸数据；以及矫正部，生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。
根据本发明的一实施例，所述生成部可以包括：提取部，从通过投影输入的三维人脸数据而获得的二维人脸图像中提取多个特征点；估计部，基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系，估计所述输入的三维人脸数据的姿势；计算部，计算用于将所述估计的姿势刚性变换为正面姿势的第一变换矢量；以及变换部，基于所述第一变换矢量对所述输入的三维人脸数据进行刚性变换从而生成第一人脸数据。
根据本发明的一实施例，所述矫正部可以包括：模型生成部，基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型；以及变换矢量计算部，使用迭代最近点(Iterative Closest Point，ICP)算法、奇异值分解(Singular Value Decomposition，SVD)算法及比例正交投影迭代变换(Pose fromOrthography and Scaling with Iteration，POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量，并基于所述第二变换矢量将所述第一人脸模型三维刚体变换从而进行矫正。
在此，所述变换矢量计算部，将通过反复计算所述第二变换矢量而获得的第二值与作为先前计算结果的第一值进行比较，所述比较的结果，当所述第一值与所述第二值的差异小于预定阈值时，确定最终变换矢量。
根据本发明的一实施例，所述矫正部在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚体变换而生成，基于生成的所述第二对象特定正面模型，对所述第二人脸数据进行二维刚体变换从而进一步进行矫正。
此时，所述模型生成部从所述第二人脸数据中移除任意一个坐标轴信息，并使用两个坐标轴信息来生成左右对称的所述第二对象特定正面模型。另外，所述变换矢量计算部使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第二人脸数据与所述第二对象特定正面模型匹配的第三变换矢量，并基于所述第三变换矢量将所述第二人脸模型二维刚体变换从而进行矫正。
根据另一方面，提供一种人脸姿势矫正装置，用于使用特定于输入的三维人脸数据的人物对象正面模型来矫正人脸姿势。所述装置可以包括：生成部，基于从输入的三维人脸数据获得的至少一个人脸特征点，生成与对象的人脸正面相关联的第一人脸数据；以及矫正部，生成作为所述第一人脸数据的左右对称模型的对象特定正面模型，基于生成的所述对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。
根据本发明的一实施例，所述矫正部，包括：模型生成部，基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述对象特定正面模型；以及变换矢量计算部，使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述对象特定正面模型匹配的变换矢量。
根据本发明的另一方面，提供一种人脸姿势矫正方法，用于使用特定于输入的三维人脸数据的人物对象正面模型来矫正人脸姿势。所述方法可以包括以下步骤：基于预先存储的三维标准人脸模型，通过对输入的三维人脸数据进行三维刚性变换来生成矫正的第一人脸数据；以及生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。
根据本发明的一实施例，所述第一人脸数据生成步骤，可以包括以下步骤：从通过投影输入的三维人脸数据而获得的二维人脸图像中提取多个特征点；基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系，估计所述输入的三维人脸数据的姿势；计算用于将所述估计的姿势刚性变换为正面姿势的第一变换矢量；以及基于所述第一变换矢量对所述输入的三维人脸数据进行刚性变换从而生成所述第一人脸数据。
根据本发明一实施例，所述将第一人脸数据三维刚性变换从而进行矫正的步骤，可以包括以下步骤：基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型；使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量；以及基于所述第二变换矢量将所述第一人脸模型三维刚体变换从而进行矫正。
此外，所述将第一人脸数据三维刚性变换从而进行矫正的步骤，还可以包括以下步骤：将通过反复计算所述第二变换矢量而获得的第二值与作为先前计算结果的第一值进行比较；以及所述比较的结果，当所述第一值与所述第二值的差异小于预定阈值时，确定最终变换矢量。
根据本发明的一实施例，所述方法还可以包括以下步骤：在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚体变换而生成；以及基于生成的所述第二对象特定正面模型，将所述第二人脸数据二维刚体变换从而进一步进行矫正。
此时，将所述第二人脸数据二维刚体变换从而进一步进行矫正步骤，包括以下步骤：从所述第二人脸数据中移除任意一个坐标轴信息，并使用两个坐标轴信息来生成左右对称的第二对象特定正面模型；使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第二人脸数据与所述第二对象特定正面模型匹配的第三变换矢量；以及基于所述第三变换矢量将所述第二人脸模型二维刚体变换从而进行矫正。
附图说明
图1为说明根据本发明一实施例的使用刚体变换矢量来变换三维人脸数据的过程的附图。
图2为根据本发明一实施例的人脸姿势矫正装置的方块图。
图3a至3b为说明根据本发明一实施例的人脸姿势矫正装置的详细配置的方块图。
图4为说明根据本发明一实施例的使用人脸对齐(face alignment)算法获取主要标志点的过程的附图。
图5a至5c为说明根据本发明一实施例生成人物对象正面模型，并通过生成的人物对象正面模型来矫正三维人脸数据的姿势的方式的附图。
图6a至6c为说明根据本发明一实施例的执行二维刚体变换方式的附图。
图7为根据本发明一实施例的矫正人脸姿势方法的流程图。
具体实施方式
本说明书描述的根据本发明概念的实施例的具体结构或功能仅为说明根据本发明的概念的实施例，根据本发明的概念的实施例能够体现为不同的形态，并非受限于在此说明的实施例。
可以对根据本发明的概念的实施例进行各种修改，且此实施例可以具有多种形式，因此，将实施例在附图中示出并在本文中详细描述。然而，这并非将根据本发明概念的实施例限定于特定的描述形式，且包括本发明的精神及范围内的修改、等效物或替代物。
第一或第二等术语可用于描述各种组件，但所述组件不应受限于所述术语。所述术语仅用于区分一个组件与另一个组件的目的，例如，在不脱离根据本发明概念的权利范围的情况下，第一组件可以被称为第二组件，类似地，第二组件也可以被称为第一组件。
当言及一个组件“连接”或“接入”到另一个组件时，它可以直接连接或接入到另一个组件，但也可以理解为在它们两者之间存在另一个组件。另一方面，当称一个组件“直接连接”或“直接接入”到另一个组件时，应理解为两者之间没有其他组件。描述组件之间关系的表达方式，如“在……之间”及“直接在……之间”或“直接邻近于……”等具有相同的解释。
本说明书中使用的术语仅用于描述特定示例性实施例，并不用于限制本发明。除非上下文清楚地以其它方式表明，单数表达包括复数含义。术语“包括”或“具有”在本文中使用时指明存在所陈述的特征、数字、步骤、操作、构成要素、部件或其组合，但并不排除存在或添加有一个或多个其他特征、数字、步骤、操作、构成要素、部件或其组合。
除非另有定义，包括技术术语或科学术语在内的本文所用的所有术语应具有与本发明所属领域的普通技术人员通常理解的含义。术语，例如在常用字典中定义的术语应解读为具有与本说明书和相关领域的上下文中的含义相一致的含义，除非本文明确地如此界定，不应被解读为理想化或过于形式上的含义。
以下将参照附图详细描述本发明的示例性实施例。然而，本权利要求的保护范围并不受这些实施例的限定或限制。在附图中，相同的附图标记表示相同的部件。
图1为说明根据本发明一实施例的使用刚体变换矢量来变换三维人脸数据的过程的附图。
参照图1，输入的三维人脸数据110可以通过使用刚体变换矢量120的刚体变换生成为正面姿势的第一人脸数据130。输入的三维人脸数据110可以定义为对应于人脸表面的三维点(voxel)的集合或人脸主要标志点(例如，瞳孔中心点、眼尾点、唇端点等人脸的主要特征点)的集合，除了三维位置信息外，每个点还包括亮度信息(灰度)及颜色信息。
如图1所示，输入的三维人脸数据110包括沿X、Y、Z轴来定义的位置信息，由于这是对应于来自摄影设备的拍摄方向而生成的信息，因此从所述摄影设备获得的输入的三维人脸数据110在三维坐标轴上不一定与正面姿势相一致。为了保证对象人脸分析结果的可靠性及准确性，确保人脸数据的正面姿势尤为重要。所述正面姿势可以被定义为，在全球坐标系X、Y、Z轴上，在正视Z轴的情况下以Y轴左右对称。然而，图1所示的坐标轴仅是用于描述本发明的精神的示例性实施例中的一个，可以根据用户的设置改变坐标轴的设置。
在图1中，为了将输入的三维人脸数据110变换为正面姿势，应对输入的三维人脸数据110计算刚体变换矢量120，并可以将计算出的所述刚体变换矢量120应用于所述输入的三维人脸数据110，从而生成正面姿势的第一人脸数据130。
图2为根据本发明一实施例的人脸姿势矫正装置200的方块图，图3a至3b为说明所述人脸姿势矫正装置200的详细配置的方块图。
人脸姿势矫正装置200用于使用特定于对象人脸数据的人物对象正面模型来矫正人脸姿势，可以用相对简单的方式矫正姿势，并大大缩小在将输入的三维人脸数据匹配至三维标准人脸模型的过程中出现的拟合误差。所述人脸特征点位置信息生成装置200可以包括生成部210及矫正部220。
首先，生成部210基于预先存储的三维标准人脸模型，对输入的三维人脸数据进行三维刚性变换(3D rigid transformation)，从而生成矫正的第一人脸数据。在此，所述输入的三维人脸数据110可以理解为对应于人脸表面的三维点(voxel)的集合或人脸主要标志点的集合，所述第一人脸数据可以理解为是在x、y、z坐标上以正面姿势对所述输入的三维人脸数据的矫正。如图3a所示，生成部210包括提取部310、估计部320、计算部330及变换部340。
提取部310可以从通过投影所述输入的三维人脸数据而获得的二维人脸图像中提取多个特征点。估计部320可以基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系，估计所述输入的三维人脸数据的姿势。计算部330可以计算用于将所述估计的姿势刚性变换为正面姿势的第一变换矢量。变换部340基于计算的所述第一变换矢量对所述输入的三维人脸数据进行刚性变换(rigid transformation)从而生成所述第一人脸数据。
然而，当不存在预先存储的三维标准人脸模型时，生成部210可以基于从所述输入的三维人脸数据获得的至少一个特征点信息来生成所述第一人脸数据。此时，可以从所述输入的三维人脸数据中获得眼睛、鼻子、嘴等主要部位特征点的位置信息，且所述生成部210即使不使用三维标准人脸模型，也基于所述特征点位置信息生成与所述对象正面相关联的第一人脸数据。
矫正部220生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正。矫正部220的详细结构与图3b相同，包括模型生成部350及变换矢量计算部360。
模型生成部350可以基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型。
变换矢量计算部360使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量。当输入的三维人脸数据为通常存在于三维扫描的人脸表面上的多个点的集合时，由于应在不知道所述输入的三维人脸数据与所述正面模型的点之间的对应关系的情况下执行匹配，因此可以使用迭代最近点(ICP)算法来计算所述刚体变换矢量。然而，当所述输入的三维人脸数据为人脸主要标志点(例如，瞳孔中心点、眼尾点、唇端点等人脸的主要特征点)的集合时，由于在已知的所述输入的三维人脸数据与所述正面模型的点之间的对应关系下执行匹配，因此使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法来计算所述刚体变换矢量。此外，也可以使用对所述输入的三维人脸数据及先前生成的正面模型进行重采样的方式，此时，由于也已经知道匹配对象之间的对应关系，因此可以使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法来进行匹配，匹配对象的点数越多，匹配则可以越精确。所述变换矢量计算部360可以反复计算第二变换矢量，并将作为反复计算的结果获得的第二值与作为先前计算的结果获得的第一值进行比较，当所述第一值与所述第二值之差小于预定阈值时，将所述第二值确定为最终变换矢量。
矫正部220在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚体变换而生成，并且，基于生成的所述第二对象特定正面模型对所述第二人脸数据进行二维刚体变换从而进一步进行矫正。此时，所述模型生成部350从第二人脸数据中移除任何一个坐标轴信息，并使用两个坐标轴信息来生成左右对称的所述第二对象特定正面模型。另外，所述变换矢量计算部360使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第二人脸数据与所述第二对象特定正面模型匹配的第三变换矢量，并基于所述第三变换矢量将所述第二人脸模型二维刚体变换从而进行矫正。与计算第二变换矢量相同，当不知道第二人脸数据与所述第二对象特定正面模型之间的对应关系时，使用迭代最近点(ICP)算法进行匹配；当已知所述对应关系时，使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法进行匹配。
人脸姿势矫正装置200通过对输入的三维人脸数据进行三维刚性变换来执行初始姿势矫正后，生成特定于所述三维输入的三维人脸数据的正面模型，并再次通过刚体变换实现精准矫正。另外，在进行精准矫正的过程中，所述人脸姿势矫正装置200还可以对在X-Z平面及X-Y平面上二维刚性变换的y轴及z轴进一步进行对称矫正，由此明显减少在将所述输入的三维人脸数据以正面姿势矫正的过程中产生的拟合误差，进一步提高矫正结果的精度。
图4为说明根据本发明一实施例的使用人脸对齐(face alignment)算法获取主要标志点的过程的附图。
在分析输入的三维人脸数据时，可以直接分析三维数据，但通常都采用通过从特定摄像机视点获取的二维投影图像来分析输入的三维人脸数据的方法。通过将输入的三维人脸数据以Z轴方向投影获取的二维投影图像可以表示为如图4所示。由于无法保证所述输入的三维人脸数据是准确的正面姿势，因此，二维投影图像410也可能不是正面姿势。
为了矫正所述输入的三维人脸数据的正面姿势，可以预先存储三维标准人脸模型。所述三维标准人脸模型可以通过计算由三维扫描仪等测量的多个三维人脸样本的平均值来生成，或将多个三维人脸样本分别在Y轴上线性对称的数据创建为虚拟样本，并求出所有样本(测量样本及Y轴对称虚拟样本)的平均值来生成。所述输入的三维人脸数据110与所述输入的三维人脸数据相同，可以由对应于人脸表面的三维点(voxel)的集合来组成，除了三维位置信息外还包括亮度信息(灰度)及颜色信息，并应具有用户最终想要的正面姿势。
参照图4，所述二维投影图像410的坐标系使用U轴及V轴。投影可以以各种方式进行，如正交投影、透视投影，由于在Z轴方向上进行投影，因此全球坐标系的X-Y平面可以看作是U-V平面。与图1的坐标轴相比，可以理解，图1的X轴与图4的U轴方向相同，图1的Y轴与图4的V轴仅在方向上相反。
通过估计任意输入的三维人脸数据的姿势来应用刚体变换矢量T到正面姿势，并从与全球坐标系的Z轴一致的摄像机视点获取二维投影图像，则可以提取人脸特征点。此时，刚性变换T为X、Y、Z轴的旋转及平移变换的矢量，可以表示为T:6D矢量(θx,θy,θz,tx,ty,tz)。
对于二维投影图像410，可以通过应用主动外观模型(Active Appearance Model，AAM)、受约束的局部模型(Constrained Local Model，CLM)等人脸对齐(face alignment)算法来提取人脸区域的主要标志点420。所述标志点420指人脸的主要特征点，如瞳孔中心点、眼尾点、唇端点等。由于以这种方式提取的标志点420已定义在预先存储的三维标准人脸模型中，因此可以获得所述标志点420与所述三维标准人脸模型之间的二维-三维对应信息，且通过使用奇异值分解(SVD)或比例正交投影迭代变换(POSIT)等算法，可以求出所述输入的三维人脸数据的姿势估计，以及为将其初始矫正为正面姿势的刚体变换矢量T0。将得到的所述刚体变换T0应用于所述输入的三维人脸数据时，可以获得初始矫正数据。若正确地提取所述标志点420，则可以将标志点420变换为类似于所述三维标准人脸模型的姿势，从而得到矫正实现接近正面姿势。然而，由于三维标准人脸模型与所述输入的三维人脸数据之间的形态差异、人脸对齐算法提取的标志点的位置精度以及提取的标志点数量的限制，需要更详细的正面姿势矫正。
图5a至5c为说明根据本发明一实施例生成人物对象正面模型，并通过生成的人物对象正面模型来矫正三维人脸数据的姿势的方式的附图。
为了在输入的三维人脸数据上进行详细的正面姿势矫正，应生成特定于输入的三维人脸数据的人物对象正面模型。人物对象正面模型是指基于Y轴左右对称的模型，可以通过以Y轴为基准，将左侧的三维点对称地移动并复制到右侧(或以Y轴为基准，将右侧的三维点对称地移动并复制到左侧)来生成。如图4所示，当使用刚体变换矢量T0来初始矫正输入的三维人脸数据时，可以生成作为初始矫正的所述第一人脸数据的人物对象正面模型的第一对象特定正面模型。所述第一对象特定正面模型可以理解为所述第一人脸数据的左右对称模型，并通过所述第一人脸数据与所述第一对象特定正面模型的匹配来计算三维刚体变换矢量T1。
所述输入的三维人脸数据可以由对应于人脸表面的三维点(voxel)或较小数量的三维点(例如，人脸的主要标志点)的集合来组成，根据所述输入的三维人脸数据的类型，可以生成不同类型的人物对象正面模型。
如图5a所示，当所述输入的三维人脸数据为对应于人脸表面的三维点的集合时，初始矫正的第一人脸数据510及第一对象特定正面模型520也由对应于人脸表面的多个三维点来构成。此时，由于应在未知的所述第一人脸数据510与所述第一对象特定正面模型520的点之间的对应关系下执行匹配，因此使用迭代最近点(ICP)算法来计算所述刚体变换矢量T1。使用迭代最近点(ICP)算法的匹配之前511及匹配之后521的结果如图5a下端所示。
如图5b所示，当所述输入的三维人脸数据为人脸主要标志点的集合时，也使用主要标志点来生成初始矫正的第一人脸数据530及第一对象特定正面模型540。此时，由于在已知的所述第一人脸数据510与所述第一对象特定正面模型540的点之间的对应关系下执行匹配，因此使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法来计算所述刚体变换矢量T1。使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法的匹配之前531及匹配之后541的结果可以如图5b所示。
除了图5a及图5b，也可以根据实施例以各种方式生成人物对象正面模型。例如，可以分别对在图5a生成的第一对象特定正面模型及所述第一数据进行重采样(resampling)，由此生成改进的人物对象正面模型。此时，如图5c所示，在所述第一对象特定正面模型520中以x与y坐标为基准，划分网格(grid)，并可以通过提取或计算每个网格的代表性三维点(计算属于网格的x、y、z坐标的平均值或选择与代表网格的x、y、z坐标最接近的点)的方式进行重采样。以同样的方式，可以对所述第一数据510进行重采样。如此，使用相同网格来重采样的两个模型是在识别了匹配对象之间的对应关系的状态下执行匹配，因此如图5b所示，可以使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法来计算所述刚体变换矢量T1。根据本发明的实施例，也可以通过对图5b的第一对象特定正面模型540及第一数据530进行重采样，由此生成改进的人物对象正面模型，从而执行匹配。
图6a至6c为说明根据本发明一实施例的执行二维刚体变换方式的附图。
为了对输入的三维人脸数据进行精准的正面姿势矫正，可以进一步执行y轴与z轴的正面矫正。这以在X-Z平面及X-Y平面上进行二维刚性变换的方式执行。
可以通过在上述图5a至图5c中矫正生成的第二人脸数据中去除特定坐标轴来生成作为第二人脸数据的人物对象正面模型的第二对象特定正面模型。所述第二对象特定正面模型可以理解为所述第二人脸数据的左右对称模型，且通过所述第二人脸数据与所述第二对象特定正面模型的匹配来计算二维刚体变换矢量T2。在二维坐标上进行姿势矫正时，具有以下优点：匹配结果的稳定性高于三维坐标上的姿势矫正，在之后即使发生他人的手动操作也易于适用。在图6a的X-Y平面及图6b的X-Z平面中，正面姿势可以通过对称来定义，但在如图6c所示的Y-Z平面中，代表线的角度可以通过头部与下颌之间的区域中的直线拟合(line fitting)来提取，并对X轴旋转进行矫正。
此外，可以反复计算用于精准姿势矫正过程的刚体变换矢量T1及T2，直到计算结果收敛。对图5a至图5c所示的刚体变换矢量T1的计算过程及图6所示的刚体变换矢量T2的计算过程进行n次反复，将第n个计算结果与第n-1个计算结果进行比较，若其之差小于预定阈值，则可以确定收敛并停止反复执行，且将第n个计算结果确定为最终的刚体变换矢量T。
图7为根据本发明一实施例的矫正人脸姿势方法的流程图。
人脸姿势矫正装置用于使用特定于对象人脸数据的人物对象正面模型来矫正正面姿势，并提供一种方法，通过相对简单的方式矫正姿势，大大减少在将输入的三维人脸数据与三维标准人脸模型匹配的过程中出现的拟合误差。
在步骤710中，基于人脸姿势矫正装置的生成部预先存储的三维标准人脸模型，可以通过对输入的三维人脸数据进行三维刚性变换(3D rigidtransformation)来生成矫正的第一人脸数据。在此，所述输入的三维人脸数据可以理解为对应于人脸表面的三维点(voxel)的集合或人脸主要标志点的集合，所述第一人脸数据可以理解为是在x、y、z坐标上以正面姿势对所述输入的三维人脸数据的矫正。
在步骤710中，所述生成部可以从通过投影所述输入的三维人脸数据获得的二维人脸图像中提取多个特征点，基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系来估计所述输入的三维人脸数据的姿势。另外，所述生成部计算用于将所述估计的姿势刚性变换为正面姿势的第一变换矢量，并基于所计算的所述第一变换矢量对所述输入的三维人脸数据进行刚性变换从而生成所述第一人脸数据。
然而，当不存在预先存储的三维标准人脸模型时，在步骤710中，所述生成部可以基于从所述输入的三维人脸数据获得的至少一个特征点信息来生成所述第一人脸数据。此时，可以从所述输入的三维人脸数据中获得眼睛、鼻子、嘴等主要部位特征点的位置信息，且所述生成部即使不使用三维标准人脸模型，也基于所述特征点位置信息，生成与所述对象人脸正面相关联的第一人脸数据。
在步骤720中，人脸姿势矫正装置的矫正部可以生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型。在步骤720中，所述矫正部基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型。
在步骤730中，所述矫正部可以基于在步骤720中生成的第一对象特定正面模型，通过三维刚性变换来矫正所述第一人脸数据。为此，所述矫正部使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量。当输入的三维人脸数据为通常存在于三维扫描的人脸表面上的多个点的集合时，由于应在未知的所述输入的三维人脸数据与所述正面模型的点之间的对应关系下执行匹配，因此可以使用迭代最近点(ICP)算法来计算所述刚体变换矢量。然而，当所述输入的三维人脸数据为人脸主要标志点(例如，瞳孔中心点、眼尾点、唇端点等人脸的主要特征点)的集合时，由于在已知的所述输入的三维人脸数据与所述正面模型的点之间的对应关系下执行匹配，因此使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法来计算所述刚体变换矢量。此外，也可以使用对所述输入的三维人脸数据及先前生成的正面模型进行重采样的方式，此时，由于也已知匹配对象之间的对应关系，因此可以使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法来进行匹配，匹配对象的点数越多，匹配则可以越精确。
在步骤730中，所述矫正部可以反复计算第二变换矢量，并将作为反复计算的结果获得的第二值与作为先前计算的结果获得的第一值进行比较，当所述第一值与所述第二值之差小于预定阈值时，将所述第二值确定为最终变换矢量。
在步骤730之后，所述矫正部在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚体变换而生成，并基于生成的所述第二对象特定正面模型对所述第二人脸数据进行二维刚体变换从而进一步进行矫正。此时，所述矫正部可以使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第二人脸数据与所述第二对象特定正面模型匹配的第三变换矢量，并基于所述第三变换矢量将所述第二人脸模型二维刚体变换从而进行矫正。与计算第二变换矢量相同，当不知道第二人脸数据与所述第二对象特定正面模型之间的对应关系时，使用迭代最近点(ICP)算法进行匹配；当已知所述对应关系时，使用奇异值分解(SVD)算法或比例正交投影迭代变换(POSIT)算法进行匹配。
尽管通过如上文所述的有限的实施例及附图来描述本发明的实施例，但本领域技术人员可以从上述描述进行各种修改和变化。例如，所描述的技术可以以不同于所描述的方法的顺序执行，以及/或者所描述的系统、结构、装置、电路等组件可以以不同于所描述的方法的形式结合或组合，或者，即使通过等价物来取代或替代，也可以得到适当的结果。
因此，其他实现、其他实施例及权利要求的等价物都包括在随后所附的权利要求的范围之内。
Claims (12)
1.一种人脸姿势矫正装置，包括：
生成部，基于预先存储的三维标准人脸模型，对输入的三维人脸数据进行三维刚性变换，从而生成矫正的第一人脸数据；以及
矫正部，生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正，
所述矫正部在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚性变换而生成，基于生成的所述第二对象特定正面模型，对所述第二人脸数据进行二维刚性变换从而进一步进行矫正。
2.根据权利要求1所述的人脸姿势矫正装置，其特征在于，
所述生成部，包括：
提取部，从通过投影输入的三维人脸数据而获得的二维人脸图像中提取多个特征点；
估计部，基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系，估计所述输入的三维人脸数据的姿势；
计算部，计算用于将所述估计的姿势刚性变换为正面姿势的第一变换矢量；以及
变换部，基于所述第一变换矢量对所述输入的三维人脸数据进行刚性变换从而生成所述第一人脸数据。
3.根据权利要求1所述的人脸姿势矫正装置，其特征在于，
所述矫正部，包括：
模型生成部，基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型；以及
变换矢量计算部，使用迭代最近点(Iterative Closest Point,ICP)算法、奇异值分解(Singular Value Decomposition,SVD)算法及比例正交投影迭代变换(Pose fromOrthography and Scaling with Iteration,POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量，并基于所述第二变换矢量将所述第一人脸数据三维刚性变换从而进行矫正。
4.根据权利要求3所述的人脸姿势矫正装置，其特征在于，
所述变换矢量计算部，
将通过反复计算所述第二变换矢量而获得的第二值与作为先前计算结果的第一值进行比较，所述比较的结果，当所述第一值与所述第二值的差异小于预定阈值时，确定最终变换矢量。
5.根据权利要求3所述的人脸姿势矫正装置，其特征在于，
所述模型生成部从所述第二人脸数据中移除任意一个坐标轴信息，并使用两个坐标轴信息来生成左右对称的所述第二对象特定正面模型，
所述变换矢量计算部，使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第二人脸数据与所述第二对象特定正面模型匹配的第三变换矢量，并基于所述第三变换矢量将所述第二人脸数据二维刚性变换从而进行矫正。
6.一种人脸姿势矫正装置，包括：
生成部，基于从输入的三维人脸数据获得的至少一个人脸特征点，生成与对象的人脸正面相关联的第一人脸数据；以及
矫正部，生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正，
所述矫正部在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚性变换而生成，基于生成的所述第二对象特定正面模型，对所述第二人脸数据进行二维刚性变换从而进一步进行矫正。
7.根据权利要求6所述的人脸姿势矫正装置，其特征在于，
所述矫正部，包括：
模型生成部，基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型；以及
变换矢量计算部，使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的变换矢量。
8.一种人脸姿势矫正方法，包括以下步骤：
基于预先存储的三维标准人脸模型，通过对输入的三维人脸数据进行三维刚性变换来生成矫正的第一人脸数据；以及
生成作为所述第一人脸数据的左右对称模型的第一对象特定正面模型，基于生成的所述第一对象特定正面模型将所述第一人脸数据三维刚性变换从而进行矫正；以及
在第二人脸数据的一个坐标平面上生成左右对称的第二对象特定正面模型，其中，所述第二人脸数据由所述第一人脸数据三维刚性变换而生成；以及
基于生成的所述第二对象特定正面模型，将所述第二人脸数据二维刚性变换从而进一步进行矫正。
9.根据权利要求8所述的人脸姿势矫正方法，其特征在于，
所述第一人脸数据生成步骤，包括以下步骤：
从通过投影输入的三维人脸数据而获得的二维人脸图像中提取多个特征点；
基于对所述三维标准人脸模型所提取的所述多个特征点的对应关系，估计所述输入的三维人脸数据的姿势；
计算用于将被估计的所述输入的三维人脸数据的姿势刚性变换为正面姿势的第一变换矢量；以及
基于所述第一变换矢量对所述输入的三维人脸数据进行刚性变换从而生成所述第一人脸数据。
10.根据权利要求8所述的人脸姿势矫正方法，其特征在于，
所述将所述第一人脸数据三维刚性变换从而进行矫正的步骤，包括以下步骤:
基于所述第一人脸数据的y轴，将第一面的三维点对称地移动并复制到第二面，从而生成所述第一对象特定正面模型；
使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第一人脸数据与所述第一对象特定正面模型匹配的第二变换矢量；以及
基于所述第二变换矢量将所述第一人脸数据三维刚性变换从而进行矫正。
11.根据权利要求10所述的人脸姿势矫正方法，其特征在于，还包括以下步骤：
将通过反复计算所述第二变换矢量而获得的第二值与作为先前计算结果的第一值进行比较；以及
所述比较的结果，当所述第一值与所述第二值的差异小于预定阈值时，确定最终变换矢量。
12.根据权利要求8所述的人脸姿势矫正方法，其特征在于，
将所述第二人脸数据二维刚性变换从而进一步进行矫正的步骤，包括以下步骤：
从所述第二人脸数据中移除任意一个坐标轴信息，并使用两个坐标轴信息来生成左右对称的第二对象特定正面模型；
使用迭代最近点(ICP)算法、奇异值分解(SVD)算法及比例正交投影迭代变换(POSIT)算法中至少一个来计算用于将所述第二人脸数据与所述第二对象特定正面模型匹配的第三变换矢量；以及
基于所述第三变换矢量将所述第二人脸数据二维刚性变换从而进行矫正。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2017-0048577 | 2017-04-14 | ||
| KR1020170048577A KR101908851B1 (ko) | 2017-04-14 | 2017-04-14 | 얼굴 자세 보정 장치 및 방법 |
| PCT/KR2018/001678 WO2018190504A1 (ko) | 2017-04-14 | 2018-02-08 | 얼굴 자세 보정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110520905A CN110520905A (zh) | 2019-11-29 |
| CN110520905B true CN110520905B (zh) | 2023-06-20 |
Family
ID=63793295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880025110.XA Active CN110520905B (zh) | 2017-04-14 | 2018-02-08 | 人脸姿势矫正装置及方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11069152B2 (zh) |
| KR (1) | KR101908851B1 (zh) |
| CN (1) | CN110520905B (zh) |
| WO (1) | WO2018190504A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI704530B (zh) * | 2019-01-29 | 2020-09-11 | 財團法人資訊工業策進會 | 注視度判斷裝置及方法 |
| EP3981007A1 (en) * | 2019-06-07 | 2022-04-13 | Koninklijke Philips N.V. | Patient sleep therapy mask selection tool |
| US11798299B2 (en) * | 2019-10-31 | 2023-10-24 | Bodygram, Inc. | Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation |
| CN111553250B (zh) * | 2020-04-25 | 2021-03-09 | 深圳德技创新实业有限公司 | 一种基于人脸特征点的精准面瘫程度评测方法及装置 |
| US11675195B2 (en) * | 2021-05-21 | 2023-06-13 | Microsoft Technology Licensing, Llc | Alignment of 3D representations for hologram/avatar control |
| CN113343927B (zh) * | 2021-07-03 | 2023-06-23 | 郑州铁路职业技术学院 | 一种适用于面瘫患者的智能化人脸识别方法和系统 |
| KR102569572B1 (ko) * | 2022-08-10 | 2023-08-24 | 주식회사 오젤 | 가상의 착용이미지 제공시스템 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050084263A (ko) * | 2002-12-11 | 2005-08-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 폰 이미지에서 머리 자세를 보정하기 위한 방법 및장치 |
| CN1831846A (zh) * | 2006-04-20 | 2006-09-13 | 上海交通大学 | 基于统计模型的人脸姿势识别方法 |
| KR100930594B1 (ko) * | 2009-05-14 | 2009-12-09 | 한국 한의학 연구원 | 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법 |
| CN101763636A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
| CN101976359A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸的特征点自动定位的方法 |
| JP2013045207A (ja) * | 2011-08-23 | 2013-03-04 | Nagoya Univ | 画像処理装置、および画像処理プログラム |
| JP2016099759A (ja) * | 2014-11-20 | 2016-05-30 | 国立大学法人静岡大学 | 顔検出方法、顔検出装置、及び顔検出プログラム |
| KR20170019779A (ko) * | 2015-08-12 | 2017-02-22 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070080967A1 (en) * | 2005-10-11 | 2007-04-12 | Animetrics Inc. | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects |
| JP4946730B2 (ja) * | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
| WO2010002070A1 (en) * | 2008-06-30 | 2010-01-07 | Korea Institute Of Oriental Medicine | Method for grouping 3d models to classify constitution |
| KR101184097B1 (ko) | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | 얼굴 정면포즈 판단 방법 |
| US9330483B2 (en) * | 2011-04-11 | 2016-05-03 | Intel Corporation | Avatar facial expression techniques |
| KR20140004604A (ko) * | 2013-10-02 | 2014-01-13 | 인텔렉추얼디스커버리 주식회사 | ３차원 얼굴 생성 장치 및 방법 |
| KR20150065445A (ko) | 2013-12-05 | 2015-06-15 | 한국전자통신연구원 | 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법 |
| US9477878B2 (en) * | 2014-01-28 | 2016-10-25 | Disney Enterprises, Inc. | Rigid stabilization of facial expressions |
| KR101660596B1 (ko) | 2014-12-05 | 2016-09-27 | 한국 한의학 연구원 | 안면 형상 기울기 보정 방법 및 보정 시스템 |
| KR101732807B1 (ko) | 2015-10-06 | 2017-05-08 | 한국 한의학 연구원 | 3차원 얼굴 비대칭 분석 장치 및 방법 |
| KR101692493B1 (ko) * | 2015-10-07 | 2017-01-03 | (주)에스앤 | 얼굴 사진 기반 3차원 얼굴 입체 모델 생성 장치 및 방법 |
| US20180121713A1 (en) * | 2016-10-28 | 2018-05-03 | Qualcomm Incorporated | Systems and methods for verifying a face |
| US10839481B1 (en) * | 2018-12-07 | 2020-11-17 | Bellus 3D, Inc. | Automatic marker-less alignment of digital 3D face and jaw models |
| US10949649B2 (en) * | 2019-02-22 | 2021-03-16 | Image Metrics, Ltd. | Real-time tracking of facial features in unconstrained video |
-
2017
- 2017-04-14 KR KR1020170048577A patent/KR101908851B1/ko active IP Right Grant
-
2018
- 2018-02-08 WO PCT/KR2018/001678 patent/WO2018190504A1/ko active Application Filing
- 2018-02-08 CN CN201880025110.XA patent/CN110520905B/zh active Active
- 2018-02-08 US US16/605,126 patent/US11069152B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050084263A (ko) * | 2002-12-11 | 2005-08-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 폰 이미지에서 머리 자세를 보정하기 위한 방법 및장치 |
| CN1831846A (zh) * | 2006-04-20 | 2006-09-13 | 上海交通大学 | 基于统计模型的人脸姿势识别方法 |
| KR100930594B1 (ko) * | 2009-05-14 | 2009-12-09 | 한국 한의학 연구원 | 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법 |
| CN101763636A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
| CN101976359A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸的特征点自动定位的方法 |
| JP2013045207A (ja) * | 2011-08-23 | 2013-03-04 | Nagoya Univ | 画像処理装置、および画像処理プログラム |
| JP2016099759A (ja) * | 2014-11-20 | 2016-05-30 | 国立大学法人静岡大学 | 顔検出方法、顔検出装置、及び顔検出プログラム |
| KR20170019779A (ko) * | 2015-08-12 | 2017-02-22 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
Non-Patent Citations (2)
| Title |
|---|
| A Stud on Creation of 3D Facial Model Using Fitting by Edge Detection Based on Fuzzy Logic;LEE Hye Jeong;《Journal of the Korea Institute of Information and Communication Engineer》;20101231;第14卷(第12期);第2681-2690页 * |
| 基于几何代数理论3D人脸姿态计算与识别研究;丁立军;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20150315(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101908851B1 (ko) | 2018-10-17 |
| WO2018190504A1 (ko) | 2018-10-18 |
| US20200160615A1 (en) | 2020-05-21 |
| US11069152B2 (en) | 2021-07-20 |
| CN110520905A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110520905B (zh) | 人脸姿势矫正装置及方法 | |
| JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
| US10469828B2 (en) | Three-dimensional dense structure from motion with stereo vision | |
| US8086027B2 (en) | Image processing apparatus and method | |
| US7693564B2 (en) | System, apparatus and method for forensic facial approximation | |
| KR20180087947A (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| US7027618B2 (en) | Head motion estimation from four feature points | |
| JP2005339288A (ja) | 画像処理装置及びその方法 | |
| Crispell et al. | Pix2face: Direct 3d face model estimation | |
| JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
| KR20190069750A (ko) | 2d를 3d로 변환하는 기술과 posit 알고리즘을 이용한 증강현실 표현방법 | |
| WO2022018811A1 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| KR101732807B1 (ko) | 3차원 얼굴 비대칭 분석 장치 및 방법 | |
| CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
| Grest et al. | Human model fitting from monocular posture images | |
| KR20090070258A (ko) | 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법 | |
| JP7286387B2 (ja) | 位置推定システム、位置推定装置、位置推定方法、及びプログラム | |
| Kim et al. | An improved ICP algorithm based on the sensor projection for automatic 3D registration | |
| JP2018200175A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6260146B2 (ja) | 形状状態推定装置、形状モデル生成装置、及びプログラム | |
| WO2022003843A1 (ja) | 判定プログラム、判定装置、および判定方法 | |
| US20220398867A1 (en) | Information processing apparatus and facial expression determination method | |
| Fan et al. | 3D hand skeleton model estimation from a depth image | |
| Yoshiyasu et al. | Statistical Human Body Shape Model including Elderly People | |
| Golyanik et al. | Probabilistic Point Set Registration with Prior Correspondences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |