CN113743321A - 脸部识别方法和设备 - Google Patents

脸部识别方法和设备 Download PDF

Info

Publication number
CN113743321A
CN113743321A CN202111044887.0A CN202111044887A CN113743321A CN 113743321 A CN113743321 A CN 113743321A CN 202111044887 A CN202111044887 A CN 202111044887A CN 113743321 A CN113743321 A CN 113743321A
Authority
CN
China
Prior art keywords
face
information
image
user
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111044887.0A
Other languages
English (en)
Inventor
李宣旼
金亭培
俞炳仁
韩在濬
韩承周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150175672A external-priority patent/KR20170000748A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113743321A publication Critical patent/CN113743321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开一种脸部识别方法和设备。面部识别方法包括：获得用户面部的2D图像；获得与用户面部相关联的3D形状信息；使用至少一个深度神经网络模型从2D图像和3D形状信息提取特征信息；以及基于提取的特征信息来确定面部识别结果。

Description

脸部识别方法和设备
本申请是申请日为2016年6月24日、申请号为201610467503.9、发明名称为“脸部识别方法和设备”的发明专利申请的分案申请。
技术领域
至少一个示例性实施例涉及用于识别出现在图像中的脸部的脸部识别技术。
背景技术
与其他识别技术(例如，需要用户执行特定的运动或动作的指纹和虹膜识别)不同，脸部识别技术被认为是可在不接触目标的情况下验证目标的方便且有竞争力的生物识别技术。由于脸部识别技术的方便性和有效性，这样的脸部识别技术已被广泛地使用于各种应用领域，例如，安全系统、移动认证和多媒体搜索。然而，脸部识别技术的性能对于用户的脸部姿态和面部表情、遮挡、光照的变化等可能是敏感的。
识别注册的脸部和未注册的脸部的模式分类器的性能可影响脸部识别技术的性能。可基于例如使用神经网络模型的方法来训练模式分类器。神经网络模型可以是通过由数学表达式对人类神经细胞的特征进行建模获得的模型，并且可具有将输入模式分类为预定的组的能力。为了解决将输入模式分类为预定的组的问题，神经网络模型可使用模仿人类学习的能力的算法。基于该算法，神经网络模型可生成可被表示为神经网络模型的学习能力的输入模式与输出模式之间的映射。
发明内容
一些示例性实施例涉及一种脸部识别方法。
在一些示例性实施例中，所述方法可包括：基于二维(2D)输入图像生成个性化三维脸部模型，基于个性化3D脸部模型获得3D形状信息和正规化2D输入图像，基于3D形状信息和正规化2D输入图像的颜色信息确定特征信息，基于特征信息执行脸部识别。
所述确定的步骤可包括：使用第一深度神经网络模型基于颜色信息确定第一特征信息，并使用第二深度神经网络模型基于3D形状信息确定第二特征信息，其中，所述脸部识别的执行的步骤可包括基于第一特征信息和第二特征信息执行脸部识别。
所述3D形状信息的获得的步骤可包括：基于个性化3D脸部模型生成深度图像，基于正规化2D输入图像的标记精细化出现在深度图像中的3D形状，并从精细化的3D形状获得3D形状信息。
其他示例性实施例涉及一种设备。
在一些示例性实施例中，所述设备可包括：标记检测器，被配置为从2D图像检测脸部的标记；3D形状信息获取器，被配置为基于检测的标记生成个性化3D脸部模型并从个性化3D脸部模型获得3D形状信息；第一特征信息确定器，被配置为基于2D图像的颜色信息使用第一深度神经网络模型确定第一特征信息；第二特征信息确定器，被配置为基于3D形状信息使用第二深度神经网络模型确定第二特征信息。
第一深度神经网络模型可用于基于2D图像的颜色信息确定与被包括在图像中的脸部的外观相关的特征，第二深度神经网络模型可用于基于3D形状信息确定与被包括在2D图像中的脸部的形状相关的特征。
其他示例实施例涉及一种脸部识别设备。
在一些示例实施例中，所述脸部识别设备可包括至少一个处理器，和包括可由所述至少一个处理器执行的指令的存储器，其中，在执行指令的过程中，所述至少一个处理器被配置为基于2D输入图像生成个性化3D脸部模型，基于个性化3D脸部模型获得3D形状信息和正规化2D输入图像，基于3D形状信息和正规化2D输入图像的颜色信息确定特征信息，并基于特征信息执行脸部识别。
将在下面的描述中分部分地提出示例性实施例的其他方面，而且示例性实施例的其他方面将从描述分部分地清楚或可通过本公开的实施学习到。
附图说明
通过下面结合附图对示例性实施例进行的描述，这些和/或其他方面将变得清楚和更加容易理解，其中：
图1示出根据至少一个示例性实施例的脸部识别设备的示例；
图2示出根据至少一个示例性实施例的重建用户的脸部的三维(3D)形状的示例；
图3A和图3B示出根据至少一个示例性实施例的细化出现在深度图像中的3D形状的示例；
图4和图5示出根据至少一个示例性实施例的基于第一神经网络模型确定第一特征信息的示例；
图6和图7示出根据至少一个示例性实施例的基于第二神经网络模型确定第二特征信息的示例；
图8示出根据至少一个示例性实施例的基于第三神经网络模型确定第二特征信息的示例；
图9A和图9B示出根据至少一个示例性实施例的基于脸部的标记确定第二特征信息的示例；
图10示出根据至少一个示例性实施例的脸部识别方法的示例；
图11示出根据至少一个示例性实施例的脸部识别设备的另一个示例。
具体实施方式
以下，将参照附图对一些示例性实施例进行详细描述。关于在附图中被分配给元件的标记，应注意，无论在任何可能的地方，即使相同的元件被示出在不同的附图中，他们也将由相同的标记表示。此外，在实施例的描述中，当认为对公知的相关结构或功能的详细描述会引起对本公开的模糊解释时，将省略这样的描述。
然而，应理解，没有意图在于将本公开限制到公开的具体示例性实施例。相反地，示例性实施例是去覆盖落入示例性实施例的范围内的所有修改、等价物和可选方案。贯穿整个图的描述，相同的数字始终指代相同的元件。
此外，可在这里使用诸如第一、第二、A、B、(a)和(b)等的术语来描述组件。这些术语中的每一个不是被用来定义相应组件的本质、次序或顺序，而仅仅是用来将相应组件与其他组件区分出来。应注意，如果在说明书中描述一个组件被“连接”、“耦合”或“结合”到另一个组件，虽然第一组件可直接被连接、耦合或结合到第二组件，但是第三组件也可被“连接”、“耦合”和“结合”在第一组件与第二组件之间。
这里使用的术语是为了仅仅描述具体实施例的目的并且意图不在于限制。如这里所使用，单数形式“一个”和“这个”意图在于同样包括复数形式，除非上下文另外清楚地指出。还将理解，当在这里使用的术语“包括”和“包含”表明陈述的特征、整数、操作、元件和/或组件的存在，而不是排除一个或多个其他特征、整数、操作、元件、组件和/或其组合的存在或增加。
也应注意，在一些可选的实施方式中，指出的功能/行为可以脱离在示图中指出的次序发生。例如，根据涉及的功能/行为，实际上可基本同时地执行连续示出的两个示图或有时候可以相反的次序执行连续示出的两个示图。
现在将参照示出一些示例性实施例的附图对各种示例性实施例进行更加完整的描述。在附图中，为了清楚，夸大了层和区域的厚度。
图1示出根据至少一个示例性实施例的脸部识别设备100。在一个示例中，脸部识别设备100可包括标记(landmark，地标，特征)检测器110、三维(3D)形状信息获取器120、正规化器130、第一特征信息确定器140、第二特征信息确定器150、最终特征信息确定器160和脸部识别器170。标记检测器110、三维(3D)形状信息获取器120、正规化器130、第一特征信息确定器140、第二特征信息确定器150，最终特征信息确定器160和脸部识别器170可通过至少一个处理器执行操作。
以下，将参照下面的描述分别对脸部识别过程和学习过程进行说明。
基于下面的示例提供与脸部识别过程相关的描述。
脸部识别设备100可识别出现在二维(2D)输入图像中的用户的脸部。2D输入图像可以是例如由数字静态相机和摄像机获得的2D图像。脸部识别设备100可确定出现在2D输入图像中的用户是否与被包括在预定登记图像中的用户一样。登记图像可在执行脸部识别之前通过登记被存储在数据库中，并可包括至少一个用户的脸部图像。
可在各种应用领域(例如，监控/安全系统，移动装置认证，以及多媒体搜索和分类)中利用脸部识别设备100。此外，通过与指纹识别设备组合也可将脸部识别设备用于实现复杂的生物认证系统。以下，为了描述的简单和方便，假定2D输入图像包括一个脸部区域。然而，本公开不限于此。
可将2D输入图像输入到标记检测器110以执行脸部识别。例如，可将包括脸部的部分区域或全部区域的2D图像输入到标记检测器110。2D输入图像可以是彩色图像或黑白图像。标记检测器110可从2D输入图像检测脸部区域并从检测到的脸部区域检测脸部的标记。标记检测器110可使用例如主动外观模型(AAM)、主动形状模型(ASM)、监督下降法(SDM，supervised descent method)和深度学习来从2D输入图像检测标记。标记(landmark，地标)可指示位于例如脸部的眉毛、眼睛、鼻子、嘴、下巴、耳朵和轮廓的特征点。
3D形状信息获取器120可重建被包括在2D输入图像中的用户的脸部的3D形状。3D形状信息获取器120可通过将从输入图像检测的标记应用到通用3D脸部模型来生成个性化3D脸部模型。3D形状信息获取器120可通过将从2D输入图像检测到的标记映射到通用3D脸部模型的标记点来生成个性化3D脸部模型。例如，通用3D脸部模型可以是基于学习数据生成的可变形3D脸部模型，也可指的是3D标准模型。可使用3D形状和纹理来配置通用3D脸部模型，而且通用3D脸部模型可包括用于表示3D形状的参数。
在示例中，如在等式1中示出，可通过将基于标记检测信息的形状变化应用到通用3D脸部模型的平均形状来生成个性化3D脸部模型。
[等式1]
Figure BDA0003250837580000051
在等式1中，
Figure BDA0003250837580000052
表示表现通用3D脸部模型的平均形状的形状元素。
Figure BDA0003250837580000054
表示与索引i对应的形状元素，
Figure BDA0003250837580000055
表示施加到
Figure BDA0003250837580000056
的形状控制参数。
Figure BDA0003250837580000057
和
Figure BDA0003250837580000058
的加权和指示形状变化。3D形状信息获取器120可基于2D输入图像的标记检测信息计算形状控制参数，并通过将形状变化施加到平均形状来将通用3D脸部模型转换为个性化3D脸部模型。
Figure BDA0003250837580000059
表示配置个性化3D脸部模型的3D形状的形状元素。
Figure BDA00032508375800000510
可包括如在等式2中示出的3D点的坐标。
[等式2]
Figure BDA0003250837580000053
在等式2中，
Figure BDA00032508375800000511
表示用于确定构造个性化3D脸部模型的顶点的空间位置
Figure BDA00032508375800000512
和
Figure BDA00032508375800000513
的索引，T表示转置矩阵。3D形状信息获取器120可基于构造个性化3D脸部模型的顶点的位置信息来获得3D形状信息。3D形状信息可指示用户的脸部的3D形状的信息。例如，3D形状信息可包括用于表示用户的脸部形状的形状参数信息和用户的脸部形状的深度信息。
在示例中，3D形状信息获取器120可使用个性化3D脸部模型生成深度图像，并从深度图像提取用户的脸部的3D形状信息。作为示例，3D形状信息获取器120可将个性化3D脸部模型的姿态转换为正脸姿态。在该示例中，3D形状信息获取器120可将深度值转换为0至255之间的值并生成深度图像。此外，为了获得与2D输入图像的纹理形状匹配的更准确的3D形状信息，3D形状信息获取器120可基于从2D输入图像检测到的标记细化出现在深度图像中的3D形状，并从深度图像的细化的3D形状获得3D形状信息。也将参照图3A和图3B提供相关的描述。
在另一个示例中，3D形状信息获取器120可使用个性化3D脸部模型生成脸部的法线图像(normal image，普通图像)。法线图像可包括指示脸部表面的法线特征(normalfeature，普通特征)的表面法线信息。表面法线信息可包括指示用户的脸部上的每个脸部表面的方向的法向矢量信息。3D形状信息获取器120可从法线图像提取用户的脸部的3D形状信息。
仍然在另一个示例中，3D形状信息获取器120可从通过例如深度相机和3D相机拍摄的深度图像来获得3D形状信息。这里，深度图像可包括指示相机与脸部之间的距离的深度信息。3D形状信息获取器120可从深度图像的深度信息提取脸部的3D形状信息。
同样地，3D形状信息获取器120可使用例如深度图像、法线图像、深度相机和3D相机来获得3D形状信息。然而，本公开不限于此。
在2D输入图像中表示的脸部区域大小和脸部姿态可与在登记图像中表示的脸部区域大小和脸部姿态不一样。登记图像可以是将与2D输入图像作比较的目标。正规化器130可对2D输入图像执行正规化，以便2D输入图像的脸部区域大小和脸部组件位置与登记图像的脸部区域大小和脸部组件位置是对齐的。脸部组件可包括例如眼睛、眉毛、鼻子、嘴和耳朵。正规化器130可调整2D输入图像中的脸部姿态或调整输入图像的脸部组件位置以与登记图像的脸部组件位置相对应。作为示例，正规化器130可通过基于2D输入图像的标记检测信息施加仿射变换来执行正规化。例如，仿射变换可以是被执行为将一个向量空间与另一个向量空间匹配的变换。
在示例中，正规化器130可使用个性化3D脸部模型获得正规化2D输入图像。3D形状信息获取器120可使用个性化3D脸部模型估计正脸的姿态信息。正规化器130可基于利用个性化3D脸部模型的正脸的姿态信息，来对2D输入图像进行正规化。例如，正脸的姿态信息可包括例如通过将个性化3D脸部模型的姿态转换为正脸姿态获得的脸部区域大小的信息和脸部组件的空间位置信息。此外，正规化器130可使用利用个性化3D脸部模型获得的2D投影图像来执行正规化。
第一特征信息确定器140可基于正规化2D输入图像的2D图像信息来确定第一特征信息。例如，2D图像信息可包括2D输入图像的颜色信息、强度信息和纹理信息。第一特征信息确定器140可通过将正规化2D输入图像的2D图像信息输入到提前学习的第一神经网络模型来确定第一特征信息。
在示例中，第一特征信息确定器140可通过使用卷积神经网络模型执行对2D输入图像的卷积来确定用于表示脸部的外观的特征向量。第一特征信息确定器140可将从第一神经网络模型的最高层提取的值确定为第一特征信息。可选地，第一特征信息确定器140可通过连接从最高层提取的值与从隐藏层提取的值来确定第一特征信息。
在另一个示例中，第一特征信息确定器140可通过将由3D形状信息获取器120生成的深度图像的深度信息以及2D输入图像的2D图像信息输入到第一神经网络模型来确定第一特征信息。
第二特征信息确定器150可基于3D形状信息确定第二特征信息。第二特征信息确定器150可通过将3D形状信息输入到提前学习的第二神经网络模型来确定第二特征信息。作为示例，第二特征信息确定器150可将构造个性化3D脸部模型的形状参数转换为向量的形式并将向量输入到自动编码器结构中的神经网络模型，因而确定用于表示脸部的形状的特征向量。
在示例中，第二特征信息确定器150可通过将由3D形状信息获取器120生成的深度图像的深度信息输入到提前学习的第三神经网络模型来确定第二特征信息。作为一个示例，第二特征信息确定器150可通过使用卷积神经网络模型执行对深度图像的卷积来确定第二特征信息。
在另一个示例中，第二特征信息确定器150可基于脸部标记之间的距离确定第二特征信息。第二特征信息确定器150可基于从脸部区域检测的标记中的两个标记之间的距离来配置矩阵数据库并将矩阵数据库输入到第四神经网络模型，因而提取与脸部的形状相关联的第二特征信息。也将参照图9A和图9B描述相关的描述。
在上面，第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型中的每一个可以是例如包括多个隐藏层的深度神经网络模型。
最终特征信息确定器160可基于第一特征信息和第二特征信息确定用于脸部识别的最终特征信息。可用特征向量表示最终特征信息。最终特征信息确定器160可通过例如将第一特征信息和第二特征信息简单地连接在一起或通过完全连接的层将第一特征信息和第二特征信息连接，来确定最终特征信息。
在示例中，可将从第二特征信息确定器150提取的结果输入到代替最终特征信息确定器160的第一特征信息确定器140。第一特征信息确定器140可使用从第二特征信息确定器150发送的结果提取特征信息作为额外的输入。最终特征信息确定器160可将从第一特征信息确定器140提取的特征信息确定为最终特征信息。作为示例，可将从第二特征信息确定器150提取的结果额外地输入到第一特征信息确定器140的第一神经网络模型中的隐藏层，并可从第一神经网络模型的输出层输出特征信息。最终特征信息确定器160可将从第一神经网络模型输出的特征信息确定为最终特征信息。
脸部识别器170可基于最终特征信息执行脸部识别。脸部识别器170可通过比较2D输入图像的最终特征信息与登记图像的特征信息来确定脸部识别结果。脸部识别器170可使用例如主成分分析(PCA)方案、线性判决分析(LDA)方案和联合贝叶斯方案来计算2D输入图像的最终特征信息与登记图像的特征信息之间的相似度。随后，脸部识别器170可通过确定计算的相似度是否满足预定的条件来确定脸部识别结果。
当相似度满足预定的条件时，脸部识别器170可确定脸部识别成功。当相似度不满足预定的条件时，脸部识别器170可确定脸部识别失败。在示例中，响应于脸部识别成功的确定，脸部识别设备100可解锁与脸部识别设备100连接的终端装置或将访问终端装置的预定功能的权限分配给用户。响应于脸部识别失败的确定，脸部识别设备100可保持终端装置的锁定状态或限制访问终端装置的预定功能的权限。
在生成用于脸部识别的特征信息的过程中，可通过应用除了2D输入图像的2D图像信息之外的用户的脸部的3D形状来增强脸部识别的准确性。基于2D输入图像的2D图像信息确定的第一特征信息可对应于脸部的全局纹理或局部纹理的特征向量，而基于个性化3D脸部模型的3D形状信息确定的第二特征信息可对应于3D脸部形状的特征向量。可通过结合脸部的全局纹理或局部纹理的特征向量和脸部的3D形状的特征向量来生成用于脸部识别的最终特征信息。通过基于最终特征信息执行脸部识别，脸部识别可对2D输入图像的照明环境、脸部姿态、脸部表情、遮挡等的变化具有鲁棒性。作为示例，响应于输入图像的强度变化，可改变与脸部的外观相关的特征。在该示例中，可通过额外地应用与脸部的3D形状相关的特征来增加脸部识别准确性。作为另一个示例，当多幅图像中的多个脸部外观互相相似而所述多幅图像中的多个脸部的3D形状互相不同时，与脸部外观相关的特征可能彼此相似。在该示例中，也可通过额外地应用与脸部的3D形状相关的特征来增强脸部识别准确性。
基于下面的示例将提供与学习过程相关的描述。
以下，将如下描述使用学习器(未示出)学习第一神经网络模型、第二神经网络模型和第三神经网络模型中的至少一个的过程。通过学习过程，可增强用于脸部识别的神经网络模型的性能，并因此也可增加脸部识别的准确性。
当用于学习的2D学习图像被输入到学习器时，学习器可从2D学习图像检测脸部的标记。随后，学习器可基于检测的标记生成个性化3D脸部模型并从个性化3D脸部模型提取3D形状信息。此外，可对2D学习图像进行正规化，从而调整脸部组件的位置。由于前面基于脸部识别过程的示例提供的描述也适用这里，所以为了增加清楚和简洁，将省略重复的描述。
当与学习目标对应的神经网络模型是卷积神经网络模型时，可输入2D学习图像和对应于2D学习图像的确定信息，或可输入将被互相比较的两幅图像和指示出现在两幅图像上的用户是否一样的信息。当与学习目标对应的神经网络模型是自动编码器结构的神经网络模型时，可通过转换为向量的形式来输入构造3D脸部模型的形状参数。
例如，学习器可使用反向传播学习方案来学习神经网络模型。反向传播学习方案可以是用于通过前向计算在学习数据中估计误差、在从神经网络模型的输出层开始通过隐藏层到输入层的反向方向上传播估计的误差、并更新人工神经元的连接权重以降低误差的方案。
图2示出根据至少一个示例性实施例的重建用户的脸部的3D形状的示例。脸部识别设备100可从图像210检测脸部区域，并检测脸部标记，例如位于脸部的眉毛、眼睛、鼻子、嘴等处的标记220。脸部识别设备100可将标记检测信息施加到通用3D脸部模型以重建出现在图像210中的用户的脸部的3D形状。作为示例，脸部识别设备100可基于标记220的位置确定用于转换通用3D脸部模型的形状的形状控制参数，将确定的形状控制参数施加到通用3D脸部模型，因而生成表示用户的脸部的3D形状的个性化3D脸部模型230。
脸部识别设备100可通过将从图像210提取的纹理映射到个性化3D脸部模型230来生成3D纹理模型。脸部识别模型100可调整3D纹理模型的脸部姿态并将3D纹理模型投影到2D平面，因而生成正规化图像240。可基于正规化图像240确定第一特征信息。脸部识别设备100可基于构造个性化3D脸部模型230的点的3D坐标信息来生成深度图像250和法线图像260中的至少一个。可选地，脸部识别设备100可通过利用个性化3D脸部模型230结合深度图像250和法线图像260生成结合图像。
图3A和图3B示出细化出现在深度图像中的3D形状的示例。
参照图3A，部分(a)示出从个性化3D脸部模型获得的标记310。由于深度图像是基于个性化3D脸部模型生成的，所以可基于被包括在个性化3D脸部模型中的标记的位置来确定深度图像中的标记的位置。
部分(b)可以是通过将深度图像的标记施加到正规化2D输入图像获得的结果。因此，在部分(b)中，标记340被包括在正规化2D输入图像中。部分(c)示出正规化2D输入图像的标记320。部分(d)示出在部分(b)和部分(c)的相同区域330中出现的标记320与标记340之间的位置关系。如在部分(d)中所示，位置误差可能出现在深度图像的标记340与正规化2D输入图像的标记320之间。
为了通过补偿位置误差来获得更准确的3D形状信息，脸部识别设备100可基于正规化2D输入图像中的标记的位置精细化(refine)出现在深度图像中的3D形状，例如深度信息。参照图3B，脸部识别设备100可基于如在部分(a)示出的深度图像的标记形成网格，并基于在部分(b)中示出的正规化2D输入图像的标记形成网格。在示例中，脸部识别设备100可基于位于图像的边界和脸部的轮廓的参考点形成网格。然而，本公开不限于此。
基于基于深度图像的标记形成的网格与基于正规化2D输入图像的标记形成的网格之间的对应关系，脸部识别设备100可调整出现在深度图像中的3D形状。如在部分(c)中所示，脸部识别设备100可基于使用正规化2D输入图像的标记T1、T2和T3形成的网格，对使用深度图像的标记S1、S2和S3形成的网格执行仿射变换，因而调整深度图像的深度值的位置。这里，在深度图像中形成的网格和在正规化2D输入图像中形成的网格可相互对应。类似地，基于使用深度图像的标记S1、S2和S3形成的网格与使用正规化2D输入图像的标记T1、T2和T3形成的网格之间的对应关系，脸部识别设备100可调整深度图像的深度值的位置。
脸部识别设备100可针对部分(a)中的深度图像的所有网格执行前述的过程，并调整3D形状以匹配出现在正规化2D输入图像中的纹理形状。脸部识别设备100可从执行过精细化的深度图像获得3D形状信息，并基于获得的3D形状信息和正规化2D输入图像的颜色信息执行脸部识别。通过精细化，出现在深度图像中的3D形状可与出现在正规化2D输入图像中的纹理形状匹配，因而确定更准确的特征信息。
图4和图5示出根据至少一个示例性实施例的基于第一神经网络模型确定第一特征信息的示例。在示例中，可将卷积神经网络模型用作第一神经网络模型。在卷积神经网络模型中，每一层可包括从更高的层提取的特征映射。卷积神经网络模型可包括通过卷积提取的特征映射和通过对特征映射进行二次抽样获得的另一个特征映射。
参照图4，脸部识别设备100可通过将图像210的2D图像信息输入到卷积神经网络模型400来确定第一特征信息。可将图像210正规化，并且之后将图像210输入到卷积神经网络模型400。因此，可在图像210中调整脸部组件的脸部区域大小和位置。
脸部识别设备100可将从卷积神经网络模型400的最高层提取的值确定为第一特征信息。可选地，脸部识别设备100可通过连接从卷积神经网络模型400的最高层提取的值和从卷积神经网络模型400的隐藏层提取的值来确定第一特征信息。
在学习过程中，脸部识别设备100可将学习图像和对应于学习图像的标识(ID)信息输入到卷积神经网络模型400。此外，脸部识别设备100可输入将被互相比较的两幅图像和输出指示出现在两幅图像中的用户是否一样的信息。脸部识别设备100可使用基于识别损失和验证损失的学习方案执行卷积神经网络模型上的深度学习。深度学习可指示深度神经网络模型的学习。
在一个示例中，如在图5中示出，脸部识别设备100还可通过将除了图像210或正规化图像的2D图像信息(例如，颜色信息)之外的深度图像250的深度信息输入到卷积神经网络模型500来确定第一特征信息。这里，深度图像250可从个性化3D脸部模型获得，也可通过深度相机或3D相机获得。可将深度图像250的深度信息用作用于生成第一特征信息的额外通道信息。
在另一个示例中，脸部识别设备100可通过将法线图像260的表面法线信息以及图像210的2D图像信息输入到卷积神经网络模型500来确定第一特征信息。这里，可基于个性化3D脸部模型生成法线图像260。
图6和图7示出根据至少一个示例性实施例的基于第二神经网络模型确定第二特征信息的示例。在示例中，可将自动编码器结构的神经网络模型用作第二神经网络模型。例如，自动编码器结构的神经网络模型可以是用于使期望的输出等于输入而学习的神经网络模型。与卷积神经网络模型形成对比，可将自动编码器结构的神经网络模型600用于在不具有空间关系的特征上执行非线性映射。
参照图6，神经网络模型600可包括：编码单元，包括输入层610、编码层620和编码层620；解码单元，包括解码层640、解码层650和输出层660。脸部识别设备100可将从个性化3D脸部模型获得的形状参数转换为向量的形式，并将转换的结果输入到神经网络模型600。在神经网络模型600中，可通过各种操作使用完全连接的层对被转换为向量的形式的形状参数进行编码，然后通过与在编码中执行的相同的操作进行解码。脸部识别设备100可基于从神经网络模型600的最高编码层620输出的值来确定第二特征信息。
虽然基于自动编码器结构的神经网络模型被用作第二神经网络模型的示例提供上述描述，但是本公开不限于此。因此，可将各种类型的神经网络模型用作第二神经网络模型。例如，也可将通过从自动编码器结构的神经网络模型去除解码单元变换得到的神经网络模型用作第二神经网络模型。
在学习的过程中，脸部识别设备100可基于学习图像生成个性化3D脸部模型并将从个性化3D脸部模型获得的形状参数转换为向量的形式，因而将转换的结果输入到神经网络模型600。脸部识别设备100可基于自动编码器结构在神经网络模型600上执行深度学习。脸部识别设备100可基于例如欧几里得距离计算从解码单元输出的最终输出值与被输入到输入层610的值之间的损失，并调整神经元的连接权重以降低计算的损失，从而学习神经网络模型600。
图7示出具有自动编码器结构的神经网络模型700。神经网络模型700可包括输入层710、编码层720、编码层730、解码层740、解码层750、输出层760、附加层770和附加层780。在学习的过程中，输入层710可通过到向量的形式的变换来接收与用户的脸部和形状参数信息对应的ID信息。此外，可将附加层770和附加层780用于学习将被映射为形状参数信息的ID信息。可将基于softmax loss(最软损耗)的学习方法应用在该示例中。
图8示出根据至少一个示例性实施例的基于第三神经网络模型确定第二特征信息的示例。在示例中，可将卷积神经网络模型用作第三神经网络模型。参照图8，脸部识别设备100可通过将代替形状参数信息的深度图像250的深度信息或法线图像260的表面法线信息输入到卷积神经网络模型800来确定第二特征信息。这里，可从个性化3D脸部模型获得深度图像250或通过例如深度相机获得深度图像250。可从个性化3D脸部模型获得法线图像260。脸部识别设备100可将从卷积神经网络模型800的最高层提取的值确定为第二特征信息。可选地，脸部识别设备100可通过连接从卷积神经网络模型800的最高层提取的值和从卷积神经网络模型800的隐藏层提取的值，来确定第二特征信息。
图9A和图9B示出根据至少一个示例性实施例的基于脸部的标记确定第二特征信息的示例。图9A示出从2D输入图像的脸部区域910检测的标记。这里，假定68个标记被检测。根据示例，当与标记之间的绝对距离相比，标记之间的相关距离可更适合于表示脸部特征。脸部识别设备100可基于标记之间的距离确定第二特征信息。在示例中，如在图9B中示出，脸部识别设备100可基于标记之间的距离配置矩阵数据库。图9B示出基于矩阵的类型的68个标记中的两个标记之间的距离。这里，LMx表示标记x，距离(LMx,LMy)表示标记x与标记y之间的距离。在该示例中，x和y可以是用于确定在图9A的示例中检测的68个标记中的预定标记的索引。可将基于标记之间的距离的矩阵数据库输入到神经网络模型，并可从神经网络模型提取第二特征信息。
图10示出根据至少一个示例性实施例的脸部识别方法的示例。
在操作1010中，脸部识别设备100可从出现在2D输入图像中的用户的脸部区域检测脸部标记。脸部识别设备100可从2D输入图像检测位于例如眉毛、眼睛、鼻子和嘴上的标记。
在操作1020中，脸部识别设备100可基于检测的标记生成个性化3D脸部模型。脸部识别设备100可通过基于从2D输入图像检测的标记的位置信息调整通用3D脸部模型的形状来生成个性化3D脸部模型。
在操作1030中，脸部识别设备100可基于个性化3D脸部模型获得3D形状信息和正规化2D输入图像。脸部识别设备100可基于从个性化3D脸部模型获得的2D图像来获得正规化2D输入图像。通过正规化，可调整出现在2D输入图像中的脸部组件的位置和脸部区域的大小。脸部识别设备100可基于个性化3D脸部模型生成深度图像或法线图像，并可获得用户脸部的3D形状信息。
在操作1040中，脸部识别设备100可基于在操作1030中获得的3D形状信息和正规化2D输入图像的颜色信息来确定特征信息。例如，脸部识别设备100可使用深度神经网络模型基于正规化2D输入图像的颜色信息来确定第一特征信息，并使用另一个深度神经网络模型从3D形状信息确定第二特征信息。脸部识别设备100可通过结合第一特征信息和第二特征信息来确定最终特征信息。
在操作1050中，脸部识别设备100可基于特征信息执行脸部识别。脸部识别设备100可计算在操作1040中确定的特征信息与预先存储的登记图像的特征信息之间的相似度，并确定计算的相似度是否满足预设条件，从而确定脸部识别结果。
由于参照图1至图9B提供的描述也适用这里，所以为了清楚和简洁，将省略关于图10的重复描述。
图11示出根据至少一个示例实施例的脸部识别设备1110。图像获取设备1140(例如，相机)可捕获用户的脸部并将包括脸部的图像传输到脸部识别设备1110。脸部识别设备1110可通过提前比较图像与提前被存储在登记图像数据库1150中的登记图像来执行脸部识别。通过登记，用户可提前登记脸部的图像。登记图像数据库1150可将登记的图像存储为登记图像。
脸部识别设备1100可执行这里描述或示出的至少一个脸部识别方法和学习方法。脸部识别设备1100可通过扬声器以语音的形式或通过显示器以字符、图画或视频等的形式来输出脸部识别结果。然而，脸部识别结果的示例不限于此。因此，脸部识别设备1100可以以各种类型的形式输出脸部识别结果。
脸部识别设备1100可包括处理器1120和存储器1130。存储器1130可与处理器1120进行通信，并可存储将由处理器1120计算的数据和可由处理器1120执行的指令。处理器1120可包括用于执行被存储在存储器1130中的指令的硬件。为了执行指令，处理器1120可从例如内部寄存器、内部高速缓存、内存1130和存储器检索或获取指令，因而执行指令。随后，处理器1120可将至少一个执行结果记录在内部寄存器、内部高速缓存、内存和存储器。在示例中，处理器1120可执行指令以执行参照图1至图10描述的至少一个操作。
可使用硬件组件和软件组件来实现在此所描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用被配置为通过执行算数、逻辑和输入/输出操作来运行和/或执行程序代码的一个或多个硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微型处理器或能够以限定的方式响应并执行指令的任何其它装置。处理装置可运行操作系统(OS)和运行在OS上的一个或多个软件应用。处理装置也可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置。然而，本领域技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或一个处理器以及一个控制器。此外，不同的处理配置(诸如，并行处理器)是可能的。
软件可包括用于独立地或共同地指示和/或配置处理装置如期望地操作的计算机程序、一段代码、指令或它们的组合，从而使处理装置转变为专用处理器。可在任何类型的机器、组件、物理的或虚拟的设备、计算机存储介质或装置中、或能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中永久地或临时地实施软件和数据。软件也可被分布在联网的计算机系统上，使得软件按照分布方式被存储并被执行。
根据上述示例性实施例的方法可被记录在包括程序指令以执行上述示例实施例的各种操作的非暂时性计算机可读介质中。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。在所述介质上记录的程序指令可以是针对示例实施例的目的而专门设计和构建的那些程序指令，或者对计算机软件领域技术人员来说，他们可以是公知和可用的。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘、DVD和/或蓝光盘)、磁光介质(诸如，光盘)和专门被配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒)等)。程序指令的示例包括机器代码(诸如，由编译器生成的机器代码)和包含可由计算机使用解释器来执行的更高级代码的文件两者。上述装置可被配置为作为一个或多个软件模块以便执行上述示例实施例的操作，或者反之亦然。
上面已描述了一些示例性实施例。然而，应理解，可对这些示例性实施例做出各种改变。例如，如果以不同的顺序执行描述的技术和/或如果描述的系统中的组件、结构、装置或电路以不同的方式被组合和/或被其他组件或他们的等价物替代或补充，则可获得合适的结果。因此，其他实施方式是在上面的权利要求的范围内。

Claims (19)

1.一种面部识别方法，包括：
获得用户面部的2D图像；
获得与用户面部相关联的3D形状信息；
使用至少一个深度神经网络模型从2D图像和3D形状信息提取特征信息；以及
基于提取的特征信息来确定面部识别结果。
2.如权利要求1所述的面部识别方法，其中，3D形状信息从用户面部的深度图像被获得，深度图像包括关于与用户面部相关联的3D形状的信息。
3.如权利要求1所述的面部识别方法，其中，3D形状信息从用户面部的法线图像被获得，法线图像包括指示用户面部的面部表面的法线特征的表面法线信息。
4.如权利要求1所述的面部识别方法，其中，提取特征信息的步骤包括：使用所述至少一个深度神经网络模型从2D图像提取第一特征信息并从3D形状信息提取第二特征信息，
其中，特征信息包括第一特征信息和第二特征信息。
5.如权利要求4所述的面部识别方法，其中，提取特征信息的步骤包括：
使用第一深度神经网络模型从2D输入图像提取第一特征信息；以及
使用第二深度神经网络模型从3D形状信息提取第二特征信息。
6.根据权利要求1所述的面部识别方法，其中，获得3D形状信息的步骤包括：
检测2D图像中的用户面部的一个或多个标记，所述一个或多个标记包含指示用户面部的不同表面之间的一个或多个边界或界面的一个或多个特征点；以及
基于检测到的一个或多个标记获得3D形状信息。
7.如权利要求1所述的面部识别方法，其中，所述至少一个深度神经网络模型是自动编码器结构的神经网络模型。
8.如权利要求1所述的面部识别方法，其中，确定面部识别结果的步骤包括：基于第一特征信息和第二特征信息，确定包括在2D图像中的用户面部是否与登记的用户面部相关。
9.如权利要求1所述的面部识别方法，其中，执行面部识别的步骤还包括：
基于面部识别结果，生成解锁命令信号以使用户能够访问终端装置的至少一部分。
10.一种存储计算机可读指令的非暂时性计算机可读存储介质，所述计算机可读指令可由处理器执行以使处理器执行如权利要求1所述的方法。
11.一种设备，包括：
存储器，存储计算机可读指令；以及
处理器，被配置为执行所述计算机可读指令以：
获得用户面部的2D图像，
获得与用户面部相关联的3D形状信息，
使用至少一个深度神经网络模型从2D图像和3D形状信息提取特征信息，以及
基于提取的特征信息来确定面部识别结果。
12.如权利要求11所述的设备，其中，3D形状信息从用户面部的深度图像被获得，深度图像包括关于与用户面部相关联的3D形状的信息。
13.如权利要求11所述的设备，其中，3D形状信息从用户面部的法线图像被获得，法线图像包括指示用户面部的面部表面的法线特征的表面法线信息。
14.如权利要求11所述的设备，其中，处理器还被配置为：
使用所述至少一个深度神经网络模型从2D图像提取第一特征信息并从3D形状信息提取第二特征信息，
其中，特征信息包括第一特征信息和第二特征信息。
15.如权利要求14所述的设备，其中，处理器还被配置为：
使用第一深度神经网络模型从2D输入图像提取第一特征信息；以及
使用第二深度神经网络模型从3D形状信息提取第二特征信息。
16.如权利要求11所述的设备，其中，处理器还被配置为：
检测2D图像中的用户面部的一个或多个标记，所述一个或多个标记包含指示用户面部的不同表面之间的一个或多个边界或界面的一个或多个特征点；以及
基于检测到的一个或多个标记获得3D形状信息。
17.如权利要求11所述的设备，其中，所述至少一个深度神经网络模型是自动编码器结构的神经网络模型。
18.如权利要求11所述的设备，其中，处理器还被配置为：
基于第一特征信息和第二特征信息，确定包括在2D图像中的用户面部是否与登记的用户面部相关。
19.如权利要求11所述的设备，其中，处理器还被配置为：
基于面部识别结果，生成解锁命令信号以使用户能够访问终端装置的至少一部分。
CN202111044887.0A 2015-06-24 2016-06-24 脸部识别方法和设备 Pending CN113743321A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20150089503 2015-06-24
KR10-2015-0089503 2015-06-24
KR1020150175672A KR20170000748A (ko) 2015-06-24 2015-12-10 얼굴 인식 방법 및 장치
KR10-2015-0175672 2015-12-10
CN201610467503.9A CN106295496B (zh) 2015-06-24 2016-06-24 脸部识别方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610467503.9A Division CN106295496B (zh) 2015-06-24 2016-06-24 脸部识别方法和设备

Publications (1)

Publication Number Publication Date
CN113743321A true CN113743321A (zh) 2021-12-03

Family

ID=56194393

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111044887.0A Pending CN113743321A (zh) 2015-06-24 2016-06-24 脸部识别方法和设备
CN201610467503.9A Active CN106295496B (zh) 2015-06-24 2016-06-24 脸部识别方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610467503.9A Active CN106295496B (zh) 2015-06-24 2016-06-24 脸部识别方法和设备

Country Status (4)

Country Link
US (1) US10331941B2 (zh)
EP (1) EP4099221A1 (zh)
JP (1) JP6754619B2 (zh)
CN (2) CN113743321A (zh)

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016026135A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
EP3186787A1 (en) * 2014-08-29 2017-07-05 Thomson Licensing Method and device for registering an image to a model
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
KR20170000748A (ko) 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
US10275684B2 (en) * 2015-11-04 2019-04-30 Samsung Electronics Co., Ltd. Authentication method and apparatus, and method and apparatus for training a recognizer
SG10201510822YA (en) * 2015-12-31 2017-07-28 Creative Tech Ltd A method for generating a customized/personalized head related transfer function
SG10201800147XA (en) 2018-01-05 2019-08-27 Creative Tech Ltd A system and a processing method for customizing audio experience
US10805757B2 (en) 2015-12-31 2020-10-13 Creative Technology Ltd Method for generating a customized/personalized head related transfer function
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
US11324950B2 (en) 2016-04-19 2022-05-10 Inspire Medical Systems, Inc. Accelerometer-based sensing for sleep disordered breathing (SDB) care
US10701343B2 (en) * 2016-05-26 2020-06-30 Asustek Computer Inc. Measurement device and processor configured to execute measurement method
KR102516112B1 (ko) * 2016-06-03 2023-03-29 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
US10521892B2 (en) * 2016-08-31 2019-12-31 Adobe Inc. Image lighting transfer via multi-dimensional histogram matching
WO2018046432A1 (en) * 2016-09-06 2018-03-15 Alcatel Lucent Method and device for image processing
US20180190377A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
JP6987508B2 (ja) 2017-02-20 2022-01-05 オムロン株式会社 形状推定装置及び方法
RU2647689C1 (ru) * 2017-03-01 2018-03-16 Общество с ограниченной ответственностью "Рилейшн Рейт" Способ построения портрета клиента
JP2018147286A (ja) * 2017-03-07 2018-09-20 オムロン株式会社 対象物解析装置、対象物解析方法、学習装置及び学習方法
US10146971B1 (en) 2017-03-14 2018-12-04 Snap Inc. Optical barcodes without orientation
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
KR102370063B1 (ko) 2017-03-28 2022-03-04 삼성전자주식회사 얼굴 인증 방법 및 장치
CN108229276B (zh) * 2017-03-31 2020-08-11 北京市商汤科技开发有限公司 神经网络训练及图像处理方法、装置和电子设备
CN108960001B (zh) * 2017-05-17 2021-12-24 富士通株式会社 训练用于人脸识别的图像处理装置的方法和装置
CN108960020A (zh) * 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
US10783393B2 (en) * 2017-06-20 2020-09-22 Nvidia Corporation Semi-supervised learning for landmark localization
KR102299847B1 (ko) 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
WO2019000462A1 (zh) * 2017-06-30 2019-01-03 广东欧珀移动通信有限公司 人脸图像处理方法、装置、存储介质及电子设备
US10380413B2 (en) 2017-07-13 2019-08-13 Robert Bosch Gmbh System and method for pose-invariant face alignment
CN109299639B (zh) * 2017-07-25 2021-03-16 虹软科技股份有限公司 一种用于表情识别的方法和装置
CN107423712B (zh) * 2017-07-28 2021-05-14 南京华捷艾米软件科技有限公司 一种3d人脸识别方法
CN109325393B (zh) * 2017-08-01 2022-12-09 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
CN107480677B (zh) * 2017-08-07 2020-04-28 北京深睿博联科技有限责任公司 一种识别三维ct图像中感兴趣区域的方法及装置
EP3685312A4 (en) * 2017-09-19 2021-06-16 Ramot at Tel-Aviv University Ltd. METHOD AND SYSTEM FOR DETECTION OF IMAGE CONTENT
CN107644209A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
WO2019056310A1 (en) * 2017-09-22 2019-03-28 Qualcomm Incorporated SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY
US10579785B2 (en) * 2017-09-29 2020-03-03 General Electric Company Automatic authentification for MES system using facial recognition
CN107679501B (zh) * 2017-10-12 2021-04-30 中科视拓（北京）科技有限公司 一种基于标签自提纯的深度学习方法
CN107748869B (zh) * 2017-10-26 2021-01-22 奥比中光科技集团股份有限公司 3d人脸身份认证方法与装置
KR101992739B1 (ko) * 2017-10-30 2019-06-26 (주)한국플랫폼서비스기술 딥러닝을 이용한 암호화 방법
US10878072B2 (en) * 2017-11-20 2020-12-29 Ppip, Llc Systems and methods for biometric identity and authentication
WO2019131880A1 (ja) * 2017-12-28 2019-07-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、復号方法、情報処理方法、符号化装置、復号装置、及び、情報処理システム
CN108073910B (zh) * 2017-12-29 2021-05-07 百度在线网络技术（北京）有限公司 用于生成人脸特征的方法和装置
US10390171B2 (en) 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking
CN108259496B (zh) 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
US11068141B1 (en) * 2018-02-02 2021-07-20 Snap Inc. Device-based image modification of depicted objects
US10614292B2 (en) * 2018-02-06 2020-04-07 Kneron Inc. Low-power face identification method capable of controlling power adaptively
CN112860168B (zh) 2018-02-08 2022-08-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
US10922590B2 (en) * 2018-02-09 2021-02-16 Stmicroelectronics (Research & Development) Limited Apparatus, method and computer program for performing object recognition
US11502841B2 (en) 2018-03-07 2022-11-15 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10721070B2 (en) 2018-03-07 2020-07-21 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11392802B2 (en) * 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11394552B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11265168B2 (en) 2018-03-07 2022-03-01 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11489866B2 (en) 2018-03-07 2022-11-01 Private Identity Llc Systems and methods for private authentication with helper networks
US11210375B2 (en) 2018-03-07 2021-12-28 Private Identity Llc Systems and methods for biometric processing with liveness
US11170084B2 (en) 2018-06-28 2021-11-09 Private Identity Llc Biometric authentication
US11138333B2 (en) 2018-03-07 2021-10-05 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11789699B2 (en) 2018-03-07 2023-10-17 Private Identity Llc Systems and methods for private authentication with helper networks
US10938852B1 (en) 2020-08-14 2021-03-02 Private Identity Llc Systems and methods for private authentication with helper networks
CN108509862B (zh) * 2018-03-09 2022-03-25 华南理工大学 抗角度与遮挡干扰的快速人脸识别方法
CN108389172B (zh) * 2018-03-21 2020-12-18 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
US11106896B2 (en) * 2018-03-26 2021-08-31 Intel Corporation Methods and apparatus for multi-task recognition using neural networks
CN108510437B (zh) * 2018-04-04 2022-05-17 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
KR102042078B1 (ko) * 2018-04-25 2019-11-27 광주과학기술원 뉴럴 네트워크를 이용한 3차원 형상 복원 시스템의 동작 방법
US11361191B2 (en) * 2018-05-22 2022-06-14 Ebay Inc. Adversarial learning for finegrained image search
US10832036B2 (en) * 2018-07-16 2020-11-10 Adobe Inc. Meta-learning for facial recognition
CN109064549B (zh) * 2018-07-16 2023-04-07 中南大学 标志点检测模型生成方法及标志点检测方法
CN109147048B (zh) * 2018-07-23 2021-02-26 复旦大学 一种利用单张彩色图的三维网格重建方法
CN109118579A (zh) * 2018-08-03 2019-01-01 北京微播视界科技有限公司 动态生成人脸三维模型的方法、装置、电子设备
CN110866864A (zh) 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
US10783704B2 (en) * 2018-09-27 2020-09-22 Disney Enterprises, Inc. Dense reconstruction for narrow baseline motion observations
US11503423B2 (en) 2018-10-25 2022-11-15 Creative Technology Ltd Systems and methods for modifying room characteristics for spatial audio rendering over headphones
WO2020085632A1 (ko) * 2018-10-26 2020-04-30 삼성전자 주식회사 생체 인식 기반의 사용자 인증 방법 및 장치
TWI712002B (zh) * 2018-11-27 2020-12-01 國立交通大學 三維人臉重建方法
US11418903B2 (en) 2018-12-07 2022-08-16 Creative Technology Ltd Spatial repositioning of multiple audio streams
US10966046B2 (en) 2018-12-07 2021-03-30 Creative Technology Ltd Spatial repositioning of multiple audio streams
RU2703327C1 (ru) * 2018-12-10 2019-10-16 Самсунг Электроникс Ко., Лтд. Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
WO2020122513A1 (ko) 2018-12-10 2020-06-18 삼성전자주식회사 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
CN109584347B (zh) * 2018-12-18 2023-02-21 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
EP3674974A1 (en) * 2018-12-31 2020-07-01 Samsung Electronics Co., Ltd. Apparatus and method with user verification
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
CN109948467A (zh) * 2019-02-28 2019-06-28 中国科学院深圳先进技术研究院 人脸识别的方法、装置、计算机设备和存储介质
US10872258B2 (en) 2019-03-15 2020-12-22 Huawei Technologies Co., Ltd. Adaptive image cropping for face recognition
KR20200110064A (ko) * 2019-03-15 2020-09-23 삼성전자주식회사 변환 모델을 이용한 인증 방법 및 장치
US11221820B2 (en) 2019-03-20 2022-01-11 Creative Technology Ltd System and method for processing audio between multiple audio spaces
WO2020194792A1 (ja) * 2019-03-26 2020-10-01 日本電信電話株式会社 検索装置、学習装置、検索方法、学習方法及びプログラム
US11080884B2 (en) * 2019-05-15 2021-08-03 Matterport, Inc. Point tracking using a trained network
KR102241153B1 (ko) * 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN110414370B (zh) * 2019-07-05 2021-09-14 深圳云天励飞技术有限公司 人脸脸型识别方法、装置、电子设备及存储介质
CN110490076B (zh) * 2019-07-18 2024-03-01 平安科技（深圳）有限公司 活体检测方法、装置、计算机设备和存储介质
US10853631B2 (en) 2019-07-24 2020-12-01 Advanced New Technologies Co., Ltd. Face verification method and apparatus, server and readable storage medium
US11738197B2 (en) 2019-07-25 2023-08-29 Inspire Medical Systems, Inc. Systems and methods for operating an implantable medical device based upon sensed posture information
US11568239B2 (en) * 2019-08-13 2023-01-31 Lg Electronics Inc. Artificial intelligence server and method for providing information to user
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
US11948076B2 (en) * 2019-10-25 2024-04-02 Sony Group Corporation Media rendering device control based on trained network model
CN110991281B (zh) * 2019-11-21 2022-11-04 电子科技大学 一种动态人脸识别方法
CN111079659A (zh) * 2019-12-19 2020-04-28 武汉水象电子科技有限公司 人脸特征点定位方法
CN111274916B (zh) * 2020-01-16 2024-02-02 华为技术有限公司 人脸识别方法和人脸识别装置
CN111291885B (zh) 2020-01-20 2023-06-09 北京百度网讯科技有限公司 近红外图像的生成方法、生成网络的训练方法和装置
CN111327888B (zh) * 2020-03-04 2022-09-30 广州腾讯科技有限公司 摄像头控制方法、装置、计算机设备和存储介质
US11625843B2 (en) * 2020-06-24 2023-04-11 Bluebeam, Inc. Systems and methods for automatic alignment of drawings
CN112001914B (zh) * 2020-08-31 2024-03-01 三星（中国）半导体有限公司 深度图像补全的方法和装置
KR20220086049A (ko) * 2020-12-16 2022-06-23 삼성전자주식회사 영상 처리 방법, 영상 처리 장치, 및 영상 처리를 위한 트레이닝 방법
GB202100314D0 (en) * 2021-01-11 2021-02-24 Cubitts Kx Ltd Frame adjustment systems
US11907346B1 (en) 2021-01-15 2024-02-20 Wells Fargo Bank, N.A. Facial feature analysis for authentication
US11921831B2 (en) 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN102236910A (zh) * 2010-04-20 2011-11-09 达索系统公司 根据包装的商品产品图像自动生成3d模型
CN103198292A (zh) * 2011-12-20 2013-07-10 苹果公司 人脸特征向量构建
KR20140087607A (ko) * 2012-12-31 2014-07-09 엘지디스플레이 주식회사 얼굴 인식 시스템 및 그 방법
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316888A (ja) * 2004-04-30 2005-11-10 Japan Science & Technology Agency 顔認識システム
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
KR100955255B1 (ko) 2008-04-10 2010-04-30 연세대학교 산학협력단 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
KR101105435B1 (ko) 2009-04-14 2012-01-17 경북대학교 산학협력단 얼굴 검출과 얼굴 인지 방법
US8406483B2 (en) 2009-06-26 2013-03-26 Microsoft Corporation Boosted face verification
CN102799872B (zh) * 2012-07-17 2015-04-29 西安交通大学 基于面部图像特征的图像处理方法
US20140341443A1 (en) 2013-05-16 2014-11-20 Microsoft Corporation Joint modeling for facial recognition
WO2015029982A1 (ja) * 2013-08-29 2015-03-05 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
AU2014368997B2 (en) * 2013-12-19 2020-02-27 Motorola Solutions, Inc. System and method for identifying faces in unconstrained media
CN103984920B (zh) * 2014-04-25 2017-04-12 同济大学 一种基于稀疏表示与多特征点的三维人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN102236910A (zh) * 2010-04-20 2011-11-09 达索系统公司 根据包装的商品产品图像自动生成3d模型
CN103198292A (zh) * 2011-12-20 2013-07-10 苹果公司 人脸特征向量构建
KR20140087607A (ko) * 2012-12-31 2014-07-09 엘지디스플레이 주식회사 얼굴 인식 시스템 및 그 방법
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FILARETI TSALAKANIDOU ET AL.: "Real-time 2D+3D facial action and expression recognition", 《PATTERN RECOGNITION》, pages 1763 - 1775 *

Also Published As

Publication number Publication date
US20160379041A1 (en) 2016-12-29
JP6754619B2 (ja) 2020-09-16
CN106295496B (zh) 2021-09-14
EP4099221A1 (en) 2022-12-07
JP2017010543A (ja) 2017-01-12
US10331941B2 (en) 2019-06-25
CN106295496A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106295496B (zh) 脸部识别方法和设备
US11386701B2 (en) Face recognition method and apparatus
CN106446768B (zh) 用于脸部识别的方法和设备
Zhou et al. 3D face recognition: a survey
US20210064900A1 (en) Id verification with a mobile device
CN106897675B (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
KR102359556B1 (ko) 지문 영상을 이용한 사용자 인증 방법 및 사용자 인증을 위한 부호화 모델 생성 방법
Emambakhsh et al. Nasal patches and curves for expression-robust 3D face recognition
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
Abaza et al. A survey on ear biometrics
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
KR102357340B1 (ko) 얼굴 인식 방법 및 장치
CN114627543A (zh) 用于脸部识别的方法和设备
KR102434562B1 (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
WO2015161816A1 (en) Three-dimensional facial recognition method and system
KR101647803B1 (ko) 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
US11625954B2 (en) Method and apparatus with liveness testing
CN112825128A (zh) 用于活性测试和/或生物特征识别验证的方法和设备
CN111382666A (zh) 具有用户验证的设备和方法
KR102483650B1 (ko) 사용자 인증 장치 및 방법
CN106407942B (zh) 一种图像处理方法及其装置
JP2015162012A (ja) 顔照合装置及び顔照合方法並びにプログラム
Solomon Face Anti-Spoofing and Deep Learning Based Unsupervised Image Recognition Systems
Sun et al. Dual camera based feature for face spoofing detection
CN112989304A (zh) 用户认证设备、用户认证方法和用于用户认证的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination