CN112464699A - 用于面部分析的图像归一化方法、系统和可读介质 - Google Patents

用于面部分析的图像归一化方法、系统和可读介质 Download PDF

Info

Publication number
CN112464699A
CN112464699A CN202010783782.6A CN202010783782A CN112464699A CN 112464699 A CN112464699 A CN 112464699A CN 202010783782 A CN202010783782 A CN 202010783782A CN 112464699 A CN112464699 A CN 112464699A
Authority
CN
China
Prior art keywords
facial
image
base
analysis
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010783782.6A
Other languages
English (en)
Inventor
新沼厚一郎
拉斯洛·A·热尼
伊蒂尔·厄纳尔·埃尔图鲁尔
杰弗里·F·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Carnegie Mellon University
Original Assignee
Fujitsu Ltd
Carnegie Mellon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Carnegie Mellon University filed Critical Fujitsu Ltd
Publication of CN112464699A publication Critical patent/CN112464699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于面部分析的图像归一化方法、系统和可读介质。该方法可以包括：获得基础面部图像；以及获得基础面部图像内的第一基础面部特征集合，所述第一基础面部特征集合与要在分析面部图像中检测的第一面部动作单元(AU)相关联。该方法还可以包括：获得基础面部图像内的第二基础面部特征集合，所述第二基础面部特征集合与要检测的第二面部AU相关联。该方法可以包括：获得分析面部图像；以及使用第一基础面部特征集合对分析面部图像应用第一图像归一化，以有助于预测第一面部AU的概率。该方法可以包括：使用第二基础面部特征集合对分析面部图像应用第二图像归一化，以有助于预测第二面部AU的概率。

Description

用于面部分析的图像归一化方法、系统和可读介质
技术领域
本公开内容的实施方式涉及用于面部分析的图像归一化。
背景技术
面部分析已被用于识别个人或识别面部表情。然而，不同的面部图像具有不同的取向或姿态，这使得难以对这样的图像提供一致的分析。
发明内容
本公开内容的一个或更多个实施方式可以包括一种方法，该方法包括：获得基础面部图像；以及获得基础面部图像内的第一基础面部特征集合，其中，第一基础面部特征集合可以被选择为要与在分析面部图像中检测的第一面部动作单元(AU)相关联。该方法还可以包括：获得基础面部图像内的第二基础面部特征集合，其中，第二基础面部特征集合中的至少一个面部特征与第一基础面部特征集合中的面部特征不同。第二基础面部特征集合可以被选择为与要在分析面部图像中检测的第二面部AU相关联。该方法还可以包括：获得分析面部图像；使用第一基础面部特征集合对分析面部图像应用第一图像归一化，以有助于预测分析面部图像中的第一面部AU的概率。该方法还可以包括：使用第二基础面部特征集合对分析面部图像应用第二图像归一化，以有助于预测分析面部图像中的第二面部AU的概率。
至少通过权利要求中特别指出的元件、特征和组合，将会实现和达到实施方式的目的和优点。
应当理解，前述的一般描述和下面的详细描述都仅仅是示例，并且是说明性的，而不是限制性的。
附图说明
通过使用附图，将更加具体且详细地描述和说明示例实施方式，在附图中：
图1是示出图像归一化和面部分析的示例流程的图；
图2是示出图像归一化和面部分析的另一示例流程的另一幅图；
图3示出了针对面部图像的图像归一化的示例方法的示例流程图；
图4A和图4B示出了在面部图像中进行图像归一化和预测面部动作单元(AU)的示例方法的示例流程图；
图5示出了图像归一化的一种技术的示例方法的示例流程图；以及
图6示出了示例计算系统。
具体实施方式
本公开内容涉及分析面部图像以预测AU是否在正被分析的分析图像中，并且如果AU存在则可以预测AU的强度。为了在分析图像之间提供一致的分析，可以对分析图像进行归一化。例如，可以选择基础图像中的基础特征集合，并且可以在要分析的分析图像中识别相应的特征。使用识别到的特征的位置，可以对分析图像进行缩放、转置(transposed)、旋转等，以使分析图像与基础图像对准。在一些实施方式中，图像归一化可能会基于在分析图像中正在检测哪个AU而有所不同。例如，可以在基础图像中选择对于AU或AU集特定的不同特征。然后可以使用预测模型、引擎或其他工具对分析图像进行分析，以检测或预测分析图像内的AU的存在概率和/或强度。
在某些情况下，本公开内容的实施方式可以通过应用本公开内容的教导来帮助改善计算机的性能。例如，通过提供专门的图像归一化，可以改善计算机中的基于计算机的AU识别，使得可以执行更准确且一致的分析。因为系统更为准确，所以必须执行的检测迭代可以更少，从而节省了计算处理资源和时间。另外，准确性得以提高本身就是一种改进。
参考附图说明一个或更多个示例实施方式。
图1是示出根据本公开内容的一个或更多个实施方式的图像归一化和面部分析的示例流程100的图。流程100示出了使用基础图像110帮助预测分析图像120(例如，分析图像120a和120b)中的一个或更多个AU的处理。计算系统、诸如参照图6描述的计算系统可以执行任务以执行流程100。
如图1所示，可以获得基础图像110。基础图像可以用于得到可以在其他图像中可再现地识别的特征，以促进这些其他图像的归一化。例如，基础图像110可以用于得到基础特征集合115。特征115可以包括面部上的任何位置118，诸如眼睛的中心、鼻尖、嘴角和嘴中心以及面部轮廓。可以跨图像来使用特征115以促进图像的一致的归一化。基础图像110可以包括具有中性表情的面向前方的面部图像。如本文中所使用的，中性表情可以表征为其中面部图像的多于一半的AU具有A或小于A的强度的表情。在一些实施方式中，可以将中性表情具体识别为面部图像的所有AU或几乎所有(例如，除一个以外的所有，除两个之外的所有，除三个以外的所有等)AU具有A或小于A的强度的表情。在一些实施方式中，基础图像110可以被重新缩放成执行图像分析150的实体、引擎，模型等期望的尺寸。
在一些实施方式中，可以使用第三方工具或应用编程接口(API)来获得基础特征集合115，该第三方工具或应用编程接口(API)可以促进检测和/或识别要用作基础特征集合115的各种面部标志(landmark)的位置。
在获得基础特征集合115之后，可以获得一个或更多个分析图像120，并且与基础特征集合115对应的特征125可以在分析图像120中它们的位置128处被识别。如图1所示，特征125在分析图像120A中的位置128a处以及在分析图像120B中的位置128b处。可以看出，因为图像来自不同的视角，所以特征125a和125b分别具有不同的对应位置128a和128b。
基于位置128a和/或128b，对分析图像120执行图像归一化。例如，分析图像120可以被旋转、重调尺寸、移动等以处于归一化位置以允许跨不同的分析图像120的一致分析。在一些实施方式中，这样的图像归一化可以包括相对于基础图像110和/或相应的基础特征集合115的普氏(Procrustes)分析变换。图像旋转、重调尺寸等的一个示例在图5中示出。图像归一化130可以产生归一化图像140(诸如归一化图像140a和140b)。虽然将普氏分析变换用作示例归一化技术，但是可以使用各种归一化技术中的任何一种。
在分析图像120已经被归一化为归一化图像140之后，可以对归一化图像140执行图像分析150。例如，可以在图像分析150处对归一化图像140执行对于一个或更多个AU的存在的可能性的预测。在这些和其他实施方式中，可以在152a处对归一化图像140a执行对于AU 4的概率的估计，以及在152b处对归一化图像152b执行对于AU 4的概率的估计。在这些和其他实施方式中，预测可以包括AU的二进制不存在或存在。另外地或替选地，AU的强度可以是预测的一部分，例如对于个人而言在A至E之间的等级，其中A–微量的、B–少量的、C–显著的/明显的、D–重度的或极端的以及E–最大的(例如，在预测/检测AU 1时，结果可能是AU1B，意味着AU 1的少量存在)。除了对AU的预测/检测之外，图像分析150可以包括任何其他分析，例如面部检测、面部识别/辨识等。图像分析150可以包括预测分析图像120内的AU的概率的任何类型的图像分析。例如，图像分析150可以包括使用数据集训练以识别各种AU的机器学习模型、引擎、组件、系统等。作为另一示例，图像分析150可以包括第三方分析工具的API。
图像分析150的结果可以被输出到显示器或以其他方式在计算设备中使用。在一些实施方式中，输出可以包括对多个AU的分析，包括本文中的表1中所标识的AU 0至AU 28。
当对分析图像120执行面部分析时，分析图像120并非总是处于与基础图像110相同的取向。例如，分析图像120可以包括抬头看向远处的面部，或略微转向而离开捕获分析图像120的相机的面部等。另外地或替选地，捕获分析图像120时使用的成像设备或设置可能引起某些失真。通过使用特征115，可以将分析图像120归一化为与基础图像110相似的尺寸和/或取向，以促进在图像分析150中的一致的面部分析。
在一些实施方式中，基础特征集合115可以在基础图像110内被人工地识别。例如，人类操作员可以将基础图像110中的某些位置物理地选择为基础特征集合115中的特征。
在一些实施方式中，基础图像110和/或基础特征集合115可以从图像的训练数据集中自动获得。例如，可以在训练数据集的图像上对面部特征的位置求平均。基于平均位置，基础图像110可以被选择为具有与平均位置最紧密对准的面部特征的图像和/或在平均位置的阈值(例如，距离、百分比等)内的图像。使用现在识别的基础图像110，可以在基础图像110内识别基础特征集合115。例如，如果基础特征集合115包括在每只眼睛的中心处、在鼻尖处、在嘴角处和在嘴中心处以及在面部周围的标志，则可以基于基础图像110获得这些特征。
在一些实施方式中，当自动识别基础特征集合115时，可以使用训练数据集。可以在训练数据集上对用作特征的面部特征求平均，并且特征的位置可以基于平均位置，而不是基于任何特定的面部图像。例如，如果特征之一在眼睛中心处，则在训练数据集上的眼睛中心的平均位置即使不与训练数据集中的任何特定图像对应也可以用作标志的位置。
在一些实施方式中，可以基于在面部图像中正在分析哪个动作单元(AU)来选择要使用哪些特征。例如，可以将不同的特征集合用于在分析图像120内正被检测的不同AU。例如，如果在分析图像120中正在预测AU 1的概率，则可以将特征在眼睛周围以及靠近前额的额肌周围放置得更重(例如，特征可以在执行AU 1时预期会移动的面部区域周围更密集)。这样做可以提供更多的强调以及辨别在预期会出现面部动作的位置附近的变化的能力。另外，通过在预期会移动的面部部分处或其附近设置更多特征，与面部的其他区域相比，可以减少这些特征附近的失真。在一些实施方式中，可以在AU上保持这些特征，并且可以基于正被分析的AU将不同的权重应用于不同的特征。例如，如果在分析图像120中正在预测AU 1的概率，则在眼睛和前额附近的额肌周围的特征与其他特征相比、例如与下巴附近的特征相比可以被更重地加权。在一些实施方式中，要被给予某些特征的权重的识别可以基于遮挡敏感性图，该遮挡敏感性图可以映射在执行AU时面部特征的变化的直方图值，其中对于较高的直方图值，权重可以较高。下面的表1提供了一些AU的示例，其中具有对应的面部动作编码系统(FACS)名称以及引起面部动作的肌肉群。
表1
Figure BDA0002621167090000051
Figure BDA0002621167090000061
在不脱离本公开内容的范围的情况下，可以对流程100进行修改、增加或省略。例如，以所描述的方式指定不同的元件旨在帮助解释本文描述的概念，而不是限制性的。此外，流程100可以包括任何数量的其他元件，或者可以在除所描述的系统或环境以外的其他系统或环境内实现。例如，可以分析任何数量的分析图像120。作为另一示例，基础图像110可以用图像的测试数据集代替，所述图像的测试数据集产生不基于任何图像的基础特征集合115。
图2是示出根据本公开内容的一个或更多个实施方式的图像归一化和面部分析的另一示例流程200的另一幅图。图1示出了可以使用单个基础特征集合跨多个图像执行图像分析的流程。图2示出了可以使用多个基础特征集合215执行图像分析250的流程200，其中，基础特征集合215可以是对于正被预测的AU(或AU集合)来说特定的。
如流程200所示，可以获得基础图像210。基础图像210可以类似于或相当于图1的基础图像110。例如，基础图像210可以是面向前方的，在基础图像210中的面部上具有中性表情。可以在基础图像210内识别至少两个不同的基础特征集合215。例如，位置218a处的基础特征集合215a可以与AU 1相关联，这样可以在面部的眼睛附近具有附加的特征215a，以更好地测量眉毛的上提。可以以与以上参照图1描述的方式类似的方式来获得基础特征集合215。可以在图像的训练数据集上对位置218a进行平均，并且可以在该训练数据集上对位置218b进行平均，并且可以选择基础图像210作为具有与两个位置218a和218b的平均位置最接近对准的面部特征的图像。在一些实施方式中，在自动识别基础图像210的过程中可以使用位置218a和/或218b(和/或其他特征集合215)的子集。作为自动识别特征215a的位置218a的另一示例，在不将特定图像识别为基础图像210的情况下，可以在训练数据集的图像上对特征218a的平均位置求平均。可以对特征集合215中的每个特征集合重复这样的识别，每个特征集合各自被求平均并被独立地选择。
如流程200所示，在获得基础特征集合215a和215b(和/或其他基础特征集合215)之后，可以获得分析图像220。可以在位置228a处在分析图像220中识别特征集合225a。类似地，可以在位置228b处在分析图像220中识别特征集合225b。
基于特征225a，可以在图像归一化230a处以特定于正被检测的AU(例如AU 1)的方式对分析图像220进行归一化，从而产生归一化图像240a。例如，分析图像可以使用特征215a在位置228a处以及使用特征225a进行普氏分析变换。类似地，可以在图像归一化230b处以特定于正被检测的AU(例如，AU 4)的方式对分析图像220进行归一化，从而产生归一化图像240b。
在归一化之后，可以对归一化图像240a执行图像分析250。例如，图像分析250可以对分析图像220中存在AU 1的概率执行AU 1估计252a。另外地或替选地，图像分析250可以产生AU的强度254，例如AU 1的强度—0(标记为254a)。类似地，图像分析250可以对分析图像220中存在AU 4的概率执行AU 4估计252b，和/或可以提供AU 4的强度—B(标记为254b)。
尽管已经针对两个不同的AU示出了流程200，但是应当理解，对于正被分析的每个AU，可以存在任意数量的离散的基础特征集合215。另外地或替选地，AU的分组可以使用相同的基础特征集合(例如，与嘴的运动有关的AU可以使用一个基础特征集合，以及与眼睛和眉毛的运动有关的AU可以使用单独且不同的基础特征集合。
在不脱离本公开内容的范围的情况下，可以对流程200进行修改、增加或省略。例如，以所描述的方式指定不同的元件意在帮助解释本文描述的概念，而不是限制性的。此外，流程200可以包括任意数量的其他元件，或者可以在除所描述的系统或环境以外的其他系统或环境内实现。例如，可以分析任何数量的分析图像220。作为另一示例，可以预测任何数量的AU的存在。
图3示出了根据本公开内容的一个或更多个实施方式的针对面部图像的图像归一化的示例方法的示例流程图。方法300中的一个或更多个操作可以由系统或装置或其组合来执行，例如由图6的计算装置600执行。方法300可以是本公开内容的一个或更多个流程(诸如流程100和/或200)的一种示例实现方式。尽管被示为离散的块，但是方法300的各个块可以根据期望的实现方式被划分为另外的块、组合为更少的块或被去除。
在块305处，可以获得基础面部图像。例如，基础面部图像可以由用户或管理员提供或选择。作为另一示例，可以在训练数据集的图像上对面部特征的位置进行平均，并且可以将具有最接近平均位置的面部特征的图像用作基础面部图像。基础面部图像可以以与本公开内容一致的任何方式来识别和/或获得。
在块310处，可以从在块305处获得的基础面部图像获得基础面部特征集合。例如，诸如眼睛、眉毛、鼻子、下颌线、唇、舌头等的关键面部特征可以用作基础面部特征集合中的特征。在一些实施方式中，基础面部特征集合可以被自动识别(例如，如针对块305所描述的那样)。另外地或替选地，用户可以选择特征集合和/或基础图像。在一些实施方式中，可以基于在执行要在面部图像中检测的各种AU时所使用的肌肉群来选择基础面部特征集合。例如，如果在分析中正在检测AU 1，则可以包括与眉毛相关联的特征。基础面部特征集合可以以与本公开内容一致的任何方式来识别和/或获得。
在块315处，可以获得分析图像n。例如，可以获得要使用来自块305的基础面部图像和/或来自块310的基础面部特征集合进行分析的图像。图像n可以包括具有面部的任何图像，其可以包括朝向或面向任何方向的面部，诸如与基础图像的姿态不同的姿态。在一些实施方式中，图像n可以用作用于训练机器学习系统或用于执行图像分析的其他系统的训练数据集的一部分。
在块320处，可以基于基础面部特征对分析图像n应用图像归一化。例如，可以使用普氏分析变换或某种其他图像修改技术对图像n进行归一化，其示例参照图5进行描述。在这些实施方式以及其他实施方式中，图像归一化可能引起图像的旋转、重调尺寸、转置、拉伸、偏转等。从块320开始，如果训练模型以有助于面部动作的检测，则方法300可以进行至块325，并且如果对图像执行图像分析，则方法300可以进行至块330。
在块325处，可以使用归一化分析图像n训练模型。例如，可以使用机器学习系统或其他可训练分析系统分析图像n(和/或其他图像)以识别各种AU的存在和/或不存在。在一些实施方式中，在训练模型时，图像时n可以包括在图像n中存在或不存在哪些AU的指示，使得模型可以了解特征的哪些位置和/或取向指示AU的存在和/或AU的强度。另外地或替选地，图像n可以不包括在训练数据集中的图像中存在哪些AU的任何指示。基于跨训练数据集的特征的位置的变化，相对差异可以被规划为是否存在AU的预测。例如，如果训练数据集中的80％的图像在彼此的阈值距离内包括与AU关联的特征，并且剩余20％被彼此分散开来，则剩余20％可以分开为对应于针对给定AU的不同强度值，其中80％对应于缺少AU。另外地或替选地，通过在数据集上训练模型，可以基于不同的取向确定AU的存在或不存在，这是因为训练数据集可能已经观察到具有不同面部姿态(例如，侧向注视、向下转移视线注视，而不是仅直视镜头)的AU的存在/不存在。在块325基于图像n训练模型之后，方法300可以进行至块335，使得可以分析训练数据集中的另外图像以贡献到模型中。
在块330处，可以基于归一化图像n和其中的特征的位置来对分析图像n中的一个或更多个AU进行预测。例如，可以将归一化分析图像n中的特征与在块325处训练的模型进行比较，以使用该模型预测给定AU的存在或不存在。另外地或替选地，归一化分析图像n可以具有与特征的位置无关地执行的图像分析。用于预测AU的存在、不存在和/或强度的图像分析可以是任何预测/检测方法。在块330针对分析图像n预测AU的存在/不存在/强度之后，方法300可以进行至块335。
在块335处，可以确定是否分析了所有的分析图像。例如，可以确定是否已经考虑了在训练模型的过程中使用的训练数据集的所有图像。作为另一示例，可以确定是否已经考虑了要针对AU的存在/不存在/强度进行分析的所有图像。如果并非所有的图像都已经被分析，则方法300可以进行至块340，其中n增加1，之后方法300返回至块315以获得用于训练和/或分析的下一分析图像。如果已经分析了所有图像，则方法300可以进行至块345，在块345处，方法300可以结束。
在不脱离本公开内容的范围的情况下，可以对方法300进行修改、增加或省略。例如，方法300的操作可以以不同的顺序实现。另外地或替选地，可以同时执行两个或更多个操作。此外，概述的操作和动作是作为示例提供的，并且在不脱离所公开的实施方式的实质的情况下，一些操作和动作可以是可选的，可以被组合成较少的操作和动作，或者可以被扩展成另外的操作和动作。
图4A和图4B示出了根据本公开内容的一个或更多个实施方式的图像归一化和预测面部图像中的动作单元(AU)的示例方法400的示例流程图。方法400的一个或更多个操作可以由系统或装置或其组合、诸如图6的计算设备600来执行。方法400可以是本公开内容的一个或更多个流程(诸如流程100和/或200)的一种示例实现方式。尽管被示为离散的块，但是方法400的各个块可以根据期望的实现方式被划分为另外的块、被组合成更少的块或被去除。
在块405处，可以获得基础面部图像。块405可以类似于或相当于图3的块305。
在块410处，可以获得与第一AU相关联的第一基础面部特征集合。块410可以类似于或相当于图3的块310。然而，在块410处，第一基础面部特征集合可以对于AU为特定的。例如，第一基础面部特征集合可以包括靠近在AU中运动的面部部分的更多特征。
在块415处，可以获得与第二AU相关联的第二基础面部特征集合。块415可以类似于或相当于块410，尽管第二基础面部特征集合可以与不同于第一基础面部特征集合的AU相关联。这样的话，第二基础面部特征集合可以不同于第一基础面部特征集合。
在块420处，可以获得分析图像n。分析图像n可以用于图像分析。
在块425处，可以确定分析图像n是否已被分析以检测第一AU的存在/不存在/强度。如果尚未执行这样的分析，则方法400可以进行至块435。如果已经执行了这样的分析，则方法400可以进行至块430。
在块430处，可以确定分析图像n是否已被分析以检测第二AU的存在/不存在/强度。如果尚未执行这样的分析，则方法400可以进行至块445。如果已经执行了这样的分析，则方法400可以进行至块455。
在块435处，可以使用第一基础面部特征集合对分析图像n应用图像归一化。例如，分析图像n可以经过普氏分析变换，其中在该变换中使用的点是第一基础面部特征集合。在这些和其他实施方式中，块435可以类似于或相当于图3的块320，但基于第一基础面部特征集合。
在块440处，可以使用来自块435的归一化图像来预测第一AU的概率。在这些和其他实施方式中，可以在预测中包括第一AU的强度。块440可以类似于或相当于图3的块330，但是可以对于第一AU为特定的。在块440之后，方法400可以返回至块425。
在块445处，可以使用第二基础面部特征集合对分析图像n应用图像归一化。尽管块445基于第二基础面部特征集合，但可以类似于或相当于块435。因为块445是基于不同的基础面部特征集合，所以与在块435中生成的归一化图像相比，在块445中生成的归一化图像在取向、旋转、缩放等方面可以不同。这样的不同在第一AU和/或第二AU中使用的肌肉群的区域中和/或靠近该肌肉群的区域中可能会加重。
在块450处，可以使用来自块445的归一化图像来预测第二AU的概率。块450可以类似于或相当于块440，但是可以是特定于第二AU而不是第一AU。在块450之后，方法400可以返回至块425。
在块455处，可以确定是否已经分析了所有的分析图像。例如，可以确定是否已经通过块425至450分析了所有要分析的图像，以预测第一AU和/或第二AU存在于图像中的概率。如果并非所有的分析图像已被分析，则方法400可以进行至块460，其中n增加1，并且可以返回至块420以获得用于分析的下一图像。如果已经分析了所有分析图像，则方法400可以进行至块465以结束。
在不脱离本公开内容的范围的情况下，可以对方法400进行修改、增加或省略。例如，方法400的操作可以以不同的顺序实现。另外地或替选地，可以同时执行两个或更多个操作。此外，概述的操作和动作是作为示例提供的，并且在不背离所公开的实施方式的本质的情况下，一些操作和动作可以是可选的、可以被组合成较少的操作和动作，或者可以被扩展成另外的操作和动作。例如，可以针对任何数量的AU、诸如针对AU0至AU28而不是仅第一AU和第二AU来重复/迭代块425至450。
图5示出了根据本公开内容的一个或更多个实施方式的一种图像归一化技术的示例方法500的示例流程图。方法500的一个或更多个操作可以由系统或装置或其组合(诸如图6的计算装置600)来执行。方法500可以是图像归一化的一个示例实现方式，诸如图3的块320、图4A的块435和/或图4B的块445。尽管被示为离散的块，但是取决于期望的实现方式，方法500的各种块可以被划分为另外的块、被组合成更少的块或被去除。
在块510处，可以将分析图像缩放为与基础图像相同的尺寸。例如，分析图像可以保持纵横比，并且可以水平地和/或垂直地缩放成与基础图像相同数量的像素。作为另一示例，可以缩放分析图像，使得分析图像中的面部的最大高度和/或宽度与基础图像中的面部的最大高度和/或最大宽度相同。在一些实施方式中，可以使用基础图像的基础特征集合和分析图像中的对应特征集合。例如，可以形成通常形状(例如，椭圆形或圆形)，或者可以在基础图像中识别特征的最大高度或最大宽度，并且可以缩放分析图像，使得分析图像的面部中的特征形成相同尺寸的通常形状或者具有相同的最大高度/最大宽度等。在一些实施方式中，基础图像可以被调整尺寸以对应于分析引擎、模型等所预期的或使用的尺寸。
在块520处，可以基于基础图像的重心和分析图像的重心，将分析图像转置成与基础图像处于相同位置。例如，以数学方式描述，如果分析图像和基础图像处于笛卡尔坐标中，则特征可以在(x，y)点处(例如，(x1，y1)、(x2，y2)...(xn，yn))，并且基础图像的(x，y)点的平均(例如，
Figure BDA0002621167090000121
)可以被视为原点(例如重心)，并且分析图像的(x，y)点的平均也可以通过转置第一图像而被视为原点(例如重心)，从而使得两个原点重叠。
在块530处，可以旋转分析图像以与基础图像对准。例如，分析图像可以绕原点(例如，重心)旋转以使基础图像中的基础特征集合与分析图像中的对应特征之间的平方距离的总和最小化。作为另一示例，可以旋转分析图像以使最大数量的对应特征的重叠最大化。作为另外的示例，可以旋转图像以使针对特定AU的所选关键特征或特征的子集在两个图像中重叠，或者使特征子集之间的平方距离的总和最小化。作为这样的特征的示例，如果正在预测AU 1，则旋转可以对准前额上眉毛附近的关键特征点，或者对准沿眉毛并且在前额上方的特征点集合等。
在不脱离本公开内容的范围的情况下，可以对方法500进行修改、增加或省略。例如，方法500的操作可以以不同的顺序实现(例如，可以以任何顺序缩放、转置或旋转分析图像)。另外地或替选地，可以同时执行两个或更多个操作。此外，概述的操作和动作是作为示例提供的，并且在不脱离所公开的实施方式的本质的情况下，一些操作和动作可以是可选的，可以组合成较少的操作和动作，或者可以扩展成另外的操作和动作。
图6示出了根据在本公开内容中描述的至少一个实施方式的有助于确定和/或可视化数据集中的偏差的示例计算系统600。计算系统600可以包括处理器610、存储器620、数据存储装置630和/或通信单元640，所有这些都可以被通信地耦接。图1和图2的流程100和/或200中的任何流程或全部流程可以由与计算系统600一致的计算系统来实现。另外地或替选地，图3至图5的方法300、400和/或500的任何操作可以由与计算系统600一致的计算系统来执行。例如，计算系统600可以获得面部图像，对面部图像执行图像归一化，并且预测面部图像中的AU的概率。
通常，处理器610可以包括任何合适的专用或通用计算机、计算实体或包括各种计算机硬件或软件模块的处理装置，并且可以被配置成执行存储在任何适用的计算机可读存储介质上的指令。例如，处理器610可以包括微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或被配置成解释和/或执行程序指令和/或处理数据的任何其他数字或模拟电路。
尽管在图6中被示为单个处理器，但是应当理解，处理器610可以包括分布在任何数量的网络或物理位置上的任何数量的处理器，该任何数量的处理器被配置成单独地或共同地执行在本公开内容中描述的任何数量的操作。在一些实施方式中，处理器610可以解释和/或执行程序指令和/或处理存储在存储器620、数据存储装置630或者存储器620和数据存储装置630中的数据。在一些实施方式中，处理器610可以从数据存储装置630中取得程序指令，并将程序指令加载到存储器620中。
在程序指令被加载到存储器620中之后，处理器610可以执行程序指令，诸如分别执行图3至图5的过程300、400和/或500中的任何过程的指令。例如，处理器610可以获得关于对图像进行归一化以用于面部分析的指令。
存储器620和数据存储装置630可以包括用于承载或在其上存储计算机可执行指令或数据结构的一个或更多个计算机可读存储介质。这样的计算机可读存储介质可以是可以由通用或专用计算机(诸如处理器610)访问的任何可获得的介质。在一些实施方式中，计算系统600可以包括或可以不包括存储器620和数据存储装置630中的任何一个。
举例来说而非限制，这种计算机可读存储介质可以包括非暂态计算机可读存储介质，非暂态计算机可读存储介质包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁性存储装置、闪存装置(例如固态存储器装置)、或者可以被用来以计算机可执行指令或数据结构的形式承载或存储所需的程序代码并且可以由通用或专用计算机访问的任何其他存储介质。以上的组合也可以被包括在计算机可读存储介质的范围内。计算机可执行指令可以包括例如被配置成使处理器610执行某个操作或一组操作的指令和数据。
通信单元640可以包括被配置成通过网络发送或接收信息的任何部件、装置、系统或其组合。在一些实施方式中，通信单元640可以与在其他位置或相同位置处的其他装置通信，或者甚至与同一系统内的其他部件通信。例如，通信单元640可以包括调制解调器、网卡(无线的或有线的)、光通信装置、红外通信装置、无线通信装置(诸如天线)和/或芯片组(诸如蓝牙装置、802.6装置(例如，城域网(MAN))、WiFi装置、WiMax装置、蜂窝通信设施等其他)和/或类似装置。通信单元640可以允许与网络和/或本公开内容中描述的任何其他装置或系统交换数据。例如，通信单元640可以允许系统600与其他系统(诸如计算装置和/或其他网络)进行通信。
在阅读了本公开内容之后，本领域技术人员可以认识到，可以在不脱离本公开内容的范围的情况下对系统600进行修改、添加或省略。例如，系统600可以包括比明确示出和描述的部件更多的部件或更少的部件。
前述公开内容并非意图将本公开内容限制为所公开的确切形式或特定使用领域中。因此，可以预期的是，根据本公开内容，无论是在本文中明确描述还是暗示的对本公开内容的各种替选实施方式和/或修改都是可行的。在如此描述了本公开内容的实施方式的情况下，可以认识到，可以在不脱离本公开内容的范围的情况下在形式和细节上做出改变。因此，本公开内容仅由权利要求进行限制。
在一些实施方式中，本文描述的不同部件、模块、引擎和服务可以被实现为在计算系统上执行的对象或过程(例如，作为单独的线程)。尽管本文描述的一些系统和过程通常被描述为以软件实现(存储在通用硬件上和/或由通用硬件执行)，但是特定的硬件实现或者软件与特定的硬件实现的组合也是可行的并且可预期的。
在文本中特别是在所附权利要求(例如，所附权利要求的主体)中使用的术语通常旨在作为“开放式”术语(例如，术语“包括”应当被解释为“包括但不限于”)，术语“具有”应当被解释为“至少具有”，术语“包含”应当被解释为“包含但不限于”等)。
另外，如果期望引入特定数量的权利要求记载，则这样的意图将在权利要求中被明确地记载，并且在没有这样的记载的情况下，不存在这样的意图。例如，为了帮助理解，所附权利要求可以包含使用介绍性短语“至少一个”以及“一个或更多个”来引入权利要求记载中。然而，即使在同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及不定冠词诸如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或更多个”)的情况下，使用这样的短语也不应当被解释为暗示了由不定冠词“一”或“一个”引入的权利要求记载将包含这样引入的权利要求记载的任何特定权利要求限制为仅包含一个这样的记载的实施方式；对于用于引入权利要求记载的定冠词的使用也同样如此。
另外，即使明确记载了所引入的权利要求记载的特定数量，本领域技术人员将会认识到，这样的记载应当被解释为意指至少所记载的数量(例如，无修饰语的“两个记载”的裸记载(bare recitation)意指至少两个记载或者两个或更多个记载)。此外，在其中使用类似于“A、B和C等中的至少一个”或“A、B和C等中的一个或更多个”的惯用语的这些情况下，通常这样的造句旨在包括单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、或者A、B和C一起等。例如，术语“和/或”的使用旨在以此方式来解释。
此外，无论是在说明书、权利要求书还是在附图中，给出两个或更多个替选术语的任何析取词或短语都应当被理解为考虑了包括这些术语中之一、术语中任一个或两个术语的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”或“A和B”的可能性。
然而，即使在同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及不定冠词诸如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或更多个”)的情况下，这样的短语的使用也不应当被解释为暗示了由不定冠词“一”或“一个”引入的权利要求记载将包含这样引入的权利要求记载的任何特定权利要求限制为仅包含一个这样的记载的实施方式；对于用于引入权利要求记载的定冠词的使用也同样如此。
另外，术语“第一”、“第二”、“第三”等的使用在本文中不一定用来意味着特定顺序。通常，术语“第一”、“第二”、“第三”等用于区分不同的元件。在没有具体示出术语“第一”、“第二”、“第三”等意味着特定顺序的情况下，不应将这些术语理解为意味着特定顺序。
本文记载的所有示例和条件性语言旨在用于教导目的，以帮助读者理解本发明以及发明人为进一步促进技术所贡献的构思，并且应当被解释为不限于这样的具体记载的示例和条件。尽管已经详细描述了本公开内容的实施方式，但是应当理解，在不脱离本公开内容的精神和范围的情况下，可以对其进行各种改变、替换和变更。
提供了对所公开的实施方式的上述描述以使本领域的任何技术人员能够制造或使用本公开内容。对这些实施方式的各种修改对于本领域技术人员来说将会是很明显的，并且在不脱离本公开内容的精神或范围的情况下，本文中定义的一般原理可以适用于其他实施方式。因此，本公开内容不旨在被限制于本文所示的实施方式，而是与符合本文公开的原理和新颖性特征的最宽范围相一致。

Claims (20)

1.一种方法，包括：
获得基础面部图像；
获得所述基础面部图像内的第一基础面部特征集合，所述第一基础面部特征集合被选择为与要在分析面部图像中检测的第一面部动作单元AU相关联；
获得所述基础面部图像内的第二基础面部特征集合，所述第二基础面部特征集合中的至少一个面部特征与所述第一基础面部特征集合中的面部特征不同，所述第二基础面部特征集合被选择为与要在所述分析面部图像中检测的第二面部动作单元相关联；
获得所述分析面部图像；
使用所述第一基础面部特征集合对所述分析面部图像应用第一图像归一化，以有助于预测所述分析面部图像中的所述第一面部动作单元的概率；以及
使用所述第二基础面部特征集合对所述分析面部图像应用第二图像归一化，以有助于预测所述分析面部图像中的所述第二面部动作单元的概率。
2.根据权利要求1所述的方法，其中，应用所述第一图像归一化包括：使用所述第一基础面部特征集合来应用普氏分析变换。
3.根据权利要求1所述的方法，其中，所述第一基础面部特征集合被选择为定位在所述第一面部动作单元期间运动的面部区域处。
4.根据权利要求3所述的方法，其中，所述第一基础面部特征集合的密度被选择成在所述第一面部动作单元期间运动的面部区域处比在所述第一面部动作单元期间不运动的面部区域处更密集。
5.根据权利要求1所述的方法，其中，所述第一基础面部特征集合被加权成使得在所述第一面部动作单元期间运动的面部特征与在所述第一面部AU期间不运动的面部特征相比被更重地加权。
6.根据权利要求4所述的方法，其中，所述第一基础面部特征集合的权重是基于遮挡敏感性图或在与所述第一面部动作单元相关联的运动中使用的肌肉群集合中的至少一个来确定的。
7.根据权利要求1所述的方法，还包括：通过对多个训练面部图像执行操作来训练面部分析引擎，所述操作包括：
使用所述第一基础面部特征集合对第一训练面部图像应用所述第一图像归一化，以训练所述面部分析引擎识别所述第一训练面部图像中的所述第一面部动作单元；以及
使用所述第二基础面部特征集合对第二训练面部图像应用所述第二图像归一化，以训练所述面部分析引擎识别所述第二训练面部图像中的所述第二面部动作单元。
8.根据权利要求1所述的方法，其中，除了在所述第一图像归一化和所述第二图像归一化中分别使用所述第一基础面部特征集合和所述第二基础面部特征集合之外，所述第一图像归一化和所述第二图像归一化是相同的。
9.根据权利要求1所述的方法，还包括：估计所述分析面部图像中的所述第一面部动作单元和所述第二面部动作单元中的至少一个面部动作单元的强度。
10.根据权利要求1所述的方法，其中，所述基础面部图像包括面向前方的中性表情面部图像。
11.一种包含指令的非暂态计算机可读介质，所述指令在由一个或更多个处理器执行时被配置成执行操作，所述操作包括：
获得具有正面面部的基础面部图像；
获得所述基础面部图像内的第一基础面部特征集合，所述第一基础面部特征集合被选择为与要在分析面部图像中检测的第一面部动作单元AU相关联；
获得所述基础面部图像内的第二基础面部特征集合，所述第二基础面部特征集合中的至少一个面部特征与所述第一基础面部特征集合中的面部特征不同，所述第二基础面部特征集合被选择为与要在所述分析面部图像中检测的第二面部动作单元相关联；
获得所述分析面部图像；
使用所述第一基础面部特征集合对所述分析面部图像应用第一图像归一化，以有助于预测所述分析面部图像中的所述第一面部动作单元的概率；以及
使用所述第二基础面部特征集合对所述分析面部图像应用第二图像归一化，以有助于预测所述分析面部图像中的所述第二面部动作单元的概率。
12.根据权利要求11所述的计算机可读介质，其中，应用所述第一图像归一化包括：使用所述第一基础面部特征集合来应用普氏分析变换。
13.根据权利要求11所述的计算机可读介质，其中，所述第一基础面部特征集合被选择为定位在所述第一面部动作单元期间运动的面部区域处。
14.根据权利要求13所述的计算机可读介质，其中，所述第一基础面部特征集合的密度被选择成在所述第一面部动作单元期间运动的面部区域处比在所述第一面部动作单元期间不运动的面部区域处更密集。
15.根据权利要求11所述的计算机可读介质，其中，所述第一基础面部特征集合被加权成使得在所述第一面部动作单元期间运动的面部特征与在所述第一面部动作单元期间不运动的面部特征相比被更重地加权。
16.根据权利要求15所述的计算机可读介质，其中，所述第一基础面部特征集合的权重是基于遮挡敏感性图或在与所述第一面部动作单元相关联的运动中使用的肌肉群集合中的至少一个来确定的。
17.根据权利要求11所述的计算机可读介质，所述操作还包括：通过对多个训练面部图像执行操作来训练面部分析引擎，所述操作包括：
使用所述第一基础面部特征集合对第一训练面部图像应用所述第一图像归一化，以训练所述面部分析引擎识别所述第一训练面部图像中的所述第一面部动作单元；以及
使用所述第二基础面部特征集合对第二训练面部图像应用所述第二图像归一化，以训练所述面部分析引擎识别所述第二训练面部图像中的所述第二面部动作单元。
18.根据权利要求11所述的计算机可读介质，其中，除了在所述第一图像归一化和所述第二图像归一化中分别使用所述第一基础面部特征集合和所述第二基础面部特征集合之外，所述第一图像归一化和所述第二图像归一化是相同的。
19.根据权利要求11所述的计算机可读介质，所述操作还包括：估计所述分析面部图像中的所述第一面部动作单元和所述第二面部动作单元中的至少一个面部动作单元的强度。
20.一种系统，包括：
一个或更多个处理器；
一个或更多个包含指令的非暂态计算机可读介质，所述指令在由所述一个或更多个处理器执行时，使所述系统执行操作，所述操作包括：
获得具有正面面部的基础面部图像；
获得所述基础面部图像内的第一基础面部特征集合，所述第一基础面部特征集合被选择为与要在分析面部图像中检测的第一面部动作单元AU相关联；
获得所述基础面部图像内的第二基础面部特征集合，所述第二基础面部特征集合中的至少一个面部特征与所述第一基础面部特征集合中的面部特征不同，所述第二基础面部特征集合被选择为与要在所述分析面部图像中检测的第二面部动作单元相关联；
获得所述分析面部图像；
使用所述第一基础面部特征集合对所述分析面部图像应用第一图像归一化，以有助于预测所述分析面部图像中的所述第一面部动作单元的概率；以及
使用所述第二基础面部特征集合对所述分析面部图像应用第二图像归一化，以有助于预测所述分析面部图像中的所述第二面部动作单元的概率。
CN202010783782.6A 2019-09-06 2020-08-06 用于面部分析的图像归一化方法、系统和可读介质 Pending CN112464699A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/563,559 2019-09-06
US16/563,559 US11244206B2 (en) 2019-09-06 2019-09-06 Image normalization for facial analysis

Publications (1)

Publication Number Publication Date
CN112464699A true CN112464699A (zh) 2021-03-09

Family

ID=74833642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783782.6A Pending CN112464699A (zh) 2019-09-06 2020-08-06 用于面部分析的图像归一化方法、系统和可读介质

Country Status (3)

Country Link
US (1) US11244206B2 (zh)
JP (1) JP7479031B2 (zh)
CN (1) CN112464699A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392822B (zh) * 2021-08-18 2021-10-29 华中科技大学 基于特征分离表征学习的面部运动单元检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
US20130142426A1 (en) * 2011-12-01 2013-06-06 Canon Kabushiki Kaisha Image recognition apparatus, control method for image recognition apparatus, and storage medium
US20150324632A1 (en) * 2013-07-17 2015-11-12 Emotient, Inc. Head-pose invariant recognition of facial attributes
CN106919884A (zh) * 2015-12-24 2017-07-04 北京汉王智远科技有限公司 面部表情识别方法及装置
CN107169413A (zh) * 2017-04-12 2017-09-15 上海大学 一种基于特征块权重化的面部表情识别方法
CN107633207A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 Au特征识别方法、装置及存储介质
CN107886558A (zh) * 2017-11-13 2018-04-06 电子科技大学 一种基于RealSense的人脸表情动画驱动方法
CN109190490A (zh) * 2018-08-08 2019-01-11 陕西科技大学 基于小数据集下的面部表情bn识别方法
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798374B2 (en) 2008-08-26 2014-08-05 The Regents Of The University Of California Automated facial action coding system
KR102094723B1 (ko) 2012-07-17 2020-04-14 삼성전자주식회사 견고한 얼굴 표정 인식을 위한 특징 기술자
US10380414B2 (en) 2014-10-23 2019-08-13 Intel Corporation Method and system of facial expression recognition using linear relationships within landmark subsets
US10255487B2 (en) * 2015-12-24 2019-04-09 Casio Computer Co., Ltd. Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
JP2017120609A (ja) 2015-12-24 2017-07-06 カシオ計算機株式会社 感情推定装置、感情推定方法及びプログラム
CA3044281C (en) * 2018-05-28 2021-09-21 Adrian Razvan Nestor System and method for generating visual identity and category reconstruction from electroencephalography (eeg) signals
US20200074240A1 (en) * 2018-09-04 2020-03-05 Aic Innovations Group, Inc. Method and Apparatus for Improving Limited Sensor Estimates Using Rich Sensors

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
US20130142426A1 (en) * 2011-12-01 2013-06-06 Canon Kabushiki Kaisha Image recognition apparatus, control method for image recognition apparatus, and storage medium
US20150324632A1 (en) * 2013-07-17 2015-11-12 Emotient, Inc. Head-pose invariant recognition of facial attributes
CN106919884A (zh) * 2015-12-24 2017-07-04 北京汉王智远科技有限公司 面部表情识别方法及装置
CN107169413A (zh) * 2017-04-12 2017-09-15 上海大学 一种基于特征块权重化的面部表情识别方法
CN107633207A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 Au特征识别方法、装置及存储介质
CN107886558A (zh) * 2017-11-13 2018-04-06 电子科技大学 一种基于RealSense的人脸表情动画驱动方法
CN109190490A (zh) * 2018-08-08 2019-01-11 陕西科技大学 基于小数据集下的面部表情bn识别方法
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WORAPAN KUSAKUNNIRAN等: "A New View-Invariant Feature for Cross-View Gait Recognition", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY 》, vol. 8, no. 10, pages 1642 - 1653, XP011526841, DOI: 10.1109/TIFS.2013.2252342 *
范青: "微表情识别系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 07, pages 138 - 365 *

Also Published As

Publication number Publication date
JP2021043960A (ja) 2021-03-18
JP7479031B2 (ja) 2024-05-08
US11244206B2 (en) 2022-02-08
US20210073600A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US10380759B2 (en) Posture estimating apparatus, posture estimating method and storing medium
JP6041923B2 (ja) 情報処理方法及び情報処理装置
US9349076B1 (en) Template-based target object detection in an image
CN109960742B (zh) 局部信息的搜索方法及装置
WO2016138838A1 (zh) 基于投影极速学习机的唇语识别方法和装置
CN107463865B (zh) 人脸检测模型训练方法、人脸检测方法及装置
JP6112801B2 (ja) 画像認識装置及び画像認識方法
US9025889B2 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US20150055834A1 (en) Method and apparatus for improved facial recognition
CN103839042A (zh) 人脸识别方法和人脸识别系统
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
CN111860309A (zh) 一种人脸识别方法及系统
JP2015103144A (ja) 画像処理装置及びプログラム
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
CN112668374A (zh) 图像处理方法、装置、重识别网络的训练方法及电子设备
US9081800B2 (en) Object detection via visual search
US20160292529A1 (en) Image collation system, image collation method, and program
CN112464699A (zh) 用于面部分析的图像归一化方法、系统和可读介质
CN108288023B (zh) 人脸识别的方法和装置
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
Gadermayr et al. Scale-adaptive texture classification
JP2016045744A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination