CN104919492A - 特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序 - Google Patents

特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序 Download PDF

Info

Publication number
CN104919492A
CN104919492A CN201480004808.5A CN201480004808A CN104919492A CN 104919492 A CN104919492 A CN 104919492A CN 201480004808 A CN201480004808 A CN 201480004808A CN 104919492 A CN104919492 A CN 104919492A
Authority
CN
China
Prior art keywords
point position
characteristic point
target image
initial information
facial feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480004808.5A
Other languages
English (en)
Inventor
森下雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN104919492A publication Critical patent/CN104919492A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

根据本发明的特征点位置检测设备通过如下步骤检测目标图像的特征点的位置：根据目标图像来输入从外部提供的关于特征点位置的初始信息；基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置；基于特征点估计位置来查找搜索参数，该搜索参数用于搜索目标图像的特征点位置；以及基于搜索参数来执行对目标图像的模型的参数拟合。

Description

特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序
技术领域
本发明涉及用于从面部图像等中检测诸如眼部、鼻子等特征点的位置的特征点位置检测技术。
背景技术
意指从面部图像等中检测诸如眼部、鼻子、嘴部等器官的特征点的位置的特征点位置检测对于在高精度的情况下执行面部认证、面部表情识别等变得重要。
已知检测面部的特征点位置的技术，例如，主动外观模式(AAM)(NPL1)。根据AAM，基于多个面部图像和预先输入到多个面部图像上的关于特征点的位置的信息，与纹理和面部形状相关的模型利用统计方法被构建，并且该模型被拟合到包括作为检测目标的面部的图像。然后，通过重复更新模型的参数使得从模型中计算出的面部图像可以趋近检测目标的面部图像，特征点位置被检测。在AAM被提出之后，AMM被各种扩展。例如，提出了一种组合多个模型以便应对侧脸的检测的方法或者一种用于实现高速处理和高精度处理的改进。
同时，已知AAM受执行对模型的拟合时所使用的初始值(初始参数)的严重影响。为了应对该问题，例如NPL 2通过使用圆柱形头部模型来估计AAM的参数而改善了检测特征点位置的性能，以及PTL 1提供了为了应对面部的方向的变化而通过旋转面部图像、针对面部的方向的变化为稳健的区别方法。
[引用列表]
[专利文献]
[PTL 1]日本专利申请公开公开号2009-157767
[非专利文献]
[NPL 1]T.F.Cootes,G.J.Edwards and C.J.Taylor.‘ActiveAppearance Models’,IEEE PAMI,Vol.23,No.6,pp.681-685,2001。
[NPL 2]Jaewon Sung,et al.,‘Pose Robust Face Tracking by 25Combining Active Appearance Models and Cylinder Head Models’,IJCV,2008。
[NPL 3]D.Cristinacce and T.F.Cootes,‘A comparison of ShapeConstrained Facial Feature Detectors,'In 6th International Conference onAutomatic Face and Gesture Recognition’2004,Korea,pp357-380,2004。
发明内容
[技术问题]
然而，有这样的问题，为了执行将AAM精确拟合到由于面部表情的变化、个人面部差异或者姿势的变化而各种变化的面部图像，即使使用如NPL 2所示的头部模型或者如PTL 1所示旋转面部图像，信息量也变得短缺。作为结果，在生成面部表情的变化、个人面部差异或者姿势的变化的情况下，模型的拟合的问题导致陷入局部最优解，并因此很难高精度地检测特征点位置。
设想出本发明以便解决上述问题。本发明的目的是使得有可能执行特征点位置的高精度检测，这可以对抗由于面部表情、个人面部差异、姿势的变化等所致的在作为目标的表情图像等中生成的各种变化，防止模型的拟合陷入局部最优解。
[问题的解决方案]
根据本发明的特征点位置估计设备包括：特征点位置初始信息输入装置，该特征点位置初始信息输入装置用于根据目标图像来输入从外部提供的关于特征点的位置的初始信息；特征点估计位置估计装置，该特征点估计位置估计装置用于基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的数目被请求的特征点估计位置；模型参数计算装置，该模型参数计算装置用于基于特征点估计位置来查找搜索参数，该搜索参数用于搜索目标图像的特征点位置；以及特征点位置搜索装置，该特征点位置搜索装置用于通过基于搜索参数执行对目标图像的模型的参数拟合来搜索和检测目标图像的特征点位置。
根据本发明的特征点位置估计方法包括：根据目标图像来输入从外部提供的关于特征点的位置的初始信息；基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的数目被请求的特征点估计位置；基于特征点估计位置来查找搜索参数，该搜索参数用于搜索目标图像的特征点位置；以及通过基于搜索参数执行对目标图像的模型的参数拟合来搜索和检测目标图像的特征点位置。
根据本发明的特征点位置估计程序使得特征点位置检测设备执行：根据目标图像来输入从外部提供的关于特征点的位置的初始信息的处理；基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的数目被请求的特征点估计位置的处理；基于特征点估计位置来查找搜索参数的处理，该搜索参数用于搜索目标图像的特征点位置；以及通过基于搜索参数执行对目标图像的模型的参数拟合来搜索和检测目标图像的特征点位置的处理。
[本发明的有益效果]
根据本发明，有可能实现特征点位置的高精度检测，其可以对抗由于面部表情、个人面部差异、姿势的变化等所致的在作为目标的表情图像等中生成的各种变化，防止模型的拟合陷入局部最优解。
附图说明
图1是示出本发明的示例性实施例的特征点位置检测设备的配置的框图。
图2是示出本发明的示例性实施例的特征点位置检测设备的操作的流程图。
图3是示出由本发明的示例性实施例的特征点位置检测设备所执行的处理的目标的面部图像的示例的示图。
图4是示出本发明的示例性实施例的特征点位置检测设备的特征点位置初始信息输入装置输入的特征点位置初始信息的示例的示图。
图5是示出本发明的示例性实施例的特征点位置检测设备的特征点估计位置估计装置估计的特征点估计位置的示例的示图。
具体实施方式
在下文中，将参考附图详细地解释本发明的最佳示例性实施例。虽然将在下文中解释的示例性实施例包括对于实现本发明在技术上是优选的限制，但是本发明的范围不限于以下示例性实施例。
本发明的示例性实施例的特征点位置检测设备将在下文中参考附图进行解释。图1是示出根据本发明的示例性实施例检测面部图像等的特征点的位置的特征点位置检测设备1的配置的框图。
如图1所示，本示例性实施例的特征点位置检测设备1包括数据处理设备100和存储设备200。数据处理设备100包括输入关于面部图像等的特征点位置的初始信息的特征点位置初始信息输入装置110、估计特征点估计位置的特征点估计位置估计装置120、模型参数计算装置130和面部特征点位置搜索装置140。存储设备200包括存储用于估计面部图像等的特征点位置的特征点位置估计辞典存储装置210。
特征点位置初始信息输入装置110根据包括面部图像等的图像300输入从外部提供的关于特征点位置的初始信息。特征点位置的初始信息是由工作用于检测特征点位置的外部和可选设备获取的例如关于眼部、鼻子、嘴部等的特征点位置的信息。特征点估计位置估计装置120基于由特征点位置初始信息输入装置110输入的关于特征点位置的初始信息、参考用于估计特征点位置且被存储在特征点位置估计辞典存储装置210中的特征点位置估计辞典来估计目标图像300中的其数目被请求的特征点估计位置。
模型参数计算装置130基于由特征点估计位置估计装置120所估计的特征点估计位置来查找搜索参数，该搜索参数用于搜索特征点位置。搜索参数将在后文中描述的特定示例性实施例中详细解释。特征点位置搜索装置140通过在由模型参数计算装置130查找到的搜索参数被用作初始值的基础上执行对模型的参数拟合来搜索特征点位置以检测特征点位置310，该模型表达被包括在图像300中的眼部、鼻子、嘴部等。
接下来，特征点位置检测设备1的操作将参考附图进行解释。图2是示出图1中示出的特征点位置检测设备1的操作的流程图。
首先，特征点位置初始信息输入装置110根据诸如面部图像等图像300来输入从外部提供的关于特征点位置的初始信息(S111)。接着，特征点估计位置估计装置120基于步骤S111中输入的关于特征点位置的初始信息、参考用于估计特征点位置且被存储在特征点位置估计辞典存储装置210中的辞典来估计目标图像300中的其数目被请求的特征点估计位置(步骤S112)。
接下来，模型参数计算装置130基于步骤S112中估计的特征点估计位置来查找搜索参数，该搜索参数用于搜索特征点位置(步骤S113)。接着，特征点位置搜索装置140通过在步骤S113中查找到的搜索参数被用作初始值的基础上执行对模型的参数拟合来搜索特征点位置以检测特征点位置310(步骤S114)。
根据本示例性实施例，有可能基于模型参数的合适的初始值搜索特征点位置，该合适的初始值从由特征点位置初始信息输入装置110输入的关于特征点位置的初始信息中查找到，即，进一步趋近正确解的模型参数由特征点位置搜索装置140用作初始值。通过执行以上步骤，有可能防止特征点位置的检测陷入局部最优解，并因此有可能高精度地检测特征点位置。
接下来，本示例性实施例的配置和操作将进一步详细地解释。
图1中示出的本示例性实施例的特征点位置检测设备1的存储设备200由例如半导体存储器或者硬盘实现。特征点位置初始信息输入装置110、特征点估计位置估计装置120、模型参数计算装置130和特征点位置搜索装置140中的每一个例如由根据程序控制执行处理的CPU(中央处理单元)来实现。特征点位置估计辞典存储装置210例如通过半导体存储器或者硬盘来实现。
特征点位置初始信息输入装置110根据图像300向特征点估计位置估计装置120中输入从外部提供的关于特征点位置的初始信息。根据图像300输入初始信息可以例如通过预先指明与诸如面部图像等相关的人来实现。关于特征点位置的初始信息指示可以例如通过工作用于检测特征点位置的外部和可选设备预先获取的诸如眼部、鼻子、嘴部等特征点的位置(坐标)。
特征点位置的坐标将图像上的特征点的位置表示为每特征点位置的一组x坐标值和y坐标值的两个数值，该位置是特征点位置检测设备1的处理目标。有可能输入关于特征点位置的初始信息，其例如通过与工作用于检测特征点位置的外部和可选设备的连接、的使用在NPL 3中描述的用于检测特征点位置的技术或者手动操作从外部提供。
图3是示出例示作为特征点位置检测设备1的处理目标的面部图像300的面部图像301的图，并且图4是示出由特征点位置信息输入装置110输入的面部特征点位置初始信息302被显示在面部图像301上的图。在图4中由特征点位置信息输入装置110输入的面部特征点位置初始信息302通过标记X的使用被显示。在这种情况下，总计14个标记X被显示在右侧眉毛和左侧眉毛的两个端部处、右侧眼部和左侧眼部的中心和两个端部处、在鼻子下方、以及在嘴部的中心和两个端部处。
特征点估计位置估计装置120基于由特征点位置初始信息输入装置110输入的面部特征点位置初始信息302(即在这种情况下基于面部特征位置的坐标值的信息)、根据作为目标图像的面部图像301、参考用于估计特征点位置且被存储在特征点位置估计辞典存储装置210中的辞典，来估计其数目被请求的特征点估计位置。图5示出了通过标记X的使用，面部特征点估计位置303被显示在面部图像101上。其数目被请求的面部特征点估计位置303的估计可以例如利用正则相关分析方法来实现。此外，所请求的数目可以在每种情况下被指定。
这里，特征点估计位置估计装置120基于由特征点位置信息输入装置110输入的14条面部特征点位置初始信息302的坐标值、利用正则相关分析方法来估计75个面部特征点估计位置303的坐标值的情况将在下文中示出。正则相关分析是分析多变量组中的相关关系的方法。在通过纵长地布置14条面部特征点位置初始信息302的二维坐标值生成的28维向量被定义为向量x的情况下，通过纵长地布置75个面部特征点估计位置303的二维坐标值生成的150维向量y通过以下公式1计算。
(公式1)
y＝V×∧×UT×(x-xO)+yO
在公式1中，T意指对向量或者矩阵进行转置。
此外，公式(1)中的U、V和Λ是正则相关分析中确定的矩阵。U是用于查找向量x的正则变量的矩阵并且具有28xr的大小，并且V是用于查找向量y的正则变量的矩阵并且具有150xr的大小，并且Λ是对角元素为正则相关的平方的矩阵并且具有rxr的大小，其中r为小于或者等于x和y的维度的正整数。在这种情况下，r是小于或等于28的任何正整数。此外，x0是通过纵长地布置14条面部特征点位置初始信息302的二维坐标值的平均值而生成的28维向量，并且y0是通过纵长地布置75个面部特征点估计位置303的二维坐标值的平均值生成的150维向量。Λ、U、V、x0和y0被存储在特征点位置估计辞典存储装置210中。
模型参数计算装置130基于特征点估计位置估计装置120估计的面部特征点估计位置303来查找搜索参数，该搜索参数用于搜索面部的特征点位置。这里，特征点估计位置估计装置120基于14条面部特征点位置初始信息302的坐标值估计75个面部特征点估计位置303的坐标值的情况将在下文中示出。在通过纵长地布置75个面部特征点估计位置303的二维坐标值生成的150维向量被定义为向量y并且与面部的形状相关且由面部特征点位置搜索装置140处理的模型被定义为S并且与面部的纹理相关的模型被定义为T并且与形状相关的模型S和与纹理相关的模型T的联合模型被定义为A的情况下，搜索参数p通过以下公式2计算。
(公式2)
p＝A(S(y)，T(y))
公式(2)中的S(y)和T(y)是其输入为y并且根据预先定义的模型S和T返回分别与每个模型相关的搜索参数的函数，并且A是其输入为S(y)和T(y)并且根据预先定义的模型A返回搜索参数的函数。在主动外观模型(AAM)的情况下，模型S、模型T和模型A中的每个模型通常被定义为线性子空间。当分别组成模型S、T和A的子空间的通过布置向量生成的矩阵被分别重写为矩阵S、T和A时，搜索参数p通过以下公式3来计算。
(公式3)
ps＝ST×(y-yO)
pt＝TT×(g(y)-gO)
p＝AT×(ps T，pt T)T
这里，S、T和A的矩阵大小分别是150xrs、(g(y)的维数)xrt和(rs+rt)xra，其中rs、rt和ra分别是S、T和A的秩。在这种情况下，ps、pt和pa的大小分别是rsx1、rtx1和rax1。此外，g(y)是基于通过纵长地布置75个面部特征点估计位置303的二维坐标值生成的150维向量y来提取二维图像上的面部的位置和大小(largeness)、二维图像上的旋转角度以及其面部形状被正规化的面部图像的函数。函数g的输出是通过纵长地布置正规化的面部图像的像素的值生成的向量。例如，在正规化的图像像素的大小为100像素x100像素的情况下，函数g的输出为10000维向量。在NPT 1所描述的AAM中，函数g被称为扭曲图像(warp image)。根据扭曲图像，由多个特征点位置中的任何三点形成的三角被定义，并且面部图像通过每个三角地实现仿射变化被正规化。此外，g0是基于多个面部图像和每个面部图像的特征点位置信息y预先计算的g(y)的平均向量。
通过使用由模型参数计算装置130查找到的搜索参数p作为初始值来执行对模型的参数拟合，特征点位置搜索装置140搜索特征点位置以检测特征点位置。在AAM的情况下，作为模型的参数拟合，例如，NPL 1的方法是适用的。
换言之，在AAM中使用搜索参数p作为初始值执行模型的参数拟合的情况下，首先，在第一步中，通过使用在AAM中已经预先经学习的模型S、模型T和模型A，基于搜索参数p和模型A找到与面部的形状相关的参数ps和与面部的纹理相关的图像pt。接着，在第二步中，通过使用与形状相关的参数ps和模型S找到面部的特征点位置y，并且之后通过gs＝s(y+y0)找到正规化的面部图像gs。接着，在第三步中，通过使用与纹理相关的pt和模型T找到从搜索参数p估计的面部图像gm。此外，在第四步中，通过d＝gs-gm计算差分图像d，并且通过δp＝-Rxd找到用于更新搜索参数的增量δp，并且接着通过p＝p+δp更新搜索参数p，其中R是已经预先在AAM中经学习的矩阵。通过多次重复第一步至第四步，有可能定位(fix)面部图像301的特征点位置。
通过从外部输入数目小的关于特征点位置的初始信息，有可能对抗面部图像的面部表情的变化、个人面部差异、姿势的变化等来估计靠近所请求的特征点位置的位置，并且有可能开始从靠近所请求的特征点位置的位置搜索特征点位置。借助于以上，将与正确解不同的诸如姿势或者图像表情之类的面部形状错误地拟合到输入图像受到约束。即，防止陷入局部最优解。
即，有可能基于从由特征点位置初始信息输入装置110输入的关于特征点位置的初始信息找到的模型参数的合适的初始值来搜索特征点位置，即，进一步趋近正确解的模型参数由特征点位置搜索装置140用作初始值。通过实现以上，有可能对抗面部图像的面部表情的变化、个人面部差异、姿势的变化等，来高精度地检测特征点位置。
本发明不仅使得有可能高精度地指明面部图像的特征点位置，而且使得有可能高精度地指明任何种类的图像的特征点位置。例如，另一装置预先检测拇指、食指、指甲等的初始信息，其代替面部的特征点位置对应于手的特征点位置，并且特征点位置初始信息输入装置110输入初始信息。作为结果，有可能检测手指、指甲等的轮廓。
此外，有可能指明医疗图像中的骨头、内脏等的轮廓。特别地，另一装置预先检测作为特征点位置的预定的骨头或者内脏的初始信息，并且特征点位置初始信息输入装置110输入初始信息。作为结果，有可能检测预先确定的骨头或者内脏。类似地，也有可能指明诸如牛的黑白皮肤图案等家畜的皮肤图案。
此外，由于有可能根据本示例性实施例高精度地检测特征点位置，因此，通过使用本示例性实施例有可能指明动物和植物的种类，并且有可能指明作为人工制品的车、船、航空器、电子设备、建筑、图片等的种类。例如，在车的情况下，另一装置预先检测关于对应于预定种类的车的特征点位置的头灯的初始信息，并且特征点位置初始信息输入装置110输入初始信息。作为结果，有可能检测预定车的头灯，并因此也有可能指明车的类型。上述适用于动物、植物和其他人工制品。
本发明不限于上述示例性实施例。有可能在权利要求书所描述的本发明的范围内做出各种修改，并且明显地这些修改被包括在本发明的范围中。
上述示例性实施例的部分或者整体可以如以下补充说明中示出的进行描述，但是本发明不限于以下补充说明。
(补充说明)
(补充说明1)
一种特征点位置检测设备，包括：
特征点位置初始信息输入装置，该特征点位置初始信息输入装置用于根据目标图像来输入从外部提供的关于特征点位置的初始信息；
特征点估计位置估计装置，该特征点估计位置估计装置用于基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置；
模型参数计算装置，该模型参数计算装置用于基于特征点估计位置来查找搜索参数，该搜索参数用于搜索目标图像的特征点位置；以及
特征点位置搜索装置，该特征点位置搜索装置用于通过基于搜索参数执行对目标图像的模型的参数拟合来搜索和检测目标图像的特征点位置。
(补充说明2)
根据补充说明1的特征点位置检测设备，其中
特征点估计位置的数目大于特征点位置初始信息的条数。
(补充说明3)
根据补充说明1或2的特征点位置检测设备，包括：
特征点位置估计辞典存储装置，该特征点位置估计辞典存储装置用于存储特征点位置估计辞典信息。
(补充说明4)
根据补充说明1至3中的任一项的特征点位置检测设备，其中
目标图像包括人体的图像。
(补充说明5)
根据补充说明4的特征点位置检测设备，其中
人体的特征点位置包括面部的眼部、鼻子或嘴部的信息。
(补充说明6)
一种特征点位置检测方法，包括：
根据目标图像来输入从外部提供的关于特征点位置的初始信息；
基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置；
基于特征点估计位置来查找搜索参数，该搜索参数用于搜索目标图像的特征点位置；以及
通过基于搜索参数执行对目标图像的模型的参数拟合来搜索和检测目标图像的特征点位置。
(补充说明7)
根据补充说明6的特征点位置检测方法，其中
特征点估计位置的数目大于特征点位置初始信息的条数。
(补充说明8)
根据补充说明6或7的特征点位置检测方法，其中：
特征点位置估计辞典信息通过使用存储的特征点位置估计辞典而被获取。
(补充说明9)
根据补充说明6至8中的任一项的特征点位置检测方法，其中
目标图像包括人体的图像。
(补充说明10)
根据补充说明9的特征点位置检测方法，其中
人体的特征点位置包括面部的眼部、鼻子或嘴部的信息。
(补充说明11)
一种特征点位置检测程序，该特征点位置检测程序使得特征点位置检测设备执行：
根据目标图像来输入从外部提供的关于特征点位置的初始信息的处理；
基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置的处理；
基于特征点估计位置来查找搜索参数的处理，该搜索参数用于搜索目标图像的特征点位置；以及
通过基于搜索参数执行对目标图像的模型的参数拟合来搜索和检测目标图像的特征点位置的处理。
(补充说明12)
根据补充说明11的特征点位置检测程序，其中
特征点估计位置的数目大于特征点位置初始信息的条数。
(补充说明13)
根据补充说明11或12的特征点位置检测程序，其中
特征点位置估计辞典信息通过使用存储的特征点位置估计辞典而被获取。
(补充说明14)
根据补充说明11至13中的任一项的特征点位置检测程序，其中
目标图像包括人体的图像。
(补充说明15)
根据补充说明14的特征点位置检测程序，其中
人体的特征点位置包括面部的眼部、鼻子或嘴部的信息。
(补充说明16)
一种特征点位置检测设备，包括：
特征点位置初始信息输入装置，该特征点位置初始信息输入装置用于根据目标图像来输入从外部提供的关于特征点位置的初始信息；
特征点估计位置估计装置，该特征点估计位置估计装置用于基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置；以及
特征点位置搜索装置，该特征点位置搜索装置用于从其数目被请求的特征点估计位置开始搜索特征点位置。
(补充说明17)
一种特征点位置检测方法，包括：
根据目标图像来输入从外部提供的关于特征点位置的初始信息；
基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置；以及
从其数目被请求的特征点估计位置开始搜索特征点位置。
(补充说明18)
一种特征点位置检测程序，该特征点位置检测程序使得特征点位置检测设备执行：
根据目标图像来输入从外部提供的关于特征点位置的初始信息的处理；
基于特征点位置初始信息和特征点位置估计辞典信息来估计目标图像中的其数目被请求的特征点估计位置的处理；以及
从其数目被请求的特征点估计位置开始搜索特征点位置的处理。
本申请基于并且要求2013年1月15日提交的日本专利申请No.2013-004228的优先权，其公开通过引用整体并入本文。
[工业应用性]
本发明涉及用于基于面部图像等检测面部的诸如眼部、鼻子等特征点的位置的特征点位置检测技术，并且用于面部认证和面部表情识别。
[附图标记列表]
1 特征点位置检测设备
100 数据处理设备
110 特征点位置初始信息输入装置
120 特征点估计位置估计装置
130 模型参数计算装置
140 特征点位置搜索装置
200 存储设备
210 特征点位置估计辞典存储装置
300 图像
301 面部图像
302 面部特征点位置初始信息
303 面部特征点估计信息
310 面部特征点位置

Claims (13)

1.一种特征点位置检测设备，包括：
特征点位置初始信息输入装置，所述特征点位置初始信息输入装置用于根据目标图像来输入从外部提供的关于特征点位置的初始信息；
特征点估计位置估计装置，所述特征点估计位置估计装置用于基于所述特征点位置初始信息和特征点位置估计辞典信息来估计所述目标图像中的其数目被请求的特征点估计位置；
模型参数计算装置，所述模型参数计算装置用于基于所述特征点估计位置来查找搜索参数，所述搜索参数用于搜索所述目标图像的所述特征点位置；以及
特征点位置搜索装置，所述特征点位置搜索装置用于通过基于所述搜索参数执行对所述目标图像的模型的参数拟合来搜索和检测所述目标图像的所述特征点位置。
2.根据权利要求1所述的特征点位置检测设备，其中
所述特征点估计位置的数目大于所述特征点位置初始信息的条数。
3.根据权利要求1或2所述的特征点位置检测设备，包括：
特征点位置估计辞典存储装置，所述特征点位置估计辞典存储装置用于存储所述特征点位置估计辞典信息。
4.根据权利要求1至3中任一项所述的特征点位置检测设备，其中
所述目标图像包括人体的图像。
5.根据权利要求4所述的特征点位置检测设备，其中
所述人体的所述特征点位置包括关于面部的眼部、鼻子或嘴部的信息。
6.一种特征点位置检测方法，包括：
根据目标图像来输入从外部提供的关于特征点位置的初始信息；
基于所述特征点位置初始信息和特征点位置估计辞典信息来估计所述目标图像中的其数目被请求的特征点估计位置；
基于所述特征点估计位置来查找搜索参数，所述搜索参数用于搜索所述目标图像的所述特征点位置；以及
通过基于所述搜索参数执行对所述目标图像的模型的参数拟合来搜索和检测所述目标图像的所述特征点位置。
7.根据权利要求6所述的特征点位置检测方法，其中
所述特征点估计位置的数目大于所述特征点位置初始信息的条数。
8.根据权利要求6或7所述的特征点位置检测方法，其中：
所述特征点位置估计辞典信息通过使用存储的特征点位置估计辞典而被获取。
9.一种特征点位置检测程序，所述特征点位置检测程序使得特征点位置检测设备执行：
根据目标图像来输入从外部提供的关于特征点位置的初始信息的处理；
基于所述特征点位置初始信息和特征点位置估计辞典信息来估计所述目标图像中的其数目被请求的特征点估计位置的处理；
基于所述特征点估计位置来查找搜索参数的处理，所述搜索参数用于搜索所述目标图像的所述特征点位置；以及
通过基于所述搜索参数执行对所述目标图像的模型的参数拟合来搜索和检测所述目标图像的所述特征点位置的处理。
10.根据权利要求9所述的特征点位置检测程序，其中
所述特征点估计位置的数目大于所述特征点位置初始信息的条数。
11.一种特征点位置检测设备，包括：
特征点位置初始信息输入装置，所述特征点位置初始信息输入装置用于根据目标图像来输入从外部提供的关于特征点的位置的初始信息；
特征点估计位置估计装置，所述特征点估计位置估计装置用于基于所述特征点位置初始信息和特征点位置估计辞典信息来估计所述目标图像中的其数目被请求的特征点估计位置；以及
特征点位置搜索装置，所述特征点位置搜索装置用于从其数目被请求的所述特征点估计位置开始搜索所述特征点位置。
12.一种特征点位置检测方法，包括：
根据目标图像来输入从外部提供的关于特征点的位置的初始信息；
基于所述特征点位置初始信息和特征点位置估计辞典信息来估计所述目标图像中的其数目被请求的特征点估计位置；以及
从其数目被请求的所述特征点估计位置开始搜索所述特征点位置。
13.一种特征点位置检测程序，所述特征点位置检测程序使得特征点位置检测设备执行：
根据目标图像来输入从外部提供的关于特征点的位置的初始信息的处理；
基于所述特征点位置初始信息和特征点位置估计辞典信息来估计所述目标图像中的其数目被请求的特征点估计位置的处理；以及
从其数目被请求的所述特征点估计位置开始搜索所述特征点位置的处理。
CN201480004808.5A 2013-01-15 2014-01-14 特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序 Pending CN104919492A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013004228 2013-01-15
JP2013-004228 2013-01-15
PCT/JP2014/000102 WO2014112346A1 (ja) 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム

Publications (1)

Publication Number Publication Date
CN104919492A true CN104919492A (zh) 2015-09-16

Family

ID=51209443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004808.5A Pending CN104919492A (zh) 2013-01-15 2014-01-14 特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序

Country Status (4)

Country Link
US (1) US20150356346A1 (zh)
JP (1) JP6387831B2 (zh)
CN (1) CN104919492A (zh)
WO (1) WO2014112346A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3186787A1 (en) * 2014-08-29 2017-07-05 Thomson Licensing Method and device for registering an image to a model
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107194980A (zh) * 2017-05-18 2017-09-22 成都通甲优博科技有限责任公司 人脸模型构建方法、装置及电子设备
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
JP7259648B2 (ja) * 2019-08-30 2023-04-18 オムロン株式会社 顔向き推定装置及び方法
CN114627147B (zh) * 2022-05-16 2022-08-12 青岛大学附属医院 基于多阈值图像分割的颅面标志点自动识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057257A (zh) * 2004-11-12 2007-10-17 欧姆龙株式会社 人脸特征点检测装置、特征点检测装置
CN101377814A (zh) * 2007-08-27 2009-03-04 索尼株式会社 人脸图像处理设备、人脸图像处理方法以及计算机程序
JP2009157767A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2010231354A (ja) * 2009-03-26 2010-10-14 Kddi Corp 顔認識装置及び顔器官の特徴点特定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4745207B2 (ja) * 2006-12-08 2011-08-10 株式会社東芝 顔特徴点検出装置及びその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057257A (zh) * 2004-11-12 2007-10-17 欧姆龙株式会社 人脸特征点检测装置、特征点检测装置
CN101377814A (zh) * 2007-08-27 2009-03-04 索尼株式会社 人脸图像处理设备、人脸图像处理方法以及计算机程序
JP2009157767A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2010231354A (ja) * 2009-03-26 2010-10-14 Kddi Corp 顔認識装置及び顔器官の特徴点特定方法

Also Published As

Publication number Publication date
US20150356346A1 (en) 2015-12-10
WO2014112346A1 (ja) 2014-07-24
JP6387831B2 (ja) 2018-09-12
JPWO2014112346A1 (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
CN104919492A (zh) 特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序
Davison Active search for real-time vision
Crivellaro et al. Robust 3D object tracking from monocular images using stable parts
US11017210B2 (en) Image processing apparatus and method
US20200272806A1 (en) Real-Time Tracking of Facial Features in Unconstrained Video
JP2007538318A5 (zh)
CN102906786A (zh) 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序
CN113449570A (zh) 图像处理方法和装置
Wang et al. Hand gesture recognition of Arabic numbers using leap motion via deterministic learning
CN109255801A (zh) 视频中三维物体边缘追踪的方法、装置、设备及存储介质
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
CN107977412A (zh) 一种基于迭代式与交互式感知年龄数据库的清洗方法
JP7209657B2 (ja) 情報処理装置及び方法
KR20200068709A (ko) 인체 식별 방법, 장치 및 저장 매체
Rieck An algorithm for finding repeated solutions to the general perspective three-point pose problem
WO2012105228A2 (en) Imaging apparatus and imaging condition setting method and program
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
CN110598675B (zh) 一种超声胎儿姿态的识别方法、存储介质及电子设备
Fan et al. Star skeleton for human behavior recognition
EP2998760A1 (en) Method, user equipment, system and computer readable medium for localizing an user equipment
CN113128292A (zh) 一种图像识别方法、存储介质及终端设备
CN110705479A (zh) 模型训练方法和目标识别方法、装置、设备及介质
Ma et al. Attention meets normalization and beyond
Huang et al. The hmm-based sensing correction method for leap motion finger tracking
CN113902910B (zh) 一种视觉测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150916

WD01 Invention patent application deemed withdrawn after publication