CN108133221B - 对象形状检测装置和方法、图像处理装置及监视系统 - Google Patents

对象形状检测装置和方法、图像处理装置及监视系统 Download PDF

Info

Publication number
CN108133221B
CN108133221B CN201611086996.8A CN201611086996A CN108133221B CN 108133221 B CN108133221 B CN 108133221B CN 201611086996 A CN201611086996 A CN 201611086996A CN 108133221 B CN108133221 B CN 108133221B
Authority
CN
China
Prior art keywords
shape
feature point
generated
current
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611086996.8A
Other languages
English (en)
Other versions
CN108133221A (zh
Inventor
赵东悦
黄耀海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201611086996.8A priority Critical patent/CN108133221B/zh
Publication of CN108133221A publication Critical patent/CN108133221A/zh
Application granted granted Critical
Publication of CN108133221B publication Critical patent/CN108133221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供对象形状检测装置和方法、图像处理装置及监视系统。该装置检测输入图像的对象区域中的对象的对象形状，并包括：形状获取单元，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象形状，并将获取的形状视为对象的当前形状；形状确定单元，通过基于预生成的第一模型的至少一个集合及预生成的第二模型的至少一个级更新对象的当前形状，确定对象形状。其中，形状确定单元包括：基于预生成的第一模型的至少一个集合来由对象的当前形状确定可见特征点的单元；通过基于可见特征点周围的特征及预生成的第二模型的至少一个级确定对象的当前形状的形状增量来更新对象的当前形状的单元。根据本发明，将提高对象形状检测的准确度。

Description

对象形状检测装置和方法、图像处理装置及监视系统
技术领域
本发明涉及图像处理，尤其涉及，例如，对象形状检测装置和方法、图像处理装置及监视系统。
背景技术
自动地且精确地检测由特征点的集合描述的对象形状(例如脸形、体形等)是计算机视觉技术领域中的关键任务，诸如脸部识别、表情分析、身体检测等。近年来，基于回归的方法已取得了很大的进步，例如在Face Alignment by Explicit Shape Regression(Xudong Cao,Yichen Wei,Fang Wen,Jian Sun.CVPR,2012)中公开的方法、以及在Supervised Descent Method and its Applications to Face Alignment(X.Xiong AndF.De la Torre.CVPR,2013)中公开的方法。
这些基于回归的方法主要包括：获取输入图像中的对象的初始形状，其中，由多个特征点来表示初始形状；然后，使用预生成的级(cascade)回归模型来逐步更新对象的初始形状，使得最终检测出的对象的形状可以接近实际的对象形状。其中，针对一个回归模型，操作包括：从对象的当前形状的所有特征点提取特征，基于所提取的特征和该回归模型预测针对所有特征点的位置增量，并且基于对应的位置增量更新所有特征点的位置。
也就是说，在上述的基于回归的方法中，针对各个级回归操作，将从对象的当前形状的所有特征点提取用于预测位置增量的特征。然而，要检测的对象通常伴随各种变化，诸如由对象的转动和/或由配件(诸如眼镜、面罩等)引起的遮挡(occlusion)而产生的变化、由不均匀的照明产生的变化、由曝光产生的变化等。图1A示意性示出了伴随由转动引起的遮挡而产生的变化的示例性对象(即脸部)。图1B示意性示出了伴随由眼镜引起的遮挡而产生的变化的示例性对象。如图1A和图1B中所示，这些变化会使对象的形状的特征点的一部分不可见，这将使从这种特征点提取的特征不可靠。换言之，从这种特征点提取的特征将造成对对象形状检测的噪声。在对象形状检测期间，用于预测位置增量的特征的准确度将直接影响对象的最终形状的准确度。因此，如果在对象形状检测期间，将从这种特征点提取的特征用于预测位置增量，则最后检测出的对象的形状将与实际的对象形状偏离太多。换言之，从这种特征点提取的特征将影响对象形状检测的准确度。
发明内容
因此，鉴于以上在背景技术中的叙述，本公开旨在解决如上所述的问题。
根据本发明的一个方面，提供了一种用于检测输入图像的对象区域中的对象的对象形状的装置，所述装置包括：形状获取单元，其被构造为，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状；以及形状确定单元，其被构造为通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级而更新对象的当前形状，来确定对象的对象形状。其中，所述形状确定单元包括：可见特征点确定单元，其被构造为基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点；以及形状更新单元，其被构造为通过基于所述可见特征点周围的特征、以及预生成的第二模型的至少一个级而确定对象的当前形状的形状增量，来更新对象的当前形状。
采用本发明的优点，不管要检测的对象是否伴随上述变化，都将提高对象形状检测的准确度。
通过以下参照附图的描述，本发明的进一步的特性特征和优点将变得清楚。
附图说明
并入说明书中并构成说明书的一部分的附图例示了本发明的实施例，并与描述一起用来解释本发明的原理。
图1A至图1B示意性示出了伴随由遮挡产生的变化的、要检测的示例性对象。
图2是示意性示出能够实现根据本发明的实施例的技术的硬件构造的框图。
图3是例示根据本发明的实施例的对象形状检测装置的构造的框图。
图4是例示根据本发明的如图3所示的可见特征点确定单元321的一种构造的框图。
图5是例示根据本发明的如图3所示的可见特征点确定单元321的另一种构造的框图。
图6是例示根据本发明的如图3所示的形状更新单元322的一种构造的框图。
图7示意性示出了根据本发明的实施例的对象形状检测的流程图。
图8示意性示出了根据本发明的如图7所示的可见特征点确定步骤S720的流程图。
图9示意性示出了根据本发明的如图7所示的可见特征点确定步骤S720的另一流程图。
图10是示意性示出用于生成可以在本发明的第一使用情况下使用的对应的第一模型的生成方法的流程图。
图11是示意性示出用于生成可以在本发明的第二使用情况下使用的对应的第一模型的生成方法的流程图。
图12是示意性示出用于生成可以与根据图10和图11所示的生成方法生成的对应的第一模型一起使用的对应的第二模型的生成方法的流程图。
图13是示意性示出用于生成可以在本发明的第三使用情况下使用的对应的第一模型和对应的第二模型的生成方法的流程图。
图14是示意性示出用于生成可以在本发明的第四使用情况下使用的对应的第一模型和第二模型的生成方法的流程图。
图15例示了根据本发明的示例性图像处理装置的布置。
图16例示了根据本发明的示例性监视系统的布置。
具体实施方式
下面将参照附图详细描述本发明的示例性实施例。应当注意的是，以下描述本质上仅仅是说明性的和示例性的，并且决不意图限制本发明及其应用或用途。在实施例中阐述的部件和步骤的相对布置、数值表达和数值并不限制本发明的范围，除非另有具体声明。此外，本领域技术人员已知的技术、方法和设备可能不作详细讨论，但是适当时意在作为说明书的一部分。
请注意，在附图中，类似的附图标记和字母指代类似的项目，因此一旦项目在一幅图中被定义，则不必针对下面的附图讨论该项目。
如上所述，在上述的基于回归的方法中，不管对象的当前形状的特征点是否是可见的，都从所有特征点提取用于预测位置增量的特征。其中，在本发明中，由上述的变化造成不可见的、对象的当前形状的特征点被视为不可见特征点，并且对象的当前形状的其他特征点被视为可见特征点。也就是说，在上述的对象形状检测期间，将从可见特征点和不可见特征点二者提取特征。
如上所述，用于预测位置增量的特征的准确度将直接影响对象的最终形状的准确度，并且从不可见特征点提取的特征将影响特征的准确度。因此，发明人发现，不管要检测的对象是否伴随上述的变化，如果用于预测位置增量的特征总是可靠的，则对象的最终形状都将更加准确。
通常，不管要检测的对象是否伴随上述的变化，对象的当前形状的某些特征点总是可见的。以图1A所示的对象(即脸部)为例，脸部转向左边，除了不可见特征点(例如，左眼的左角的特征点、鼻子的左角的特征点以及嘴的左角的特征点)，其他特征点总是可见的(即，其他特征点总是可见特征点)。因此，发明人发现，在对象形状检测期间，如果可以确定对象的当前形状的可见特征点，并且如果仅从所确定的可见特征点提取的特征被用于预测针对可见特征点和不可见特征点二者的位置增量，则可以避免由不可见特征点造成的噪声，并且可以提高对象形状检测的准确度。
在本发明中，在各个级回归操作中，首先，将通过使用基于多个样本图像当中的特征点的实际可见性状态而生成的预生成的第一模型，来动态地确定对象的当前形状的可见特征点，然后，将通过确定对应的形状增量，来更新对象的当前形状。其中，形状增量由对象的当前形状中的各个特征点的位置增量来表示，并且通过使用从所确定的可见特征点提取的特征、以及基于仅从样本图像当中的可见特征点提取的特征而生成的预生成的第二模型来确定该形状增量。最后，在执行所有级回归操作(例如Q个级操作)之后，可以获得对象的最终形状，所述最终形状包括所有特征点的最终位置以及所有特征点的对应的可见性状态。
因此，在本发明中，由于将首先确定对象的当前形状的可见特征点，然后仅从这些确定的可见特征点提取的特征将被用于对应的对象形状检测，所以将避免由不可见特征点造成的噪声，并且将提高对象形状检测的准确度。另外，在本发明中，由于仅从可见特征点而不是从可见特征点和不可见特征点二者提取用于对应的对象形状检测的特征，所以将减少整个对象形状检测的计算量。
(硬件构造)
首先，将参照图2描述能够实现在下文中描述的技术的硬件构造。图2是示意性示出能够实现根据本发明的实施例的技术的硬件构造200的框图。
硬件构造200例如包括中央处理单元(CPU)210、随机存取存储器(RAM)220、只读存储器(ROM)230、硬盘240、输入设备250、输出设备260、网络接口270以及系统总线280。此外，硬件构造200可以由例如个人数字助理(PDA)、移动电话、数字照相机、视频摄像机、网络摄像机、笔记本电脑、台式机或其他合适的电子设备来实现。
在第一实施方式中，根据本发明的对象形状检测由硬件或固件来构造，并且充当硬件构造200的模块或组件。例如，将在下文中通过参照图3详细描述的对象形状检测装置300，充当硬件构造200的模块或组件。在第二实施方式中，根据本发明的对象形状检测由存储在ROM 230或硬盘240中的并且由CPU 210执行的软件来构造。例如，将在下文中通过参照图7详细描述的对象形状检测过程700充当存储在ROM 230或硬盘240中的程序。
CPU 210是任何合适的可编程控制设备(例如处理器)，并且通过执行存储在ROM230或硬盘240(例如存储器)中的各种应用程序，可以执行要在下文中描述的各种功能。RAM220用来暂时存储从ROM 230或硬盘240加载的程序或数据，并且还用作CPU 210执行各种过程(例如，实施将在下文中通过参照图7至图14详细描述的技术)以及其他可用功能的空间。硬盘240存储许多种的信息，诸如操作系统(OS)、各种应用、控制程序以及由制造商预存储或预生成的模型和数据，其中，所述模型是例如将在下文中描述的预生成的第一模型和预生成的第二模型，并且所述数据是例如将在下文中描述的阈值(TH)。
在一个实施方式中，输入设备250用来允许用户与硬件构造200进行交互。在一个实例中，用户可以通过输入设备250输入图像/视频/数据。在另一实例中，用户可以通过输入设备250触发本发明的对应的对象形状检测。此外，输入设备250能够采用各种形式，诸如按钮、小键盘或触摸屏。在另一实施方式中，输入设备250用来接收从诸如数字照相机、视频摄像机和/或网络摄像机等的特定电子设备输出的图像/视频。
在一个实施方式中，输出设备260用来向用户显示检测结果(例如对象的最终对象形状)。并且输出设备260能够采用各种形式，诸如阴极射线管(CRT)或液晶显示器。在另一实施方式中，输出设备260用来将检测结果输出到后续操作，诸如对象识别(例如，脸部识别、身体识别)等。
网络接口270提供用于将硬件构造200连接到网络的接口。例如，硬件构造200可以经由网络接口270进行与经由网络连接的其他电子设备(例如在图16中所示的图像获取装置1610)的数据通信。作为选择，可以为硬件构造200配设无线接口以进行无线数据通信。系统总线280可以提供用于将数据在CPU 210、RAM 220、ROM 230、硬盘240、输入设备250、输出设备260以及网络接口270等彼此之间传送数据的数据传送路径。虽然被称为总线，但是系统总线280并不限于任何特定的数据传输技术。
上述的硬件构造200仅仅是说明性的并且决不意图限制本发明及其应用或用途。为简单起见，在图2中仅示出了一个硬件构造。然而，根据需要也可以使用多个硬件构造。
(对象形状检测)
接下来，将参照图3至图9描述用于对象形状检测的构造。
图3是例示根据本发明的实施例的对象形状检测装置300的构造的框图。其中，图3所示的模块中的一些或所有可以通过专用硬件来实现。
如图3所示，对象形状检测装置300包括形状获取单元310和形状确定单元320。其中，形状确定单元320包括可见特征点确定单元321和形状更新单元322。
此外，图3所示的存储设备330存储将在下文中描述的预生成的第一模型和预生成的第二模型。在一个实施方式中，存储设备330是图2所示的ROM 230或硬盘240。作为选择，存储设备330是经由网络(未示出)与对象形状检测装置300连接的服务器或外部存储设备。
首先，图2所示的输入设备250获取从特定电子设备(例如数字照相机)输出的或由用户输入的一个对象图像。其中，例如，对象是脸部、身体、脸部的组元或身体的组元。针对脸部，对应的组元是例如脸部轮廓组元、眼睛组元、鼻子组元以及嘴部组元。针对身体，对应的组元是例如脸部组元、颈部组元、臂部组元、胸部组元以及腿部组元。
在该实施例中，所获取的对象图像是具有对象区域的对象图像，并且所获取的对象图像是通过诸如仿射变换算法等的现有归一化方法而归一化的归一化对象图像。另外，在该实施例中，将取脸部图像作为示例，并且所获取的脸部图像是具有脸部区域的归一化脸部图像。其次，输入设备250经由系统总线280将所获取的对象图像传送到形状获取单元310。
如图3所示，形状获取单元310通过系统总线280从输入设备250获取所获取的对象图像(即输入图像)，并且通过系统总线280从存储设备330获取预生成的形状。然后，形状获取单元310基于预生成的形状获取对象区域中的对象的形状，并且将所获取的对象的形状视为对象的当前形状。换言之，对象的该当前形状亦即可以被视为对象的第0级形状的对象的初始形状(S0)。其中，预生成的形状由特征点的集合来表示。例如，在对象的形状是脸部形状的情况下，对应的对象的特征点可以是基于应用目的而确定的、脸部的一定数量(例如5个或15个)的特征点。
在一个实施方式中，预生成的形状是由多个样本图像生成的对象的平均形状，在所述样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状。换言之，由所有样本图像当中的对象生成对象的平均形状(即，预生成的形状)。此外，为了增加对象的形状的种类，例如经由随机扰动来改变至少一个样本图像当中的标记的对象的形状的至少一个特征点的位置。并且由样本图像当中的标记的对象的形状以及改变后的对象的形状来生成对象的平均形状。
此外，作为可选的实施方式，通过随机地选择多个样本图像当中的标记的对象的形状中的一个，来生成预生成的形状。作为另一可选的实施方式，通过使用由制造商指定的多个样本图像中的标记的对象的形状中的一个，或通过使用由制造商输入的对象的形状，来生成预生成的形状。
如图3所示，在形状获取单元310获取对象的当前形状(即S0)之后，形状确定单元320通过系统总线280从存储设备330获取预生成的第一模型和预生成的第二模型，并且通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级更新对象的当前形状，来确定对象的对象形状。
更具体地，针对对象的当前形状，首先，可见特征点确定单元321基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点。其中，预生成的第一模型的一个集合当中的一个预生成的第一模型，与对象的当前形状的特征点中的一个相对应，或者预生成的第一模型的一个集合当中的一个预生成的第一模型，与对象的当前形状的组元中的一个相对应。其次，形状更新单元322通过基于可见特征点周围的特征以及预生成的第二模型的一个级确定对象的当前形状的形状增量，来更新对象的当前形状。其中，对象的当前形状的形状增量由对象的当前形状的各个特征点的位置增量来表示。此外，更新后的对象的当前形状将被视为对象的当前形状，然后，可见特征点确定单元321将继续确定可见特征点，并且形状更新单元322将基于可见特征点周围的特征以及预生成的第二模型的其他级，继续更新对象的当前形状。
例如，如果对象的当前形状是S0，则更新后的对象的当前形状被视为S1，并且由S1＝S0+△S1来表示。其中，△S1是由△S1＝F1×R1来表示的、针对S0的对应的形状增量，F1表示从S0的可见特征点提取的特征，并且R1表示预生成的第二模型的第一级。如果对象的当前形状是S(q-1)(即，对象的当前形状是基于预生成的第二模型的第(q-1)级而更新的形状)，则更新后的对象的当前形状被视为Sq，并且由Sq＝S(q-1)+△Sq来表示。其中，△Sq是由△Sq＝Fq×Rq来表示的、针对S(q-1)的对应的形状增量，Fq表示从S(q-1)的可见特征点提取的特征，并且Rq表示预生成的第二模型的第q级。此外，如果预生成的第二模型的总级是Q，则q是大于或等于1的整数且q小于或等于Q。
此外，在一个实施方式中，可见特征点确定单元321仅使用预生成的第一模型的一个集合来确定可见特征点。换言之，预生成的第二模型的各个级同等地对应于预生成的第一模型的该集合。也就是说，在形状更新单元322通过使用预生成的第二模型的一个级来更新对象的当前形状之前，可见特征点确定单元321将使用预生成的第一模型的该集合，由对象的当前形状确定可见特征点。其中，在该实施方式中，对应的预生成的第一模型是例如通过使用将在下文中参照图10或图11详细描述的生成方法由多个样本图像而生成的判断器(judger)。
在另一实施方式中，可见特征点确定单元321使用预生成的第一模型的多于一个的集合来确定可见特征点。换言之，预生成的第二模型的一个级对应于预生成的第一模型的一个集合。也就是说，在形状更新单元322通过使用预生成的第二模型的一个级来更新对象的当前形状之前，可见特征点确定单元321将使用与预生成的第二模型的该级相对应的预生成的第一模型的集合，由对象的当前形状确定可见特征点。其中，在该实施方式中，对应的预生成的第一模型是例如通过使用将在下文中参照图13或图14详细描述的生成方法由多个样本图像而生成的判断器。
最后，在形状更新单元322基于所有预生成的第二模型(即，Q级预生成的第二模型)更新对象的形状之后，形状确定单元320确定最终更新后的对象的当前形状作为对象的对象形状。并且形状确定单元320会将所确定的对象的对象形状经由系统总线280传送到图2所示的输出设备260，用于向用户显示处理结果，或用于将在下文中描述的后续操作(例如图像处理操作或监视操作)。此外，除了所确定的对象的对象形状，形状确定单元320也可以将针对各个特征点的对应的可见性标签与所确定的对象的对象形状一起输出。
此外，在一个实施方式中，不管要检测的对象是否伴随上述的变化并且不管要检测的对象伴随何种变化，为了在任何情况下都以高准确度来确定可见特征点，在图4中示出了可见特征点确定单元321的一种构造。图4是例示根据本发明的如图3所示的可见特征点确定单元321的一种构造的框图。如图4所示，可见特征点确定单元321包括可见性度量确定单元32101和可见性判断单元32102。
更具体地，针对对象的当前形状的特征点中的任一个(如第i特征点)，其中，对象的当前形状是由形状获取单元310获取的对象的形状(即S0)或由形状更新单元322通过使用预生成的第二模型的第q级而更新的更新后的对象的形状(即Sq)，首先，可见性度量确定单元32101基于由包含该特征点的区域而获得的特征、以及与该特征点相对应的预生成的第一模型中的一个，确定针对该特征点的可见性度量(visibility measure)。其中，针对一个特征点的可见性度量表示该特征点是可见特征点的概率。例如，所获得的特性是特征点的外观特征，诸如局部二值模式(Local Binary Pattern，LBP)特征、二值鲁棒独立基本特征(Binary Robust Independent Elementary Feature，BRIEF特征)、加速鲁棒特征(Speeded Up Robust Feature，SURF特征)等。此外，包含该特征点的区域是例如以该特征点为中心的区域，并且区域的大小为例如32×32像素。然而，显而易见的是，不必局限于此。另外，在该实施方式中，对应的预生成的第一模型是例如通过使用将在下文中参照图10或图13详细描述的生成方法由多个样本图像而生成的判断器。
然后，可见性判断单元32102通过将可见性度量与对应于该特征点的预定义阈值(例如THi)进行比较，来判断该特征点是否是可见特征点。例如，如果可见性度量大于或等于THi，则可见性判断单元32102判断该特征点是可见特征点；否则，可见性判断单元32102判断该特征点不是可见特征点(即，不可见特征点)。另外，针对对象的当前形状的各个特征点，与各个特征点相对应的预定义阈值被设置为例如相同的值。此外，为了获得对象形状检测的更好的准确度，针对对象的当前形状的各个特征点，与各个特征点相对应的预定义阈值被设置为例如不同的值。
如上所述，为了由对象的当前形状确定可见特征点，针对对象的当前形状的各个特征点，图4所示的可见特征点确定单元321将执行对应的判断处理。如上所述，如果要检测的对象是脸部，则该对象由脸部轮廓组元、眼睛组元、鼻子组元以及嘴部组元构成。如果要检测的对象是身体，则该对象由脸部组元、颈部组元、臂部组元、胸部组元以及腿部组元构成。因此，针对由对应的组元构成的要检测的对象，如果这种要检测的对象伴随由上述遮挡产生的变化，则通常地，组元的一部分将被完全遮挡。换言之，如果要检测的对象的一个组元被遮挡，则该组元的对应的特征点实际上是不可见的。也就是说，没有必要针对这种特征点执行对应的判断处理。因此，为了减少计算量，并且为了避免由例如照明引起的假特征点被判断为可见特征点(这将影响对象形状检测的准确度)，在一个实施方式中，图5示出了可见特征点确定单元321的另一种构造。图5是例示根据本发明的如图3所示的可见特征点确定单元321的另一种构造的框图。
如图5所示，可见特征点确定单元321包括组元区域确定单元32111、遮挡度量确定单元32112、遮挡判断单元32113以及可见性判断单元32114。
更具体地，针对对象的当前形状(例如S0或Sq)，首先，组元区域确定单元32111基于对象的当前形状的特征点，确定对象的当前组元区域。例如，基于对象的当前形状的各个特征点的坐标或位置，确定对象的对应的当前组元区域。
其次，针对各个当前组元区域(例如，第j组元区域)，遮挡度量确定单元32112基于从该当前组元区域获得的特征、以及与该当前组元区域相对应的预生成的第一模型中的一个，确定针对该当前组元区域的遮挡度量。其中，针对一个组元区域的遮挡度量表示该组元区域被遮挡的程度。在一个实例中，特征是从该当前组元区域直接提取的直方图(例如，颜色直方图、方向梯度直方图(HOG))。在另一实例中，特征是特征点的外观特征(例如，LBP特征、BRIEF特征、SURF特征)和/或从各自包含该当前组元区域内的一个特征点的区域提取的对象的边缘特征。其中，包含一个特征点的一个区域是例如以该特征点为中心的区域，并且区域的大小为例如20×20像素。然而，显而易见的是，不必局限于此。另外，在该实施方式中，对应的预生成的第一模型是例如通过使用将在下文中参照图11或图14详细描述的生成方法由多个样本图像而生成的判断器。
然后，针对各个当前组元区域(例如，第j组元区域)，遮挡判断单元32113通过将遮挡度量与对应于该当前组元区域的预定义阈值(例如THj)进行比较，判断该当前组元区域是否是遮挡区域。例如，如果遮挡度量小于或等于THj，则遮挡判断单元32113判断该当前组元区域不是遮挡区域；否则，遮挡判断单元32113判断该当前组元区域是遮挡区域。另外，针对对象的当前形状的各个当前组元区域，与各个当前组元区域相对应的预定义阈值被设置为例如相同的值。此外，为了获得对象形状检测的更好的准确度，针对对象的当前形状的各个当前组元区域，与各个当前组元区域相对应的预定义阈值被设置为例如不同的值。
最后，针对各个当前组元区域(例如，第j组元区域)，可见性判断单元32114基于该当前组元区域是否是遮挡区域，判断该当前组元区域内的特征点是否是可见特征点。在一个实例中，如果遮挡判断单元32113判断该当前组元区域不是遮挡区域，则可见性判断单元32114判断该当前组元区域内的特征点是可见特征点；而如果遮挡判断单元32113判断该当前组元区域是遮挡区域，则可见性判断单元32114判断该当前组元区域内的特征点不是可见特征点(即，不可见特征点)。
此外，在一个实施方式中，图6示出了形状更新单元322的一种构造。图6是例示根据本发明的如图3所示的形状更新单元322的一种构造的框图。如图6所示，形状更新单元322包括特征提取单元32201和当前形状更新单元32202。
更具体地，针对预生成的第二模型的第q级(即，对象的当前形状为S(q-1))，在由S(q -1)确定所有可见特征点之后，特征提取单元32201从输入图像的对应区域提取特征，其中，区域中的一个包含S(q-1)的可见特征点中的一个，q≥1。例如，所提取的特征是特征点的纹理特征，诸如尺度不变特征变换(Scale Invariant Feature Transform，SIFT)特征、SURF特征等。此外，包含可见特征点的区域是例如以该可见特征点为中心的区域，并且区域的大小为例如32×32像素。然而，显而易见的是，不必局限于此。
然后，当前形状更新单元32202通过基于所提取的特征以及预生成的第二模型的第q级确定针对S(q-1)的形状增量(△Sq)，来更新S(q-1)，并且将更新后的形状视为对象的当前形状(即Sq)。另外，在一个实施方式中，预生成的第二模型是例如通过使用将在下文中参照图12详细描述的生成方法由多个样本图像而生成的回归模型。
将参照图7描述由图3所示的对象形状检测装置300的构造执行的总体处理。图7示意性示出了根据本发明的实施例的对象形状检测的流程图700。
如上所述，首先，图2所示的输入设备250获取一个对象图像。其中，在该实施例中，所获取的对象图像是具有对象区域的对象图像，并且所获取的对象图像是归一化的对象图像。另外，在该实施例中，将取脸部图像作为示例，并且所获取的脸部图像是具有脸部区域的归一化脸部图像。其次，输入设备250经由系统总线280将所获取的对象图像传送到形状获取单元310。
然后，如图7所示，在形状获取步骤S710中，形状获取单元310通过系统总线280从输入设备250获取所获取的对象图像(即输入图像)，并且通过系统总线280从存储设备330获取由特征点的集合表示的预生成的形状。然后，形状获取单元310基于预生成的形状获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状。换言之，对象的该当前形状亦即可以被视为对象的第0级形状的对象的初始形状(S0)。
在形状确定步骤(即S720至S760)中，形状确定单元320通过系统总线280从存储设备330获取预生成的第一模型和预生成的第二模型，并且通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级更新对象的当前形状，来确定对象的对象形状。
更具体地，针对对象的当前形状(例如S0)，在可见特征点确定步骤S720中，可见特征点确定单元321基于预生成的第一模型的至少一个集合，由对象的当前形状(例如S0)确定可见特征点。其中，预生成的第一模型的一个集合当中的一个预生成的第一模型，与对象的当前形状的特征点中的一个相对应，或者预生成的第一模型的一个集合当中的一个预生成的第一模型，与对象的当前形状的组元中的一个相对应。然后，在形状更新步骤(即S730至S740)中，形状更新单元322通过基于可见特征点周围的特征、以及预生成的第二模型的一个级(例如，预生成的第二模型的第1级)确定对象的当前形状的形状增量，来更新对象的当前形状(例如S0)。其中，对象的当前形状的形状增量由对象的当前形状的各个特征点的位置增量来表示。
更具体地，针对对象的当前形状(例如S0)，也就是说，针对预生成的第二模型的第q级(例如，预生成的第二模型的第1级)，在特征提取步骤S730中，特征提取单元32201从输入图像的对应区域提取特征，其中，一个区域包含对象的当前形状(例如S0)的一个可见特征点。然后，在当前形状更新步骤S740中，当前形状更新单元32202通过基于所提取的特征以及预生成的第二模型的第q级(例如，第1级)确定对象的当前形状(例如S0)的形状增量△Sq(例如△S1)，来更新对象的当前形状(例如S0)，并且将更新后的形状视为对象的当前形状(例如Sq)。其中，Sq＝Sq-1+△S1，例如S1＝S0+△S1。另外，在一个实施方式中，预生成的第二模型是例如通过使用将在下文中参照图12详细描述的生成方法由多个样本图像而生成的回归模型。
然后，在步骤S750中，形状确定单元320判断是否基于所有的预生成的第二模型更新对象的当前形状(即，q是否大于Q)。其中，Q表示预生成的第二模型的总级。
如果形状确定单元320在步骤S750中判断q小于或等于Q，则在步骤S760中，形状确定单元320设置q＝q+1。然后，将从步骤S720至步骤S760重复地执行对应的处理。否则，形状确定单元320将最终更新的对象的当前形状作为对象的对象形状输出。
如上所述，在一个实施方式中，为了在任何情况下以高准确度确定可见特征点，图8示出了可见特征点确定步骤S720的一个处理。图8示意性示出了根据本发明的如图7所示的可见特征点确定步骤S720的流程图。
如图8所示，针对对象的当前形状(例如Sq)并且针对对象的当前形状的特征点中的任一个(例如，第i特征点)，在可见性度量确定步骤S7201中，可见性度量确定单元32101基于从包含该特征点的区域获得的特征、以及与该特征点相对应的预生成的第一模型中的一个，确定针对该特征点的可见性度量。其中，针对一个特征点的可见性度量表示该特征点是可见特征点的概率。另外，在该实施方式中，对应的预生成的第一模型是例如通过使用将在下文中参照图10或图13详细描述的生成方法由多个样本图像而生成的判断器。
然后，在可见性判断步骤(即S7202至S7204)中，可见性判断单元32102通过将可见性度量与对应于该特征点的预定义阈值(例如THi)进行比较，判断该特征点是否是可见特征点。更具体地，在步骤S7202中，可见性判断单元32102判断针对该特征点的可见性度量是否大于或等于THi。如果可见性度量大于或等于THi，则在步骤S7203中，可见性判断单元32102判断该特征点是可见特征点；否则，在步骤S7204中，可见性判断单元32102判断该特征点不是可见特征点(即，不可见特征点)。
然后，在步骤S7205中，可见特征点确定单元321判断是否对象的当前形状的所有特征点都被判断。如果对象的当前形状的并非所有特征点都被判断，则在步骤S7206中，可见特征点确定单元321设置i＝i+1，然后，将从步骤S7201至步骤S7205重复执行对应的处理。否则，可见特征点确定单元321输出对象的当前形状的对应的可见特征点。
如上所述，在另一实施方式中，如果要检测的对象由组元构成，则为了减少计算量，并且为了避免由例如照明引起的假特征点被判断为可见特征点(这将影响对象形状检测的准确度)，图9示出了可见特征点确定步骤S720的另一处理。图9示意性示出了根据本发明的如图7中所示的可见特征点确定步骤S720的另一流程图。
如图9所示，针对对象的当前形状(例如Sq)，在组元区域确定步骤S7211中，组元区域确定单元32111基于对象的当前形状的特征点，确定对象的当前组元区域。
在遮挡度量确定步骤S7212中，针对各个当前组元区域(例如，第j组元区域)，遮挡度量确定单元32112基于从该当前组元区域获得的特征、以及与该当前组元区域相对应的预生成的第一模型中的一个，确定针对该当前组元区域的遮挡度量。其中，针对一个组元区域的遮挡度量表示该组元区域被遮挡的程度。另外，在该实施方式中，对应的预生成的第一模型是例如通过使用将在下文中参照图11或图14详细描述的生成方法由多个样本图像而生成的判断器。
在遮挡判断步骤(即S7213至S7214以及S7216)中，针对各个当前组元区域(例如第j组元区域)，遮挡判断单元32113通过将遮挡度量与对应于该当前组元区域的预定义阈值(例如THj)进行比较，判断该当前组元区域是否是遮挡区域。更具体地，在步骤S7213中，遮挡判断单元32113判断针对该当前组元区域的遮挡度量是否小于或等于THj。如果遮挡度量小于或等于THj，则在步骤S7214中，遮挡判断单元32113判断该当前组元区域不是遮挡区域；否则，在步骤S7216中，遮挡判断单元32113判断该当前组元区域是遮挡区域。
然后，在可见性判断步骤(即S7215和S7217)中，针对各个当前组元区域(例如，第j组元区域)，可见性判断单元32114基于该当前组元区域是否是遮挡区域，来判断该当前组元区域内的特征点是否是可见特征点。更具体地，如果遮挡判断单元32113在步骤S7214中判断该当前组元区域不是遮挡区域，则在步骤S7215中，可见性判断单元32114判断该当前组元区域内的特征点是可见特征点；而如果遮挡判断单元32113在步骤S7216中判断该当前组元区域是遮挡区域，则在步骤S7217中，可见性判断单元32114判断该当前组元区域内的特征点不是可见特征点(即，不可见特征点)。
然后，在步骤S7218中，可见特征点确定单元321判断是否对象的当前形状的所有当前组元区域都被判断。如果对象的当前形状的并非所有当前组元区域都被判断，则在步骤S7219中，可见特征点确定单元321设置j＝j+1，然后，将从步骤S7212至步骤S7218重复执行对应的处理。否则，可见特征点确定单元321输出对象的当前形状的对应的可见特征点。
如上所述，在本发明中，在对象形状检测的各个级中，将首先确定对象的当前形状的可见特征点，然后仅从这些确定的可见特征点提取的特征，将被用于对应的对象形状检测，因此，将避免由不可见特征点造成的噪声，并且将提高对象形状检测的准确度。此外，在本发明中，由于仅从可见特征点而不是从可见特征点和不可见特征点二者提取用于对象形状检测的各个级的特征，所以将减少整个对象形状检测的计算量。
(第一模型和第二模型的生成)
如同本发明的上述实施例，预生成的第一模型可以是判断器，并且预生成的第二模型可以是回归模型。为了生成可以在本发明中使用的对应的模型，制造商可以通过使用参照图10至图14的生成方法由多个样本图像预先生成对应的模型，其中，利用对象的对应的特征点，在对应的对象区域中标记出各个样本图像中的对象的形状。也可以通过图2所示的硬件构造200来执行参照图10和图14的生成方法。
如上所述，在一个实施方式中，图3所示的可见特征点确定单元321可以仅使用预生成的第一模型的一个集合来确定可见特征点，并且预生成的第二模型的各个级同等地对应于预生成的第一模型的该集合。在下文中，将描述用于生成对应的第一模型和对应的第二模型的对应的生成方法。
如上所述，在一个方面中，可见特征点确定单元321可以通过判断针对各个特征点的可见性，来由对象的当前形状确定对应的可见特征点。图10是示意性示出用于生成可以在本发明的该使用情况下使用的对应的第一模型的生成方法的流程图1000。
如图10所示，在步骤S1010中，如图2所示的CPU 210通过输入设备250获取由制造商输入的多个样本图像。其中，基于经验或现有知识，利用对象的对应的特征点在对应的对象区域中标记出各个样本图像中的对象的形状，并且各个样本图像中的各个特征点被标记有可见性标签或不可见性标签。此外，如上面在图3中所述，多个样本图像也是通过诸如仿射变换算法等的现有归一化方法而归一化的归一化图像。
在步骤S1020中，CPU 210判断第n样本图像中的第i特征点(例如，第1样本图像中的第1特征点)的标签是可见性标签还是不可见性标签。
如果第n样本图像中的第i特征点的标签是可见性标签，则在步骤S1030中，CPU210从第n样本图像中的区域提取特征，以获得第一特征集合。其中，该区域包含第i特征点，并且该区域是例如以第i特征点为中心的区域，并且该区域的大小为例如32×32像素。然而，显而易见的是，不必局限于此。并且所提取的特征是特征点的外观特征，诸如LBP特征、BRIEF特征、SURF特征等。
如果第n样本图像中的第i特征点的标签是不可见性标签，则在步骤S1040中，CPU210从第n样本图像中的区域提取特征，以获得第二特征集合。
在步骤S1050中，针对第i特征点，CPU 210判断是否所有样本图像当中的第i特征点已被处理(即，n是否大于N，其中，N是样本图像的总数)。如果并非所有样本图像当中的第i特征点已被处理(即，n小于N)，则在步骤S1060中，CPU 210设置n＝n+1，然后，将从步骤S1020至步骤S1060重复执行对应的处理。
否则，在步骤S1070中，针对第i特征点，CPU 210通过使用诸如现有的支持向量机(SVM)算法、现有的AdaBoost方法等的分类方法，基于针对第i特征点的第一特征集合和第二特征集合、以及第i特征点的可见性标签和不可见性标签，来生成对应的判断器。
然后，在步骤S1080中，CPU 210判断是否标记的对象的形状的所有特征点已被处理。如果并非所有特征点已被处理，则在步骤S1090中，CPU 210设置i＝i+1，然后，将从步骤S1020至步骤S1090重复执行对应的处理。否则，将完成图10所示的生成方法的处理。
如上所述，在一个方面中，可见特征点确定单元321可以通过判断对象的当前形状的当前组元区域是否是遮挡区域，来由对象的当前形状确定对应的可见特征点。图11是示意性示出用于生成可以在本发明的该使用情况下使用的对应的第一模型的生成方法的流程图1100。
如图11所示，在步骤S1110中，如图2所示的CPU 210通过输入设备250获取由制造商输入的多个样本图像。其中，基于经验或现有知识，利用对应的特征点标记出各个样本图像中的对象的组元的形状，并且与各个样本图像中的各个组元相对应的特征点被标记有可见性标签或不可见性标签。此外，如上面在图3中所述，多个样本图像也是通过诸如仿射变换算法等的现有归一化方法而归一化的归一化图像。
在步骤S1120中，CPU 210判断与第n样本图像中的第m组元(例如，第1样本图像中的第1组元)相对应的特征点的标签是可见性标签还是不可见性标签。
如果与第n样本图像中的第m组元相对应的特征点的标签是可见性标签，则在步骤S1130中，CPU 210从第n样本图像中的第m组元提取特征，以获得第三特征集合。其中，在一个实例中，特征是从第m组元直接提取的区域直方图(例如，颜色直方图、HOG)。在另一个实例中，特征是特征点的外观特征(例如，LBP特征、BRIEF特征、SURF特征)和/或从各自包含第m组元内的一个特征点的区域提取的对象的边缘特征。其中，包含一个特征点的一个区域是例如以该特征点为中心的区域，并且区域的大小为例如20×20像素。然而，显而易见的是，不必局限于此。
如果与第n样本图像中的第m组元相对应的特征点的标签是不可见性标签，则在步骤S1140中，CPU 210从第n样本图像中的第m组元提取特征，以获得第四特征集合。
在步骤S1150中，针对第m组元，CPU 210判断是否所有样本图像当中的第m组元已被处理(即，n是否大于N，其中，N是样本图像的总数)。如果并非所有样本图像当中的第m组元已被处理(即，n小于N)，则在步骤S1160中，CPU 210设置n＝n+1，然后，将从步骤S1120至步骤S1160重复执行对应的处理。
否则，在步骤S1170中，针对第m组元，CPU 210通过使用诸如SVM算法、AdaBoost方法等的分类方法，基于针对第m组元的第三特征集合和第四特征集合、以及第m组元的对应的特征点的可见性标签和不可见性标签，来生成对应的判断器。
然后，在步骤S1180中，CPU 210判断是否对象的所有标记的组元已被处理。如果并非所有标记的组元已被处理，则在步骤S1190中，CPU210设置m＝m+1，然后，将从步骤S1120至步骤S1190重复执行对应的处理。否则，将完成图11所示的生成方法的处理。
此外，图12是示意性示出用于生成可以与根据图10和图11所示的生成方法生成的对应的第一模型一起使用的对应的第二模型的生成方法的流程图1200。
如图12所示，首先，如图2所示的CPU 210通过输入设备250获取由制造商输入的多个样本图像。其中，基于经验或现有知识，利用对象的对应的特征点在对应的对象区域中标记出各个样本图像中的对象的形状。此外，如上面在图3中所述，多个样本图像也是通过诸如仿射变换算法等的现有归一化方法而归一化的归一化图像。
然后，在步骤S1210中，针对各个样本图像中的对象的当前形状，CPU 210基于例如根据图10或图11所示的生成方法生成的对应的预生成的第一模型，由对象的当前形状确定可见特征点。其中，如果要生成预生成的第二模型的第1级，则各个样本图像中的对象的当前形状是例如对应的样本图像中的标记的形状、或如图3中描述的预生成的形状。并且如果要生成预生成的第二模型的第q级，则各个样本图像中的对象的当前形状是例如在生成预生成的第二模型的第(q-1)级之后获得的形状，其中，q≥1。
在步骤S1220中，针对各个样本图像中的物前形状，CPU 210从该样本图像中的对应区域提取特征，其中，一个区域包含对象的当前形状的一个可见特征点。例如，所提取的特征是对象的纹理特征，诸如SIFT特征、SURF特征等。此外，包含可见特征点的区域是例如以该可见特征点为中心的区域，并且区域的大小为例如32×32像素。然而，显而易见的是，不必局限于此。
在步骤S1230中，CPU 210通过使用现有的回归方法中的一者，基于各个样本图像中的对象的当前形状以及所提取的特征，生成预生成的第二模型的第q级(例如，第1级)。其中，现有的回归方法可以是具有套索修正的最小角回归(Least angle regression withLasso modification)法、L1范数规范化线性回归(L1-norm regularized linearregression)法、显式形状回归(ESR)算法、监督下降模型(SDM)算法等。例如，在本发明中，使用L1范数规范化线性回归法用于生成预生成的第二模型。
然后，在步骤S1240中，CPU 210判断已经生成的预生成的第二模型的总级是否小于或等于上述的Q(即，是否q≤Q)。如果q≤Q，则在步骤S1250中，CPU 210设置q＝q+1，然后，将从步骤S1210至步骤S1250重复执行对应的处理。否则，将完成图12所示的生成方法的处理。
此外，作为可选的方案，如果对象的地面真实(ground-truth)形状、与在生成预生成的第二模型的第q级之后获得的形状之间的平均偏差距离小于预定义阈值，则也可以完成图12所示的生成方法的处理。
如上所述，在另一实施方式中，图3所示的可见特征点确定单元321也可以使用预生成的第一模型的多于一个的集合来确定可见特征点，并且预生成的第二模型的一个级对应于预生成的第一模型的一个集合。在下文中，将描述用于生成对应的第一模型和对应的第二模型的对应的生成方法。
如上所述，在一个方面中，可见特征点确定单元321可以通过判断针对各个特征点的可见性，来由对象的当前形状确定对应的可见特征点。图13是示意性示出用于生成可以在本发明的该使用情况下使用的对应的第一模型和对应的第二模型的生成方法的流程图1300。
如图13所示，在步骤S1301中，如图2所示的CPU 210通过输入设备250获取由制造商输入的多个样本图像。由于步骤S1301的对应的处理与如图10所述的步骤S1010的处理相同，所以在此将不重复详细描述。
在步骤S1302中，CPU 210根据如图10所述的生成方法，生成预生成的第一模型的第1集合(即，t＝1)。
在步骤S1303中，CPU 210根据如图12所述的生成方法，生成预生成的第二模型的第1级。其中，用于生成预生成的第二模型的第1级的、各个样本图像中的对象的当前形状，是例如对应的样本图像中的标记的形状或如图3所述的预生成的形状。
然后，在步骤S1304至S1311中，CPU 210针对样本图像当中的对象的当前形状的各个特征点，生成对应的预生成的第一模型。例如，各个样本图像中的对象的当前形状是在生成预生成的第二模型的第(q-1)级之后获得的形状，其中，q≥2。由于步骤S1304至S1311的对应的处理与如图10中所述的步骤S1020至S1090的处理相同，所以在此将不重复详细描述。
因此，在完成步骤S1304至S1311之后，将生成预生成的第一模型的第t集合，其中，t≥2。然后，在步骤S1312中，CPU 210根据如图12所述的生成方法，生成预生成的第二模型的第q级。
然后，在步骤S1313中，CPU 210判断已经生成的预生成的第二模型的总级是否小于或等于上述的Q(即，是否q≤Q)。如果q≤Q，则在步骤S1314中，CPU 210设置q＝q+1，然后，将从步骤S1304至步骤S1314重复执行对应的处理。否则，将完成图13所示的生成方法的处理。
如上所述，在另一方面，可见特征点确定单元321可以通过判断对象的当前形状的当前组元区域是否是遮挡区域，来由对象的当前形状确定对应的可见特征点。图14是示意性示出用于生成可以在本发明的该使用情况下使用的对应的第一模型和对应的第二模型的生成方法的流程图1400。
如图14所示，在步骤S1401中，图2所示的CPU 210通过输入设备250获取由制造商输入的多个样本图像。由于步骤S1401的对应的处理与如图11所述的步骤S1110的处理相同，所以在此将不重复详细描述。
在步骤S1402中，CPU 210根据如图11所述的生成方法，生成预生成的第一模型的第1集合(即，t＝1)。
在步骤S1403中，CPU 210根据如图12所述的生成方法，生成预生成的第二模型的第1级。其中，用于生成预生成的第二模型的第1级的、各个样本图像中的对象的当前形状，是例如对应的样本图像中的标记的形状或如图3所述的预生成的形状。
然后，在步骤S1404至S1411中，CPU 210针对样本图像当中的对象的当前形状的各个组元，生成对应的预生成的第一模型。例如，各个样本图像中的对象的当前形状是在生成预生成的第二模型的第(q-1)级之后获得的形状，其中，q≥2。由于步骤S1404至S1411的对应的处理与如图11中所述的步骤S1120至S1190的处理相同，所以在此将不重复详细描述。
因此，在完成步骤S1404至S1411之后，将生成预生成的第一模型的第q集合。然后，在步骤S1412中，CPU 210根据如图12所述的生成方法，生成预生成的第二模型的第t级。
然后，在步骤S1413中，CPU 210判断已经生成的预生成的第二模型的总级是否小于或等于上述的Q(即，是否q≤Q)。如果q≤Q，则在步骤S1414中，CPU 210设置q＝q+1，然后，将从步骤S1404至步骤S1414重复执行对应的处理。否则，将完成图14所示的生成方法的处理。
此外，如上所述，图3所示的可见特征点确定单元321可以通过判断针对各个特征点的可见性，或通过判断对象的当前形状的当前组元区域是否是遮挡区域，来由对象的当前形状确定对应的可见特征点。
作为可选的方案，可见特征点确定单元321也可以通过判断由对象的当前形状的对应的特征点获得的边缘是否与对应的预生成的边缘匹配，来由对象的当前形状确定对应的可见特征点。其中，从如下的多个样本图像生成这些预生成的边缘，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状，并且各个样本图像中的各个特征点被标记有可见性标签。如果由对象的当前形状的对应的特征点获得的一个边缘与对应的预生成的边缘匹配，则与该边缘相对应的特征点将被确定为可见特征点。
作为另一可选的方案，可见特征点确定单元321也可以基于特征点的三维(3D)坐标以及预生成的自遮挡关系函数，来由对象的当前形状确定对应的可见特征点。其中，通过使用现有的回归分析方法，基于在多个样本图像中标记出的对象的形状的各个特征点的3D坐标、以及各个特征点的可见性/不可见性标签，来生成预生成的自遮挡关系函数。
(图像处理装置)
在上述的实施例中，由图2所示的输入设备250获取的图像是具有对象区域的对象图像，并且所获取的图像是归一化的对象图像。也就是说，在上述的实施例中，假设从对象图像检测到了对象区域，并且对应的对象图像被归一化。然而，通常地，从特定电子设备(例如数字照相机)输出的或由用户输入的对象图像，是尚未检测到对象区域的图像，并且也是尚未被归一化的图像。因此，作为上述的对象形状检测的示例性应用，接下来，将参照图15描述示例性图像处理装置。图15例示了根据本发明的示例性图像处理装置1500的布置。
如图15所示，根据本发明的图像处理装置1500包括检测装置1510、归一化装置1520以及上述的对象形状检测装置300和变换装置1530。在一个实例中，可以利用系统总线将检测装置1510、归一化装置1520、对象形状检测装置300和变换装置1530连接。在另一个实例中，可以经由网络将检测装置1510、归一化装置1520、对象形状检测装置300与变换装置1530彼此连接。
首先，检测装置1510接收从特定电子设备(例如数字照相机)输出的或由用户输入的图像。然后，检测装置1510通过使用例如预生成的对象检测器，从接收到的图像检测对象区域。其中，如果接收到的图像是脸部图像，则预生成的对象检测器是例如脸部检测器。并且预生成的对象检测器可以被存储在例如图3所示的存储设备330中。检测到的对象区域包括例如可以表示接收到的图像上的对象位置的4个点(即，左上点、左下点、右上点以及右下点)。
其次，归一化装置1520通过使用诸如仿射变换算法等的现有归一化方法，将与检测到的对象区域相对应的图像归一化。通过归一化操作，将消除接收到的图像上的对象的转动角度，并且归一化的对象区域中的对象的大小将具有与上述的预生成的形状中的对象相同的大小。
然后，对象形状检测装置300根据参照图3至图14的上述描述，检测归一化的对象区域中的对象的对象形状。
最后，变换装置1530例如通过使用与归一化装置1520所使用的相同的方法，将检测到的对象的对象形状变换成接收的图像。
如上所述，通过使用本发明，可以提高对象形状检测的准确度。也就是说，最终检测到的对象的对象形状的位置可以更为接近对象的对象形状的实际位置。因此，通过使用对象的对象形状的更准确的位置，可以提高上述的图像处理装置1500中的图像处理的准确度。
(监视系统)
作为上述的图像处理装置1500的示例性应用，接下来，将参照图16描述示例性监视系统。图16例示了根据本发明的示例性监视系统1600的布置。
如图16所示，根据本发明的监视系统1600包括至少一个图像获取装置1610(例如数字照相机)、上述的图像处理装置1500和识别装置1620。在一个实例中，可以利用系统总线将图像获取装置1610、图像处理装置1500和识别装置1620连接。在另一实例中，可以经由网络将图像获取装置1610、图像处理装置1500和识别装置1620彼此连接。
首先，针对特定的监视区域，图像获取装置1610适时捕获/获取图像。
然后，图像处理装置1500从图像获取装置1610获取图像，并且根据参照图15的上述描述检测所获取的图像中的对象的对象形状。
然后，识别装置1620通过使用例如Adaboost算法或深度学习算法，根据检测到的对象的对象形状，来识别对象。
此外，在一个实例中，监视系统1600将识别出的对象传送到监视器/显示器(未示出)，用于向用户显示处理结果。在另一实例中，监视系统1600传送识别出的对象，用于随后的处理(例如，对象分析、对象认证、对象搜索等)。
上述的所有单元是用于实现本公开中描述的处理的示例性的和/或优选的模块。这些单元可以是硬件单元(例如，现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(例如，计算机可读程序)。上面未穷尽地描述了用于实现各种步骤的单元。然而，在存在进行特定处理的步骤的情况下，可以存在用于实现相同处理的对应的功能模块或单元(由硬件和/或软件来实现)。通过所描述的步骤与对应于这些步骤的单元的所有组合的技术方案都包括在本申请的公开中，只要所构成的技术方案是完整的且可适用的即可。
能够以许多方式实施本发明的方法和装置。例如，能够通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。方法的步骤的上述顺序仅仅意在是说明性的，并且本发明的方法的步骤不限于上面具体描述的顺序，除非另有具体声明。此外，在一些实施例中，本发明还可以体现为记录在记录介质中的程序，包括用于实现根据本发明的方法的机器可读指令。因此，本发明还涵盖存储用于实现根据本发明的方法的程序的记录介质。
虽然已经利用示例详细地展示了本发明的一些具体实施例，但是本领域技术人员应当理解的是，上述示例仅仅意在是说明性的，而不意图限制本发明的范围。本领域技术人员应当理解的是，能够在不脱离本发明的范围和精神的情况下对上述的实施例进行修改。本发明的范围由所附的权利要求限定。

Claims (19)

1.一种用于检测输入图像的对象区域中的对象的对象形状的装置，所述装置包括：
形状获取单元，其被构造为，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状；以及
形状确定单元，其被构造为通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级而更新对象的当前形状，来确定对象的对象形状，其中，所述预生成的第一模型是判断器，所述预生成的第二模型是回归模型；
其中，所述形状确定单元包括：
可见特征点确定单元，其被构造为基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点；以及
形状更新单元，其被构造为通过基于所述可见特征点周围的特征、以及预生成的第二模型的至少一个级而确定对象的当前形状的形状增量，来更新对象的当前形状，
其中，所述可见特征点确定单元通过判断由对象的当前形状的对应的特征点获得的边缘是否与对应的预生成的边缘匹配，来由对象的当前形状确定对应的可见特征点，或者基于特征点的三维坐标以及预生成的自遮挡关系函数，来由对象的当前形状确定对应的可见特征点。
2.根据权利要求1所述的装置，其中，针对对象的当前形状的特征点中的任一个，所述可见特征点确定单元包括：
可见性度量确定单元，其被构造为基于从包含该特征点的区域获得的特征、以及与该特征点相对应的预生成的第一模型中的一个，确定针对该特征点的可见性度量；以及
可见性判断单元，其被构造为通过将可见性度量与对应于该特征点的预定义阈值进行比较，判断该特征点是否是可见特征点。
3.根据权利要求1所述的装置，其中，所述对象由组元构成，并且针对对象的当前形状，所述可见特征点确定单元包括：
组元区域确定单元，其被构造为基于对象的当前形状的特征点，确定对象的当前组元区域；
遮挡度量确定单元，其被构造为，针对各个当前组元区域，基于从该当前组元区域获得的特征、以及与该当前组元区域相对应的预生成的第一模型中的一个，确定针对该当前组元区域的遮挡度量；
遮挡判断单元，其被构造为，针对各个当前组元区域，通过将遮挡度量与对应于该当前组元区域的预定义阈值进行比较，来判断该当前组元区域是否是遮挡区域；以及
可见性判断单元，其被构造为，针对各个当前组元区域，基于该当前组元区域是否是遮挡区域，来判断该当前组元区域内的特征点是否是可见特征点。
4.根据权利要求3所述的装置，其中，在所述遮挡判断单元判断该当前组元区域不是遮挡区域的情况下，所述可见性判断单元判断该当前组元区域内的特征点是可见特征点；并且
在所述遮挡判断单元判断该当前组元区域是遮挡区域的情况下，所述可见性判断单元判断该当前组元区域内的特征点不是可见特征点。
5.根据权利要求1所述的装置，其中，针对预生成的第二模型的第q级，q为大于或等于1的整数，所述形状更新单元包括：
特征提取单元，其被构造为从输入图像的对应区域提取特征，其中，所述区域包含对象的当前形状的可见特征点；以及
当前形状更新单元，其被构造为，通过基于所提取的特征以及预生成的第二模型的第q级确定对象的当前形状的形状增量来更新对象的当前形状，并且将更新后的形状视为对象的当前形状。
6.根据权利要求1所述的装置，其中，
所述预生成的形状是由多个样本图像生成的对象的平均形状，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状；并且
对象的当前形状的形状增量由对象的当前形状的各个特征点的位置增量来表示。
7.根据权利要求2所述的装置，其中，在由所述可见特征点确定单元使用所述预生成的第一模型的仅一个集合的情况下，通过以下步骤来生成所述预生成的第一模型的该集合：
获取多个样本图像，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状，其中，各个样本图像中的各个特征点被标记有可见性标签或不可见性标签；
针对样本图像当中的标记的对象的形状的各个特征点，通过从样本图像当中的、各自包含具有可见性标签的该特征点的区域提取特征，来获得第一特征集合，并且通过从样本图像当中的、各自包含具有不可见性标签的该特征点的区域提取特征，来获得第二特征集合；并且
针对样本图像当中的标记的对象的形状的各个特征点，通过使用分类方法，基于针对该特征点的第一特征集合和第二特征集合、以及该特征点的可见性标签和不可见性标签，来生成对应的判断器。
8.根据权利要求2所述的装置，其中，在由所述可见特征点确定单元使用所述预生成的第一模型的多于一个的集合的情况下，通过以下步骤来生成所述预生成的第一模型的第t集合，t等于1：
获取多个样本图像，在所述多个样本图像中，利用对应的特征点在对应的对象区域中标记出对象的形状，其中，各个样本图像中的各个特征点被标记有可见性标签或不可见性标签；
针对样本图像当中的标记的对象的形状的各个特征点，通过从样本图像当中的、各自包含具有可见性标签的该特征点的区域提取特征，来获得第一特征集合，并且通过从样本图像当中的、各自包含具有不可见性标签的该特征点的区域提取特征，来获得第二特征集合；并且
针对样本图像当中的标记的对象的形状的各个特征点，通过使用分类方法，基于针对该特征点的第一特征集合和第二特征集合、以及该特征点的可见性标签和不可见性标签，来生成对应的判断器。
9.根据权利要求2所述的装置，其中，通过以下步骤来生成所述预生成的第一模型的第t集合，t为大于或等于2的整数：
针对样本图像当中的对象的当前形状的各个特征点，通过从样本图像当中的、各自包含具有可见性标签的该特征点的区域提取特征，来获得第一特征集合，并且通过从样本图像当中的、各自包含具有不可见性标签的该特征点的区域提取特征，来获得第二特征集合；并且
针对样本图像当中的对象的当前形状的各个特征点，通过使用分类方法，基于针对该特征点的第一特征集合和第二特征集合、以及该特征点的可见性标签和不可见性标签，来生成对应的判断器。
10.根据权利要求3所述的装置，其中，在由所述可见特征点确定单元使用所述预生成的第一模型的仅一个集合的情况下，通过以下步骤来生成所述预生成的第一模型的该集合：
获取多个样本图像，在所述多个样本中，利用对应的特征点标记出对象的组元的形状，其中，与各个样本图像中的各个组元相对应的特征点被标记有可见性标签或不可见性标签；
针对样本图像当中的各个标记的组元，通过从样本图像当中的、对应的特征点被标记有可见性标签的该组元提取特征，来获得第三特征集合，并且通过从样本图像当中的、对应的特征点被标记有不可见性标签的该组元提取特征，来获得第四特征集合；并且
针对样本图像当中的各个标记的组元，通过使用分类方法，基于针对该组元的第三特征集合和第四特征集合、以及该组元的对应的特征点的可见性标签和不可见性标签，来生成对应的判断器。
11.根据权利要求3所述的装置，其中，在由所述可见特征点确定单元使用所述预生成的第一模型的多于一个的集合的情况下，通过以下步骤来生成所述预生成的第一模型的第t集合，t等于1：
获取多个样本图像，在所述多个样本中，利用对应的特征点标记出对象的组元的形状，其中，与各个样本图像中的各个组元相对应的特征点被标记有可见性标签或不可见性标签；
针对样本图像当中的各个标记的组元，通过从样本图像当中的、对应的特征点被标记有可见性标签的该组元提取特征，来获得第三特征集合，并且通过从样本图像当中的、对应的特征点被标记有不可见性标签的该组元提取特征，来获得第四特征集合；并且
针对样本图像当中的各个标记的组元，通过使用分类方法，基于针对该组元的第三特征集合和第四特征集合、以及该组元的对应的特征点的可见性标签和不可见性标签，来生成对应的判断器。
12.根据权利要求3所述的装置，其中，通过以下步骤来生成所述预生成的第一模型的第t集合，t为大于或等于2的整数：
针对样本图像当中的对象的当前形状的各个组元，通过从样本图像当中的、对应的特征点被标记有可见性标签的该组元提取特征，来获得第三特征集合，并且通过从样本图像当中的、对应的特征点被标记有不可见性标签的该组元提取特征，来获得第四特征集合；并且
针对样本图像当中的对象的当前形状的各个组元，通过使用分类方法，基于针对该组元的第三特征集合和第四特征集合、以及该组元的对应的特征点的可见性标签和不可见性标签，来生成对应的判断器。
13.根据权利要求7至12中的任一项所述的装置，其中，通过以下步骤来生成所述预生成的第二模型的第q级，q为大于或等于1的整数：
针对各个样本图像中的对象的当前形状，基于对应的预生成的第一模型，由对象的当前形状确定可见特征点；
针对各个样本图像中的对象的当前形状，从该样本图像中的对应区域提取特征，其中，所述区域包含对象的当前形状的可见特征点；并且
通过使用回归方法，基于各个样本图像中的对象的当前形状以及所提取的特征，来生成所述预生成的第二模型的第q级。
14.一种用于检测输入图像的对象区域中的对象的对象形状的方法，所述方法包括：
形状获取步骤，基于由特征点的集合表示的预生成的形状来获取对象区域中的对象的形状，并且将所获取的形状视为对象的当前形状；以及
形状确定步骤，通过基于预生成的第一模型的至少一个集合以及预生成的第二模型的至少一个级而更新对象的当前形状，来确定对象的对象形状，其中，所述预生成的第一模型是判断器，所述预生成的第二模型是回归模型；
其中，所述形状确定步骤包括：
可见特征点确定步骤，基于预生成的第一模型的至少一个集合，由对象的当前形状确定可见特征点；以及
形状更新步骤，通过基于所述可见特征点周围的特征、以及预生成的第二模型的至少一个级而确定对象的当前形状的形状增量，来更新对象的当前形状，
其中，在所述可见特征点确定步骤通过判断由对象的当前形状的对应的特征点获得的边缘是否与对应的预生成的边缘匹配，来由对象的当前形状确定对应的可见特征点，或者基于特征点的三维坐标以及预生成的自遮挡关系函数，来由对象的当前形状确定对应的可见特征点。
15.根据权利要求14所述的方法，其中，针对对象的当前形状的特征点中的任一个，所述可见特征点确定步骤包括：
可见性度量确定步骤，基于从包含该特征点的区域获得的特征、以及与该特征点相对应的预生成的第一模型中的一个，确定针对该特征点的可见性度量；以及
可见性判断步骤，通过将可见性度量与对应于该特征点的预定义阈值进行比较，判断该特征点是否是可见特征点。
16.根据权利要求14所述的方法，其中，所述对象由组元构成，并且针对对象的当前形状，所述可见特征点确定步骤包括：
组元区域确定步骤，基于对象的当前形状的特征点，确定对象的当前组元区域；
遮挡度量确定步骤，针对各个当前组元区域，基于从该当前组元区域获得的特征、以及与该当前组元区域相对应的预生成的第一模型中的一个，确定针对该当前组元区域的遮挡度量；
遮挡判断步骤，针对各个当前组元区域，通过将遮挡度量与对应于该当前组元区域的预定义阈值进行比较，来判断该当前组元区域是否是遮挡区域；以及
可见性判断步骤，针对各个当前组元区域，基于该当前组元区域是否是遮挡区域，来判断该当前组元区域内的特征点是否是可见特征点。
17.根据权利要求14所述的方法，其中，针对预生成的第二模型的第q级，q为大于或等于1的整数，所述形状更新步骤包括：
特征提取步骤，从输入图像的对应区域提取特征，其中，所述区域包含对象的当前形状的可见特征点；以及
当前形状更新步骤，通过基于所提取的特征以及预生成的第二模型的第q级确定对象的当前形状的形状增量来更新对象的当前形状，并且将更新后的形状视为对象的当前形状。
18.一种图像处理装置，所述图像处理装置包括：
检测装置，其被构造为从输入图像检测对象区域；
归一化装置，其被构造为将检测到的对象区域归一化；
根据权利要求1至13中的任一项所述的装置，其被构造为检测归一化的对象区域中的对象的对象形状；以及
变换装置，其被构造为将检测到的对象的对象形状变换成所述输入图像。
19.一种监视系统，所述监视系统包括：
被构造为获取图像的至少一个图像获取装置；
图像处理装置，所述图像处理装置包括：
检测装置，其被构造为从所获取的图像检测至少一个对象区域；
归一化装置，其被构造为将检测到的对象区域归一化；
根据权利要求1至13中的任一项所述的装置，其被构造为检测对应的归一化的对象区域中的对象的对象形状；以及
变换装置，其被构造为将检测到的对象的对象形状变换成输入图像；
识别装置，其被构造为根据检测到的对象的对象形状，识别所述对象。
CN201611086996.8A 2016-12-01 2016-12-01 对象形状检测装置和方法、图像处理装置及监视系统 Active CN108133221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611086996.8A CN108133221B (zh) 2016-12-01 2016-12-01 对象形状检测装置和方法、图像处理装置及监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611086996.8A CN108133221B (zh) 2016-12-01 2016-12-01 对象形状检测装置和方法、图像处理装置及监视系统

Publications (2)

Publication Number Publication Date
CN108133221A CN108133221A (zh) 2018-06-08
CN108133221B true CN108133221B (zh) 2022-06-07

Family

ID=62388048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611086996.8A Active CN108133221B (zh) 2016-12-01 2016-12-01 对象形状检测装置和方法、图像处理装置及监视系统

Country Status (1)

Country Link
CN (1) CN108133221B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN104573614A (zh) * 2013-10-22 2015-04-29 北京三星通信技术研究有限公司 用于跟踪人脸的设备和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
CN101877055A (zh) * 2009-12-07 2010-11-03 北京中星微电子有限公司 一种关键特征点定位的方法和装置
US9202138B2 (en) * 2012-10-04 2015-12-01 Adobe Systems Incorporated Adjusting a contour by a shape model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573614A (zh) * 2013-10-22 2015-04-29 北京三星通信技术研究有限公司 用于跟踪人脸的设备和方法
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Consensus of Regression for Occlusion-Robust Facial Feature Localization;Xiang Yu等;《European Conference on Computer Vision ECCV 2014》;20141231;第8692卷;第105-108页，图2、7 *
Robust Face Landmark Estimation under Occlusion;Xavier P. Burgos-Artizzu等;《2013 IEEE International Conference on Computer Vision》;20140303;第1513-1520页，图2 *
Robust Facial Landmark Detection under Significant Head Poses and Occlusion;Yue Wu等;《Proceedings of the IEEE International Conference on Computer Vision (ICCV)》;20131231;第3658-3666页 *
Supervised Descent Method and its Applications to Face Alignment;Xuehan Xiong等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20131231;第534页第3节，图2 *

Also Published As

Publication number Publication date
CN108133221A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
CN107633204B (zh) 人脸遮挡检测方法、装置及存储介质
Sharma et al. Hand gesture recognition using image processing and feature extraction techniques
WO2021203863A1 (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
KR102324697B1 (ko) 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
CN108229297B (zh) 人脸识别方法和装置、电子设备、计算机存储介质
US11163978B2 (en) Method and device for face image processing, storage medium, and electronic device
CN106709404B (zh) 图像处理装置及图像处理方法
US20200012887A1 (en) Attribute recognition apparatus and method, and storage medium
US10783357B2 (en) Apparatus and method for recognizing expression of a face, image processing apparatus and system
US20120219210A1 (en) Multi-Scale, Perspective Context, and Cascade Features for Object Detection
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
CN110059596B (zh) 一种图像识别方法、装置、介质和电子设备
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
US8948522B2 (en) Adaptive threshold for object detection
CN111626371A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
CN114764869A (zh) 利用每个对象的单个检测的多对象检测
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
KR102246471B1 (ko) 이미지 내 동물의 코 영역을 검출하는 방법 및 장치
CN108133221B (zh) 对象形状检测装置和方法、图像处理装置及监视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant