CN109858312B - 人体部件检测装置和方法以及图像处理系统 - Google Patents

Abstract

本发明公开了一种人体部件检测装置和方法以及图像处理系统。所述人体部件检测装置包括：检测单元，被构造为从输入图像中检测与待检测人体部件相邻的物体；获取单元，被构造为基于检测到的物体，获取所述人体部件的特征点和所述检测到的物体的特征点；及更新单元，被构造为通过至少更新获取的所述检测到的物体的特征点，来更新获取的所述人体部件的特征点。根据本发明，将提高人体部件检测的准确性。

Description

人体部件检测装置和方法以及图像处理系统

技术领域

本发明涉及图像处理，尤其涉及例如人体部件检测装置和方法以及图像处理系统。

背景技术

在视频/图像分析及识别应用中，自动并精确地检测人体部件(例如，面部部件、身体部件)是一项关键任务。例如，检测到的面部部件(例如，面部特征点)通常用于面部识别应用，诸如面部鉴别(face identification)、面部表情识别、面部属性识别等。检测到的身体部件(例如，手臂的关节点)通常用于人物识别应用，诸如人物再鉴别(human re-identification)、人物动作识别、人物属性识别、人物图像检索等。

通常，人们总会配戴眼镜或穿着各种类型的衣服，而这些都将影响人体部件检测的准确性。因此，为了减小眼镜对面部部件检测(即，面部特征点检测)的影响，“LearningDeep Representation for Face Alignment with Auxiliary Attributes”(ZhanpengZhang,Ping Luo,Chen Change Loy,and Xiaoou Tang；In arXiv,11Aug.2015)中公开了一种示例性检测方法。作为一种替换，为了减小衣服对身体部件检测(即，关节点检测)的影响，“Attribute And-Or Grammar for Joint Parsing of Human Attributes,Part andPose”(Seyoung Park,Bruce Xiaohan Nie and Song-Chun Zhu；In arXiv,7Jul.2016)中公开了一种示例性检测方法。

其中，这些示例性人体部件检测方法主要包括：1)确定待检测人体部件的属性，其中所确定属性例如为面部部件的眼镜属性(例如，“配带眼镜”、“未戴带眼镜”)或身体部件的衣服属性(例如，“上半身衣服类型”、“上半身衣服长度”、“下半身衣服类型”)；2)选择与所确定属性对应的预生成回归模型；例如，在所确定眼镜属性为“配戴眼镜”的情况下，将选择基于其中人们配戴各种类型的眼镜的对应样本图像生成的预生成回归模型；在所确定衣服属性为“上半身衣服类型”的情况下，将选择基于其中人们穿着各种类型的上半身衣服的对应样本图像生成的预生成回归模型；3)通过使用回归方法(例如，“Supervised DescentMethod and its Applications to Face Alignment”(X.Xiong And F.De la Torre；CVPR,2013)所公开的方法)，基于所选回归模型检测人体部件。

可以看出，在上述人体部件检测方法中，将人们配戴的眼镜或穿着的衣服仅用作整体信息(例如，人是否配戴眼镜、人穿着什么类型的衣服)来选择用于后续回归处理的对应回归模型。然而，在某些情形中，例如，如图1A中所示，在人配戴眼镜(尤其是伴随低头姿态)的情况下，由于在眼睛周围提取的特征易受整个眼镜框的影响，因此最终检测到的眼睛的特征点将陷入眼镜的局部最优位置(即，眼睛的特征点将集中在眼镜框上)。例如，在人穿着某种类型的衣服(例如，图1B中所示的短袖裙子)或此人被另一个人遮挡的情况下，对此人关节点的检测也将受到他/她的衣服或与他/她相邻的另一个人的干扰。因此，在将人们配戴的眼镜或穿着的衣服仅用作整体信息的情况下，最终检测到的人体部件(例如，面部部件、身体部件)的准确性仍将受到眼镜或衣服的影响。

发明内容

因此，鉴于上面的背景技术中的记载，本发明旨在解决上述问题中的至少一点。

根据本发明的一个方面，提供一种人体部件检测装置，所述人体部件检测装置包括：检测单元，被构造为从输入图像中检测与待检测人体部件相邻的物体；获取单元，被构造为基于检测到的物体，获取所述人体部件的特征点和所述检测到的物体的特征点；及更新单元，被构造为通过至少更新获取的所述检测到的物体的特征点，来更新获取的所述人体部件的特征点。其中，所述检测到的物体为所述人体部件上穿戴的物体，诸如人们配戴的眼镜和/或穿着的衣服。

利用本发明，将提高人体部件检测的准确性。

根据以下参照附图的描述，本发明的其他特性特征和优点将显而易见。

附图说明

包含在说明书中并构成本说明书的一部分的附图例示本发明的实施例，并与文字描述一起用于解释本发明的原理。

图1A和图1B示意性地示出配戴眼镜或穿着某种类型的衣服的示例性人体。

图2A和图2B示意性地示出根据现有技术的示例性面部特征点检测和根据本发明的示例性面部特征点检测。

图3A和图3B示意性地示出根据现有技术的示例性关节点检测和根据本发明的示例性关节点检测。

图4是示意性地示出可实现根据本发明实施例的技术的硬件构造的框图。

图5是例示根据本发明实施例的人体部件检测装置的构造的框图。

图6A和图6B示意性地示出根据本发明在一个样本图像中的示例性标记的眼镜/衣服的特征点。

图7示意性地示出根据本发明实施例的人体部件检测的流程图。

图8示意性地示出根据本发明实施例的如图7中所示的步骤S730的流程图。

图9示意性地示出根据本发明实施例的如图7中所示的步骤S730的另一流程图。

图10例示根据本发明的示例性分析器的布置。

图11例示根据本发明的示例性图像处理系统的布置。

具体实施方式

应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本发明及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本发明的范围。另外，本领域技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。

请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。

由于不管人们穿戴哪种类型的眼镜/衣服，眼镜/衣服始终在人体的最外层，诸如，眼镜始终在面部部件(尤其是眼睛)的最外层以及衣服始终在身体部件的最外层。因此，一方面，与检测诸如面部部件的特征点(即，面部特征点)或身体部件的特征点(即，关节点)等人体部件的特征点相比，使用现有检测方法(例如，回归方法)可更容易且更准确地从图像/视频中检测到人们穿戴的眼镜/衣服的特征点。另一方面，眼镜/衣服与待检测人体部件之间的相对位置关系始终不变。即，眼镜与面部部件(尤其是眼睛)之间的相对位置关系始终不变，而衣服与身体部件之间的相对位置关系始终不变。因此，发明人认为，代替将人们穿戴的眼镜/衣服用作整体信息，也可使用人们穿戴的眼镜/衣服的局部信息(即，眼镜/衣服的特征点)，来辅助待检测人体部件的特征点的回归处理。

一方面，由于眼镜/衣服与待检测人体部件之间的相对位置关系不变，因此可将眼镜/衣服的特征点的回归处理考虑在内，来辅助待检测人体部件的特征点的回归处理。即，可使用眼镜的特征点的回归方向来约束或调整面部特征点(尤其是眼睛的特征点)的回归方向，以及可使用衣服的特征点的回归方向来约束或调整关节点的回归方向。因此，通过参考眼镜/衣服的特征点的回归处理，可有效地防止眼镜/衣服对人体部件检测的影响，从而可提高人体部件检测的准确性。另一方面，由于可更准确地检测到人们穿戴的眼镜/衣服的特征点，因此，通过参考眼镜/衣服的这些更准确特征点的回归处理，可进一步提高人体部件检测的准确性。在本发明中，相对于待检测人体部件的特征点，眼镜/衣服的特征点例如可被视为待检测人体部件的辅助特征点。其中，待检测人体部件例如为面部部件、眼睛部件、鼻子部件、嘴部部件、手臂部件、腿部部件等。

以待检测人体部件为面部部件为例，其中假设人配戴眼镜，在使用现有回归处理的情况下，由于眼镜框的特征与眼睛的特征相似，因此眼睛周围的面部特征点的最终位置通常会被回归到眼镜框。例如，如图2A中所示，位置210和位置220分别示出眼睛周围的一个面部特征点的初始位置和最终位置，即，该面部特征点的实际回归方向为“从位置210到眼镜框(即，位置220)”。然而，实际上，该面部特征点的正确回归方向应为“从位置210到眼角”。在使用本发明的情况下，由于将眼镜的特征点(即，面部部件的辅助特征点)的回归方向考虑在内，因此可调整眼睛周围的面部特征点的回归方向。例如，如图2B中所示，位置230和位置240分别示出一个辅助特征点的初始位置和最终位置，即，该辅助特征点的回归方向为“从位置230到位置240”。因而，初始位置为210的面部特征点的回归方向将被调整为“从位置210到眼角(即，位置250)”而不是“从位置210到位置220”，其中位置250示出该面部特征点的最终位置。

以待检测人体部件为身体部件为例，其中假设人穿着短袖裙子，与参照图2A和图2B所述的面部部件检测相似，在使用现有回归方法的情况下，由于衣服的特征与肩膀的特征相似，因此肩膀周围的关节点的最终位置通常会被回归到衣服边缘。例如，如图3A中所示，位置310和位置320分别示出肩膀周围的一个关节点的初始位置和最终位置，即该关节点的实际回归方向为“从位置310到衣服边缘(即，位置320)”。然而，实际上，该关节点的正确回归方向应为“从位置310到肩膀”。在使用本发明的情况下，由于将衣服的特征点(即，身体部件的辅助特征点)的回归方向考虑在内，因此可调整肩膀周围的关节点的回归方向。例如，如图3B中所示，位置330和位置340分别示出一个辅助特征点的初始位置和最终位置，即该辅助特征点的回归方向为“从位置330到位置340”。因而，初始位置为310的关节点的回归方向将被调整为“从位置310到肩膀(即，位置350)”而不是“从位置310到位置320”，其中位置350示出该关节点的最终位置。

下面将参照附图详细描述本发明的示例性实施例。

(硬件构造)

首先将参照图4描述可实现下文中描述的技术的硬件构造。

硬件构造400例如包括中央处理单元(CPU)410、随机存取存储器(RAM)420、只读存储器(ROM)430、硬盘440、输入设备450、输出设备460、网络接口470和系统总线480。此外，在一种实现方式中，硬件构造400可由处理器实现，诸如平板电脑、笔记本电脑、台式电脑或其他合适的设备。在另一种实现方式中，硬件构造400可由监控器或分析器实现，诸如数码相机、摄像机、网络摄像机或其他合适的电子设备。其中，在硬件构造400由监控器/分析器实现的情况下，硬件构造400还包括例如光学系统490。

在一种实现方式中，根据本发明的人体部件检测由硬件或固件构造并且用作硬件构造400的模块或组件。例如，将在下文参照图5详细描述的人体部件检测装置500用作硬件构造400的模块或组件。在另一种实现方式中，根据本发明的人体部件检测由存储在ROM430或硬盘440中且由CPU 410执行的软件构造。例如，将在下文参照图7详细描述的过程700用作存储在ROM 430或硬盘440中的程序。

CPU 410是任何合适的可编程控制设备(诸如，处理器)，并且可通过执行存储在ROM 430或硬盘440(诸如，存储器)中的各种应用程序来执行下文中要描述的各种功能。RAM420用于临时存储从ROM 430或硬盘440加载的程序或数据，并且也被用作CPU 410在其中执行各种过程(诸如，实施将在下文参照图7至图9详细描述的技术)以及其他可用功能的空间。硬盘440存储多种信息，诸如操作系统(OS)、各种应用、控制程序、图像/视频、视频的每个图像的处理结果、预生成数据(例如，预生成特征点)和/或预生成模型(例如，预生成回归模型)。

在一种实现方式中，输入设备450用于允许用户与硬件构造400交互。在一个实例中，用户可通过输入设备450输入图像/视频/数据。在另一实例中，用户可通过输入设备450触发本发明的对应处理。此外，输入设备450可采用多种形式，诸如按钮、键盘或触摸屏。在另一种实现方式中，输入设备450用于接收从诸如数码相机、摄像机和/或网络摄像机等专门电子设备输出的图像/视频。另外，在硬件构造400由监控器/分析器实现的情况下，硬件构造400中的光学系统490将直接捕获监控位置的图像/视频。

在一种实现方式中，输出设备460用于向用户显示处理结果(诸如，检测到的人体部件的特征点)。而且，输出设备460可采用诸如阴极射线管(CRT)或液晶显示器等各种形式。在另一种实现方式中，输出设备460用于向诸如面部识别处理(例如，人数统计(peoplecounting)、人群属性分布分析、面部鉴别等)的后续处理输出处理结果。

网络接口470提供用于将硬件构造400连接到网络的接口。例如，硬件构造400可经由网络接口470与经由网络连接的其他电子设备进行数据通信。可选地，可以为硬件构造400提供无线接口，以进行无线数据通信。系统总线480可以提供用于在CPU 410、RAM 420、ROM 430、硬盘440、输入设备450、输出设备460和网络接口470等之间相互传输数据的数据传输路径。虽然被称为总线，但是系统总线480并不限于任何特定的数据传输技术。

上述硬件构造400仅仅是说明性的，并且决不意图限制本发明、其应用或用途。而且，为了简明起见，在图4中只示出一个硬件构造。但是，根据需要也可以使用多个硬件构造。

(人体部件检测)

接下来将参照图5至图9描述根据本发明的人体部件检测。

图5是例示根据本发明实施例的人体部件检测装置500的构造的框图。其中，图5中所示的一些或全部模块可由专用硬件实现。如图5中所示，人体部件检测装置500包括检测单元510、获取单元520和更新单元530。

另外，图5中所示的存储设备540存储将由获取单元520使用的预生成特征点(例如，人体部件的预生成特征点、物体的预生成特征点)，并且存储将由更新单元530使用的预生成回归模型。可选地，预生成特征点和预生成回归模型可存储在不同的存储设备中。在一种实现方式中，存储设备540为图4中所示的ROM 430或硬盘440。在另一种实现方式中，存储设备540为经由网络(未示出)与装置500连接的服务器或外部存储设备。

首先，在一种实现方式中，例如，在图4中所示的硬件构造400由处理器实现的情况下，输入设备450接收从专门电子设备(例如，相机)输出的或由用户输入的包含人体的图像。接着，输入设备450经由系统总线480将所接收图像传输到人体部件检测装置500。在另一种实现方式中，例如，在硬件构造400由监控器/分析器实现的情况下，人体部件检测装置500直接接收由光学系统490捕获的包含人体的图像。

然后，如图5中所示，检测单元510从接收到的图像(即，输入图像)中检测与待检测人体部件相邻的物体。在本发明中，检测到的物体为人体部件上穿戴的物体。例如，在待检测人体部件为人体的面部部件的情况下，检测单元510检测到的物体为该人体配戴的眼镜。在待检测人体部件为人体的身体部件的情况下，检测单元510检测到的物体为该人体穿着的衣服。

然后，在检测单元510检测到对应物体(代表人体穿戴对应物体或代表人体穿戴哪种类型的物体)的情况下，获取单元520基于检测到的物体从存储设备540中获取人体部件的特征点和检测到的物体的特征点。例如，假设待检测人体部件为面部部件，在面部部件附近可检测到眼镜的情况下，将从存储设备540中获取面部特征点和眼镜的特征点。例如，假设待检测人体部件为身体部件，在身体部件附近可检测到衣服类型的情况下，将从存储设备540中获取关节点和衣服的特征点(即，与该类型的衣服对应的特征点)。换言之，获取单元520将从存储设备540获取人体部件的特征点的初始位置和检测到的物体的特征点的初始位置。可选地，在检测单元510未能在待检测人体部件附近检测到任何物体(代表人体可能没有穿戴任何物体或者不能检测到人体穿戴哪种类型的物体)的情况下，将直接使用现有回归方法检测人体部件。

在本发明中，获取的人体部件的特征点和获取的检测到的物体的特征点是通过对样本图像中标记的人体部件的特征点和标记的与检测到的物体对应的物体的特征点求平均值而预生成的。在一种实现方式中，每一个样本图像中标记的物体的特征点为该物体的所有特征点。在另一种实现方式中，为了尽可能小地影响后续回归处理速度，每一个样本图像中标记的物体的特征点为预先确定的该物体的所有特征点内的子集。其中，所确定子集内的特征点至少满足以下两个条件：

1)尽可能稳定；

2)在后续回归处理的准确性及后续回归处理的速度可满足预定条件的前提下，尽可能少。其中，所述预定条件为例如对应的准确性大于或等于预定阈值(例如，TH1)并且对应的速度小于或等于预定阈值(例如，TH2)。

在本发明中，所确定子集内的特征点至少包括物体的角点和/或基于角点确定的特征点。此外，基于物体的角点确定的特征点例如为角点的平均点。

如图6A中所示，在待检测人体部件为面部部件的情况下，样本图像中的物体为眼镜。在一种实现方式中，所确定子集内的特征点包括眼镜的角点(例如，图6A中所示的椭圆形形状)。在另一种实现方式中，所确定子集内的特征点包括眼镜的角点、水平方向上的角点平均点(例如，图6A中所示的四边形形状)和垂直方向上的角点平均点(例如，图6A中所示的三角形形状)。此外，由于垂直方向上的角点平均点与眉毛相邻，因此垂直方向上的角点平均点易受眉毛影响。因而，水平方向上的角点平均点比垂直方向上的平均点更稳定。因此，在再一种实现方式中，所确定子集内的特征点包括眼镜的角点和水平方向上的角点平均点。

如图6B中所示，在待检测人体部件为身体部件的情况下，样本图像中的物体为衣服。对于本领域技术人员显而易见的是，所确定子集内的特征点取决于人体穿着的衣服的类型。通常，所确定子集内的特征点包括衣服的角点(例如，图6B中所示的椭圆形形状)。此外，基于衣服的角点确定的特征点也可包含在所确定子集中。例如，所确定子集内的特征点包括衣服的角点和垂直方向上的角点平均点(例如，图6B中所示的四边形形状)。

返回到图5，在获取人体部件的特征点和检测到的物体的特征点之后，更新单元530通过至少更新所获取的检测到的物体的特征点来更新所获取的人体部件的特征点。并且，更新单元530将更新后的人体部件的特征点视为最终检测到的人体部件。

最后，更新单元530检测到人体部件之后，更新单元530经由系统总线480将检测到的人体部件传输至图4中所示的输出设备460，用于向用户显示检测到的人体部件，或用于向诸如面部识别处理(例如，人数统计、人群属性分布分析、面部鉴别等)的后续处理输出检测到的人体部件。

图7中所示的流程图700是图5中所示的人体部件检测装置500的对应过程。在下文中，以人体的面部部件为例来描述根据本发明的对应的人体部件检测。然而，显然不必局限于此。

如图7中所示，在检测步骤S710中，检测单元510从接收到的图像中检测与面部部件相邻的眼镜。其中，在检测步骤S710中可检测到眼镜的情况下(代表人体配戴眼镜)，过程将进入到获取步骤S720；否则，将直接使用现有回归方法检测面部部件。

在一种实现方式中，使用现有图像扫描方法来检测眼镜。可选地，如果人体配戴眼镜，则眼镜通常与眼睛相邻。因此，眼睛周围的特征可用于辅助检测眼镜，从而可更准确地检测眼镜并且还可降低计算的复杂性。因此，在另一种实现方式中，通过如下操作检测眼镜：

首先，从存储设备540中获取面部特征点的初始位置；接着，提取与眼睛对应的面部特征点的初始位置周围的特征，例如，所提取特征为纹理特征(例如，加速鲁棒特征(Speed-Up Robust Feature，SURF)特征、尺度不变特征变换(Scale-Invariant FeatureTransform，SIFT)特征)、形状特征(例如，方向梯度直方图(Histogram of OrientedGradient，HOG)特征)等；然后，基于所提取特征和预生成分类器检测眼镜，例如，所述预生成分类器为支持向量机(Supported Vector Machine，SVM)分类器等。另外，预生成分类器例如也存储在存储设备540中。

返回到图7，在面部部件附近检测到眼镜之后，在获取步骤S720中，获取单元520从存储设备540中获取面部特征点的初始位置和眼镜的特征点的初始位置。另外，在检测步骤S710中基于眼睛周围的特征检测到眼镜的情况下，如上所述，由于在检测眼镜时已获取面部特征点的初始位置，因此获取单元520仅需要从存储设备540中获取眼镜的特征点的初始位置。在下文中，例如将眼镜的特征点视为面部部件的辅助特征点。

在更新步骤S730中，更新单元530通过至少更新辅助特征点的初始位置来更新面部特征点的初始位置。并且，更新单元530将面部特征点的最终位置视为最终检测到的面部部件。

如上所述，由于眼镜与面部部件之间的相对位置关系不变，因此必然地在眼镜周围的特征与面部部件周围的特征之间也存在这种不变的相对位置关系。因此，在将辅助特征点(即，眼镜的特征点)周围的特征和面部特征点周围的特征表示为一个整体特征向量的情况下，并且在使用回归方法基于此类特征向量同时更新面部特征点的初始位置和辅助特征点的初始位置的情况下，在回归处理期间，辅助特征点的回归方向可直接用来约束面部特征点的回归方向。因而，可有效地防止眼镜对面部部件检测的影响，从而可提高面部部件检测的准确性。因此，在一种实现方式中，更新单元530参照图8更新面部特征点的初始位置。

在图7中所示的获取步骤S720中获取面部特征点的初始位置和辅助特征点的初始位置之后，如图8中所示，对于回归处理的当前级，即对于回归处理的第t级(例如，第1级)，其中t是自然数并且1≤t≤T，其中T代表回归处理的总级数，在步骤S7301中，更新单元530提取面部特征点的当前位置(例如，初始位置)周围的特征和辅助特征点的当前位置(例如，初始位置)周围的特征。例如，从每一个包含一个具有对应的当前位置的面部特征点或辅助特征点的区域中提取特征。其中，每一个区域例如以对应的面部特征点或对应的辅助特征点为中心。其中，所提取特征例如为SIFT特征、SURF特征等。

在该实现方式中，将在面部特征点的当前位置周围提取的特征及在辅助特征点的当前位置周围提取的特征表示为一个整体特征向量。例如，如下表示此类特征向量：

F＝[Ff⁰,Ff¹,...Ffⁱ...,Ff^L,Af^L+1,Af^L+2,...Af^L+j,...Af^K]

其中，“F”代表特征向量。“Ffⁱ”代表第i个面部特征点的当前位置周围的特征，其中i是自然数并且1≤i≤L，“L”代表面部特征点的总数。“Af^L+j”代表第j个辅助特征点的当前位置周围的特征，其中j是自然数并且1≤j≤(K-L)，“K”代表面部特征点和辅助特征点的总数。对于本领域技术人员显而易见的是，“Ffⁱ”与“Af^L+j”的顺序并不局限于上述示例，只要对应的顺序与下文中将描述的预生成第一回归模型中的“Ffⁱ”与“Af^L+j”的顺序一致即可。

然后，在步骤S7302中，首先，更新单元530从存储设备540中获取第t个预生成回归模型(例如，第1个预生成回归模型)。然后，更新单元530基于特征向量和所述第t个预生成回归模型，确定面部特征点的当前位置的位置增量和辅助特征点的当前位置的位置增量。例如，对应的位置增量通过将特征向量映射到第t个预生成回归模型来确定。

在该实现方式中，预生成回归模型是通过使用现有回归方法、基于在样本图像中标记的面部特征点的当前位置周围提取的特征及在样本图像中标记的辅助特征点的当前位置周围提取的特征而生成的。其中，在标记辅助特征点之前，从眼镜的所有特征点确定每一个样本图像中的辅助特征点。由于对应的确定处理与图5中所述的确定子集的处理相同，因此这里将不再重复详细描述。

然后，在步骤S7303中，更新单元530将所确定位置增量加到面部特征点的当前位置和辅助特征点的当前位置以更新对应位置。另外，将更新后的面部特征点的位置和更新后的辅助特征点的位置视为面部特征点的当前位置和辅助特征点的当前位置。

然后，在步骤S7304中，更新单元530判断t是否大于T。在判断t大于T的情况下(代表回归处理的所有级均被执行)，更新单元530将具有最终更新位置的面部特征点确定为最终检测到的面部部件。否则，在步骤S7305中，更新单元530设置t＝t+1，并重复执行从步骤S7301至步骤S7304的对应操作。

在上述实现方式中，在回归处理的每个级中，同时更新面部特征点的位置和辅助特征点的位置。也就是说，使用同一回归处理更新面部特征点的位置和辅助特征点的位置。可选地，在本发明中，也可使用不同的回归处理分别更新面部特征点的位置和辅助特征点的位置。如上所述，由于对眼镜的检测比对面部部件的检测更容易且更准确，且由于眼镜与面部部件之间的相对位置关系不变，因此在面部特征点的回归处理可使用从辅助特征点的回归处理获得的结果的情况下，辅助特征点的回归方向可间接用于约束面部特征点的回归方向。因而，可有效地防止眼镜对面部部件检测的影响，从而可提高面部部件检测的准确性。因此，在另一种实现方式中，更新单元530参照图9更新面部特征点的初始位置。

在图7中所示的获取步骤S720中获取面部特征点的初始位置和辅助特征点的初始位置之后，如图9中所示，在步骤S7311中，更新单元530使用现有回归方法更新辅助特征点的初始位置。其中，除了在辅助特征点的当前位置周围提取用于辅助特征点的每级回归处理的特征之外，步骤S7311中的辅助特征点的回归处理与图8中所述的对应回归处理相似，因此，这里将不再重复详细描述。另外，用于辅助特征点的回归处理的回归模型是例如使用现有回归方法、基于样本图像中标记的辅助特征点而预生成的。其中，在标记辅助特征点之前，从眼镜的所有特征点确定每一个样本图像中的辅助特征点。由于对应确定处理与图5中所述的确定子集的处理相同，因此这里将不再重复详细描述。

然后，在步骤S7312中，更新单元530基于辅助特征点的最终更新位置，调整面部特征点的初始位置。在一个实例中，通过调整与眼睛对应的面部特征点的初始位置来调整面部特征点的初始位置。其中通过如下操作调整与眼睛对应的面部特征点的初始位置：

首先，基于辅助特征点的最终更新位置确定眼镜的区域；然后根据所确定区域和与眼睛对应的面部特征点之间的相对位置，调整与眼睛对应的面部特征点的初始位置。更具体而言，如上所述，由于眼镜始终在面部部件的最外层，换言之，眼睛始终被眼镜遮挡，因此与眼睛对应的面部特征点应始终在所确定区域内。因此，对于与眼睛对应的一个面部特征点，在该面部特征点的初始位置在所确定区域之外的情况下，该面部特征点的位置将被调整到所确定区域的一个最近边缘处。例如，在该面部特征点的初始位置的Y坐标在所确定区域之外的情况下，对应的Y坐标将在垂直方向上被调整到所确定区域的最近边缘处。在该面部特征点的初始位置的X坐标在所确定区域之外的情况下，对应的X坐标将在水平方向上被调整到所确定区域的最近边缘处。

返回到图9，在步骤S7312中调整面部特征点的初始位置之后，在步骤S7313中，更新单元530使用现有回归方法更新调整后的面部特征点的位置，并且将具有最终更新位置的面部特征点确定为最终检测到的面部部件。其中，除了在面部特征点的当前位置周围提取用于面部特征点的每级回归处理的特征之外，步骤S7313中的面部特征点的回归处理与图8中所述的对应回归处理相似，因此，这里将不再重复详细描述。另外，用于面部特征点的回归处理的回归模型是例如使用现有回归方法、基于样本图像中标记的面部特征点而预生成的。

返回到图7，在更新步骤S730中检测到面部部件之后，更新单元530经由系统总线480将检测到的面部部件传输至图4中所示的输出设备460，用于向用户显示检测到的面部部件，或用于向诸如面部识别处理(例如，人数统计、人群属性分布分析、面部鉴别等)的后续处理输出检测到的面部部件。

如参考图7至图9所述，将面部部件视为待检测人体部件。可选地，参照图7至图9，也可将人体的身体部件视为待检测人体部件。例如，将从中检测身体部件的人体视为目标人体。与检测面部部件相比，在从图5中所示的存储设备540中获取相关特征点之前，检测单元510不是检测面部部件附近的眼镜，而是检测目标人体穿着的衣服的类型。然后，获取单元520根据检测到的衣服的类型，从存储设备540中获取身体部件的特征点(即，关节点)和衣服的特征点(即，身体部件的辅助特征点)。此外，由于身体部件检测的更新操作与图7至图9中所述的面部部件检测的更新操作相似，因此这里将不再重复详细说明。

另外，在某些情形下，从中检测人体部件的人体(即，目标人体)有时会被其他人体或目标人体穿戴或拿握的其他物体(例如，包、围巾等)遮挡。对于这些情形，除了检测待检测人体部件附近的物体之外，图5中所示的检测单元510还使用现有遮挡检测方法检测目标人体的遮挡状态。例如，将检测其中目标人体被其他人体或其他物体遮挡的遮挡区域。然后，在获取单元520从存储设备540中获取待检测人体部件的特征点及检测到的物体的特征点之后，获取单元520或更新单元530删除所获取的检测到的物体在检测到的遮挡区域内的特征点。然后，更新单元530对剩余的检测到的物体的特征点和获取的待检测人体部件的特征点执行后续操作。

如上所述，由于使用人体穿戴的物体的特征点的回归方向来约束人体部件的特征点的回归方向，因此可有效地防止人体穿戴的物体对人体部件检测的影响。因此，根据本发明，可提高人体部件检测的准确性。

(图像处理系统)

如上所述，在一种实现方式中，本发明可由监控器/分析器(例如，数码相机、摄像机或网络摄像机)来实现。以本发明由网络摄像机实现为例，在网络摄像机被触发本发明的对应处理后，网络摄像机可将对应处理结果(即，人体部件)输出至诸如面部识别处理(例如，人数统计、人群属性分布分析、面部鉴别等)的后续处理。因此，作为本发明的示例性应用，接下来将参照图10描述示例性分析器(例如，网络相机)。图10例示根据本发明的示例性分析器1000的布置。如图10中所示，分析器1000包括光学系统1010、识别装置1020和上述人体部件检测装置500。

如图10中所示，首先，光学系统1010捕获图像或视频。换言之，光学系统1010实际上用作用于获取图像或视频的获取设备。

然后，参照图5至图9，人体部件检测装置500在获取的图像或获取的视频中检测面部部件。

然后，识别装置1020从检测到的面部部件提取特征用于面部识别。

例如，在面部识别处理为人数统计处理的情况下，识别装置1020通过如下操作实现人数统计处理：首先，从检测到的面部部件提取特征；然后，对于每个检测到的面部部件，基于所提取的特征验证该面部部件是否为真面部。其中，在该面部部件为真面部的情况下，人数将增加1。否则，人数将不变。

例如，在面部识别处理为人群属性分布分析处理的情况下，识别装置1020通过如下操作实现人群属性分布分析处理：首先，从检测到的面部部件提取特征；然后，基于所提取的特征分析人物属性(例如，人物年龄、人物性别)。

如上所述，可选地，本发明也可由处理器(例如，平板电脑、笔记本电脑或台式电脑)实现。以本发明由电脑实现为例，在电脑接收图像或视频并被触发本发明的对应处理后，电脑也可将对应处理结果(即，人体部件)输出至诸如面部识别处理(例如，人数统计、人群属性分布分析、面部鉴别等)的后续处理。因此，作为本发明的示例性应用，接下来将参照图11描述示例性图像处理系统。图11例示根据本发明的示例性图像处理系统1100的布置。如图11中所示，图像处理系统1100包括获取设备1110、识别装置1120和上述人体部件检测装置500。其中，识别装置1120和人体部件检测装置500可由相同或不同电脑实现。

在该实现方式中，获取设备1110由相机(例如，数码相机、摄像机或网络摄像机)实现，并用于捕获/获取图像或视频。另外，将图11与图10进行比较，由于图11中所示的识别装置1120和人体部件检测装置500与图10中所示的识别装置1020和人体部件检测装置500相同，因此这里将不再重复这些装置的详细描述。

上述所有单元都是用于实现本公开中所述处理的示例性和/或优选模块。这些单元可以是硬件单元(诸如，现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(诸如，计算机可读程序)。上面并没有详尽描述用于实现各步骤的单元。然而，当存在执行某一过程的步骤的情况下，可以存在用于实现该同一过程的对应功能模块或单元(通过硬件和/或软件实现)。通过描述的步骤和对应于这些步骤的单元的所有组合的技术方案包括在本申请的公开内容中，只要它们所构成的技术方案是完整的、适用的即可。

可以以多种方式来实施本发明的方法和装置。例如，可以通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。除非另有具体说明，否则上述方法的步骤顺序仅旨在是说明性的，并且本发明的方法的步骤不局限于上述具体描述的顺序。此外，在一些实施例中，本发明还可以被实施为在记录介质中记录的程序，包括用于实现根据本发明的方法的机器可读指令。因此，本发明也涵盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已经通过示例详细展示了本发明的一些具体实施例，但是本领域的技术人员应该理解，上述示例仅旨在是说明性的，并不限制本发明的范围。本领域的技术人员应该理解，上述实施例可以在不脱离本发明的范围和精神的情况下被修改。本发明的范围由所附权利要求约束。

Claims (15)

1.一种人体部件检测装置，所述人体部件检测装置包括：

检测单元，被构造为从输入图像中检测与待检测人体部件相邻的物体；

获取单元，被构造为基于检测到的物体，获取所述人体部件的特征点和所述检测到的物体的特征点，其中，所述获取的所述检测到的物体的特征点是基于样本图像中标记的与所述检测到的物体对应的物体的特征点而预生成的；及

更新单元，被构造为使用回归方法通过至少更新获取的所述检测到的物体的特征点，来更新获取的所述人体部件的特征点。

2.根据权利要求1所述的人体部件检测装置，其中，所述检测到的物体为所述人体部件上穿戴的物体。

3.根据权利要求2所述的人体部件检测装置，其中，所述检测到的物体为眼镜和/或衣服。

4.根据权利要求1至权利要求3中任一项所述的人体部件检测装置，其中，所述获取的所述检测到的物体的特征点是通过对样本图像中标记的与所述检测到的物体对应的物体的特征点求平均值而预生成的。

5.根据权利要求4所述的人体部件检测装置，其中，所述标记的物体的特征点至少包括所述物体的角点和/或基于所述物体的角点确定的特征点。

6.根据权利要求5所述的人体部件检测装置，其中，所述基于所述物体的角点确定的特征点为所述物体的角点的平均点。

7.根据权利要求1所述的人体部件检测装置，其中，所述更新单元通过使用回归方法同时更新所述获取的所述人体部件的特征点和所述获取的所述检测到的物体的特征点，来更新所述获取的所述人体部件的特征点。

8.根据权利要求7所述的人体部件检测装置，其中，基于至少一个预生成回归模型以及在所述获取的所述人体部件的特征点的当前位置周围提取的特征和在所述获取的所述检测到的物体的特征点的当前位置周围提取的特征，更新所述获取的所述人体部件的特征点和所述获取的所述检测到的物体的特征点。

9.根据权利要求8所述的人体部件检测装置，其中，所述预生成回归模型是通过使用回归方法、基于在样本图像中标记的人体部件的特征点的当前位置周围提取的特征和在样本图像中标记的与所述检测到的物体对应的物体的特征点的当前位置周围提取的特征而生成的。

10.根据权利要求1所述的人体部件检测装置，其中，所述更新单元通过更新所述获取的所述检测到的物体的特征点来更新所述获取的所述人体部件的特征点；

其中，通过使用回归方法更新所述获取的所述检测到的物体的特征点。

11.根据权利要求10所述的人体部件检测装置，其中，通过如下操作更新所述获取的所述人体部件的特征点：

基于更新的所述检测到的物体的特征点的位置，调整所述获取的所述人体部件的特征点的当前位置；及

基于至少一个预生成回归模型和在所述人体部件的特征点的当前位置周围提取的特征，更新所述获取的所述人体部件的特征点的调整位置。

12.一种人体部件检测方法，所述人体部件检测方法包括：

检测步骤，用于从输入图像中检测与待检测人体部件相邻的物体；

获取步骤，用于基于检测到的物体，获取所述人体部件的特征点和所述检测到的物体的特征点，其中，所述获取的所述检测到的物体的特征点是基于样本图像中标记的与所述检测到的物体对应的物体的特征点而预生成的；及

更新步骤，用于使用回归方法通过至少更新获取的所述检测到的物体的特征点来更新获取的所述人体部件的特征点。

13.根据权利要求12所述的人体部件检测方法，其中，在所述更新步骤中，通过使用回归方法同时更新所述获取的所述人体部件的特征点和所述获取的所述检测到的物体的特征点，来更新所述获取的所述人体部件的特征点。

14.根据权利要求12所述的人体部件检测方法，其中，在所述更新步骤中，通过更新所述获取的所述检测到的物体的特征点，来更新所述获取的所述人体部件的特征点；

其中，通过使用回归方法更新所述获取的所述检测到的物体的特征点。

15.一种图像处理系统，所述图像处理系统包括：

获取设备，被构造为获取图像或视频；

根据权利要求1至权利要求11中的任一项所述的人体部件检测装置，被构造为在获取的图像或获取的视频中检测面部部件；以及

识别装置，被构造为从检测到的面部部件提取特征用于面部识别。