CN106407942A - 一种图像处理方法及其装置 - Google Patents

一种图像处理方法及其装置 Download PDF

Info

Publication number
CN106407942A
CN106407942A CN201610855033.3A CN201610855033A CN106407942A CN 106407942 A CN106407942 A CN 106407942A CN 201610855033 A CN201610855033 A CN 201610855033A CN 106407942 A CN106407942 A CN 106407942A
Authority
CN
China
Prior art keywords
head
image
attitude
head pose
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610855033.3A
Other languages
English (en)
Other versions
CN106407942B (zh
Inventor
晏栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Credit Co Ltd
Original Assignee
Tencent Credit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Credit Co Ltd filed Critical Tencent Credit Co Ltd
Priority to CN201610855033.3A priority Critical patent/CN106407942B/zh
Publication of CN106407942A publication Critical patent/CN106407942A/zh
Application granted granted Critical
Publication of CN106407942B publication Critical patent/CN106407942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法，包括：确定图像集；提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。本发明实施例还公开了一种图像处理装置。

Description

一种图像处理方法及其装置
技术领域
本发明涉及图像处理技术，尤其涉及一种图像处理方法及其装置。
背景技术
当前头部朝向估计方法大致分成两大类：第一类，基于模型方法；第二类，基于表观方法。其中，基于模型的头部朝向估计方法一般都是通过重建头部三维模型来判断头部朝向的，此类方法比较准确，但需要庞大的计算量，因此不适合实时计算；而基于表观的头部朝向估计方法有两种：一是基于特征表示的鲁棒性来估计头部朝向；二是基于人脸及头部的特征点来估计头部朝向；这里，基于特征表示鲁棒性的头部朝向估计方法是依靠某种特征对姿态变化不敏感的性质来完成人脸姿态的估计，估计的准确率严重依赖于特征表示的性质；基于人脸特征点的头部朝向估计方法是通过在图像上标注多个人脸的特征点并通过特征点之间的几何关系来判定头部朝向的，该方法估计的准确率依赖于特征点检测的准确率。通过上述过程可以看出，现有估计方法要么计算量庞大，不适合实时计算；要么过于依赖特征算子，导致不同训练集得到的结果的差异性较大。
发明内容
为解决现有存在的技术问题，本发明实施例提供了一种图像处理方法及其装置，能至少解决现有技术中存在的上述问题。
本发明实施例的技术方案是这样实现的：
本发明实施例第一方面提供了一种图像处理方法，包括：
确定图像集；所述图像集包含针对第一目标体的至少两个头部姿态中每一个头部姿态对应的第一图像；
提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；
根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；
其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。
本发明实施例第二方面提供了一种图像处理装置，包括：
采集单元，用于确定图像集；所述图像集包含针对第一目标体的至少两个头部姿态中每一个头部姿态对应的第一图像；
特征提取单元，用于提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；
图像处理单元，用于根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；
其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。
本发明实施例所述的图像处理方法及其装置，能够提取出图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征，并利用提取出的姿态特征确定出能够用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及利用提取出的局部特征确定出能够用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组，这样，为图像识别、身份识别等应用提供了应用基础；而且，由于本发明实施例所述的方法能够确定出两个模型，分别为姿态匹配模型组和头部识别模型组，而且，确定出的所述姿态匹配模型组中包含有针对不同头部姿态的姿态模型，确定出的头部识别模型组中包含有处于不同头部姿态下的头部模型，所以，能够实现有针对性识别的目的，即针对不同的头部姿态进行识别，为提升识别通过率奠定了基础，也丰富了识别方式。
附图说明
图1为本发明实施例一图像处理方法的流程示意图；
图2为本发明实施例图像集所包含的针对第一目标体不同头部姿态的第一图像的示意图；
图3为本发明实施例根据同一第一目标体的不同头部姿态确定出姿态匹配模型组的示意图；
图4为本发明实施例根据同一第一目标体的不同头部姿态确定出姿态匹配模型组的流程示意图；
图5为本发明实施例根据同一第一目标体的不同头部姿态确定出头部识别模型组的示意图；
图6为本发明实施例根据同一第一目标体的不同头部姿态确定出头部识别模型组的流程示意图；
图7为本发明实施例图像集所包含的针对第一目标体不同头部姿态的第一图像，以及针对第二目标体不同头部姿态的第二图像的示意图；
图8为本发明实施例根据不同目标体的同一头部姿态确定出姿态匹配模型组的示意图；
图9为本发明实施例根据不同目标体的同一头部姿态确定出姿态匹配模型组的流程示意图；
图10为本发明实施例根据不同目标体的同一头部姿态确定出头部识别模型组的示意图；
图11为本发明实施例根据不同目标体的同一头部姿态确定出头部识别模型组的流程示意图；
图12为本发明实施例利用姿态匹配模型组和头部识别模型组来进行人脸识别的方法的流程示意图；
图13为本发明实施例图像处理方法的具体应用的流程示意图；
图14为本发明实施例图像处理装置的逻辑单元的结构示意图；
图15为本发明实施例图像处理装置的硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
实施例一
本实施例提供了一种图像处理方法，所述方法应用于图像处理装置中；具体地，如图1所示，所述方法包括：
步骤101：确定图像集；所述图像集包含针对第一目标体的至少两个头部姿态中每一个头部姿态对应的第一图像；
具体地，图2为本发明实施例图像集所包含的针对第一目标体不同头部姿态的第一图像的示意图；如图2所示，所述图像集中包含有针对第一目标体的四个头部朝向的第一图像，分别为头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4。这里，在实际应用中，所述图像集中的元素是通过第一图像的向量表示的，例如，所述图像集包含的针对所述第一目标体的头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4均是通过向量来表示的。
步骤102：提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；
本实施例中，所述姿态特征可以具体为方向梯度直方图(Histogram of OrientedGradient，HOG)特征；所述局部特征可以具体为Gabor特征。当然，在实际应用中，所述姿态特征和所述局部特征还可以具体为其他算子，如所述姿态特征还可以具体为：Canny算子等；所述局部特征还可以具体为：局部二值模式(LBP，Local Binary Patterns)特征等，本实施例对此不作限制。
进一步地，本实施例以姿态特征为HOG特征，局部特征为Gabor特征为例，此时，步骤102具体为：提取出所述图像集中每一第一图像对应的头部姿态的HOG特征，以及提取出所述图像集中每一第一图像对应的头部姿态下头部细节的Gabor特征。具体地，以图像集包含有图2所示的四个图像为例，步骤102则为：分别提取出头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4的HOG特征以及Gabor特征。这里，所述HOG特征即可表征出所述第一图像的头部姿态；所述Gabor特征接口表征出所述第一图像处于自身对应的头部姿态下的头部细节(如面部细节等)特征。
步骤103：根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；
其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。
具体地，当所述姿态特征具体为HOG特征，所述局部特征具体为Gabor特征时，所述姿态模型即为针对于所述HOG特征的模型；而所述头部模型即为针对所述Gabor特征的模型，其中，每一头部姿态对应一个姿态模型和一个头部模型；进一步地，所述姿态匹配模型组则具体由对应不同头部姿态的针对所述HOG特征的姿态模型组成；而所述头部识别模型组则具体由对应不同头部姿态下的针对所述Gabor特征的头部模型组成。这里，继续以图像集包含有图2所示的四个图像为例，所述姿态匹配模型组中的姿态模型可以是根据同一第一目标体的不同头部姿态对应的HOG特征而确定出的；如图3所示，所述姿态匹配模型组则是由针对头部朝上的第一图像-1中第一目标体对应的HOG特征的姿态模型-1、针对头部朝下的第一图像-2中第一目标体对应的HOG特征的姿态模型-2、针对头部朝左的第一图像-3中第一目标体对应的HOG特征的姿态模型-3以及针对头部朝右的第一图像-4中第一目标体对应的HOG特征的姿态模型-4组成；具体地，如图4所示，针对于同一目标体(也即第一目标体)的不同头部姿态确定出姿态匹配模型组的步骤包括：确定包含有针对第一目标体的头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4；分别提取出头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4的HOG特征；根据提取出的第一图像-1对应的HOG特征、第一图像-2对应的HOG特征、第一图像-3对应的HOG特征以及第一图像-4对应的HOG特征，确定出针对头部朝上的第一目标体的姿态模型-1、针对头部朝下的第一目标体的姿态模型-2、针对头部朝左的第一目标体的姿态模型-3以及针对头部朝右的第一目标体的姿态模型-4，进而将所述姿态模型-1、姿态模型-2、姿态模型-3以及姿态模型-4组成姿态匹配模型组。
相应地，所述头部识别模型组中的头部模型也可以是根据同一第一目标体的不同头部姿态下的Gabor特征而确定出的；如图5所示，所述头部识别模型组则是由针对头部朝上的第一图像-1中第一目标体对应的Gabor特征的头部模型-1、针对头部朝下的第一图像-2中第一目标体对应的Gabor特征的头部模型-2、针对头部朝左的第一图像-3中第一目标体对应的Gabor特征的头部模型-3以及针对头部朝右的第一图像-4中第一目标体对应的Gabor特征的头部模型-4组成。具体地，如图6所示，针对于同一目标体(也即第一目标体)的不同头部姿态确定出头部识别模型组的步骤包括：确定包含有针对第一目标体的头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4；分别提取出头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3以及头部朝右的第一图像-4的Gabor特征；根据提取出的第一图像-1对应的Gabor特征、第一图像-2对应的Gabor特征、第一图像-3对应的Gabor特征以及第一图像-4对应的Gabor特征，确定出针对头部朝上的第一目标体的头部模型-1、针对头部朝下的第一目标体的头部模型-2、针对头部朝左的第一目标体的头部模型-3以及针对头部朝右的第一目标体的头部模型-4，进而将所述头部模型-1、头部模型-2、头部模型-3以及头部模型-4组成头部识别模型组。
这样，便于在图像识别过程(如人脸核验过程)中，利用所述姿态匹配模型组去检测待检测图像中检测对象的头部姿态，进而在确定出所述检测对象的头部姿态后，利用与确定出的头部姿态相对应的头部模型，去对所述检测对象进行核验，为提升通过率奠定了基础。
本实施例中，可以根据如下方式构建姿态匹配模型组(以下称为头部朝向识别模型)，例如，利用BP(Back Propagation)神经网络来构建头部朝向识别模型，或者利用LVQ(Learning Vector Quantization)神经网络来构建头部朝向识别模型；具体地，对人脸图像进行预处理，构建BP网络或LVQ网络，利用构建的BP网络或LVQ网络对预处理后的人脸图像进行训练，以提取出人脸朝向特征，进而得到人脸头部朝向识别模型。
本发明实施例所述的方法，能够提取出图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征，并利用提取出的姿态特征确定出能够用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及利用提取出的局部特征确定出能够用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组，这样，为图像识别、身份识别等应用提供了应用基础；而且，由于本发明实施例所述的方法能够确定出两个模型，分别为姿态匹配模型组和头部识别模型组，而且，确定出的所述姿态匹配模型组中包含有针对不同头部姿态的姿态模型，确定出的头部识别模型组中包含有处于不同头部姿态下的头部模型，所以，能够实现有针对性识别的目的，即针对不同的头部姿态进行识别，为提升识别通过率奠定了基础，也丰富了识别方式。
另外，利用本发明实施例所述的方法进行识别时，无需重建头部三维模型来判断朝向，只需利用已经建立的姿态匹配模型组来判断头部朝向，所以，与现有重建头部三维模型的方式相比，本发明实施例在保证准确率的基础上，降低了计算量，便于大规模应用。
而且，本发明实施例所述的方法建立出的姿态匹配模型组中包含有不同朝向的姿态模型，也就是说，在识别时，可以将检测对象与不同朝向的姿态模型去做匹配，进而根据匹配程度最高的姿态模型对应的朝向作为检测对象的朝向，所以，与现有基于表观方法，如仅提取特征对姿态变化不敏感的部分进行朝向估计，或通过选取人脸特征点来判断朝向的方式相比，利用本发明实施例建立的姿态匹配模型组去判断朝向的准确率更高。
实施例二
基于实施例一所述的方法，本实施例提供了一种基于相关滤波器技术来确定姿态匹配模型组和头部识别模型组的方法；这里，所述相关滤波器技术源于相关运算，所述相关运算是计算两种模型之间的相似程度的一种运算；例如，假设有两张图片R、T，在二维上将它们定义为两个模式，即R(x,y)和T(x,y)，两个模式之间的相关运算为：(T*R)(x,y)＝∫∫T(x,y)R(x-Γx,y-Γy)dΓxdΓy；将两个模式转化到频域上并将R(x,y)作为滤波器，则相关运算可认为是用R(x,y)滤波器对T(x,y)进行滤波，即为相关滤波器。由于相关滤波器具有时移不变性、良好的退化性和闭式解等优点，它已经有效地应用在了人脸识别上。
具体地，根据同一第一目标体的不同头部姿态对应的HOG特征确定出针对HOG特征的相关滤波器，即根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的姿态特征，确定出所述至少两个头部姿态之间的第一姿态相关特征(即根据相关滤波器确定出的相关特征)；基于所述第一姿态相关特征以及针对每一头部姿态对应的姿态特征，确定出针对每一头部姿态的第一姿态模型；至少利用针对每一头部姿态的第一姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。也就是说，在实际应用中，可以首先根据同一第一目标体在不同头部姿态下的HOG特征，确定出针对HOG特征的相关滤波器，也即第一姿态相关特征，进而再利用相关滤波器(即第一姿态相关特征)以及每一种头部姿态下的第一目标体的HOG特征确定出针对每一头部姿态的第一姿态模型，进而通过上述方法确定出不同头部姿态下的针对第一目标体HOG特征的第一姿态模型，以利用不同头部姿态下的针对第一目标体HOG特征的第一姿态模型组成姿态匹配模型组，此时，所述姿态匹配模型组是基于相关滤波器技术确定出的。例如，利用图4所示的四种朝向的第一目标体对应的HOG特征确定出相关滤波器，进而在利用确定出的相关滤波器确定出针对每种朝向的第一目标体HOG特征对应第一姿态模型，进而将不同朝向的第一目标体HOG特征对应第一姿态模型组合成姿态匹配模型组。当然，在实际应用中，可以利用第一目标体对应的所有头部姿态的HOG特征来确定第一姿态相关特征；还可以利用第一目标体对应的所有头部姿态中至少两个头部姿态的HOG特征来确定第一姿态相关特征，只要能够使确定出的第一姿态相关特征为相关特征即可。
相应地，根据同一第一目标体的不同头部姿态下的Gabor特征确定出针对Gabor特征的相关滤波器，即根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的局部特征，确定出所述至少两个头部姿态之间的第一局部相关特征(即根据相关滤波器确定出的相关特征)；基于所述第一局部相关特征以及针对每一头部姿态对应的局部特征，确定出针对每一头部姿态的第一头部模型；至少利用针对每一头部姿态的第一头部模型组成用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。也就是说，在实际应用中，可以首先根据同一第一目标体在不同头部姿态下的Gabor特征，确定出针对Gabor特征的相关滤波器，也即第一局部相关特征，进而再利用确定出的相关滤波器(也即第一局部相关特征)以及每一种头部姿态下的第一目标体的Gabor特征确定出针对每一头部姿态的第一头部模型，进而通过上述方法确定出不同头部姿态下的针对第一目标体Gabor特征的第一头部模型，以利用不同头部姿态下的针对第一目标体Gabor特征的第一头部模型组成头部识别模型组，此时，所述头部识别模型组是基于相关滤波器技术确定出的。例如，利用图6所示的四种朝向的第一目标体对应的Gabor特征确定出相关滤波器，进而在利用确定出的相关滤波器确定出针对每种朝向的第一目标体Gabor特征对应第一头部模型，进而将不同朝向的第一目标体Gabor特征对应第一头部模型组合成头部识别模型组。当然，在实际应用中，可以利用第一目标体对应的所有头部姿态的Gabor特征来确定第一局部相关特征；还可以利用第一目标体对应的所有头部姿态中至少两个头部姿态的Gabor特征来确定第一局部相关特征，只要能够使确定出的第一局部相关特征为相关特征即可。
这里，由于相关滤波器技术是通过提取样本的大部分表征特征作为评判标准的，能够利用相关滤波器技术确定出的姿态匹配模型组以及头部识别模型组能够在识别应用中具有很好的容错能力，而且，提升了健壮性。
实施例三
基于实施例一所述的方法，本实施例还提供了一种基于相关滤波器技术来确定姿态匹配模型组和头部识别模型组的方法。即根据不同目标体(以第一目标体和第二目标体为例)的同一头部姿态下的HOG特征以及Gabor特征分别确定出姿态匹配模型组以及头部识别模型组。
具体地，获取针对第二目标体对应的至少两个头部姿态中每一个头部姿态对应的姿态特征，以及头部姿态下头部细节的局部特征；根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征(此姿态特征即可是基于相关滤波器技术确定出的)，确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组；以及，根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
这里，所述图像集中还可以包含有针对第二目标体的至少两个头部姿态中每一个头部姿态对应的第二图像；具体地，图7为本发明实施例图像集所包含的针对第一目标体不同头部姿态的第一图像，以及针对第二目标体不同头部姿态的第二图像的示意图；如图7所示，所述图像集中包含有针对第一目标体的四个头部朝向的第一图像以及针对第二目标体的四个头部朝向的第二图像，分别为头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3和头部朝右的第一图像-4，以及头部朝上的第二图像-1、头部朝下的第二图像-2、头部朝左的第二图像-3和头部朝右的第二图像-4。当然，在实际应用中，所述图像集中的元素是通过第一图像和第二图像的向量表示的。进一步地，所述获取针对第二目标体对应的至少两个头部姿态中每一个头部姿态对应的姿态特征，以及头部姿态下头部细节的局部特征，可具体为：提取出每一第二图像对应的头部姿态的姿态特征，以及每一第二图像对应的头部姿态下头部细节的局部特征。当确定出针对第一目标体的不同头部姿态的姿态特征，以及针对第二目标体的不同头部姿态的姿态特征后，可以根据第一目标体和第二目标体同一头部姿态对应的姿态特征确定出该同一头部姿态下的姿态模型，进而根据不同头部姿态下的姿态模型组成姿态匹配模型组。相应地，当确定出针对第一目标体在不同头部姿态下的局部特征，以及针对第二目标体在不同头部姿态下的局部特征后，可以根据第一目标体和第二目标体在同一头部姿态下的局部特征确定出头部模型，进而根据不同头部姿态下的局部模型组成头部识别模型组。具体地，如图8所示，本实施例中所述姿态匹配模型组是由针对头部朝上的第一图像-1中第一目标体和头部朝上的第二图像-1中第二目标体对应的HOG特征的姿态模型-1、针对头部朝下的第一图像-2中第一目标体和头部朝下的第二图像-2中第二目标体对应的HOG特征的姿态模型-2、针对头部朝左的第一图像-3中第一目标体和头部朝左的第二图像-3中第二目标体对应的HOG特征的姿态模型-3，以及针对头部朝右的第一图像-4中第一目标体和头部朝右的第二图像-4中第二目标体对应的HOG特征的姿态模型-4组成。具体地，如图9所示，针对于不同目标体的同一头部姿态确定出姿态匹配模型组的步骤包括：确定针对第一目标体的头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3和头部朝右的第一图像-4；以及确定针对第二目标体的头部朝上的第二图像-1、头部朝下的第二图像-2、头部朝左的第二图像-3和头部朝右的第二图像-4；分别提取出头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3和头部朝右的第一图像-4的HOG特征，以及提取出头部朝上的第二图像-1、头部朝下的第二图像-2、头部朝左的第二图像-3和头部朝右的第二图像-4的HOG特征；根据提取出的第一图像-1对应的HOG特征以及第二图像-1对应的HOG特征，确定出头部朝上的姿态模型-1；根据提取出的第一图像-2对应的HOG特征以及第二图像-2对应的HOG特征，确定出头部朝下的姿态模型-2；以及根据提取出的第一图像-3对应的HOG特征以及第二图像-3对应的HOG特征，确定出头部朝左的姿态模型-3；以及根据提取出的第一图像-4对应的HOG特征以及第二图像-4对应的HOG特征，确定出头部朝右的姿态模型-4；进而将所述姿态模型-1、姿态模型-2、姿态模型-3以及姿态模型-4组成姿态匹配模型组。
相应地，如图10所示，所述头部识别模型组则是由针对头部朝上的第一图像-1中第一目标体和头部朝上的第二图像-1中第二目标体对应的Gabor特征的头部模型-1、针对头部朝下的第一图像-2中第一目标体和头部朝下的第二图像-2中第二目标体对应的Gabor特征的头部模型-2、针对头部朝左的第一图像-3中第一目标体和头部朝左的第二图像-3中第二目标体对应的Gabor特征的头部模型-3，以及针对头部朝右的第一图像-4中第一目标体和头部朝右的第二图像-4中第二目标体对应的Gabor特征的头部模型-4组成。具体地，如图11所示，针对于不同目标体的同一头部姿态确定出头部识别模型组的步骤包括：确定针对第一目标体的头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3和头部朝右的第一图像-4；以及确定针对第二目标体的头部朝上的第二图像-1、头部朝下的第二图像-2、头部朝左的第二图像-3和头部朝右的第二图像-4；分别提取出头部朝上的第一图像-1、头部朝下的第一图像-2、头部朝左的第一图像-3和头部朝右的第一图像-4的Gabor特征；以及提取出头部朝上的第二图像-1、头部朝下的第二图像-2、头部朝左的第二图像-3和头部朝右的第二图像-4的Gabor特征；根据提取出的第一图像-1对应的Gabor特征以及第二图像-1对应的Gabor，确定出头部朝上的头部模型-1；根据提取出的第一图像-2对应的Gabor特征以及第二图像-2对应的Gabor特征，确定出头部朝下的头部模型-2；根据提取出的第一图像-3对应的Gabor特征以及第二图像-3对应的Gabor特征，确定出头部朝左的头部模型-3；根据提取出的第一图像-4对应的Gabor特征以及第二图像-4对应的Gabor特征，确定出头部朝右的头部模型-4，进而将所述头部模型-1、头部模型-2、头部模型-3以及头部模型-4组成头部识别模型组。
这样，便于在图像识别过程(如人脸核验过程)中，利用所述姿态匹配模型组去检测待检测图像中检测对象的头部姿态，进而在确定出所述检测对象的头部姿态后，利用与确定出的头部姿态相对应的头部模型，去对所述检测对象进行核验，为提升通过率奠定了基础。
本实施例还可以根据不同目标体(以第一目标体和第二目标体为例)的同一头部姿态下的HOG特征确定出针对HOG特征的相关滤波器；即根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组，可以具体包括：根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出所述第一目标体和所述第二目标体之间的第二姿态相关特征；基于所述第二姿态相关特征以及针对每一头部姿态对应的第一目标体的姿态特征，确定出针对每一头部姿态对应的所述第一目标体的第二姿态模型；至少利用针对每一头部姿态对应的所述第一目标体的第二姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。也就是说，在实际应用中，可以首先根据不同目标体在同一头部姿态下的HOG特征，确定出针对HOG特征针对某一特定头部姿态的相关滤波器，也即第二姿态相关特征，进而再利用相关滤波器(即第二姿态相关特征)以及每一种头部姿态下的第一目标体的HOG特征确定出针对每一头部姿态下的第一目标体的第二姿态模型，进而通过上述方法确定出不同头部姿态下的针对第一目标体HOG特征的第二姿态模型，以利用不同头部姿态下的针对第一目标体HOG特征的第二姿态模型组成姿态匹配模型组，此时，所述姿态匹配模型组是基于相关滤波器技术确定出的。
相应地，根据不同目标体(以第一目标体和第二目标体为例)的同一头部姿态下的Gabor特征确定出针对Gabor特征的相关滤波器，即根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组，具体包括：根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出所述第一目标体和所述第二目标体之间的第二局部相关特征；基于所述第二局部相关特征以及针对每一头部姿态对应的第一目标体的局部特征，确定出针对每一头部姿态对应的所述第一目标体的第二头部模型；至少利用针对每一头部姿态对应的所述第一目标体的第二头部模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。也就是说，在实际应用中，可以首先根据不同目标体在同一头部姿态下的Gabor特征，确定出某一特定头部姿态下的针对Gabor特征的相关滤波器，也即第二局部相关特征，进而再利用确定出的相关滤波器(也即第二局部相关特征)以及每一种头部姿态下的第一目标体的Gabor特征确定出针对每一头部姿态的第二头部模型，进而通过上述方法确定出不同头部姿态下的针对第一目标体Gabor特征的第二头部模型，以利用不同头部姿态下的针对第一目标体Gabor特征的第二头部模型组成头部识别模型组，此时，所述头部识别模型组是基于相关滤波器技术确定出的。
这里，由于相关滤波器技术是通过提取样本的大部分表征特征作为评判标准的，能够利用相关滤波器技术确定出的姿态匹配模型组以及头部识别模型组能够在识别应用中具有很好的容错能力，而且，提升了健壮性。
总上所述，本发明实施例所述的方法首先对图像集中的图像分类，即分为头部朝上、头部朝下、头部朝左和头部朝右，并训练出不同朝向的图像中目标体的HOG特征，进而确定出对应于四种不同头部朝向的朝向估计滤波器组(也即以上所述的姿态匹配模型组)；进一步地，训练出不同朝向的图像中目标体的Gabor特征，进而确定出对应于四种不同头部朝向下人脸细节的识别滤波器组(也即以上所述的头部识别模型组)，进而为利用朝向估计滤波器组以及识别滤波器组进行人脸识别奠定了基础。即可以利用朝向估计滤波器组判定待检测图像中检测对象的头部朝向，进而选取与判定出的头部朝向相对应的识别滤波器组做识别，以提升识别通过率。
当然，在实际应用中，可以将实施例二和实施例三的确定姿态匹配模型组和头部识别模型组的过程相结合，也就是说，在确定姿态匹配模型组和头部识别模型组时，基于同一目标体的不同头部姿态、以及不同目标体的同一头部姿态确定姿态匹配模型组和头部识别模型组。
实施例四
将实施例一至实施例三任一项所述的方法，本实施例提供了一种利用姿态匹配模型组和头部识别模型组来进行人脸识别的方法；具体地，获取包含有检测对象的所述待检测图像；确定所述检测对象为所述第一目标体时，利用所述姿态匹配模型组对所述检测对象的头部姿态进行识别，得到识别结果；所述识别结果表征所述检测对象处于所述至少两个头部姿态所对应的第一姿态；从所述头部识别模型组中，选取出与所述第一姿态相对应的目标头部模型；利用所述目标头部模型对所述检测对象的头部细节进行识别，以便于确定出所述检测对象的身份。
在实际应用中，当所述图像集中包含有多个目标体对应的图像时，且存在与多个目标体对应的姿态匹配模型组和头部识别模型组时，所述确定所述检测对象为所述第一目标体可以具体为：确定在所述图像集对应的多个目标体中存在所述检测对象，且确定所述检测对象为所述第一目标体。
图12为本发明实施例利用姿态匹配模型组和头部识别模型组来进行人脸识别的方法的流程示意图；如图12所示，确定出检测对象，且确定检测对象为所述图像集所对应的目标体时(这里，假设图像集中也包含有所述第二目标体对应的第二图像，且第二目标体对应有姿态匹配模型组和头部识别模型组)，即确定出所述检测对象为所述第二目标体时，获取所述第二目标体对应的姿态匹配模型组，这里，所述姿态匹配模型组中包含有所述第二目标体对应的四种头部姿态分别对应的姿态模型-1、姿态模型-2、姿态模型-3以及姿态模型-4；将所述检测对象与所述姿态匹配模型组中包含的四种头部姿态对应的姿态模型进行匹配，进而确定出匹配程度最高的姿态模型-2，则姿态模型-2对应的头部朝向即为检测对象的头部朝向；进一步地，从头部识别模型组中选取出与确定出的检测对象的头部朝向相对应的头部模型，即从头部识别模型组中包含的针对四种头部朝向的头部模型-1、头部模型-2、头部模型-3以及头部模型-4中选取出与检测对象的头部朝向相同的头部模型-2，进而利用头部模型-2对所述检测对象进行识别，得到识别结果。这里，由于上述识别过程是先确定检测对象的头部姿态，然后基于检测对象的头部姿态，选取出与头部姿态匹配的头部模型，进而利用头部模型对所述检测对象进行识别，所以，本实施例所述的检测过程更具有针对性，识别通过率更高。当然，在实际应用中，当确定出检测对象的头部姿态后，且选取出与头部姿态匹配的头部模型后，可以在检测对象中仅提取出表征该朝向特征的部分人脸区域去做匹配即可，所以，利用本发明实施例所述的姿态匹配模型组和头部识别模型组进行人脸识别时，不仅能够提高识别通过率，还能够提高识别效率，减小识别运算量。
实施例五
本实施例提供了一种以上所述的图像处理方法的具体应用过程；这里，近几十年，相关滤波器技术发展迅速。Mahalanobis等人提出了最小平均相关能量滤波器(MACE，Minimum Average Correlation Energy filter)。Kumar等人提出了最小方差合成鉴别函数滤波器(MVSDF，Minimum Variance Synthetic Discriminant Function filter)。Refregier则综合了MACE和MVSDF的优点提出了最优折中滤波器(OTF，Optimal TradeoffFilter)。而且，相关滤波器在计算机视觉领域有许多的应用，如Venkataramani等人提出用相关滤波器在门禁系统中做指纹识别。(Venkataramani，K.，Vijaya Kumar，B.V.K.:Performance of Composite Correlation Filters for FingerprintVerification.J.Opt.Engineering，Vol.24(8)：1820--1827，(2004).)Henning等人提出用相关滤波器处理掌纹信息(Hennings，P.，Vijaya Kumar，B.V.K.：Palmprint RecognitionUsing Correlation Filter Classifiers.In:Proc.Signals，Systems And ComputersVol.1，pp.567--571(2004).)。Chong等人则运用相关滤波器做虹膜识别(Chong，S.C.，Jin，A.T.B，Ling，D.N.C.：Iris Authentication Using Privatized Advanced CorrelationFilter.LNCS，3832，pp.382--388，Springer-Verlag，(2006)。
以下给出了本发明实施例利用最小平均相关能量滤波器和最小方差合成鉴别函数滤波器(MVSDF)计算出最优折中滤波器(OTF)，进而基于四种不同朝向的分别针对HOG特征和Gabor特征的最优折中滤波器(OTF)组成相关滤波器组的方法；其中，所述相关滤波器组包括：针对HOG特征的朝向估计滤波器组，以及针对Gabor特征的识别滤波器组。
以下参照图13对上述步骤做详细说明；包括：
步骤A：准备训练图像集{x1,x2,…,xN}，其中xi(i＝1,2,…,N)表示第i个训练图像的向量，N为训练样本总数，将所有训练图像对应的向量按列组合作为训练集。训练集中包含四种头部朝向，分别为头部朝上、头部朝下、头部朝左以及头部朝右；每类朝向选取相同的人脸，也即所述训练图像集中同一目标体的人脸包括四种朝向；进一步地，基于头部朝向对训练图像集进行分类，得到与四种不同朝向对应的四种训练子集。
具体地，在实际应用中可以从人脸数据库中选取包括四种头部朝向的图像以组成训练图像集，所述四种朝向分别为头部朝上、头部朝下、头部朝左以及头部朝右；其中，所述训练图像集对应的图像中同一目标体的人脸朝向包括以上所述的四种；而且，所述训练图像集中包括根据头部朝向(也即人脸朝向)分类后的四种训练子集，即每个训练子集中的头部朝向均相同，不同训练子集中的头部朝向不同。
步骤B：提取训练图像集中每个训练图像的HOG特征和Gabor特征；分别对提取的HOG特征和Gabor特征进行主成份分析(PCA)，得到分别针对HOG特征和Gabor特征的投影矩阵，并利用得到的投影矩阵对HOG特征和Gabor特征进行特征降维。
这里，对HOG特征和Gabor特征进行主成份分析得到投影矩阵并降维的步骤可以具体为：
步骤B1：计算每个训练子集的平均脸。其计算方法如下：提取训练子集中训练图像的HOG特征和Gabor特征，然后以矩阵的形式表示每个训练子集对应的HOG特征和Gabor特征，将训练子集针对HOG特征或Gabor特征的向量，按列数据相加除以列总数的方式进行处理，将处理后得到的向量作为针对HOG特征或Gabor特征的平均脸。
步骤B2：基于针对HOG特征或Gabor特征的平均脸，计算每个训练子集的针对HOG特征和Gabor特征的总体散布矩阵，即总体散布矩阵其中μ为训练数据集的平均脸，xk为训练子集中第k个训练图像的向量化表示。
步骤B3：按照投影能够最大化的准则计算针对HOG特征的投影矩阵WHOG和针对Gabor特征的投影矩阵WGabor。其计算方法如下：对每个训练子集的分别基于HOG特征或Gabor特征的总体散布矩阵进行奇异值分解，得到特征向量和相应的特征值后，保留特征值能量为95％对应的特征向量组成针对训练子集的基于HOG特征或Gabor特征的投影矩阵。
步骤B4：利用训练子集对应的投影矩阵WHOG对训练子集对应的HOG特征进行降维，以及利用训练子集对应的投影矩阵WGabor对训练子集对应的Gabor特征进行降维，从而得到降维后的针对训练子集的HOG特征和Gabor特征。其计算方法如下：和其中表征HOG特征，表示Gabor特征，T表示转置运算。
步骤C：利用降维后得到的HOG特征和Gabor特征训练四个最优折中滤波器(OTF)，以组成包含对应四种朝向的相关滤波器组。这里，最优折中滤波器OTF的表达式计算如下：FOTF＝T-1Y(Y+T-1Y)-1c，其中T是MVSDF和MACE的加权和，Y是HOG特征和Gabor特征的频域表示，c是对训练图像的限定值。
这里，所述步骤C具体包括：
步骤C1：对降维后的每个训练子集对应的HOG特征和Gabor特征进行傅里叶变换使HOG特征和Gabor特征从空域转化为频域；
步骤C2：利用频域表示针对每个训练子集的HOG特征和Gabor特征训练得到最小平均相关能量滤波器(MACE)，记为FMACE。其具体的计算形式为：FMACE＝Q-1Y(Y+Q-1Y)-1c，其中Y是训练数据在频域上的表示；Q一个对角矩阵，它对角线上的值是N个训练样本的平均功率谱；c是一个N×1的向量，且第i列对应的位置为1，其余为0。
步骤C3：利用频域表示针对每个训练子集的HOG特征和Gabor特征训练得到最小方差合成鉴别函数滤波器(MVSDF)，记为FMVSDF。其具体的计算形式为：FMVSDF＝G-1Y(Y+G-1Y)-1c，其中G为训练图像的噪声矩阵，这里，在实际应用中，可以采用白噪声模拟图像噪声。
步骤C4：根据C2和C3计算得到最优折中滤波器(OTF)，记为FOTF；具体的计算形式为：FOTF＝T-1Y(Y+T-1Y)-1c，其中T＝αQ+(1-α)G，α为权重参数，大于等于0小于等于1)，在实际应用中，可以根据训练图像集来设置α的值，例如可以根据实际训练结果来调整α的值，进而根据训练结果来确定出α的最优值；本实施例可以将α设置为0.6。
步骤C5：利用不同头部朝向的训练子集重复C1至C4得到针对每个朝向的OTF，进而将四个朝向的OTF组成对应HOG特征和Gabor特征的相关滤波器组。这里，HOG特征对应的相关滤波器组即为朝向估计滤波器组，用于估计检测对象的头部朝向；Gabor特征对应的相关滤波器组即为识别滤波器组，用于针对不同头部朝向下的人脸进行识别。
步骤D：获取测试图像，提取测试图像中检测对象的HOG特征，并利用投影矩阵对所述测试图像的HOG特征进行特征降维。
具体地，计算测试图像中检测图像的HOG特征xH，利用步骤B3得到的针对不同头部朝向的投影矩阵WHOG对xH进行特征降维。其计算方法如下：其中T表示转置运算。
步骤E：将测试图像降维得到的HOG特征送入包含四种头部朝向的朝向估计滤波器组进行特征提取，计算出降维得到的HOG特征与包含有四种朝向的朝向估计滤波器组的欧式距离，选取距离最小对应的相关滤波器组的朝向作为测试图像的朝向。
步骤F：根据朝向检测结果，提取与确定出的朝向对应的部分人脸图像(这里，所述部分人脸图像可以具体为能够代表该朝向下的部分人脸图像)的Gabor特征，并利用针对确定出的头部朝向的投影矩阵对得到的Gabor特征进行特征降维。
具体地，提取人脸图像的Gabor特征xG，利用针对确定出的头部朝向的Gabor特征对应的投影矩阵WGabor对Gabor特征进行降维。其计算方法如下：其中T表示转置运算。
步骤G：将降维得到的Gabor特征送入对应的识别滤波器组进行滤波处理，进而基于最近邻方法对处理结果进行分类，该分类结果即为最终人脸识别结果。
这样，利用相关滤波器技术训练得到用于判断头部朝向的朝向估计滤波器组，以及用于在头部朝向下进行人脸识别的识别滤波器组，这里，由于相关滤波器技术是通过提取样本的大部分表征特征作为评判标准的，所以，能够增加本实施例训练得到的朝向估计滤波器组以及识别滤波器组的容错能力，提高健壮性。而且，由于本实施例利用了相关滤波器技术，所以能够避免现有技术过于依赖特征算子导致不同训练集得到的结果差异较大的问题。
实施例六
本实施例提供了一种图像处理装置，如图14所示，所述装置包括：
采集单元1401，用于确定图像集；所述图像集包含针对第一目标体的至少两个头部姿态中每一个头部姿态对应的第一图像；
特征提取单元1402，用于提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；
图像处理单元1403，用于根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；
其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。
在一实施例中，所述图像处理单元1403，还用于：
根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的姿态特征，确定出所述至少两个头部姿态之间的第一姿态相关特征；
基于所述第一姿态相关特征以及针对每一头部姿态对应的姿态特征，确定出针对每一头部姿态的第一姿态模型；
至少利用针对每一头部姿态的第一姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
在另一实施例中，所述图像处理单元1403，还用于：
根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的局部特征，确定出所述至少两个头部姿态之间的第一局部相关特征；
基于所述第一局部相关特征以及针对每一头部姿态对应的局部特征，确定出针对每一头部姿态的第一头部模型；
至少利用针对每一头部姿态的第一头部模型组成用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
在一实施例中，所述特征提取单元1402，还用于获取针对第二目标体对应的至少两个头部姿态中每一个头部姿态对应的姿态特征，以及头部姿态下头部细节的局部特征；
对应地，所述图像处理单元1403，还用于根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组；以及，根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
在另一实施例中，所述图像处理单元1403，还用于：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出所述第一目标体和所述第二目标体之间的第二姿态相关特征；
基于所述第二姿态相关特征以及针对每一头部姿态对应的第一目标体的姿态特征，确定出针对每一头部姿态对应的所述第一目标体的第二姿态模型；
至少利用针对每一头部姿态对应的所述第一目标体的第二姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
在另一实施例中，所述图像处理单元1403，还用于：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出所述第一目标体和所述第二目标体之间的第二局部相关特征；
基于所述第二局部相关特征以及针对每一头部姿态对应的第一目标体的局部特征，确定出针对每一头部姿态对应的所述第一目标体的第二头部模型；
至少利用针对每一头部姿态对应的所述第一目标体的第二头部模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
在另一实施例中，所述采集单元1401，用于获取包含有检测对象的所述待检测图像；
所述图像处理单元1403，还用于确定所述检测对象为所述第一目标体时，利用所述姿态匹配模型组对所述检测对象的头部姿态进行识别，得到识别结果；所述识别结果表征所述检测对象处于所述至少两个头部姿态所对应的第一姿态；还用于从所述头部识别模型组中，选取出与所述第一姿态相对应的第一头部模型；利用所述第一头部模型对所述检测对象的头部细节进行识别，以便于确定出所述检测对象的身份。
这里需要指出的是：以上装置实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
本实施例基于上述装置实施例提供一个具体的硬件，如图15所示，所述装置包括处理器1501、存储介质1502以及至少一个外部通信接口1503；所述处理器1501、存储介质1502以及外部通信接口1503均通过总线1504连接。所述处理器1501可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码，所述计算机可执行代码能够执行以上任一实施例所述的图像处理方法。在实际应用中，所述采集单元1401、特征提取单元1402以及图像处理单元1403均可以通过所述处理器1501实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
确定图像集；所述图像集包含针对第一目标体的至少两个头部姿态中每一个头部姿态对应的第一图像；
提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；
根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；
其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组，包括：
根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的姿态特征，确定出所述至少两个头部姿态之间的第一姿态相关特征；
基于所述第一姿态相关特征以及针对每一头部姿态对应的姿态特征，确定出针对每一头部姿态的第一姿态模型；
至少利用针对每一头部姿态的第一姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组，包括：
根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的局部特征，确定出所述至少两个头部姿态之间的第一局部相关特征；
基于所述第一局部相关特征以及针对每一头部姿态对应的局部特征，确定出针对每一头部姿态的第一头部模型；
至少利用针对每一头部姿态的第一头部模型组成用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取针对第二目标体对应的至少两个头部姿态中每一个头部姿态对应的姿态特征，以及头部姿态下头部细节的局部特征；
对应地，所述根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组，包括：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组；以及，
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
5.根据权利要求4所述的方法，其特征在于，所述根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组，包括：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出所述第一目标体和所述第二目标体之间的第二姿态相关特征；
基于所述第二姿态相关特征以及针对每一头部姿态对应的第一目标体的姿态特征，确定出针对每一头部姿态对应的所述第一目标体的第二姿态模型；
至少利用针对每一头部姿态对应的所述第一目标体的第二姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
6.根据权利要求4或5所述的方法，其特征在于，所述根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组，包括：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出所述第一目标体和所述第二目标体之间的第二局部相关特征；
基于所述第二局部相关特征以及针对每一头部姿态对应的第一目标体的局部特征，确定出针对每一头部姿态对应的所述第一目标体的第二头部模型；
至少利用针对每一头部姿态对应的所述第一目标体的第二头部模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取包含有检测对象的所述待检测图像；
确定所述检测对象为所述第一目标体时，利用所述姿态匹配模型组对所述检测对象的头部姿态进行识别，得到识别结果；所述识别结果表征所述检测对象处于所述至少两个头部姿态所对应的第一姿态；
从所述头部识别模型组中，选取出与所述第一姿态相对应的目标头部模型；
利用所述目标头部模型对所述检测对象的头部细节进行识别，以便于确定出所述检测对象的身份。
8.一种图像处理装置，其特征在于，所述装置包括：
采集单元，用于确定图像集；所述图像集包含针对第一目标体的至少两个头部姿态中每一个头部姿态对应的第一图像；
特征提取单元，用于提取出所述图像集中每一第一图像对应的头部姿态的姿态特征，以及每一第一图像对应的头部姿态下头部细节的局部特征；
图像处理单元，用于根据所述图像集中第一图像的姿态特征确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组、以及根据所述图像集中第一图像的局部特征确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组；
其中，所述姿态匹配模型组中包括有针对所述第一目标体的至少两个头部姿态的姿态模型；所述头部识别模型组中包括有针对所述第一目标体的至少两个头部姿态下头部细节的头部模型。
9.根据权利要求8所述的图像处理装置，其特征在于，所述图像处理单元，还用于：
根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的姿态特征，确定出所述至少两个头部姿态之间的第一姿态相关特征；
基于所述第一姿态相关特征以及针对每一头部姿态对应的姿态特征，确定出针对每一头部姿态的第一姿态模型；
至少利用针对每一头部姿态的第一姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
10.根据权利要求8或9所述的图像处理装置，其特征在于，所述图像处理单元，还用于：
根据所述图像集中针对所述至少两个头部姿态中每一个头部姿态的局部特征，确定出所述至少两个头部姿态之间的第一局部相关特征；
基于所述第一局部相关特征以及针对每一头部姿态对应的局部特征，确定出针对每一头部姿态的第一头部模型；
至少利用针对每一头部姿态的第一头部模型组成用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
11.根据权利要求8所述的图像处理装置，其特征在于，所述特征提取单元，还用于获取针对第二目标体对应的至少两个头部姿态中每一个头部姿态对应的姿态特征，以及头部姿态下头部细节的局部特征；
对应地，所述图像处理单元，还用于根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组；以及，根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出用于识别所述待检测图像中检测对象所处头部姿态下的头部细节的头部识别模型组。
12.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理单元，还用于：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的姿态特征，确定出所述第一目标体和所述第二目标体之间的第二姿态相关特征；
基于所述第二姿态相关特征以及针对每一头部姿态对应的第一目标体的姿态特征，确定出针对每一头部姿态对应的所述第一目标体的第二姿态模型；
至少利用针对每一头部姿态对应的所述第一目标体的第二姿态模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
13.根据权利要求11或12所述的图像处理装置，其特征在于，所述图像处理单元，还用于：
根据针对每一头部姿态对应的所述第一目标体和所述第二目标体的局部特征，确定出所述第一目标体和所述第二目标体之间的第二局部相关特征；
基于所述第二局部相关特征以及针对每一头部姿态对应的第一目标体的局部特征，确定出针对每一头部姿态对应的所述第一目标体的第二头部模型；
至少利用针对每一头部姿态对应的所述第一目标体的第二头部模型组成用于识别待检测图像中检测对象的头部姿态的姿态匹配模型组。
14.根据权利要求8所述的图像处理装置，其特征在于，
所述采集单元，用于获取包含有检测对象的所述待检测图像；
所述图像处理单元，还用于确定所述检测对象为所述第一目标体时，利用所述姿态匹配模型组对所述检测对象的头部姿态进行识别，得到识别结果；所述识别结果表征所述检测对象处于所述至少两个头部姿态所对应的第一姿态；还用于从所述头部识别模型组中，选取出与所述第一姿态相对应的目标头部模型；利用所述目标头部模型对所述检测对象的头部细节进行识别，以便于确定出所述检测对象的身份。
CN201610855033.3A 2016-09-27 2016-09-27 一种图像处理方法及其装置 Active CN106407942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610855033.3A CN106407942B (zh) 2016-09-27 2016-09-27 一种图像处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610855033.3A CN106407942B (zh) 2016-09-27 2016-09-27 一种图像处理方法及其装置

Publications (2)

Publication Number Publication Date
CN106407942A true CN106407942A (zh) 2017-02-15
CN106407942B CN106407942B (zh) 2020-04-28

Family

ID=57997925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610855033.3A Active CN106407942B (zh) 2016-09-27 2016-09-27 一种图像处理方法及其装置

Country Status (1)

Country Link
CN (1) CN106407942B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764123A (zh) * 2018-05-25 2018-11-06 暨南大学 基于神经网络算法的智能识别人体睡眠姿势方法
CN108875519A (zh) * 2017-12-19 2018-11-23 北京旷视科技有限公司 对象检测方法、装置和系统及存储介质
CN108921811A (zh) * 2018-04-03 2018-11-30 阿里巴巴集团控股有限公司 检测物品损伤的方法和装置、物品损伤检测器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101515324A (zh) * 2009-01-21 2009-08-26 上海银晨智能识别科技有限公司 适用于多种姿态的人脸识别布控系统及方法
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN103268497A (zh) * 2013-06-18 2013-08-28 厦门大学 一种人脸姿态检测方法与在人脸识别中的应用
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101515324A (zh) * 2009-01-21 2009-08-26 上海银晨智能识别科技有限公司 适用于多种姿态的人脸识别布控系统及方法
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN103268497A (zh) * 2013-06-18 2013-08-28 厦门大学 一种人脸姿态检测方法与在人脸识别中的应用
CN103605466A (zh) * 2013-10-29 2014-02-26 四川长虹电器股份有限公司 一种基于面部识别操控终端的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875519A (zh) * 2017-12-19 2018-11-23 北京旷视科技有限公司 对象检测方法、装置和系统及存储介质
CN108921811A (zh) * 2018-04-03 2018-11-30 阿里巴巴集团控股有限公司 检测物品损伤的方法和装置、物品损伤检测器
US10929717B2 (en) 2018-04-03 2021-02-23 Advanced New Technologies Co., Ltd. Article damage detection
CN108764123A (zh) * 2018-05-25 2018-11-06 暨南大学 基于神经网络算法的智能识别人体睡眠姿势方法

Also Published As

Publication number Publication date
CN106407942B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
Wang et al. Action recognition with trajectory-pooled deep-convolutional descriptors
Sarfraz et al. Head Pose Estimation in Face Recognition Across Pose Scenarios.
Amberg et al. Expression invariant 3D face recognition with a morphable model
CN100397410C (zh) 基于视频的面部表情识别方法及装置
CN103268497B (zh) 一种人脸姿态检测方法与在人脸识别中的应用
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
Chen et al. Fisher vector encoded deep convolutional features for unconstrained face verification
Grundmann et al. 3D shape context and distance transform for action recognition
CN104598890A (zh) 一种基于rgb-d视频的人体行为识别方法
CN105320950A (zh) 一种视频人脸活体检测方法
CN103942577A (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN108280421B (zh) 基于多特征深度运动图的人体行为识别方法
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
CN104281572A (zh) 一种基于互信息的目标匹配方法及其系统
CN106407942A (zh) 一种图像处理方法及其装置
Li et al. Feature pyramid attention model and multi-label focal loss for pedestrian attribute recognition
Ballan et al. Recognizing human actions by fusing spatio-temporal appearance and motion descriptors
Zheng et al. Vlad encoded deep convolutional features for unconstrained face verification
Zhao et al. Learning saliency features for face detection and recognition using multi-task network
Leibe et al. Interleaving object categorization and segmentation
Li et al. Face liveness detection based on parallel CNN
Pimenov Fast image matching with visual attention and SURF descriptors
Patil et al. Improving the efficiency of image and video forgery detection using hybrid convolutional neural networks
Anila et al. Global and local classifiers for face recognition
Ali et al. Recognition of human action and identification based on SIFT and watermark

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant