CN106295620A - 发型识别方法及发型识别装置 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种发型识别方法及发型识别装置。本发明中，一种发型识别方法包括：选定N项图像特征，对每项图像特征预设发型分类模型，所述N为自然数；分别提取待识别图像的所述N项图像特征的数据，所述待识别图像为包含人脸的待识别图像；对每项图像特征提取到的数据，利用与图像特征对应的发型分类模型判别，获得N个所述待识别图像的发型分类结果；利用N个所述发型分类结果，确定所述待识别图像的发型。通过本发明提供的发型识别方法及发型识别装置，解决了因头发检测准确度低而导致的发型识别失败率高的问题。

Description

发型识别方法及发型识别装置

技术领域

本发明涉及图像处理领域，特别涉及一种发型的识别方法及发型识别装置。

背景技术

随着人脸检测，图像识别技术的发展，基于图像的发型识别在人机交互，娱乐互动，美颜自拍等功能中受到广泛的应用。

现有技术中实现图像的发型识别，主要基于头发检测的基础进行识别工作。但是，发明人发现现有技术中至少存在如下问题：虽然基于头发检测可以进行发型识别，但是由于头发检测出率低，造成发型检测的准确度较低，难以实现对发型的良好识别，这就导致发型识别失败率高。

发明内容

本发明实施方式的目的在于提供一种发型识别方法及发型识别装置，使得在图像中人物所处场景复杂，头发检测不准确的情况下，仍然可以准确识别出图像中的发型，大大提高了发型的识别度与准确度，并且具有良好的鲁棒性。

为解决上述技术问题，本发明的实施方式提供了一种发型识别方法，包括：选定N项图像特征，对每项图像特征预设发型分类模型，所述N为自然数；分别提取待识别图像的所述N项图像特征的数据，所述待识别图像为包含人脸的待识别图像；对每项图像特征提取到的数据，利用与图像特征对应的发型分类模型判别，获得N个所述待识别图像的发型分类结果；利用N个所述发型分类结果，确定所述待识别图像的发型。

本发明的实施方式还提供了一种发型识别装置，包括：预设模块，用于选定N项图像特征，对每项图像特征预设发型分类模型，所述N为自然数；提取模块，用于分别提取待识别图像的所述N项图像特征的数据，所述待识别图像为包含人脸的待识别图像；分类模块，用于对每项图像特征提取到的数据，利用与该图像特征对应的发型分类模型判别，获得N个所述待识别图像的发型分类结果；识别模块，用于利用N个所述发型分类结果，确定所述待识别图像的发型。

本发明实施方式相对于现有技术而言，在发型识别时，根据选定的多种图像特征，对待识别图像进行多重识别，然后利用多个识别结果判断待识别图像中的发型。通过利用多个识别结果判断待识别图像中的发型，有效降低了发型识别过程中对人脸姿态变化的敏感度，大大提高了待识别图像中发型的识别度，并且具有良好的鲁棒性。

另外，图像特征至少包括：深度卷积特征、纹理特征、几何不变矩特征、颜色特征或空间关系特征。通过根据多种形式的图像特征，并为每种特征预设一种发型分类模型，可以在发型识别过程中得到多个识别结果，增加了发型识别的准确性。

另外，分别提取待识别图像的所述N项图像特征的数据之前，还包括：对所述待识别图像进行人脸识别，获得所述待识别图像中的人脸，定位所述人脸的关键点；利用所述关键点的位置矫正所述待识别图像；所述分别提取待识别图像的所述N项图像特征的数据中，所述待识别图像为矫正后的所述待识别图像。通过将待识别图像进行矫正，增加了待识别图像中人脸和发型的可识别度。

另外，利用关键点的位置矫正所述待识别图像中，具体包括：利用所述关键点旋转所述待识别图像，和/或利用所述关键点形变所述待识别图像。通过采用SDM(SecurityDevice Manager有监督下降算法)方法进行人脸关键点的定位，对人脸图像进行几何变换，使两只眼睛在同一水平线上，从而达到矫正图像的作用。

另外，利用N个发型分类结果，确定所述待识别图像的发型中，利用证据理论方法，融合所述N个发型分类结果，确定所述待识别图像的发型。通过利用证据理论方法将多种分类结果进行融合，使得最终得到的发型识别结果更加准确。

附图说明

图1是本发明第一实施方式一种发型识别方法的流程图；

图2是本发明第二实施方式一种发型识别方法的流程图；

图3是本发明第三实施方式一种发型识别方法的流程图；

图4是本发明第三实施方式一种发型识别方法中人脸检测的示意图；

图5是本发明第三实施方式一种发型识别方法中人脸关键点定位的示意图；

图6是本发明第四实施方式一种发型识别装置的结构框图；

图7是本发明第五实施方式一种发型识别装置的结构框图；

图8是本发明第六实施方式的用户终端实际装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种发型的识别方法，具体操作流程如图1所示。

在步骤101中，选定3项图像特征，并预设发型分类模型。

具体的说，在实现本实施方式的过程中，需要为选定的3项图像特征，分别预设发型分类模型。

需要说明的是，在实际应用中，选定的图像特征个数不局限于3个，可以为多个。

在步骤102中，分别提取待识别图像的3项图像特征的数据。

具体的说，本实施方式中的待识别图像为包含人脸的待识别图像。

在步骤103中，获得3个待识别图像的发型分类结果。

具体的说，获得3个待识别图像的发型分类结果，首先需要提取每项图像特征的数据；然后，利用与图像特征对应的发型分类模型进行判别；最后才可以获得3个待识别图像的发型分类结果。

在步骤104中，利用3个发型分类结果，确定待识别图像的发型。

本实施方式在发型识别时，根据选定的多种图像特征，对待识别图像进行多重识别，然后利用多个识别结果判断待识别图像中的发型。通过利用多个识别结果判断待识别图像中的发型，有效降低了发型识别过程中对人脸姿态变化的敏感度，大大提高了待识别图像中发型的识别度，并且具有良好的鲁棒性。

本发明的第二实施方式涉及一种发型识别方法，本实施方式为第一实施方式的优化，利用分类学习法获得各图像特征的发型分类模型，并利用证据理论将得到的多个识别结果进行融合，使得对待识别图像中的发型识别更加准确，具体操作流程如图2所示。

在步骤201中，选定3项图像特征，并利用分类学习算法预设发型分类模型。

具体的说，在实现本实施方式的过程中，为选定的3项图像特征分别预设发型分类模型中，具体包括：

首先，预设包括M个发型图像的样本库，其中，M为大于2的自然数；

然后，提取样本库中的各发型图像的第一图像特征的数据，获得M个第一图像特征的数据；其中，第一图像特征为当前待设发型分类模型的一项图像特征；

最后，利用分类学习算法，对M个第一图像特征的数据进行训练，获得对应第一图像特征的发型分类模型。

比如说，预设的样本库包括5个发型图像，将深度卷积特征作为5个图像的第一图像特征，然后基于深度卷积特征的SVM(Support Vector Machine，支持向量机)分类学习算法对这5个发型图像的第一图像特征数据进行训练，最终获得与第一图像特征对应的发型分类模型；

或者，可以将纹理特征作为第一图像特征，即一种可以用来描述图像局部纹理的特征，然后基于纹理特征的SVM分类学习算法进行训练，得到相应的发型分类模型；

或者，可以将几何不变矩阵特征，也可以称为HU矩阵特征作为第一图像特征，然后基于几何不变矩阵的SVM分类学习算法进行训练，得到相应的发型分类模型。

需要说明的是，本实施方式中，图像特征可以为：深度卷积特征、纹理特征、几何不变矩特征，在实际应用中选定的图像特征不局限于这3项，还可以为颜色特征、空间关系特征等多种图像特征，在此不再一一列举；并且在提取样本库中的各发型图像的第一图像特征的数据中，发型图像为经过矫正的发型图像。

在步骤202中，分别提取待识别图像的3项图像特征的数据。

在步骤203中，获得3个待识别图像的发型分类结果。

由于图2中的步骤202和步骤203与图1中的步骤102和步骤103完全一样，旨在获取待识别图像中的图像特征与发型分类模型进行判别，然后得到发型分类结果，这里不再赘述。

在步骤204中，利用证据理论方法将3个发型分类结果进行融合，确定待识别图像的发型。

具体的说，本实施方式中采用的证据理论是Dempster于1967年首先提出，由他的学生Shafer于1976年进一步发展起来，因此也称为DS证据理论。在DS证据理论中，由互不相容的基本命题(假定)组成的完备集合称为识别框架，表示对某一问题的所有可能答案，但其中只有一个答案是正确的。该框架的子集称为命题，分配给各命题的信任程度称为基本概率分配(BPA，也称m函数)，m(A)为基本可信数，反映着对A的信度大小。信任函数Bel(A)表示对命题A的信任程度，似然函数Pl(A)表示对命题A非假的信任程度，也即对A似乎可能成立的不确定性度量，实际上，[Bel(A),Pl(A)]表示A的不确定区间，[0,Bel(A)]表示命题A支持证据区间，[0,Pl(A)]表示命题A的拟信区间，[Pl(A),1]表示命题A的拒绝证据区间。

比如说，选定的图像特征为：深度卷积特征X、纹理特征Y、几何不变矩特征Z(以下简称X、Y、Z)，根据发型分类模型得到的分类结果分别为：m₁(X)、m₂(Y)、m₃(Z)，其中，每个分类结果均包括对发型分类确定的概率，将这3中分类结果视为组成的识别框架，然后根据DS证据理论进行融合，具体计算步骤如下：

首先，计算归一化常数K，计算公式(1)如下：

$K=\underset{X\∩Y\∩Z\≠0}{\Σ}{m}_1\left(X\right)\·m_2\left(Y\right)\·m_3\left(Z\right)---\left(1\right)$

其次，利用Dempster证据合成规则分别计算m1(X)、m2(Y)、m3(Z)这3种分类结果的组合m函数，具体计算公式(2)如下：

$M\left\{A\right\}=\frac{1}{K}\·m_1\left(\right\{A\left\}\right)\·m_2\left(\right\{A\left\}\right)\·m_3\left(\right\{A\left\}\right)---\left(2\right)$

在实际计算时只需将m1(X)、m2(Y)、m3(Z)对应的数据拿来计算即可，这里不再一一说明，通过将利用3个模型分别得到的发型分类结果进行融合，得到3组函数值，根据信任函数值＝似然函数值＝组合后的m函数值，就可以轻松确定待识别图像中的最终发型。

需要说明的是，在实际应用中，利用DS证据理论对发型分类结果进行融合中，每次用于计算的发型分类结果并不局限于3种，还可以为多种。

由于DS证据理论属于本领域的公知常识，本领域的技术人员可以根据现有技术将发型分类结果按照DS证据理论进行融合，从而确定待识别图像中的发型，这里不再赘述。

本实施方式，在降低发型识别过程中对人脸姿态变化的敏感度，大大提高了待识别图像中发型的识别度的同时，通过利用DS证据理论将得到的多个发型分类结果进行融合，可以得出一个较为准确的结果，从提高了发型识别的准确性，并且具有良好的鲁棒性。

本发明的第三实施方式涉及一种发型识别方法，本实施方式为第二实施方式的优化，通过对待识别图像进行矫正，大大提高了待识别图像中人脸和发型的可以识别度，使得识别更加准确，具体操作流程如图3所示。

在步骤301中，选定3项图像特征，并利用分类学习算法预设发型分类模型。

在步骤302中，对待识别图像进行矫正。

具体的说，对待识别图像进行矫正时，可以按照以下方法进行矫正：

首先，对待识别图像进行人脸识别，获得待识别图像中的人脸，定位人脸的关键点。

需要说明的是，本实施方式中采用的是现有的HAAR(Haar-Link Features哈尔特征)人脸检测方法进行人脸图像获取，如图4所示，将需要进行发型识别的图像中的人脸区域进行截取，然后利用SDM(Security Device Manager有监督下降算法)方法进行人脸关键点定位，如图5所示，将待识别图像中的眉毛、眼睛、嘴巴、鼻子等部位或这些部位任意组合后得到的部分作为关键点。

然后，利用关键点的位置矫正待识别图像。

比如说，利用关键点旋转待识别图像，和/或利用关键点形变待识别图像。

在步骤303中，分别提取待识别图像的3项图像特征的数据。

具体的说，分别提取待识别图像的3项图像特征的数据为从待识别图像中识别区域提取的3项图像特征的数据。

需要说明的是，由于通过HAAR人脸检测方法检测到的人脸图像往往不包含发型区域，因此需要对待识别图像进行人脸识别后，将识别到的人脸区域扩展预设比例，作为识别区域，比如说，将检测到的人脸图像上、下、左、右各扩大0.2倍，将发型部分包含进来，在实际应用中，扩展的比例可以根据实际情况进行扩大，并不局限于0.2倍。

在步骤304中，获得3个待识别图像的发型分类结果。

在步骤305中，利用证据理论方法将3个发型分类结果进行融合，确定待识别图像的发型。

由于图3中的步骤301、步骤304至步骤305与图2中的步骤201、步骤203至步骤204完全一样，旨在利用按照SVM分类学习算法得到的发型分类模型对待识别图像进行判别，然后将判别得到的发型分类结果根据DS证据理论进行融合，最终确定待识别图像中的发型，这里不再赘述。

与现有技术相比，本实施方式在对图像识别前先进行矫正，有效提高图像识别时的识别准确度。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第四实施方式涉及一种发型识别装置，具体结构如图6所示。

识别装置600具体包括：预设模块601、提取模块602、分类模块603、识别模块604。

预设模块601，用于选定N项图像特征，对每项图像特征预设发型分类模型，其中，N为自然数。

提取模块602，用于分别提取待识别图像的N项图像特征的数据，并且待识别图像为包含人脸的待识别图像。

分类模块603，用于对每项图像特征提取到的数据，利用与该图像特征对应的发型分类模型判别，获得N个待识别图像的发型分类结果。

识别模块604，用于利用N个发型分类结果，确定待识别图像的发型。

通过本实施方式提供的发型识别装置，在发型识别时，通过预设模块601选定多项图像特征，并对每项图像特征预设发型分类模型，然后分类模块603根据提取模块602提取的各项图像特征的数据进行多重识别，得到多个识别结果，最后识别模块604利用多个识别结果判断待识别图像中的发型。通过利用多个识别结果判断待识别图像中的发型，有效降低了发型识别过程中对人脸姿态变化的敏感度，大大提高了待识别图像中发型的识别度，并且具有良好的鲁棒性。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种发型识别装置，本实施方式为第三实施方式的优化，通过增加定位模块和矫正模块，对待识别图像进行矫正，大大提高了待识别图像中人脸和发型的可以识别度，具体结构如图7所示。

识别装置600具体包括：预设模块601、提取模块602、分类模块603、识别模块604、定位模块605、矫正模块606。

预设模块601，用于选定N项图像特征，对每项图像特征预设发型分类模型，其中，N为自然数。

提取模块602，用于分别提取待识别图像的N项图像特征的数据，并且待识别图像为包含人脸的待识别图像。

需要说明的是，本实施方式中，提取模块602中，待识别图像为矫正模块606矫正后的待识别图像。

分类模块603，用于对每项图像特征提取到的数据，利用与该图像特征对应的发型分类模型判别，获得N个待识别图像的发型分类结果。

识别模块604，用于利用N个发型分类结果，确定待识别图像的发型。

具体的说，识别模块利用证据理论方法，将N个发型分类结果进行融合，最终确定待识别图像的发型。

定位模块605，用于对述待识别图像进行人脸识别，获得待识别图像中的人脸，定位人脸的关键点。

矫正模块606，用于利用关键点的位置矫正待识别图像。

具体的说，矫正模块606包括：旋转子模块6061，用于利用关键点旋转待识别图像，和/或形变子模块6062，用于利用关键点形变待识别图像。

通过本实施方式提供的发型识别装置，在发型识别时，通过预设模块601选定多项图像特征，并对每项图像特征预设发型分类模型，矫正模块606根据定位模块605对待识别图像中的人脸进行定位后得到的关键点进行矫正，并将矫正后的待识别图像传递到提前模块602，然后分类模块603根据提取模块602提取的各项图像特征的数据进行多重识别，得到多个识别结果，最后识别模块604利用证据理论方法，将多个多个识别结果进入融合，判断待识别图像中的发型。通过对待识别图像进行矫正，然后利用多个识别结果判断待识别图像中的发型，有效降低了发型识别过程中对人脸姿态变化的敏感度，大大提高了待识别图像中发型的识别度，并且具有良好的鲁棒性。

不难发现，本实施方式为与第三实施方式相对应的系统实施例，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

下面对本发明涉及的用户终端的实际装置结构进行说明。

本发明的第六实施方式涉及一种用户终端，其具体结构如图7所示。该用户终端700包括：存储器701、处理器702、显示器703、通信组件704。其中存储器701用于存储处理器702可执行代码或其他信息。其中处理器为终端的核心，上述装置实施例中涉及的提取模块和分类模块处理的功能主要由处理器702实现。其中显示器703用于显示处理器702处理后的数据，并且显示器703还具有摄像头，可以用于获取输入的信息，然后传递给处理器702进行处理，其中通信组件704用于实现用户终端700的无线或有线通信功能，从而使得终端能够与服务器或者其他用户终端交互。

本实施方式中，当用户终端700中的显示器703获取到输入的发型图像后，将获取的发现图像传递给处理器702进行人脸检测与关键点定位的处理，最终实现人脸矫正，然后通过预存在存储器701中的各图像特征对应的预设发型分类模型进行判别，获取到识别结果，并通过将各识别结果进行融合确定待识别图像的发型，通过显示器703显示出来。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种发型识别方法，其特征在于，包括：

选定N项图像特征，对每项图像特征预设发型分类模型，所述N为大于等于2的自然数；

分别提取待识别图像的所述N项图像特征的数据，所述待识别图像为包含人脸的待识别图像；

对每项图像特征提取到的数据，利用与图像特征对应的发型分类模型判别，获得N个所述待识别图像的发型分类结果；

利用N个所述发型分类结果，确定所述待识别图像的发型。

2.根据权利要求1所述的发型识别方法，其特征在于，所述图像特征至少包括：深度卷积特征、纹理特征、几何不变矩特征、颜色特征或空间关系特征。

3.根据权利要求1所述的发型识别方法，其特征在于，所述分别提取待识别图像的所述N项图像特征的数据之前，还包括：

对所述待识别图像进行人脸识别，获得所述待识别图像中的人脸，定位所述人脸的关键点；

利用所述关键点的位置矫正所述待识别图像；

所述分别提取待识别图像的所述N项图像特征的数据中，所述待识别图像为矫正后的所述待识别图像。

4.根据权利要求3所述的发型识别方法，其特征在于，所述利用关键点的位置矫正所述待识别图像中，具体包括：

利用所述关键点旋转所述待识别图像，和/或利用所述关键点形变所述待识别图像。

5.根据权利要求1所述的发型识别方法，其特征在于，所述利用N个发型分类结果，确定所述待识别图像的发型，具体包括：

利用证据理论方法，融合所述N个发型分类结果，确定所述待识别图像的发型。

6.一种发型识别装置，其特征在于，包括：

预设模块，用于选定N项图像特征，对每项图像特征预设发型分类模型，所述N为大于等于2的自然数；

提取模块，用于分别提取待识别图像的所述N项图像特征的数据，所述待识别图像为包含人脸的待识别图像；

分类模块，用于对每项图像特征提取到的数据，利用与该图像特征对应的发型分类模型判别，获得N个所述待识别图像的发型分类结果；

识别模块，用于利用N个所述发型分类结果，确定所述待识别图像的发型。

7.根据权利要求6所述的发型识别装置，其特征在于，所述图像特征至少包括：深度卷积特征、纹理特征、几何不变矩特征、颜色特征或空间关系特征。

8.根据权利要求6所述的发型识别装置，其特征在于，还包括：

定位模块，用于对所述待识别图像进行人脸识别，获得所述待识别图像中的人脸，定位所述人脸的关键点；

矫正模块，用于利用所述关键点的位置矫正所述待识别图像；

所述提取模块中，所述待识别图像为所述矫正模块矫正后的所述待识别图像。

9.根据权利要求8所述的发型识别装置，其特征在于，所述矫正模块中，具体包括：

旋转子模块，用于利用所述关键点旋转所述待识别图像，和/或

形变子模块，用于利用所述关键点形变所述待识别图像。

10.根据权利要求6所述的发型识别装置，其特征在于，所述识别模块中，利用证据理论方法，融合所述N个发型分类结果，确定所述待识别图像的发型。