CN105631039A - 一种图片浏览方法 - Google Patents

Abstract

本发明公开了一种图片浏览方法，包括：基于人脸特征向量检测目标图片集中的人脸；从检测出人脸后的目标图片集中选择指定人脸，并获取指定人脸的人脸特征向量；基于人脸特征向量计算指定人脸与目标图片集中检测出的其他人脸的相似度；基于相似度排序显示目标图片集中的图片。本发明摆脱了人工标签标注的复杂性并避免盲目自动分组的高错误率，实现了基于人脸相似度的图片浏览。

Description

一种图片浏览方法

技术领域

本发明涉及认证识别技术领域，具体地说，涉及一种图片浏览方法。

背景技术

随着数码拍摄设备的普及和存储器的发展，用户拍摄、存储的图片越来越多，而且人物照片在其中占较大比例。当用户在查看图片时，数码设备如手机、电脑、电子相框等通常会按照拍摄或保存时间将图片呈现出来以供用户浏览。但是用户往往对图片中的人物更加感兴趣。因此，基于人脸识别技术将同一个人的多张图片聚类而后按照相似度降序排序的浏览方式更能契合用户的潜在需求。

当前市场上有一些智能手机相册支持基于标签的图片浏览，该标签可以是人物姓名。当用户选择一个标签后，相册应用程序将显示该标签下的所有图片。按照标签产生方法的不同，大致可以分为两种：第一种是不使用任何检测或者识别手段，通过用户纯手动标注生成标签；第二种是使用人脸检测和分组聚类方法，先根据相似度将包含人脸的图片分为多个分组，然后用户再对每个分组进行标注。具体而言，这类方法通常先对图片进行人脸检测，对检测器获取的人脸进行两两之间的相似度计算，相似度高的图片对归到同一组，相似度低的划分为新的分组。然后用户只需要对分组结果进行标注，将同一组的图片标注为某个人物标签。

以上通过人物标签实现图片浏览方法中，第一种方法的主要缺点是前期需要极大的人力成本，用户需要对每一张图片都进行标注才能有较好的标签分组效果，既消耗时间也影响用户体验；第二种方法主要受到人脸检测和分组性能的制约，市场上的产品多数存在人脸漏检(即没有把图片中所有人脸都检测到)、错检(把非人脸区域检测判断为人脸)，分组错误(不同人物归到同一组或同样人物划分到不同组)等问题。而且两种方法重点都在于分组查看，相似度计算仅用于获取分组，不能按相似度排序来浏览图片。同时，那些没有标签标注的图片，有可能在浏览时被忽略。并且，在第二种方法中，对于一些不感兴趣的人物(如出现在照片中的路人)或者错误检测(半张脸或不是人脸)会导致图片分组结果不准确，影响用户体验。对于多人照片或合照的处理，基于标签的图片分组浏览也容易造成用户的困扰：可能有些用户只想把某个人物的单人照片归为一组而智能相册把合照也插入到这个分组；而有的用户可能想把某个人物的合照和单人照都加入到同一分组。

发明内容

为解决以上问题，本发明提供了一种基于人脸相似度的图片浏览方法。

根据本发明的一个实施例，提供了一种图片浏览方法，包括：

基于人脸特征向量检测目标图片集中的人脸；

从检测出人脸后的目标图片集中选择指定人脸，并获取所述指定人脸的人脸特征向量；

基于所述人脸特征向量计算所述指定人脸与目标图片集中检测出的其他人脸的相似度；

基于所述相似度排序显示目标图片集中的图片。

根据本发明的一个实施例，基于人脸特征向量检测目标图片集中的人脸的步骤进一步包括：

基于人脸检测及肤色检测确定目标图片集中的人脸候选框；

对齐所述人脸候选框中的人脸以确保将人脸由非正脸调整至正脸；

提取对齐后的人脸候选框中的人脸特征向量；

基于模板人脸集对所述人脸特征向量进行过滤处理，以排除错误检测出的非人脸候选框，从而确定目标图片集中的人脸。

根据本发明的一个实施例，确定目标图片集中的人脸候选框的步骤进一步包括：

人脸检测步骤，基于Viola-Jones人脸检测器框架建立大量检测框来对输入图像进行扫描，提取检测框中的Haar特征，基于Haar特征过滤掉非人脸候选框；

肤色检测步骤，计算保留下来的检测框内的平均肤色似然度，若计算得到的平均肤色似然度大于整幅图像的平均肤色似然度，则保留下来并作为所述人脸候选框。

根据本发明的一个实施例，对齐所述人脸候选框中的人脸以确保将人脸由非正脸调整至正脸的步骤进一步包括：

基于左右眼、左右嘴角和鼻尖五个特征点定位所述人脸候选框中的人脸特征点位置；

通过左右嘴角的坐标计算出嘴巴中心的位置，利用嘴巴中心的位置和左右眼三点作为人脸对齐的标准；

通过仿射变换将所述三点映射到大小为N*N的图像上的固定位置，以实现人脸的对齐。

根据本发明的一个实施例，提取对齐后的人脸候选框中的人脸特征向量的步骤进一步包括：

提取对齐后的人脸候选框中人脸的LBP特征和HOG特征；

利用降维矩阵PCA和LDA将LBP特征和HOG特征降维到n维；

对降维后的LBP特征和HOG特征分别进行模归一化处理；

将模归一化处理后的LBP特征和HOG特征串联成2n维的人脸特征向量。

根据本发明的一个实施例，基于模板人脸集对所述人脸特征向量进行过滤处理，以排除错误检测出的非人脸候选框，最终确定目标图片集中的人脸的步骤进一步包括：

将所述人脸特征向量与所述模板人脸集进行计算，以得到输入人脸的评分，所述评分为人脸特征向量与模板人脸向量的余弦距离；

根据设定好的阈值，移除评分低于所述阈值的人脸，保留评分大于等于所述阈值的人脸并作为确定的目标图片集中的人脸。

根据本发明的一个实施例，所述模板人脸向量由所述模板人脸集中所有人脸向量的平均值计算得到，所述模板人脸集中包含各国人脸图像。

根据本发明的一个实施例，从检测出人脸后的目标图片集中选择指定人脸的步骤进一步包括：

从目标图片集中选择一张图片，从该图片中检测出的人脸候选框中选择指定人脸，其中：

如选择的是单人图片，则以该单人的人脸作为指定人脸；

如选择的是多人图片，则从多人图片中选择其中一个人脸作为指定人脸；

如选择的是无人图片，则无指定人脸。

根据本发明的一个实施例，基于所述人脸特征向量计算所述指定人脸与目标图片集中检测到的其他人脸的相似度的步骤进一步包括：

通过下式计算指定人脸与目标图片集中其他人脸的相似度值：

$cos\mathrm{\θ}=\frac{X\·Y}{\left|\right|X\left|\right|\·\left|\right|Y\left|\right|}$

其中，cosθ为相似度值，X，Y分别为目标图片集中指定人脸和其他人脸的人脸特征向量，X和Y向量均为2n×1维；

基于所述相似度值判断指定人脸与目标图片集中其他人脸的相似度，所述相似度值越接近1，则相似度越高。

根据本发明的一个实施例，基于所述相似度排序显示目标图片集中的图片的步骤进一步包括：

基于所述相似度的高低对目标图片集中的人脸进行排序，将目标图片集中的图片按照与指定人脸相似度的高低进行排序。

本发明的有益效果：

本发明提出一种基于人脸相似度的图片浏览方法，摆脱了人工标签标注的复杂性并避免盲目自动分组的高错误率。本方案针对个人用户的图片查看需求，使用模式识别和人脸特征提取的相关方法，通过相似度计算，获得基于人脸相似度的排序结果，并据此显示用户文件夹中所有图片。用户只需要指定文件夹中一张图片中的某个人脸，该文件夹中的剩余图片将按照指定人脸进行相似度排序。在单人照片的情况，人脸相似度可以直接作为排序依据；而对多人或群体合照，排序只根据当前指定人脸。此外，本发明可以根据相似度大小将选中人脸的相关图片突出显示。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明的一个实施例的方法流程图；

图2是根据本发明的一个实施例的对文件夹中的图片进行处理的算法流程图；

图3是根据本发明的一个实施例的对具有拍摄功能的移动设备中的图片进行处理的算法流程图；

图4a是根据本发明的一个实施例的单人图片的排序显示示意图；以及

图4b时根据本发明的一个实施例的多人图片的排序显示示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

第一实施例

图1是根据本发明的一个实施例的一种图片浏览方法流程图，以下参考图1来对本发明进行详细说明。

首先，在步骤S110中，基于人脸特征向量检测目标图片集中的人脸。在该步骤中，选择有图片的文件夹(即目标图片集)，对文件夹下所有图片以同步或者异步方式进行人脸检测及特征提取，并按特定格式把相关数据写到文件中及载入内存。或者，在具有拍摄功能的移动设备中，拍摄一张图片后，对设备中的所有图片以同步或者异步方式进行人脸检测及特征提取，按特定格式把相关数据写到文件中及载入内存。此处同步方式处理即顺序处理，每次处理一张，前一张完成了，后一张才开始；异步方式处理即同时处理，多张图片同时开始，待所有图片完成了才算完成。此处以有图片的文件夹为例进行说明。

检测目标图片集中的人脸具体包括以下的几个步骤。首先，基于人脸检测及肤色检测确定目标图片集中的人脸候选框。具体的，在该步骤中，基于OpenCV(OpenSourceComputerVisionLibrary，开源计算机视觉库)中的Viola-Jones人脸检测器框架实现人脸检测，然后结合肤色检测来确定人脸候选框，从而将人脸候选框与非人脸候选框进行区分。或者，先对这些检测框进行肤色检测，只把大部分为肤色区域的检测框输出到后一级进行人脸检测。此处以先进行人脸检测，再进行肤色检测为例进行说明。

OpenCV是一个基于开源发行的跨平台计算机视觉库，可以运行在多种操作系统上。OpenCV轻量且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

在Viola-Jones人脸检测中，Viola-Jones人脸检测器建立大量检测框来对输入图像进行扫描，提取检测框中的Haar特征，基于Haar特征进行Adaboost算法迭代以快速滤掉非人脸的检测框，将余下的人脸检测框进行保留。

由于人脸一定包含相当大的肤色区域，接下来对保留的人脸检测框进行肤色检测，过滤掉不含有肤色区域的检测框，保留含有大部分肤色区域的检测框，保留下来的检测框作为人脸候选框。

肤色检测可以快速有效地排除非人脸候选框，减少人脸检测计算量。具体的肤色检测是利用大量训练图片得到每个像素的肤色似然度，若检测框计算得到的平均肤色似然度大于整幅图像平均肤色似然度，则保留下来，作为人脸候选框，否则过滤掉。

然后，对以上检测到的人脸候选框中的人脸进行对齐，确保将非正脸如脸部偏转、抬头低头、侧头等调整至正脸。具体方法是利用SDM(SupervisedDescentMethod，监督下降算法)进行特征点定位，定位出输入人脸的左右眼、左右嘴角和鼻尖共五个特征点。然后，通过左右嘴角的坐标可以计算出嘴巴中心的位置，利用嘴巴中心的位置和左右眼三个点作为人脸对齐的标准。正脸图像三点的位置是左右眼对称，嘴巴中心在图像中轴线。得到的人脸的三点的位置通常和正脸有偏移，通过仿射变换将此三点映射到大小为N*N的图像上的固定位置，调整人脸的每个像素使得人脸的三点符合正脸的三点位置从而实现人脸的对齐，其中，N为整数，此处以N取值为100进行说明。

接下来，提取对齐后的人脸候选框中的人脸的特征向量。对对齐后的100*100大小的人脸图像提取特征向量，先提取局部二值模式LBP特征和方向梯度直方图HOG特征，再分别利用预先训练好的主元分析PCA和线性鉴别分析LDA降维矩阵对LBP和HOG特征降维到100维并进行模归一化，两个100维头尾相接串联成200维的特征向量。通过提取特征向量，可以避免分组错误，将不同人物归到同一组或同样人物划分到不同组。

具体的，PCA和LDA降维矩阵是以配置文件的形式存在的，使用时，从配置文件读取降维矩阵。而配置文件中的数据是预先训练好的。将得到的LBP特征和HOG特征分别与对应的降维矩阵相乘，从而实现对LBP特征和HOG特征的降维处理。模归一化，先对人脸特征向量取模，人脸特征向量的每一项以模值为基进行归一化；LBP特征降维后得到100维，HOG特征降维后得到100维，分别模归一化后，两个100维头尾相接得到200维。

最后，基于模板人脸集对人脸特征向量进行过滤处理以确定目标图片集中的人脸。在该步骤中，将以上步骤得到的人脸特征向量与模板人脸向量进行计算，得到输入人脸的评分，再根据设定好的阈值，把评分低于阈值的输入人脸判断为非人脸，从结果中移除，把评分高于或等于阈值的作为人脸进行保留，从而提高了人脸检测的效率，减少错检的人脸。

其中，模板人脸向量由模板人脸集中计算平均脸获取，具体地，可以基于人种进行区分。例如，在亚洲区域，使用了中国、韩国、日本和印度四个国家的男女平均脸，共8个。每一个平均脸由对应国家的指定性别的人脸照片求平均值得到。

接下来，在步骤S120中，从检测出人脸后的目标图片集中选择指定人脸，并获取指定人脸的人脸特征向量。在文件夹中选择一张图片并显示，从该图片中检测到的人脸中选择指定人脸。具体的，可分为以下a、b、c三种情况。

a：如选择的是单人图片，即图片中只有一个可以被人脸检测算法检测到的有效人脸，则将该图片显示在窗口指定位置，并将该人脸作为指定人脸，可选地，该人脸采用矩形框标记。

b：如选择的是多人图片，即图片中有多个可以被人脸检测算法检测到的有效人脸，则将该图片显示在窗口指定位置。可选地，所有人脸采用矩形框标记。从多个人脸中指定其中一个作为指定人脸，并突出显示。

c：如选择的是无人图片，即图片中没有可以被人脸检测算法检测到的有效人脸，则将该图片显示在窗口指定位置，在该图片中无指定人脸。

通过在整个目标图片集中指定人脸，无论选择的图片中有无人脸，均进行显示，从而防止人脸漏检、图片被忽略。获取指定人脸的人脸特征向量可参考提取对齐后的人脸候选框中的人脸的特征向量。

在步骤S130中，基于人脸特征向量计算指定人脸与目标图片集中检测出的其他人脸的相似度。具体的，在该步骤中，首先，通过下式计算指定人脸与目标图片集中其他人脸的相似度值：

$cos\mathrm{\θ}=\frac{X\·Y}{\left|\right|X\left|\right|\·\left|\right|Y\left|\right|}---\left(1\right)$

其中，X，Y为指定人脸和其他人脸的人脸特征向量，X和Y向量均为2n×1维，其值可通过步骤S120所述的方法计算得到。式(1)为余弦相似度计算公式，余弦相似度就是两个特征向量夹角θ的余弦值。接下来，基于相似度值判断指定人脸与目标图片集中其他人脸的相似度。余弦相似度的其输出范围是0～1，越接近1，则相似度越高。

最后，在步骤S140中，基于相似度排序显示目标图片集中的图片。对文件夹下的人脸进行相似度高低排序，然后对应到人脸的来源图片，将图片按缩略图的形式降序排列显示到窗口中指定位置。对于和指定人脸相似度较高的人脸，其来源可以通过图片高亮或者单独开辟面板进行突出显示。

图2是根据本发明的一个实施例的对文件夹中的图片进行处理的算法流程图，图3是根据本发明的一个实施例的对具有拍摄功能的移动设备中的图片进行处理的算法流程图，以下参考图2和图3来对本发明的实现过程进行详细说明。

首先，需选择要进行处理的目标图片集。对于图片显示设备，打开其中含有图片的文件夹。对于具有拍摄功能的移动设备，选择拍摄结束后的图片。之后，在两类设备中，均先后经过图1中所述的几个步骤。S110：基于人脸特征向量确定目标图片集中的人脸，具体包括利用肤色过滤和V-J检测进行人脸检测、计算人脸特征点对齐人脸及计算200维特征向量、特征向量与模板人脸向量计算过滤非人脸；S120：从确定人脸后的目标图片集中选择指定人脸，具体包括从多人脸图片和单人脸图片中指定人脸；S130：指定人脸进行相似度计算；S140：计算后进行相似度排序显示。对应具有拍摄功能的移动设备，针对拍摄后的即时处理，这时图片按单张输入，而且拍摄后通常会即时进入查看，跳过选择文件夹。在排序显示缩略图后，可以在缩略图区域滑动、点击切换中央图片，对切换的中央图片，可以选择是否触发重新排序。若选择重排，则对中央图片重新进行指定人脸之后的处理，否则不处理。

以下通过一个具体的例子来对本发明进行说明。在移动设备中，拍摄完毕后界面跳转到图4a所示界面，P0为最新拍摄的照片，位于窗体中央，下方出现按人物相似度排序的图片的缩略图。当前P0为只有一个人物A的单人照片，指定的人脸为A的脸，出现在P1、P2、P3的人物A的脸对于P0的A的相似度关系为P1大于P2大于P3，故在缩略图的排序结果是P1、P2、P3。

在缩略图区域可以滑动查看其他图片，当选择到P2时，如图4b所示，P2为含有两个人物A、B的照片，可以指定人物人脸再触发重新排序。选定B后，指定的人脸为B的脸，出现在P4、P5、P6的人物B的脸对于P2的B的相似度关系为P4大于P5大于P6，故在缩略图的排序结果是P4、P5、P6。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种图片浏览方法，包括：

基于人脸特征向量检测目标图片集中的人脸；

从检测出人脸后的目标图片集中选择指定人脸，并获取所述指定人脸的人脸特征向量；

基于所述人脸特征向量计算所述指定人脸与目标图片集中检测出的其他人脸的相似度；

基于所述相似度排序显示目标图片集中的图片。

2.根据权利要求1所述的图片浏览方法，其特征在于，基于人脸特征向量检测目标图片集中的人脸的步骤进一步包括：

基于人脸检测及肤色检测确定目标图片集中的人脸候选框；

对齐所述人脸候选框中的人脸以确保将人脸由非正脸调整至正脸；

提取对齐后的人脸候选框中的人脸特征向量；

基于模板人脸集对所述人脸特征向量进行过滤处理，以排除错误检测出的非人脸候选框，从而确定目标图片集中的人脸。

3.根据权利要求2所述的图片浏览方法，其特征在于，确定目标图片集中的人脸候选框的步骤进一步包括：

人脸检测步骤，基于Viola-Jones人脸检测器框架建立大量检测框来对输入图像进行扫描，提取检测框中的Haar特征，基于Haar特征过滤掉非人脸候选框；

肤色检测步骤，计算保留下来的检测框内的平均肤色似然度，若计算得到的平均肤色似然度大于整幅图像的平均肤色似然度，则保留下来并作为所述人脸候选框。

4.根据权利要求3所述的图片浏览方法，其特征在于，对齐所述人脸候选框中的人脸以确保将人脸由非正脸调整至正脸的步骤进一步包括：

基于左右眼、左右嘴角和鼻尖五个特征点定位所述人脸候选框中的人脸特征点位置；

通过左右嘴角的坐标计算出嘴巴中心的位置，利用嘴巴中心的位置和左右眼三点作为人脸对齐的标准；

通过仿射变换将所述三点映射到大小为N*N的图像上的固定位置，以实现人脸的对齐。

5.根据权利要求4所述的图片浏览方法，其特征在于，提取对齐后的人脸候选框中的人脸特征向量的步骤进一步包括：

提取对齐后的人脸候选框中人脸的LBP特征和HOG特征；

利用降维矩阵PCA和LDA将LBP特征和HOG特征降维到n维；

对降维后的LBP特征和HOG特征分别进行模归一化处理；

将模归一化处理后的LBP特征和HOG特征串联成2n维的人脸特征向量。

6.根据权利要求5所述的图片浏览方法，其特征在于，基于模板人脸集对所述人脸特征向量进行过滤处理，以排除错误检测出的非人脸候选框，最终确定目标图片集中的人脸的步骤进一步包括：

将所述人脸特征向量与所述模板人脸集进行计算，以得到输入人脸的评分，所述评分为人脸特征向量与模板人脸向量的余弦距离；

根据设定好的阈值，移除评分低于所述阈值的人脸，保留评分大于等于所述阈值的人脸并作为确定的目标图片集中的人脸。

7.根据权利要求6所述的图片浏览方法，其特征在于，所述模板人脸向量由所述模板人脸集中所有人脸向量的平均值计算得到，所述模板人脸集中包含各国人脸图像。

8.根据权利要求1-7中任一项所述的图片浏览方法，其特征在于，从检测出人脸后的目标图片集中选择指定人脸的步骤进一步包括：

从目标图片集中选择一张图片，从该图片中检测出的人脸候选框中选择指定人脸，其中：

如选择的是单人图片，则以该单人的人脸作为指定人脸；

如选择的是多人图片，则从多人图片中选择其中一个人脸作为指定人脸；

如选择的是无人图片，则无指定人脸。

9.根据权利要求8所述的图片浏览方法，其特征在于，基于所述人脸特征向量计算所述指定人脸与目标图片集中检测到的其他人脸的相似度的步骤进一步包括：

通过下式计算指定人脸与目标图片集中其他人脸的相似度值：

$cos\mathrm{\θ}=\frac{X\·Y}{\left|\right|X\left|\right|\·\left|\right|Y\left|\right|}$

其中，cosθ为相似度值，X，Y分别为目标图片集中指定人脸和其他人脸的人脸特征向量，X和Y向量均为2n×1维；

基于所述相似度值判断指定人脸与目标图片集中其他人脸的相似度，所述相似度值越接近1，则相似度越高。

10.根据权利要求9所述的图片浏览方法，其特征在于，基于所述相似度排序显示目标图片集中的图片的步骤进一步包括：

基于所述相似度的高低对目标图片集中的人脸进行排序，将目标图片集中的图片按照与指定人脸相似度的高低进行排序。