CN102567483B - 多特征融合的人脸图像搜索方法和系统 - Google Patents

Abstract

本发明公开了一种多特征融合的人脸图像搜索方法，包括步骤：从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库；过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库；对人脸图像库中的人脸图像提取底层特征；对底层特征降维并存入特征库；对底层特征建立特征索引，并将特征索引存入特征索引文件；对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；接收用户提交的文本和图像；在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。本发明具有检索精度高，可靠性高，效率快的特点。

Description

多特征融合的人脸图像搜索方法和系统

技术领域

本发明涉及多媒体信息检索领域，具体涉及一种多特征融合的人脸图像搜索方法和系统。

背景技术

目前基于互联网的人脸图像搜索，大多采用基于文本关键字来进行图像检索，如百度、谷歌的通用图像搜索，用户通过输入人名等关键字来进行搜索，然后通过用户交互选择得到感兴趣的图像。近期也有部分商用搜索引擎在其基于文本关键字的图像搜索功能中用到了人脸图像内容信息以提供更精确的检索结果。谷歌推出了一项只搜索人脸的图像搜索功能，通过在文本搜索的结果中，加入一层人脸检测，过滤掉非人脸图片。而微软推出的必应搜索引擎中则通过相关性反馈，允许用户在文本搜索的结果中，通过点击感兴趣的人脸图像，返回内容相似的人脸图像。而当前也有少量基于内容的通用图像检索，如Gazopa(http://www.gazopa.com/)，这些基于图像内容的检索一般是采用基于区域的多特征提取方法，通过利用图像分割算法将图像分割成多个区域，然后针对每个区域提取颜色，纹理以及形状等多维特征，组成一串特征向量进行相似度匹配以达到检索的目的。

然而，现有的技术中，无论基于通用的文本关键字，还是基于图像内容或者融合部分人脸检测领域知识的人脸图像搜索技术，都难以满足用户更高精确性的要求。

发明内容

本发明的目的在于提供一种多特征融合的人脸图像搜索方法，其一方面综合利用文本信息以及图像内容过滤掉非人脸图像，保留规则的人脸图像，另一方面使用空间金字塔方法进行人脸特征的相似性比对，具有检索精度高，可靠性高，效率快等特点。

本发明是通过以下技术方案实现的：

一种多特征融合的人脸图像搜索方法，包括以下步骤：从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库；过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库；对人脸图像库中的人脸图像提取底层特征；对底层特征降维并存入特征库；对底层特征建立特征索引，并将特征索引存入特征索引文件；对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；接收用户提交的文本和图像；在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。

过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库包括以下子步骤：采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。

对人脸图像库中的人脸图像提取底层特征包括以下子步骤：采用线性插值归一化的方法对人脸图像进行处理；采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取人脸图像的局部特征；采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理；将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；将所有层次与分块上的直方图信息组合成底层特征。

在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户包括以下子步骤：对文本进行分词，并得到若干关键字；根据关键字检索文本索引，以得到与文本相关的候选图像集合；提取图像的特征向量；将特征向量与候选图像集合中的图像进行相似度匹配，并返回匹配结果。

本发明的另一目的在于提供一种多特征融合的人脸图像搜索系统，其一方面综合利用文本信息以及图像内容过滤掉非人脸图像，保留规则的人脸图像，另一方面使用空间金字塔方法进行人脸特征的相似性比对，具有检索精度高，可靠性高，效率快等特点。

一种多特征融合的人脸图像搜索系统，包括以下模块：数据获取模块、人脸图像过滤模块、特征提取模块、索引模块以及检索模块。数据获取模块用于从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库；人脸图像过滤模块用于过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库；特征提取模块用于提取人脸图像的底层特征；索引模块用于对底层特征降维并存入特征库，对底层特征建立特征索引，并将特征索引存入特征索引文件，对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；检索模块用于接收用户提交的文本和图像，在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。

人脸图像过滤模块包括基于文本过滤子模块、基于内容过滤子模块和基于规则过滤子模块，基于文本过滤子模块用于采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；基于内容过滤子模块用于采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；基于规则过滤子模块用于采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。

特征提取模块包括人脸归一化子模块、Gabor处理子模块、LBP处理子模块、分块特征提取子模块、特征合成子模块，人脸归一化子模块用于采用线性插值归一化的方法对人脸图像进行处理；Gabor处理子模块用于采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取人脸图像的局部特征；LBP处理子模块用于采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理；分块特征提取子模块用于将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；特征合成子模块用于将所有层次与分块上的直方图信息组合成底层特征。

索引模块包括人脸特征降维子模块、人脸特征索引子模块和文本索引建立子模块，人脸特征降维子模块用于使用特征降维方法对维数较高的人脸特征进行降维，得到较低维度的人脸特征；人脸特征索引子模块用于使用特征聚类方法对人脸特征建立聚类索引；文本索引建立子模块用于使用倒排索引技术建立文本关键字到相关图像的索引。

检索模块包括文本分词子模块、文本检索子模块、特征提取子模块以及图像检索子模块，文本分词模块用于对文本进行分词，并得到若干关键字；文本检索子模块用于根据关键字检索文本索引，以得到与文本相关的候选图像集合；特征提取子模块用于提取图像的特征向量；图像检索子模块用于将特征向量与候选图像集合中的图像进行相似度匹配，并返回匹配结果。

本发明具有以下优点及技术效果：

(1)更丰富的查询功能。本发明不仅提供传统的基于文本关键字的图像检索功能，而且还允许用户上传人脸图像以进行基于视觉特征的垂直检索，以及同时提交文本关键字与上传图像的融合检索，从而大大的丰富了查询功能。

(2)搜索精度高。在基于互联网的人脸图像搜索系统中，针对人脸领域，一方面采用人脸图像过滤算法过滤掉非人脸的图像，另一方面采用更为精细准确的人脸识别算法来提取人脸图像特征向量，从而得到更为精确的搜索结果。

附图说明

图1是本发明多特征融合的人脸图像搜索系统的示意框图。

图2是本发明多特征融合的人脸图像搜索方法的流程图。

图3是本发明人脸图像搜索方法中步骤(2)的细化流程图。

图4是本发明人脸图像搜索方法中步骤(3)的细化流程图。

图5是本发明人脸图像搜索方法中步骤(8)的细化流程图。

具体实施方式

首先对本发明中的技术术语进行解释和说明：

底层特征：依据图像像素间关系获取的表征图像语义的特征向量。

降维：将较高维数的向量使用数学方法降到较低的维数。

URL：统一资源定位，在互联网上，每一个对象(如网页、图像等)都有唯一的地址来标识其在互联网上的位置，通过该地址用户可以访问该对象，该地址称作URL。

Adaboost Cascade算法：机器学习领域的分类算法，用于对数据分类。基本思想是通过若干个弱分类器加权得到一个强分类器。

Gabor小波变换：图像处理领域的一个处理方法，实现空间域到频域的变换。

LBP算子：局部二值模式，一种用来描述图像局部纹理特征的算子。

如图2所示，本发明多特征融合的人脸图像搜索方法包括以下步骤：

(1)从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库，具体实现方式如下：

利用爬虫算法通过一定的网页抓取策略，沿着初始站点出发向外发散，以辐射尽可能多的站点，在爬取的过程中，可以分为两个单独的过程。第一步，通过分析爬取站点中的URL信息，只是简单的获取并保存辐射站点中的URL信息；第二步，通过访问上一步获取的URL信息进行页面解析提取图像以及文本信息，如环绕文本，标题，URL地址，链接信息等一些可以被用来创建索引和图像检索的数据信息，并将原始图像存放在原始图像库中，将相关文本信息存放在文本库中；

(2)过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库，具体包括以下子步骤(见图3)：

(2-1)采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；

(2-2)采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；

(2-3)采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。

(3)对人脸图像库中的人脸图像提取底层特征，具体包括如下子步骤(见图4)：

(3-1)采用线性插值归一化的方法对人脸图像进行处理；

(3-2)采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取人脸图像的局部特征，小波变换的公式如下：

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(z\right)=\frac{{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2}{{\mathrm{\σ}}^2}\exp \left(\frac{-{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{{\mathrm{\σ}}^2}\right)[\exp \left({\mathrm{ik}}_{\mathrm{\μ},v}\right)-\exp \left(\frac{{-\mathrm{\σ}}^2}{2}\right)]$ 其中

μ是Gabor过滤子的的方向，v是其尺度，z＝(x，y)，并且波向量其中k_v＝k_max/λ^v，Φ_μ＝πμ/8，λ是频域中的空间因子。

(3-3)采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理。局部二值模式算子使用3x3网格将图像像素标记为二值化的0或1，这里将3x3网格的中间点像素值定义为f_c，该中间像素的8个相邻像素为f_p，其中p＝(0，1，2，...7)，根据f_p与f_c的大小关系将这些像素标记为0或1，其公式如下：

然后，将每个每个s(f_p-f_c)乘以一个二项式因子2^p，于是，每个像素处的局部二值模式的计算公式如下：

$\mathrm{LBP}=\underset{p=0}{\overset{7}{\mathrm{\Σ}}}s(f_p-f_c)2^p$

(3-4)将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息，其计算公式如下：

H_μ，v，r＝(h_{μ，v，r，0}，h_{μ，v，r，1}，...h_{μ，v，r，L-1})，其中

$h_{\mathrm{\μ},v,r,i}={\mathrm{\Σ}}_{x,y\∈R_r}\{G_{1g}(x,y,\mathrm{\μ},v)=i\}$

(3-5)将所有层次与分块上的直方图信息组合成底层特征。

(4)对底层特征降维并存入特征库；

(5)对底层特征建立特征索引，并将特征索引存入特征索引文件；

(6)对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；

(7)接收用户提交的文本和图像；

(8)在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户，具体包括如下子步骤(见图5)：

(8-1)对文本进行分词，并得到若干关键字；

(8-2)根据关键字检索文本索引，以得到与文本相关的候选图像集合；

(8-3)提取图像的特征向量；

(8-4)将特征向量与候选图像集合中的图像进行相似度匹配，并返回匹配结果，相似度匹配的具体实现方式如下：

采用如下公式计算两幅图像R₁，R₂的相似度S(R_1i，R_2i)：

$S(R_1,R_2)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i}S(R_{1i},R_{2i})$ 其中，

λ_i＝1/2^L-i

$S(R_{1i},R_{2i})=\underset{\mathrm{\μ}=0}{\overset{p}{\mathrm{\Σ}}}\underset{v=0}{\overset{q}{\mathrm{\Σ}}}\underset{r=0}{\overset{m-1}{\mathrm{\Σ}}}\mathrm{\Ψ}(H_{\mathrm{\μ},v,r}^1,H_{\mathrm{\μ},v,r}^2)$

$R_{1i}=(H_{\mathrm{0,0,0}}^1,H_{\mathrm{0,0,1}}^1,...,H_{\mathrm{0,0},m-1}^1,H_{\mathrm{0,1,0}}^1,...,H_{\mathrm{0,1},m-1}^1,H_{\mathrm{0,2,0}}^1,...,H_{\mathrm{2,3},m-1}^1)$

$R_{2i}=(H_{\mathrm{0,0,0}}^2,H_{\mathrm{0,0,1}}^2,...,H_{\mathrm{0,0},m-1}^2,H_{\mathrm{0,1,0}}^2,...,H_{\mathrm{0,1},m-1}^2,H_{\mathrm{0,2,0}}^2,...,H_{\mathrm{2,3},m-1}^2)$

$\mathrm{\Ψ}(H^1,H^2)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\min (h_i^1,h_i^2)$

其中R₁，R₂为两幅待比较图像，S(R_1i，R_2i)则为两幅图像在第i层的相似度，L表示空间金字塔模型划分的总层数，H(·)和h(·)如步骤(3-4)中定义。而λ_i则为每一层划分在匹配过程中所占的权重。公式中μ表示Gabor小波变换尺度，v表示Gabor小波变换方向，p和q分别表示Gabor变换的尺度和方向总数，m表示经Gabor变换以及提取LBP算子运算之后图像在第i层分块所分的总块数，而l则代表对每一小块图像灰度进行直方图统计所限定级别。R_1i，R_2i分表表示两幅图像在第i层分块的直方图序列，Ψ(H¹，H²)表示每一小块图像的直方图序列的相似度，S(R₁，R₂)表示最终两幅图像的相似度。

如图1所示，本发明多特征融合的人脸图像搜索系统，包括：数据获取模块1，人脸图像过滤模块2、特征提取模块3、索引模块4、检索模块5。

数据获取模块1用于从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库。

人脸图像过滤模块2用于过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库。

人脸图像过滤模块2包括基于文本过滤子模块21、基于内容过滤子模块22和基于规则过滤子模块23。

基于文本过滤子模块21用于采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；

基于内容过滤子模块22用于采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；

基于规则过滤子模块23用于采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。

特征提取模块3用于提取人脸图像的底层特征，并包括人脸归一化子模块31、Gabor处理子模块32、LBP处理子模块33、分块特征提取子模块34以及特征合成子模块35。

人脸归一化子模块31用于采用线性插值归一化的方法对人脸图像进行处理；

Gabor处理子模块32用于采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取人脸图像的局部特征；

LBP处理子模块33用于采用局部二值模式LBP算子对Gabor变换后的人脸图像进行处理；

分块特征提取子模块34用于将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；

特征合成子模块35用于将所有层次与分块上的直方图信息组合成底层特征。

索引模块4用于对底层特征降维并存入特征库，对底层特征建立特征索引，并将特征索引存入特征索引文件，对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件。

索引模块4包括人脸特征降维子模块41、人脸特征索引子模块42和文本索引建立子模块43。

人脸特征降维子模块41用于使用特征降维方法对维数较高的人脸特征进行降维，得到较低维度的人脸特征；

人脸特征索引子模块42用于使用特征聚类方法对人脸特征建立聚类索引；

文本索引建立子模块43用于使用倒排索引技术建立文本关键字到相关图像的索引。

检索模块5用于接收用户提交的文本和图像，在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。

检索模块5包括：文本分词子模块51、文本检索子模块52、特征提取子模块53以及图像检索子模块54。

文本分词模块51用于对文本进行分词，并得到若干关键字；

文本检索子模块52用于根据关键字检索文本索引，以得到与文本相关的候选图像集合；

特征提取子模块53用于提取图像的特征向量；

图像检索子模块54用于将特征向量与候选图像集合中的图像进行相似度匹配，并返回匹配结果。

Claims (1)

1.一种多特征融合的人脸图像搜索方法，其特征在于，包括以下步骤：

(1)从互联网上获取图像以及图像周围的文本信息，并将所述图像和所述文本信息分别存入原始图像库以及文本库；

(2)过滤掉所述原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将所述规则的人脸图像存入人脸图像库；

(3)对所述人脸图像库中的所述人脸图像提取底层特征；

(4)对所述底层特征降维并存入特征库；

(5)对所述底层特征建立特征索引，并将所述特征索引存入特征索引文件；

(6)对所述文本库中的文本信息建立文本索引，并将所述文本索引存入文本索引文件；

(7)接收用户提交的文本和图像；

(8)在所述文本索引文件中检索所述文本，根据文本的检索结果在所述特征索引文件中检索所述图像，并将图像的检索结果返回给所述用户，所述步骤(8)包括以下子步骤：

(8-1)对所述文本进行分词，并得到若干关键字；

(8-2)根据所述关键字检索所述文本索引，以得到与所述文本相关的候选图像集合；

(8-3)提取所述图像的特征向量；

(8-4)将所述图像与所述候选图像集合中的图像进行相似度匹配，并返回匹配结果；在所述子步骤(8-4)中，是采用如下公式计算两幅图像R₁,R₂的相似度S(R₁,R₂)：

$S(R_1,R_2)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\λ}}_{i}S(R_{1i},R_{2i}),$ 其中

λ_i＝1/2^L-i

$S(R_{1i},R_{2i})=\underset{\mathrm{\μ}=0}{\overset{p}{\mathrm{\Σ}}}\underset{v=0}{\overset{q}{\mathrm{\Σ}}}\underset{r=0}{\overset{m-1}{\mathrm{\Σ}}}\mathrm{\Ψ}(H_{\mathrm{\μ},v,r}^1,H_{\mathrm{\μ},v,r}^2)$

$R_{1i}=(H_{\mathrm{0,0,0}}^1,H_{\mathrm{0,0,1}}^1,...,H_{\mathrm{0,0},m-1}^1,H_{\mathrm{0,1,0}}^1,...,H_{0,1,m-1}^1,H_{\mathrm{0,2,0}}^1,...,H_{\mathrm{2,3},m-1}^1)$

$R_{2i}=(H_{\mathrm{0,0,0}}^2,H_{\mathrm{0,0,1}}^2,...,H_{\mathrm{0,0},m-1}^2,H_{\mathrm{0,1,0}}^2,...,H_{0,1,m-1}^2,H_{\mathrm{0,2,0}}^2,...,H_{\mathrm{2,3},m-1}^2)$

$\mathrm{\Ψ}(H^1,H^2)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\min (h_i^1,h_i^2)$

其中R₁,R₂为两幅待比较图像，S(R_1i,R_2i)则为两幅图像在第i层的相似度，L表示空间金字塔模型划分的总层数，而λ_i则为每一层划分在匹配过程中所占的权重，公式中μ表示Gabor小波变换尺度，ν表示Gabor小波变换方向，p和q分别表示Gabor变换的尺度和方向总数，m表示经Gabor变换S(R_1i,R_2i)以及提取局部二值模式算子运算之后图像在第i层分块所分的总块数，R_1i,R_2i分别表示两幅图像在第i层分块的直方图序列，Ψ(H¹,H²)表示每一小块图像的直方图序列的相似度，S(R₁,R₂)表示最终两幅图像的相似度。