CN102332034B - 一种人像图片检索方法和装置 - Google Patents

Abstract

本发明提供一种人像图片检索方法和装置，该方法包括下列步骤：1000)接收用户提交的查询；2000)提取所述查询的特征；3000)人像图片库中人像图片的相应特征，计算所述查询与人像图片的匹配程度以进行人像图片检索；其中，所述查询的特征和所述人像图片的特征均包括社会关系特征，所述社会关系特征体现了人像图片中人脸的位置关系。本发明的有益效果在于：鲁棒性强，且检索结果较现有方法的结果更为理想；计算简单，实现速度快。

Description

一种人像图片检索方法和装置

技术领域

本发明涉及模式识别领域，具体地，涉及一种人像图片检索领域。

背景技术

人像图片，或简称人像，由于其图像内容以单人或多人为主体，因而相对其他类型的图片更受人们的关注。在实际应用中，人像图片在图像数据的几类主要来源中，包括互联网图片，个人相册图片，以及新闻图片，都占有重要地位。另外，随着数码成像设备的日益普及，人像图片数据也呈现日益增长的趋势。面对大规模的人像图片数据，如何让用户有效地找到自己想要的人像图片，成为一个迫切需要解决的问题，也是人像图片检索技术所要解决的问题。

人像图片检索技术的关键在于人像图片的内容分析和理解，即利用机器视觉的方法从人像图片中提取语义信息。该语义信息反映人像图片的内容，也构成人像检索所依据的特征，检索算法基于语义特征的相似度进行检索结果的排序。因此，对于人像图片检索来说，其关键技术就在于提取何种语义特征进行检索，要求该语义特征尽可能准确、详细地描述人像图片的内容，从而保证检索结果更加吻合用户的查询需求；同时考虑到检索所要处理的大规模数据，要求语义特征易于提取，不耗费太多计算资源。

目前，针对人像图片所关注的语义特征主要包含三方面，分别是人脸特征，事件特征，以及美学特征。人脸特征主要是利用人脸识别和人脸聚类对图片中的人物进行识别和区分；由于人脸区域较小、较易受到干扰，以及人脸识别和聚类算法精度的限制，该特征的提取缺乏鲁棒性；另外，该特征侧重人的识别和区分，适合对图片按照人物进行分类组织和管理，无法适应人像检索多样化的查询需求。事件特征主要是对图片中出现的特定事件进行识别，这些特征语义层次较高，目前还是机器视觉领域的一个难题，还处于探索研究阶段，无法在检索系统中普遍使用。美学特征主要是对图片的拍摄质量进行评估，该评估具有一定的模糊性，从而带来鲁棒性的问题；同时，图像质量无法适应人像检索多样化的查询需求，对于诸如新闻图片的专业图片，图像质量不具备区分性。

发明内容

本发明的目的在于提供一种鲁棒性强且速度快的人像图片检索方法和装置。

为实现本发明的上述目的，根据本发明一个方面，提供了一种人像图片检索方法，包括下列步骤：

1000)接收用户提交的查询；

2000)提取所述查询的特征；

3000)根据所述查询的特征和人像图片库中人像图片的相应特征，计算所述查询与人像图片的匹配程度以进行人像图片检索；

其中，所述查询的特征和所述人像图片的特征均包括社会关系特征，所述社会关系特征体现了人像图片中人脸的位置关系。

上述方法中，所述查询包括人像样例查询或人像草图查询。

上述方法中，所述社会关系特征包括：人脸之间的平均距离和相邻人脸之间的距离。

上述方法中，所述社会关系特征通过以下步骤提取：

2001)检测人脸，设检测到M个人脸；

2002)以M个人脸区域的中心为结点，构建包含M个结点的全连通图G；

2003)计算全连通图G的最小生成树MST(G)；

2004)计算最小生成树MST(G)中所有边的平均长度

2005)计算相邻两个人脸区域中心点之间的欧式距离RP_k，其中RP_k表示第k个人脸中心与第k+1个人脸中心之间的欧式距离，k＝1，...，M-1；

2006)获得所述社会关系特征 $F_i^4=(\stackrel{\‾}{d},{\mathrm{RP}}_1,...,{\mathrm{RP}}_{M-1}).$

根据本发明另一方面，还提供了一种人像图片检索装置，包括：

接收模块，用于接收用户提交的查询；

特征提取模块，用于提取所述查询的特征；

检索模块，用于根据所述查询的特征和人像图片库中人像图片的相应特征，计算所述查询与人像图片的匹配程度以进行人像图片检索；

其中，所述查询的特征和所述人像图片的特征均包括社会关系特征，所述社会关系特征体现了人像图片中人脸的位置关系。

本发明的有益效果在于：鲁棒性强，且检索结果较现有方法的结果更为理想；计算简单，实现速度快。

附图说明

图1是根据本发明优选实施例的人像图片检索方法的流程图；

图2是根据本发明优选实施例的人脸矩形区域和身体矩形区域示意图；

图3是根据本发明优选实施例的身体区域三级金字塔分块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种人像图片检索方法和搜索引擎进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

根据本发明的优选实施例，结合人像图片的特点以及用户针对人像图片的查询需求，构造了四类特征用于检索，分别是构图信息，人物的服饰信息，表情信息以及社会关系信息；同时设计了基于样例和草图的两种查询方式。优选地，上述构图特征体现人脸的位置、图片的长宽比以及身头高度比，该服饰特征体现整个图片和/或图片一部分的颜色信息，该表情特征主要由眼睛和嘴的动作来表现，该社会关系特征体现了人像中人脸的位置关系。下面根据本发明的优选实施例详细描述上述四类特征的具体计算方法。

一、根据本发明的优选实施例，从图片提取构图特征的具体过程如下：

步骤11.用人脸检测方法在图片I_i中检测人脸；

步骤12.确定人脸检测结果中的人脸矩形区域FR，当有多个人脸检出时，FR为最大的人脸区域；

步骤13.根据人脸区域FR，确定身体区域BR，图2是本发明中人脸矩形区域和身体矩形区域示例图，如图2所示，BR为FR下方，宽度为FR宽度的两倍，高度为FR高度的三倍的矩形区域，当然如果FR下方没有足够的区域，则BR到图片边界为止；

步骤14.根据公式(1)计算人脸中心位置PR_x和PR_y；

${\mathrm{PR}}_x=\frac{x}{W},$ ${\mathrm{PR}}_y=\frac{y}{H},---\left(1\right)$

其中(x，y)是人脸区域FR的中心点坐标，W是图片I_i的宽度，H是图片I_i的高度。

步骤15.根据公式(2)计算图片长宽比IAR；

$\mathrm{IAR}=\frac{W}{H},---\left(2\right)$

其中W是图片I_i的宽度，H是图片I_i的高度。

步骤16.根据公式(3)计算身头高度比BAR；

$\mathrm{BAR}=\frac{H_{\mathrm{BR}}}{H_{\mathrm{FR}}},---\left(3\right)$

其中H_BR是BR的高度，H_FR是FR的高度。

步骤17.得到构图特征 $F_i^1=({\mathrm{PR}}_x,{\mathrm{PR}}_y,\mathrm{IAR},\mathrm{BAR})\∈R^4.$

二、根据本发明的优选实施例，从图片提取服饰特征的具体过程如下：

步骤21.将身体区域BR进行三级金字塔分块，图3是本发明中身体区域三级金字塔分块示例图，如图3所示，通过分块共得到14块，表示为BR_k，k＝1，...，14；其中BR₁属于第一级，BR₂-BR₅属于第二级，BR₆-BR₁₄属于第三级；

步骤22.对每一块BR_k(k＝1，...，14)提取256维的HSV颜色直方图，得到HistC_k，HistC_k∈R²⁵⁶，k＝1，...，14；

步骤23.对每一块BR_k (k＝1，...，14)提取4维的梯度方向直方图，得到HistD_k，HistD_k∈R⁴，k＝1，...，14；

步骤24.对每一块BR_k (k＝1，...，14)进行肤色检测，得到每一块内肤色像素点所占的比例SR_k，0≤SR_k≤1，k＝1，...，14；

步骤25.得到服饰特征

$F_i^2=({\mathrm{HistC}}_1,...,{\mathrm{HistC}}_{14},{\mathrm{HistD}}_1,...,{\mathrm{HistD}}_{14},{\mathrm{SR}}_1,...,{\mathrm{SR}}_{14})\∈R^{256\×14+4\×14+14}=R^{3654}.$

三、根据本发明的优选实施例，从图片提取表情特征的具体过程如下：

步骤31.利用主动形状模型(Active Shape Model)对人脸区域FR进行检测，得到两只眼睛的张开度d₁和d₂，以及嘴的张开度d₃；

步骤32.得到表情特征 $F_i^3=(d_1,d_2,d_3)\∈R^3.$

四、根据本发明的优选实施例，从图片提取社会关系特征的具体过程如下：

步骤41.对图片I_i进行人脸检测，共检出M个人脸；

步骤42.以M个人脸区域的中心为结点，构建一个包含M个结点的全连通图G；

步骤43.计算图G的最小生成树MST(G)；

步骤44.计算MST(G)中所有边的平均长度

步骤45.按照出现位置从左到右的顺序，计算相邻两个人脸区域中心点之间的欧式距离，得到RP_k，表示第k个人脸中心与第k+1个人脸中心之间的欧式距离，k＝1，...，M-1；

步骤46.得到社会关系特征 $F_i^4=(\stackrel{\‾}{d},{\mathrm{RP}}_1,...,{\mathrm{RP}}_{M-1})\∈R^M.$

综合上述步骤的结果即可得到人像图片的特征

对人像图片库∑＝{I₁，...，I_N}中的每一幅图片，提取特征，得到特征序列∏＝{F₁，...，F_N}；其中I_i表示人像图片库∑中的第i幅图片，F_i表示从第i幅图片所提取的特征，N表示图片库∑所包含的图片个数。本领域普通技术人员可以理解，该操作优选离线操作。

图1是根据本发明优选实施例的人像图片检索方法的流程图，下面结合图1详细说明本发明的方法。对于任意一次人像图片检索而言，都是基于上述人像图片的特征执行以下步骤2000-5000而完成。优选地，这些步骤为在线操作。

步骤2000.通过用户界面，接收用户提交的查询Q，其中查询Q可以是样例查询或草图查询。

如果用户选择的查询方式为样例查询，即用户提交了一幅样例图片I_q，则Q＝I_q。

如果用户选择的查询方式为草图查询，即用户提交草图查询条件

即Q＝S_q，其中

表示构图选项的选择结果，包括是否大头照，是否半身照，是否全身照；

表示服装颜色选项的选择结果，即选择人物所穿服装的主色色块；表示人物选项的选择结果，包括人脸位置和人物个数。

步骤3000.提取查询Q中的特征F_q；

步骤4000.分别计算F_q与特征序列∏＝{F₁，...，F_N}中每一个特征向量的距离，得到距离序列Γ＝{D₁，...，D_N}，其中D_i是F_q与F_i之间的距离；

步骤5000.根据距离序列Γ＝{D₁，...，D_N}，按照从小到大的顺序排序人像图片库∑＝{I₁，...，I_N}中的图片，得到检索结果。

根据本发明优选实施例，所述步骤3000具体包括下列步骤：

步骤3100.如果查询Q＝I_q，则执行步骤3200；如果查询Q＝S_q，则执行步骤3300；

步骤3200.从查询图片I_q提取特征F_q，提取过程与步骤1200描述的过程完全一致，结束步骤3000；

步骤3300.将查询

转化为特征描述F_q，具体包括下述步骤3310-3340：

步骤3310.根据

和表(1)中的对应关系构造身体长宽比特征BAR；

表(1)构图选项与BAR值的对应关系

步骤3320.根据构造主色特征CI，CI为用户所选色块颜色对应到256维HSV颜色直方图中的索引值，1≤CI≤256；

步骤3330.根据

构造社会关系特征

构造过程与步骤1242-1246描述的过程完全一致。

步骤3340.得到特征描述 $F_q=(\mathrm{BAR},\mathrm{CI},F_q^s).$

本领域普通技术人员可以理解，与现有技术中所采用的特征相比，上述特征BAR，CI和

的组合可以更完美地体现图片中人脸的位置、大小和图片的颜色特征，从而使得人像检索过程的鲁棒性与现有技术相比更强。

根据本发明优选实施例，所述步骤4000包括下列步骤：

步骤4100.设置i＝1；

步骤4200.计算F_q与特征序列∏＝{F₁，...，F_N}中的F_i之间的距离D_i；

步骤4300.如果i＜N，则把i值加1，返回步骤4200；否则结束步骤4000。

所述步骤4200，包括下列步骤：

步骤4210.如果查询Q＝I_q，则执行步骤4220；如果查询Q＝S_q，则执行步骤4230；

步骤4220.根据公式(4)计算

与

之间的距离D_i，结束步骤4200；

$D_i=\left|\right|F_q-F_i\left|\right|=\frac{1}{4}\underset{k=1}{\overset{4}{\mathrm{\Σ}}}\left|\right|F_q^k-F_i^k\left|\right|,---\left(4\right)$

其中

采用的是欧式距离；

采用的是直方图的交；当图片I_q与I_i具有相同的人脸个数时，

采用的是欧式距离，否则 $\left|\right|F_q^4-F_i^1\left|\right|=1000;$

步骤4230.根据公式(5)-(7)计算

与

之间的距离D_i；

$D_i=D_{\mathrm{BAR}}+D_{\mathrm{CI}}+\left|\right|F_q^s-F_i^4\left|\right|,---\left(5\right)$

其中： $D_{\mathrm{BAR}}=|F_q\left(\mathrm{BAR}\right)-F_i^1\left(\mathrm{BAR}\right)|,---\left(6\right)$

D_CI＝1-HistC₁(CT)，(7)

其中F_q(BAR)是F_q中的BAR值；

是

中的BAR值；HistC₁(CI)是

中的直方图HistC₁中的第CI个分量的值；当与

具有相同的维度时，采用的是欧式距离，否则

本领域普通技术人员可以理解，在上述优选实施例中，给出了构图特征、服饰特征、表情特征和社会关系特征一种具体实现方式，这些特征也可用其他方式来实现，例如，构图特征中可以仅提供身头高度比的信息以有效地区分大头照、半身照和全身照，服饰特征中可以仅提供HSV颜色直方图，表情特征可以仅由嘴的闭合来体现等等。甚至，这些特征也不都是必须的，只要给出社会关系特征，即可较好的体现人像中人脸的位置关系，由此检索到对应的人像图片。

根据本发明的另一方面，还提供了一种人像图片检索装置，包括：

接收模块，用于接收用户提交的查询；

特征提取模块，用于提取所述查询的特征；

检索模块，用于根据所述查询的特征和人像图片库中人像图片的相应特征，计算所述查询与人像图片的匹配程度以进行人像图片检索；

其中，所述查询的特征和所述人像图片的特征均包括社会关系特征，所述社会关系特征体现了人像图片中人脸的位置关系。

本发明的有益效果在于：所构造的特征非常吻合用户针对人像图片的查询需求，从而使得检索结果较现有方法的结果更为理想，从而鲁棒性很强；可以让用户在无法通过语言构造查询时方便地表达自己的查询需求；而且所构造的特征易于提取，无需复杂计算，2.8GHz主频的个人计算机可以在200毫秒内完成单幅图像所有特征的提取操作，从而适合在大规模数据上的检索应用。

通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。

以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims (15)

1.一种人像图片检索方法，包括下列步骤：

1000)接收用户提交的查询；

2000)提取所述查询的特征；

3000)根据所述查询的特征和人像图片库中人像图片的相应特征，计算所述查询与人像图片的匹配程度以进行人像图片检索；

其中，所述查询的特征和所述人像图片的特征均包括社会关系特征，所述社会关系特征体现了人像图片中人脸的位置关系。

2.根据权利要求1所述的方法，其特征在于，所述查询包括人像样例查询或人像草图查询。

3.根据权利要求1或2所述的方法，其特征在于，所述社会关系特征包括：人脸之间的平均距离和相邻人脸之间的距离。

4.根据权利要求3所述的方法，其特征在于，所述社会关系特征通过以下步骤提取：

2001)检测人脸，设检测到M个人脸；

2002)以M个人脸区域的中心为结点，构建包含M个结点的全连通图G；

2003)计算全连通图G的最小生成树MST(G)；

2004)计算最小生成树MST(G)中所有边的平均长度

2005)计算相邻两个人脸区域中心点之间的欧式距离RP_k，其中RP_k表示第k个人脸中心与第k+1个人脸中心之间的欧式距离，k＝1，...，M-1；

2006)获得所述社会关系特征 $F_i^4=(\stackrel{\‾}{d},{\mathrm{RP}}_1,...,{\mathrm{RP}}_{M-1}).$

5.根据权利要求2所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括身头高度比。

6.根据权利要求5所述的方法，其特征在于，其中所述身头高度比通过下述步骤从人像图片中提取：

2011)检测人像图片中的人脸；

2012)确定人脸检测结果中的人脸矩形区域FR，且对于检测出多个人脸时，以最大的人脸区域作为FR；

2013)根据人脸区域FR确定身体区域BR；

2014)计算身体区域BR与人脸区域FR的身头高度比BAR。

7.根据权利要求5所述的方法，其特征在于，所述人像草图查询还包括表示构图的参数，以表示是否大头照，是否半身照，是否全身照，

根据所述表示构图的参数提取所述身头高度比。

8.根据权利要求5至7任一项所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括人脸中心位置。

9.根据权利要求5至7任一项所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括人像图片长宽比。

10.根据权利要求2所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括：全部或部分身体区域BR的256维的HSV颜色直方图。

11.根据权利要求10所述的方法，其特征在于，所述人像草图查询还包括表示服装颜色的参数。

12.根据权利要求10或11所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括：全部或部分身体区域BR的4维的梯度方向直方图。

13.根据权利要求10或11所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括：全部或部分身体区域BR的肤色像素点所占的比例。

14.根据权利要求1或2所述的方法，其特征在于，所述查询的特征和所述人像图片的特征均还包括：人脸中眼睛和/或嘴的张开度。

15.一种人像图片检索装置，包括：

接收模块，用于接收用户提交的查询；

特征提取模块，用于提取所述查询的特征；

检索模块，用于根据所述查询的特征和人像图片库中人像图片的相应特征，计算所述查询与人像图片的匹配程度以进行人像图片检索；

其中，所述查询的特征和所述人像图片的特征均包括社会关系特征，所述社会关系特征体现了人像图片中人脸的位置关系。

Images