CN102486793A - 一种搜索目标用户的方法和系统 - Google Patents

Abstract

本发明提供一种搜索目标用户的方法和系统，该方法包括下列步骤：10)接收用于查询请求的图片；20)对所述用于查询请求的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第一数据，其中，对于含有人脸的图片，所述表示图片特征的第一数据是表示人脸的第一特征信息，对于不含人脸的图片，所述表示图片特征的第一数据是第二特征信息；30)根据所述表示图片特征的第一数据，计算所述用于查询请求的图片与表示目标用户的图片的相似度；40)根据所述相似度，显示目标用户的信息。利用本发明的方法和系统，能够实现根据目标用户外貌特征和兴趣特征进行目标用户搜索，并准确迅速地返回所需的目标用户信息。

Description

一种搜索目标用户的方法和系统

技术领域

本发明涉及搜索技术，特别涉及一种根据图片搜索目标用户的方法和系统。

背景技术

在目前的网上交友服务和即时通讯服务以及其它类似领域中，需要搜索某些目标用户时，通常只能通过年龄、住址以及用户名称等条件进行搜索。

但是，很多情况下，例如在寻找好友时，会有根据目标用户的外貌特征或兴趣特征进行选择的需求，该兴趣特征例如喜欢的颜色或物体，或喜欢的明星的外貌。现有技术中，为解决该问题，当需要搜索某一具有特定外貌特征或特定兴趣特征的用户时，只能利用文字的方式输入关键字来根据年龄、性别和其它关键字等条件来进行搜索，随后在搜索所产生的随机排序的大量目标用户中进行一个个排查。

综上所述，现有技术中，虽然可以按照输入的文字信息搜索到相关的目标用户。但由于只能以文字的方式输入，为搜索发起用户带来了诸多不便，比如：1)目标用户的诸如外貌或兴趣等特征很难用文字描述；2)根据文字输入来检索会获得很多个目标用户，一个个的查找期望的目标用户效率较低；3)文字查找的结果无法按照相关性的大小来排序；4)文字查找的方法需要用户输入自己的许多特征如爱好的颜色或物体，或自己的外貌或自己喜欢的明星的外貌。

发明内容

本发明提供一种搜索目标用户的方法，能够实现利用用户的头像通常代表用户的兴趣，或者是代表用户本身的外貌的特点根据目标用户外貌特征和兴趣特征进行目标用户搜索，并准确迅速地返回所需的目标用户信息。

根据本发明的一个方面，提供了一种搜索目标用户的方法，包括下列步骤：

10)接收用于查询请求的图片；

20)对所述用于查询请求的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第一数据，其中，对于含有人脸的图片，所述表示图片特征的第一数据是表示人脸的第一特征信息，对于不含人脸的图片，所述表示图片特征的第一数据是第二特征信息；

30)根据所述表示图片特征的第一数据，计算所述用于查询请求的图片与表示目标用户的图片的相似度；

40)根据所述相似度，显示目标用户的信息。

在上述方法中，所述用于查询请求的图片包括：

搜索发起用户利用绘图工具绘制的；

搜索发起用户上传或通过网络搜索获得的；或者

搜索发起用户利用绘图工具对上传或通过网络搜索获得的图片或者数据库中存储的表示目标用户的图片进行修改所获得的。

在上述方法中，所述步骤30)进一步包括：

31)对数据库中存储的表示目标用户的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第二数据，其中，对于含有人脸的图片，所述表示图片特征的第二数据是表示人脸的第三特征信息，对于不含人脸的图片，所述表示图片特征的第二数据是第四特征信息；

32)计算所述表示图片特征的第二数据和所述表示图片特征的第一数据的相似度作为所述用于查询请求的图片与所述表示目标用户的图片的相似度。

在上述方法中，对于含有多个人脸的图片，所述表示人脸的第三特征信息是表示最主要的人脸的第三特征信息。

根据本发明的另一方面，还提供了一种搜索目标用户的系统，包括：

用户接口，用于接收用于查询请求的图片，并根据用于查询请求的图片与表示目标用户的图片的相似度显示目标用户的信息；

图片分析器，用于对用于查询请求的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第一数据，其中，对于含有人脸的图片，所述表示图片特征的第一数据是表示人脸的第一特征信息，对于不含人脸的图片，所述表示图片特征的第一数据是第二特征信息；

检索器，用于根据所述表示图片特征的第一数据，计算所述用于查询请求的图片与表示目标用户的图片的相似度。

在上述系统中，所述用户接口进一步包括：

绘图工具，用于搜索发起用户绘制用于查询请求的图片或者对上传或通过网络搜索获得的图片或者数据库中存储的表示目标用户的图片进行修改。

在上述系统中，所述图片分析器还用于对数据库中存储的表示目标用户的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第二数据，其中，对于含有人脸的图片，所述表示图片特征的第二数据是表示人脸的第三特征信息，对于不含人脸的图片，所述表示图片特征的第二数据是第四特征信息；所述检索器还用于计算所述表示图片特征的第二数据和所述表示图片特征的第一数据的相似度作为所述用于查询请求的图片与所述表示目标用户的图片的相似度。

可见，采用本发明实施例的技术方案，能够自动对用于查询请求的图片进行人脸检测分析，并通过计算用于查询请求的图片与表示目标用户的图片的相似度，来返回所需的目标用户信息，从而克服了现有技术中由于利用文字的方式搜索具有某些外貌特征或者兴趣特征的用户而带来的一系列问题，进而准确迅速地返回所需的目标用户信息。

附图说明

图1是根据本发明一个实施例的搜索目标用户的方法的流程图。

具体实施方式

本发明提出一种根据图片搜索目标用户的方法。通过对表示目标用户特征的图片进行分析，可获取后续可用于对目标用户进行索引的表示图片特征的数据；当搜索发起用户确定用于查询请求的图片后，根据搜索发起用户提供的查询条件，返回符合搜索发起用户要求的期望的目标用户信息。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1，对根据本发明一个实施例的搜索目标用户的方法以及实现该方法的系统进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

附图1是根据本发明一个实施例的搜索目标用户的方法的流程图。该方法具体包括下列步骤：

步骤1：接收搜索发起用户用于查询请求的图片，对其进行人脸检测，提取该用于查询请求的图片的表示图片特征的数据。

搜索发起用户可以采用以下多种方式来输入用于查询请求的图片：

1)可以在人机交互界面上显示一个绘图工具，用于由搜索发起用户来绘制图片。由于搜索发起用户搜索具有某些特征的用户时，如梦里时常出现的一个面孔，可能没有理想的数据。所以，根据本发明的一个实施例，在人机交互界面上显示一个绘图工具，搜索发起用户在特定的窗口内进行绘制图片，该绘图工具可以包括橡皮擦、画图板、铅笔、颜色编辑、翻转、拉伸、轮廓提取等功能。

2)可以接收搜索发起用户上传的图片，或者通过网络搜索获得的图片，其中可以从磁盘文件，外设扫描设备，摄像头等可以存储或者输入图片的装置来上传。当搜索发起用户拥有一些表示目标用户特征的图片或者可以搜索到一些表示目标用户特征的图片时，可以直接接收搜索发起用户上传的图片信息或者通过网络搜索的图片信息。

3)可以在界面上显示部分表示目标用户特征的图片和绘图工具，搜索发起用户选择一张或多张表示目标用户特征的图片，并利用绘图工具对所选择图片进行修改，融合。优选地，在界面上根据表示用户特征的图片的被点击量来按顺序显示部分表示目标用户特征的图片，所显示的表示目标用户特征的图片可以是10张含有人脸的图片和10张不含人脸的图片。优选的，该界面还包括按钮用于翻看并选择更多的图片

下面通过具体的实例，对该输入方式进一步地详细说明：

假设当前搜索发起用户想输入一幅含有印象中的面孔的图片，但是自己利用绘图工具绘制的话又比较困难，则他可以在表示目标用户特征的图片中选择一幅含有脸型较像的人脸的图片作为底图。底图中的眼睛很可能不是印象中的样子，该搜索发起用户可以利用绘图工具将眼睛进行修改。还可以通过查找界面中所显示的其它表示目标用户特征的人脸图片，来找到含有和自己印象中相像的眼睛的图片，然后选择该图片。优选地，含有期望眼睛的图片显示在另一窗口中，在该窗口中含有期望眼睛的图片可以上下左右移动，或者放大缩小。复制含有期望眼睛的图片中的眼睛，然后将所复制的眼睛移动到底图的合适位置，当然可以对该眼睛进行放大缩小等操作直到该眼睛与底图中的人脸良好匹配，完成修改、融合。这样，搜索发起用户可以利用绘图工具修改底图中的眼睛，从而生成一张既有期望的脸型又有期望的眼睛的用于查询请求的图片。同理，其他特征如嘴巴，鼻子等也可进行类似操作。修改，融合后的图片还可以作为底图，进行下一轮修改，融合。

4)可以在界面上显示一个绘图工具和搜索发起用户选择上传的或者通过网络搜索获得的一张或多张图片，利用该绘图工具对被选择图片进行修改，融合。该修改，融合方式类似于方式3)。

5)在界面上显示部分表示目标用户特征的一张图片或多张图片、搜索发起用户上传或搜索获得的一张图片或多张图片以及绘图工具，利用绘图工具对图片进行修改，融合。可选地，可以将表示目标用户特征的图片作为底图，利用绘图工具将其与搜索发起用户上传或搜索的图片进行融合；类似地，也可以将搜索发起用户上传或搜索的图片作为底图，利用绘图工具将其与表示目标用户特征的图片进行融合。该修改，融合方式也类似于方式3)。

优选地，对于上述方式3)、4)和5)的融合图片的过程，可以先对被融合的图片可以进行人脸，人眼，人鼻，人嘴的检测，然后将检测出来的部分直接提取出来在底图上选择适当位置放大缩小到适当大小进行覆盖。由此，可以提高有效提高融合图片的效率。

接收了搜索发起用户用于查询请求的图片后，将用于查询请求的图片进行人脸检测，获取表示图片特征的数据。

图片特征可以是人的外貌特征，也可以是表示人的兴趣的兴趣特征，其中后者例如，某人用吉他的图片作为头像，那么认为其对吉他比较感兴趣，即吉他为他的兴趣特征。因此，本发明采用人脸检测方法，来区别以上二者。本领域普通技术人员可以理解人脸检测可以采用模板匹配、子空间方法，变形模板匹配等方法，还可以采用基于数据驱动的学习方法来进行人脸检测，如统计模型方法，神经网络学习方法，统计知识理论和支持向量机方法，基于马尔可夫随机域的方法，以及基于肤色的人脸检测。

根据本发明的一个优选实施例，采用基于积分图、级联检测器和AdaBoost算法的方法的Viola人脸检测方法进行人脸检测。该Viola人脸检测方法框架可以分为以下三大部分：第一部分，使用Harr-like特征表示人脸，使用“积分图”实现特征数值的快速计算；第二部分，使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器；第三部分，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度。

对所有用于查询请求的图片进行人脸检测后，对含有人脸的图片和不含人脸的图片分别进行特征提取。优选地，还可以分别存储上述含有人脸的图片和不含人脸的图片的表示图片特征的数据，用于以后的搜索。

对于每个含有人脸的图片，若只检测出一张脸，则提取表示该人脸的特征信息；若检测出多张脸，则提取表示该图片中最主要的人脸的特征信息。其中人脸主要与否，可通过人脸面积大小来判断，一般而言，面积最大的作为最主要的人脸。表示人脸的特征信息可以采用基于几何特征的表示方法，还可以采用基于线性判别分析的表示方法等。根据本发明的优选实施例，采用积分投影法提取表示人脸的特征信息。优选地，对于每个含有人脸的图片一共可抽取35个几何特征。

对于每个不含人脸的图片，也提取并存储多个特征信息，该特征信息可以是颜色特征，纹理特征，形状特征等。

根据本发明一个实施例，优选颜色特征。颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相关。此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。首先，选择合适的颜色空间来描述颜色特征；然后，采用一定的量化方法将颜色特征表达为向量的形式。

颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像。

当然，颜色直方图可以是基于不同的颜色空间和坐标系。最常用的颜色空间是RGB颜色空间，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，RGB空间结构并不符合人们对颜色相似性的主观判断。因此，提出了基于HSV空间、Luv空间和Lab空间的颜色直方图，因为它们更接近于人们对颜色的主观认识。其中HSV空间是直方图最常用的颜色空间。它的三个分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。

计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个柱(bin)。这个过程称为颜色量化(colorquantization)。然后，通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。颜色量化有许多方法，例如向量量化、聚类方法或者神经网络方法。根据本发明的一个实施例，将颜色空间的各个分量(维度)均匀地进行划分。根据本发明的一个优选实施例，采用聚类算法，其会考虑到图像颜色特征在整个空间中的分布情况，从而避免出现某些bin中的像素数量非常稀疏的情况，使量化更为有效。另外，如果图像是RGB格式而直方图是HSV空间中的，可以预先建立从量化的RGB空间到量化的HSV空间之间的查找表(look-up table)，从而加快直方图的计算过程。

上述的颜色量化方法会产生一定的问题。设想两幅图像的颜色直方图几乎相同，只是互相错开了一个bin，这时如果采用L1距离或者欧拉距离计算两者的相似度，会得到很小的相似度值。为了克服这个缺陷，需要考虑到相似但不相同的颜色之间的相似度。一种方法是采用二次式距离。另一种方法是对颜色直方图事先进行平滑过滤，即每个bin中的像素对于相邻的几个bin也有贡献。这样，相似但不相同颜色之间的相似度对直方图的相似度也有所贡献。

选择合适的颜色小区间(即直方图的bin)数目和颜色量化方法与具体应用的性能和效率要求有关。一般来说，颜色小区间的数目越多，直方图对颜色的分辨能力就越强。然而，bin的数目很大的颜色直方图不但会增加计算负担，也不利于在大型图像库中建立索引。而且对于某些应用来说，使用非常精细的颜色空间划分方法不一定能够提高检索效果，特别是对于不能容忍对相关图像错漏的那些应用。另一种有效减少直方图bin的数目的办法是只选用那些数值最大(即像素数目最多)的bin来构造图像特征，因为这些表示主要颜色的bin能够表达图像中大部分像素的颜色。实验证明这种方法并不会降低颜色直方图的检索效果。事实上，由于忽略了那些数值较小的bin，颜色直方图对噪声的敏感程度降低了，有时会使检索效果更好。

本领域的普通技术人员可以理解，除了上述颜色直方图方法外还可以采用颜色空间特征：基于信号、基于分块和基于聚类。此处用基于聚类的颜色空间特征来进行说明：

基于聚类的颜色空间特征方法是根据人倾向于注视大的同色区域，而不是分散的同色斑点的特点来实现的。给定两幅图像，如果他们的大致相同的位置具有相似的同色大区域，那么可以认为这幅图像是相似的。如此，一副图像的颜色空间信息可以表示成图像空间中一系列单颜色的聚类，并用这些聚类来进行图像检索。

提取聚类可采用三步启发法：第一步，选择图像的K个代表色，代表色选择的依据是，如果某种颜色的像元数占图像总像元数的比例大，即选择这种颜色作为图像的代表色；第二步，采用连续4相邻组合算法确定每种代表色的一系列聚类，给定一个像元，其左右上下4个相邻为4相邻组合，并且每个聚类用其最小外边界矩形粗略表示；第三步，从第二步的结果得到一系列单色大聚类，将第二步导出的聚类(不管颜色)按面积大小降序排列后，前p个面积最大的聚类即作为图像的代表聚类表达图像的颜色空间信息。

通过上述步骤，对于每一用于查询请求的图片，如果含有人脸，则提取了该图片的表示人脸的特征信息；如果不含有人脸，则提取了其它特征信息。

步骤2：采用类似于步骤1的处理方法，对数据库中存储的表示目标用户特征的图片进行人脸检测，获取表示图片特征的数据。优选地，在数据库中存储上述表示图片特征的数据，以直接用于以后的搜索。同样，对于每个含有人脸的图片，若只检测出一张脸，则提取并存储表示该人脸的特征信息；若检测出多张脸，则提取并存储表示该图片中最主要的人脸的特征信息。将含有人脸的图片和不含人脸的图片分别存储为与步骤1中含有人脸的图片和不含人脸的图片相对应的数据格式。除了存储上述表示图片特征的数据，优选地，同时还存储目标用户的名称，年龄，性别等信息。

本领域普通技术人员可以理解，表示目标用户特征的图片可以是目标用户头像图片或者是由目标用户另外提供或输入的。该目标用户头像可以用单张图片显示的静态头像或者多张图片显示的动态头像。如果是动态头像，则该目标用户头像图片包括用于显示该动态头像的所有图片。当然，头像图片包括正在使用的头像图片和曾经使用的头像图片。

步骤3：计算用于查询请求的图片与表示目标用户特征的图片的综合相似度。

通常情况下，两张图片的相似取决于两张图片的特征值的相似度。根据本发明的一个实施例，特征之间的相似由两个特征值的欧几里得距离决定。计算两张图片的各个特征的欧几里得距离，然后将它们相加求和获得综合相似度。

步骤4：为搜索发起用户显示所计算的综合相似度符合要求的目标用户信息。也就是说，如果两张图片的特征之间的欧几里得距离之和小于预先设定的阈值，就认为这两张图片相似，则显示关于该图片的目标用户信息给搜索发起用户。

根据本发明的另一方面，还提供了一种搜索目标用户的系统，该系统包括：

用户接口，用于接收用于查询请求的图片，并在搜索后根据用于查询请求的图片与表示目标用户的图片的相似度显示目标用户的信息给搜索发起用户；图片分析器，用于对用于查询请求的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的数据，其中，对于含有人脸的图片，所述表示图片特征的数据是表示人脸的特征信息，对于不含人脸的图片，所述表示图片特征的数据是其它特征信息；检索器，用于根据上述表示图片特征的数据，计算用于查询请求的图片与表示目标用户的图片的相似度。

上述用户接口还包括绘图工具，其用于搜索发起用户绘制用于查询请求的图片，或者对上传或通过网络搜索获得的图片或者数据库中存储的表示目标用户的图片进行修改以生成理想的用于查询请求的图片。

优选的，上述图片分析器还用于对数据库中存储的表示目标用户的图片进行人脸检测，提取该图片的表示图片特征的数据；上述检索器通过计算表示目标用户的图片的表示图片特征的数据和用于查询请求的图片见的表示图片特征的数据的相似度来作为所述用于查询请求的图片与所述表示目标用户的图片的相似度。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (12)

1.一种搜索目标用户的方法，包括下列步骤：

10)接收用于查询请求的图片；

20)对所述用于查询请求的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第一数据，其中，对于含有人脸的图片，所述表示图片特征的第一数据是表示人脸的第一特征信息，对于不含人脸的图片，所述表示图片特征的第一数据是第二特征信息；

30)根据所述表示图片特征的第一数据，计算所述用于查询请求的图片与表示目标用户的图片的相似度；

40)根据所述相似度，显示目标用户的信息。

2.根据权利要求1所述的方法，其特征在于，所述用于查询请求的图片包括：

搜索发起用户利用绘图工具绘制的；

搜索发起用户上传或通过网络搜索获得的；或者

搜索发起用户利用绘图工具对上传或通过网络搜索获得的图片或者数据库中存储的表示目标用户的图片进行修改所获得的。

3.根据权利要求2所述的方法，其特征在于，所述数据库中存储的表示目标用户的图片是点击量高的。

4.根据权利要求1所述的方法，其特征在于，所述步骤30)进一步包括：

31)对数据库中存储的表示目标用户的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第二数据，其中，对于含有人脸的图片，所述表示图片特征的第二数据是表示人脸的第三特征信息，对于不含人脸的图片，所述表示图片特征的第二数据是第四特征信息；

32)计算所述表示图片特征的第二数据和所述表示图片特征的第一数据的相似度作为所述用于查询请求的图片与所述表示目标用户的图片的相似度。

5.根据权利要求4所述的方法，其特征在于，对于含有多个人脸的图片，所述表示人脸的第三特征信息是表示最主要的人脸的第三特征信息。

6.根据权利要求4所述的方法，其特征在于，所述表示目标用户的图片是目标用户静态头像或者目标用户动态头像。

7.根据权利要求4所述的方法，其特征在于，所述表示目标用户的图片是目标用户正在使用的头像或者目标用户曾经使用的头像。

8.根据权利要求1所述的方法，其特征在于，所述第二特征信息包括颜色特征、纹理特征和形状特征。

9.一种搜索目标用户的系统，包括：

用户接口，用于接收用于查询请求的图片，并根据用于查询请求的图片与表示目标用户的图片的相似度显示目标用户的信息；

图片分析器，用于对用于查询请求的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第一数据，其中，对于含有人脸的图片，所述表示图片特征的第一数据是表示人脸的第一特征信息，对于不含人脸的图片，所述表示图片特征的第一数据是第二特征信息；

检索器，用于根据所述表示图片特征的第一数据，计算所述用于查询请求的图片与表示目标用户的图片的相似度。

10.根据权利要求9所述的系统，其特征在于，所述用户接口进一步包括：

绘图工具，用于搜索发起用户绘制用于查询请求的图片或者对上传或通过网络搜索获得的图片或者数据库中存储的表示目标用户的图片进行修改。

11.根据权利要求10所述的系统，其特征在于，所述绘图工具还包括用于翻看并选择更多图片的按钮。

12.根据权利要求9所述的系统，其特征在于，

所述图片分析器还用于对数据库中存储的表示目标用户的图片进行人脸检测以判断是否含有人脸，提取表示图片特征的第二数据，其中，对于含有人脸的图片，所述表示图片特征的第二数据是表示人脸的第三特征信息，对于不含人脸的图片，所述表示图片特征的第二数据是第四特征信息；

所述检索器还用于计算所述表示图片特征的第二数据和所述表示图片特征的第一数据的相似度作为所述用于查询请求的图片与所述表示目标用户的图片的相似度。