CN102799635A

CN102799635A - 一种用户驱动的图像集合排序方法

Info

Publication number: CN102799635A
Application number: CN2012102157963A
Authority: CN
Inventors: 张怡; 赵天昊; 李文博; 莫志鹏
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2012-06-27
Filing date: 2012-06-27
Publication date: 2012-11-28
Anticipated expiration: 2032-06-27
Also published as: CN102799635B

Abstract

本发明属于网络图像搜索技术领域，涉及一种根据用户反馈筛选、排序图片的方法，包括以下步骤：统计用户在每张图像的浏览信息，包括浏览时间、下载次数和用户评分；利用以上信息加权后为已浏览图像评分并分类；提取出用户的偏好图像特征集进行训练，将利用不同特征组合的训练出的测试图片集标定结果与人工标定的结果进行比对，选定最适合此类图片集的特征集合，使图片集的展示更加符合用户偏好。本发明具有兼顾图像普适性和用户个人偏好的特点，既能够在图像搜索中提供总体的图像排序，又能为个体用户提供个性化搜索结果，具有良好的学习能力，能够根据反馈信息不断调整返回给用户的结果。

Description

一种用户驱动的图像集合排序方法

所属技术领域

本发明属于网络图片搜索技术领域，特别涉及一种根据用户浏览与反馈数据筛选以及排序图片的方法。

背景技术

在最近的几十年中，随着个人计算机以及网络的普及，通过网络搜索信息已经变成了人们获取信息的重要来源之一。其中，图片搜索是网络搜索的一个重要组成部分。一直以来，现有的图片搜索往往会给用户筛选出与需求不甚相符的结果。这是由于以下原因造成的：第一，绝大部分为搜索结果排序的算法是以浏览量等基本信息为依据的，无法为用户提供个性化的搜索结果。由于每个用户的需求存在着显著的差异，这种一般的算法注定会降低用户体验；第二，最近形成的关联反馈系统，虽然能够比较好的反映群体用户对搜索结果的评价，但是并未考虑到每个用户都是一个单独的个体，也就会有差异性的需要。因此，我们需要一种图片筛选及排序方法，以便为用户提供更贴近个人需求的结果。

发明内容

本发明针对现有图像搜索技术无法为用户提供更精确、更具个性化的搜索服务的问题，提出一种新的图片集合排序方法。本发明通过改进筛选及排序技术，使不同类型的用户都能够得到最大限度适合个人的搜索结果，减少用户重复搜索次数，提高用户搜索效率，提高用户对搜索的满意度。本发明的技术方案如下：

一种用户驱动的图片集合排序方法，包括下列步骤：

（1）根据用户在对某个关键字进行图像检索时检索到的图片集，统计用户的图像浏览信息，包括：每张图片的浏览时间、下载次数以及用户评分；

（2）在得到图像统计信息后，使用以下数学表达式为每张图片打分：

P = 60 % * D + 30 % * \frac{B}{15} + 10 % * \frac{G}{2} * {(- 1)}^{α}

其中，P代表单个图片的打分结果，D代表图片总下载次数，B代表图片总浏览时间，G代表所有用户对图片的平均评价等级，G>2.5时，调整系数α=1；G<2.5时，调整系数α=-1。

（3）根据评分结果的从高到低，将图片集里的图片划分为用户偏好图片子集和不符合用户偏好图片集两个子集，另外将用户未浏览过的同类图像构成的子集作为测试图片集；

（4）分别对符合用户偏好图片集、不符合用户偏好图片集和测试图片集提取图像的三个主要特征：边界特征、纹理特征和颜色特征，建立各个图片子集的特征矩阵，

（5）在获得图片子集的特征矩阵后，首先针对三个单一特征对测试图片集里的图片进行SVM训练，得到判断测试图片集里的图像属于符合用户偏好或不符合用户偏好子集的分类器，进而得到认为符合用户偏好的图片；再将三个单一特征中的任意两个特征合并为一个特征，对测试图片集里图片进行SVM训练，得到认为符合用户偏好的图片；最后将三个单一特征特征矩阵合并为一个总的特征矩阵，对测试图片集里的图片进行SVM训练，得到认为符合用户偏好的图片；

（6）对测试图片集里的每张图片都进行人工标定，确定每张图像实际上是否符合用户偏好；

（7）将经过步骤（5）的不同特征组合的训练出的测试图片集标定结果与步骤（6）人工标定的结果进行比对，选定最适合此类图片集的特征集合；

（8）为每一位有记录的用户建立一个账户，在该账户下记录其搜索偏好,当用户再次搜索同一关键字或相似关键字时，根据已有的用户偏好信息，利用步骤（7）选定的最适合此类图片集的特征集合进行训练，实现分类和重排序，提供给用户与其个人喜好相近的图片。

所述的用户驱动的图片集合排序方法，可以基于Sobel算子进行边界特征提取，采用hsv模型抽取图片的颜色特征，采用gabor滤波器进行纹理特征提取。

本发明的分类模型的效用和性能共受到三个因素的影响：样本规模，不同特征在不同种图像分类中影响的显著性，噪音。我们共进行了三组实验来探究这三种因素的影响。在实验中，我们使用以下四个统计数据来衡量这三种因素对训练结果影响程度。

（1）命中率：系统筛选出的图像数量占图像总量的比率。

（2）查全率：系统筛选出的真正符合用户偏好的图像数量占实际符合用户偏好的图像数量的比率。

（3）查准率：系统筛选出的真正符合用户偏好的图像数量占系统筛选出的图像数量的比率。

（4）用户满意度：在排序后的集合前100张图片中，用户实际满意的图像的比率。。

在研究样本规模对模型性能影响时，我们在有噪声情况下对海滩和苹果两组图片集进行数量分别为30，60，80的测试，得到结果显示80为最优样本规模，此时得到的分类结果最准确。因此，我们认为样本规模的扩大能够使图片集更具一般性，提高分类精度。

在研究不同特征在不同种图像分类中影响的显著性对模型性能影响时，我们对海滩和苹果图片集进行测试，得到的结果显示，苹果图片集分类最有效的特征集合是颜色和边界特征，而海滩图片集分类最有效的特征集合是颜色和纹理特征。这证明了对于不同类型的图片，具有不同最适特征集合。我们考虑到了这一点，能够为用户带来更加精确适合个人偏好的搜索结果。

在研究噪声对模型的影响时，我们选择了容量均为80的海滩和苹果图像样本，并对两者均给予最适特征集合进行分类，得到结果显示分类的准确度在无噪声情况下要略优于有噪声情况，用户满意度也略好。但两者差别十分微小，在我们的可接受范围内。这说明了本发明模型具有良好的健壮性。

综上所述。本发明兼具了很高的有分类效性和良好的抗噪健壮性。

附图说明

图1：模拟系统说明图；

图2：有噪音的海滩图片，测试规模80；

图3：有噪音的苹果图片，测试规模80；

图4：颜色特征提取在有无噪音情况下的对比（海滩样本）；

图5：边界特征提取在有无噪音情况下的对比（苹果样本）；

图6：纹理特征提取在有无噪音情况下的对比（海滩）。

具体实施方式

本发明最佳实施方案如下：

1.统计用户的图像浏览信息。

由于现有的浏览器不能存储我们需要的用户浏览信息，为此本发明建立了一个提取用户信息的模拟系统，如图1所示。在该系统中，我们导入了使用其他浏览器检索到的图片集，并根据用户行为统计各种浏览信息，包括：每张图片的浏览时间、下载次数以及用户评分。由于用户在浏览搜索结果时，通常会连续浏览结果图片集，因此我们认为单个图片的浏览次数对于图片筛选排序并不具有高度价值。而浏览时间和下载次数能够显著的体现一张图片对于用户的价值:用户对于图片越满意，浏览时间会越长，也具有越大的可能性去下载图片。用户评分是最直接反映用户对图像满意程度的信息。在得到图像统计信息后，我们使用一下数学表达式为图片打分：

P = 60 % * D + 30 % * \frac{B}{15} + 10 % * \frac{G}{2} * {(- 1)}^{α}

该打分结果P具有两点作用。（1）利用P值从高到低对数据库中所有图像进行排序，得到一个一般性的排序结果。（2）对于某一位特定用户，他（她）显然只可能浏览到全部图像的一部分。利用P值对其已浏览过的图像进行排序，筛选出其中打分较高的部分作为符合其个人偏好的图片集合，打分较低的部分作为不符合个人偏好的图片集。在该用户未来搜索相同或相似关键字时，根据已有的个人偏好图像记录，对其未浏览过的同类图像进行训练，得到认为符合其偏好的图片集并返回给用户。

2.在为用户匹配符合个人喜好图片的过程中，我们提取了图片的边界、纹理以及颜色特征。现有技术中，已经有很多种特征提取的方法，只要是能够有效地提取图片的边界、纹理以及颜色特征，均可以一用。本实施例的特征提取技术方案如下所述。为了便于描述，我们取一张图像作为说明对象，记为I。

（1）边界特征提取

我们基于Sobel算子进行边界特征提取。由于Sobel算子对噪声具有平滑作用，从而能够提供较为精确的边缘方向信息。

首先，将I转为灰度图。I以矩阵的形式读入，记为i。利用Sobel算子对i矩阵进行处理提取出I边界图像的对应矩阵r。在r中，位于边界上的像素点以白色表示，非边界像素为黑色，r即为0-1矩阵，其中1代表白色，0代表黑色。

根据图像大小，我们将r划分成16行×16列共256个子矩阵，每一子矩阵大小相同且没有重叠。由于256个子矩阵可能无法完全覆盖i矩阵，我们在划分过程中，对子矩阵的大小向下取整，最后舍弃掉矩阵底部和右侧的多余部分。对于这部分舍弃掉的矩阵，我们认为由于其对应像素位于图像边缘，对于图像的边界特征贡献可以忽略不计。

在每一个子矩阵中，我们统计元素1个数与子矩阵总元素数的比值。这样，对于图片I，我们得到了一个256维的特征向量，该向量的每一维度代表了一个子图片中边界像素占总像素数的比例。

（2）颜色特征提取

相比其他模型而言，hsv模型更适合于抽取图片的颜色特征。我们采用hsv模型，需要提取图片的H（hue色相）、S（saturation饱和度）、V（value色调）三个特征。由于进行测试的图片I均为rgb模型，所以我们首先提取了I的三原色特征并分别存在三个矩阵中。然后对I的每一个像素点进行hsv模型转换。

转换完成之后我们获得了I中每一个像素点上的hsv特征值，对h，s，v三个特征的原始矩阵加以整理，使其合并为一个64位（其中，h：32位，v：16位，s:16位）向量作为I的特征向量。

（3）纹理特征提取

我们采用了gabor滤波器进行纹理特征提取。

首先，我们需要将i分割为若干正方形的子矩阵，以便使用gabor滤波器进行特征提取。考虑到进行测试的图像大小和特征提取的准确性，我们取子矩阵大小为32×32，且每个子矩阵都有一半的面积与其相邻子矩阵重合。对于i矩阵下侧和右侧无法被子矩阵覆盖的多余部分，我们采用和边界特征提取相同的处理方法，舍弃掉这一部分矩阵。假设我们最终划分出了N个子矩阵。

在每个子矩阵中应用gabor滤波器，其中stage＝4，orientation＝6。最终每个子矩阵得到一个48维的特征向量，I图片得到了N个48维的特征向量。但是不同大小图片N值是不同的，难以进行接下来的图像训练。为了解决该问题，同时考虑到样本图像的大小，我们对每张图片都提取出32个特征向量来进行训练。为了使这32个向量能够最大限度代表图像的纹理特征，我们使用了以下的筛选方法：首先，对I的N个特征向量采用kmeans算法分为8类，并得到每一类的中心向量C_i。之后我们按照每类向量数的比例计算每类中取出的向量数量，并在每类中取出相应数量的、距离其中心向量C_i最近的向量。这样，每一张图片都可以得到一个32维的特征矩阵。

需要说明的是，由于标准kmeans算法初始化时每一类的中心向量为随机取得，并且我们无法预测每组的中心向量，这会导致每次分类结果的差异性，从而产生不同的训练结果。因此我们选取了几次训练的平均效果作为实验结果。

3.根据以上所述的获取图像颜色、纹理及边界特征的技术，我们提取出符合用户偏好、不符合用户偏好及测试图片集(即用户未浏览过的待分类图像集)的特征后对其进行训练。记录符合用户偏好的图片集为G，不符合用户偏好图片集为B，测试图片集为S。为了进行SVM训练，G与B集合大小相同。具体技术方案如下。

（1）单一特征训练

以边界特征训练为例，利用上述边界特征提取技术，对G、B、S集合中的图片进行边界特征提取，得到G、B、S各自的特征矩阵并进行SVM训练，得到一个判断待筛选图像属于符合偏好或不符合偏好集合的分类器，利用该分类器在S图片集中筛选出符合用户偏好的图片。颜色、纹理特征训练方法同上。

（2）混合特征训练

我们将每个图像的边界、颜色、纹理三个特征向量合并一个特征向量，以及将其中任意两个向量合并为一个，利用合成向量进行上述的SVM训练，筛选出S中符合用户偏好的图片。

（3）提取最优训练特征组合及验证训练有效性

对测试图片集里的每张图片都进行人工标定，确定每张图像实际上是否符合用户偏好。将通过上面的三种方式训练出的测试图片集标定结果与测试图片集的实际标定结果进行计算机比对，得到命中率、查全率、查准率和用户满意度等性能指标。对于同一组测试图片集的不同特征集合的训练结果中，性能最佳的即为最符合用户要求结果，选定其对应的特征组合为最适合该类图像集的特征组合。

4.为每一位有记录的用户建立一个账户，在该账户下记录其搜索偏好,即用户搜索过的图像类别以及对应的图像特征信息，当用户再次搜索同一关键字或相似关键字时，根据已有的用户偏好信息，利用步骤（7）选定的最适合此类图片集的特征集合进行训练，实现分类和重排序，提供给用户与其个人喜好相近的图片。

为了验证一般情况下样本规模对分类模型的影响，我们控制其他条件不变并在有噪声的情况下运用三种不同特征分类方法对苹果和海滩两个图片集进行了样本容量为30,60,80的6组实验，并且通过数据处理得到了命中率、查全率、查准率和用户满意度。具体实验结果如下。

通过上面的实验我们可以看出，当样本容量逐渐增大时，分类的准确性也随之上升，在这三组样本容量中，最佳样本容量为80.

由于不同用户针对不同图片集都会有自己的选择标准，所以分类时，特征的选择也会对最后分类的结果造成影响，设计本组实验正是为了研究针对特定图片集，单个特征和不同特征组合分类性能的差异。实验采用的图片依旧为海滩和苹果，得到的数据结果如图2、图3所示。

由图2、图3结果可以看出在对海滩图像进行测试时，分类结果会受到所选特征的影响，这是由在评价不同图片集图片时用户个人喜好差异所致。因此，我们设计了这样一组实验，目的是研究基于不同特征集合的结果差异。在这个实验中，我们使用了两组图片集。通过上面所列出的特征研究结果我们可以发现，在海滩图片集分类中，颜色和纹理特征是最有效的特征集合；而在苹果图片集分类中，颜色和边界是最好的特征集合。虽然有些特征集合会产生效果较差的结果，但是这三个特征的集合总能够筛选出用户乐于接受的结果。

分类模型在有噪音干扰和无噪音干扰下分类的结果差异大小是衡量分类模型健壮性的一个很重要的指标。本组实验研究了三类特征分类方法在两个不同图片集下有无噪音情况下的分类结果，为了保证实验效果最佳，我们选择了80容量的样本集进行试验，其中苹果图片集被用来对边界进行测试，而沙滩则用来对纹理及颜色特征进行测验。测试结果如图4～图6所示。测试结果显示在有无噪音情况下筛选结果差距很小。尽管在计算用户满意度时只选择了100张图片，会出现误差，但是实验结果的微小差异仍然可以反映出用户满意度的差别。因为有噪声引起的用户满意度差异在我们的可接受范围内，我们可以认为系统健壮性良好。

Claims

1.一种用户驱动的图片集合排序方法，包括下列步骤：

P = 60 % * D + 30 % * \frac{B}{15} + 10 % * \frac{G}{2} * {(- 1)}^{α}

2.根据权利要求1所述的用户驱动的图片集合排序方法，其特征在于，基于Sobel算子进行边界特征提取，采用hsv模型抽取图片的颜色特征，采用gabor滤波器进行纹理特征提取。