CN103164539B

CN103164539B - 一种结合用户评价与标注的交互式图像检索方法

Info

Publication number: CN103164539B
Application number: CN201310128036.3A
Authority: CN
Inventors: 黄祥林; 杨丽芳; 曾南子; 韩卯辉
Original assignee: Communication University of China
Current assignee: Communication University of China
Priority date: 2013-04-15
Filing date: 2013-04-15
Publication date: 2016-12-28
Anticipated expiration: 2033-04-15
Also published as: CN103164539A

Abstract

本发明是一种结合用户评价和标注的交互式图像检索方法，属于多媒体信息检索领域。在本发明中，该方法利用了基于图像的物理特征和文本相结合的综合检索方法，在检索过程中，允许用户对查询图像进行文本信息描述，或者选择系统提供的关键字，通过对检索结果进行“满意”或“不满意”的相关评价，图像检索系统自动对用户标记的相关满意图像进行文本标记，形成高层语义信息；随着用户的不断使用，该系统会生成丰富的语义信息数据库。考虑到不同用户对同一图片，同一用户不同时间对同一图片文本标注的差异，本发明在生成语义信息数据库的过程中结合了用户的可信度。进行检索时，对存在语义信息的查询图像采用基于特征和文本相结合的综合检索方式进行检索，提高了检索结果的准确度。本发明具有效率高、精确度高、交互方式友好的优点。

Description

一种结合用户评价与标注的交互式图像检索方法

技术领域

本发明是一种结合用户评价与标注的交互式图像检索方法，属于多媒体信息检索领域。

背景技术

近年来，随着信息技术的发展，数字图像的数量快速增长，每天都有海量的图像数据产生。如何快速而准确地查找并有效利用这些图像成为迫切需要解决的问题，这就需要图像检索技术。

20世纪70年代开始出现基于文本的图像检索技术，主要利用数据库管理系统，对图像进行人工标注，即对每幅图像标注关键字，利用原有成熟的文本检索系统对图像进行管理和检索。这种方法的主要优点是检索速度快，但是人工标注费时费力、主观性强，且对海量图像进行人工标注是很难实现的。

20世纪90年代，出现了基于内容的图像检索技术，它自动提取图像的底层物理特征(如颜色、纹理、形状等特征)来进行图像相似度比较。检索时，用户选择一幅图像作为查询图像，然后通过图像底层物理特征的匹配，由系统查找与查询图像相似的图像，按相似度大小排列并返回给用户。在实际应用中，颜色、纹理、形状等底层物理特征有时不能真实反映图像内容，即存在一定的语义鸿沟。近期，人们又提出了基于语义的图像检索方法，但如何自动获取图像的语义信息却很困难。

发明内容

本发明的目的在于提供一种结合用户评价与标注的交互式图像检索方法，该方法通过用户对查询图像、想查找图像的文本描述或检索结果进行满意度评价，系统能够自动在线生成图像库的语义信息数据库，在检索的过程中，综合利用离线生成的图像底层物理特征和在线生成的高层语义信息进行检索，从而极大提高图像检索的准确度。同时，在生成语义信息数据库的过程中，充分考虑了不同用户给出的文本标注的可靠性因素。该方法具有效率高、精确度高、交互方式友好的特点。

本发明的总体思想如下：用户提交一幅查询图像或对想查找图像进行文本描述或是二者相结合，检索系统会提取图像特征、提取文本描述中的关键字或者二者同时提取，进行检索时，系统会分别采用基于特征相似度匹配、基于文本相似度匹配和基于特征和文本相似度相结合匹配进行检索。然后用户可对检索结果进行“满意”或“不满意”的相关评价，通过用户对检索结果的相关评价，图像检索系统自动对满意图像进行关键字标注。该图像检索系统随着用户的不断使用，自动对图像库中的各图像生成丰富的语义信息数据库。本发明考虑到不同用户给出的文本标注可靠性不同的特点，在生成语义信息数据库的过程中，结合了用户的可信度。

具体创新点：本发明利用基于物理特征和文本相结合的综合检索方法，从而极大提高图像的检索准确度。同时，在进行语义标注的过程中，只需对查询图像或想查找的图像进行语义标注，图像检索系统自动对用户标记为满意的图像也进行语义标注，且产生的语义标注信息考虑到了用户的可信度因素。本发明提出的方法能通过本图像检索系统的不断使用，自动丰富图像库中各图像的语义标注信息，避免人工标注费时费力的问题。

本发明提出的检索方法，具体步骤包括：(1)对图像库中的所有图像进行特征提取，离线生成图像特征库V；(2)用户登录，如果不登录即为匿名用户；(3)用户提交查询信息，该信息可以是查询图像Q_N，也可以是输入的文本信息，或者是查询图像与文本信息同时存在；(4)检索系统对查询图像Q_N进行特征提取，并对输入的文本信息提取关键字；(5)检索系统对查询图像Q_N进行特征相似度匹配S1；(6)检索系统对提取的关键字进行文本的匹配，即语义相关性S2；(7)检索系统利用S1和S2计算总相似度S，返回S值最大的图像集作为初始的检索结果集合set(R)；(8)同时，检索系统在关键字数据表KL中查询是否存在set(R)中各图像名对应的记录，如果存在，则给出这些记录对应的关键字权值排序最高的前N(N＞0)个关键字供用户选择；(9)用户选择系统提供的关键字K，同时也可以对图像文本标注T′；(10)系统根据用户选择的关键字和标注的文本信息，组合新关键字K′；(11)同时，用户对结果图像进行“满意”或“不满意”评价，对标记为“满意”的图像，用关键字K′进行文本标注；(12)图像检索系统计算该用户的用户可信度a，并计算“满意”图像标注的关键字权值W，保存到关键字信息表KL中，同时，将注册用户的用户信息保存到用户信息数据表UL中，匿名用户的用户信息不需要保存，只需对KL进行更新；(13)如果用户对检索结果不满意，则可修改文本标注T，重复步骤(3)-(12)，直到用户对检索结果满意为止，并给出最终的检索结果。

更进一步，步骤1、2所述的特征提取中的特征包括：颜色特征、纹理特征、形状特征、空间分布特征及局部不变性特征。

更进一步，步骤6所述的语义相关性S2的计算方法为：对于图像库中的每幅图像，在关键字信息数据表KL中查询包含该图像名及K中任一关键字对应的记录，从这些记录的关键字权值中选取最大值作为S2，如果KL中没有该图像名与K中各关键字对应的记录，则S2值为0。

更进一步，步骤7所述的总相似度S的计算方法为：S＝αS1+βS2，其中α+β＝1，α是基于特征相似度匹配在综合检索中所占的比重，β是基于文本匹配在综合检索中所占的比重；当α＝0时，综合检索实际是进行基于文本匹配的检索；当β＝0时，综合检索实际是进行基于特征相似度匹配的检索；当α≠0且β≠0时，图像检索系统进行综合检索，根据用户的不同需求调整视觉相似度S1和语义相关性S2的比例；如果用户希望检索得到语义上更相关的图像，则调小α，调大β，反之如果用户更需要视觉上相似的图像，则相应调小β，调大α。

更进一步，步骤8、12所述的关键字信息数据表KL的字段为：

关键字、图像名、关键字评价次数、关键字权值

其中KL中的一条记录仅与某一关键字及用该关键字表示的一幅图像的图像名一一对应，“关键字评价次数”为所有用户对该图像名用该关键字进行标注的次数的统计，“关键字权值”是每次不同用户用该关键字标注该图像时累加当前用户的可信度得到的。

更进一步，步骤12中所述的用户信息数据表UL的字段为：

用户名、密码、用户评价次数、用户可信度

其中UL用来保存注册用户的操作记录，“用户评价次数”是统计该注册用户对各查询图像进行标注的次数总和，“用户可信度”用于表示该注册用户当前给出的文本标注的可信度。

更进一步，步骤12中所述的KL和UL的更新，具体规则如下：

1)KL的更新：若某次检索过程取得的K中的某个关键字与用户标注为满意的某个图像名的对应记录不存在，则将该关键字、该图像的图像名、关键字评价次数(1次)和该关键字对应该图像名的关键字权值作为一条记录存入KL中，若记录存在，则将该条记录的评价次数加1，并重新计算该关键字对应记录的关键字权值项；

2)UL的更新：若进行检索的是注册用户，则将该用户对应记录的用户评价次数加1，并重新计算该注册用户的用户可信度。

更进一步，步骤12所述的用户可信度a，其特征在于，对于匿名用户，它的可信度值只取决于本次操作；而对于注册用户，它的用户可信度是该用户多次评价的用户可信度的平均值；用户某次操作的用户可信度a的具体计算方法为：从KL中找到包含K(用户选择的关键字以及用户输入的文本信息整合后的关键字集合)中任一关键字的所有记录，从这些记录中找到关键字权值最高的记录，a的大小等于该条记录对应的关键字评价次数在对查询图像进行标注的所有关键字评价次数总和中所占比重对应的量化值；

1)对于注册用户，注册用户的第n次操作的用户可信度的平均值为：

a_{n} = \frac{a_{n - 1} * (n - 1) + a}{n};

2)对于匿名用户，匿名用户的用户可信度值为a。

更进一步，在计算某次用户可信度时，关键字的评价次数在对Q_N进行标注的所有关键字评价次数总和中所占比重对应的量化值的量化方法可以是均匀量化，也可以是非均匀量化。

更进一步，关键字信息数据表KL中的“关键字权值”字段，当前用户的可信度越高，则该关键字的准确性越高，该关键字对应的关键字权值也越大，某一关键字记录中的关键字权值计算方法如下：

m为该关键字的关键字评价次数。

附图说明

图1图像检索系统框图

图2图像检索在线检索流程图

具体实施方式

下面结合附图对本发明作进一步说明：

本实施例的技术方案如图1所示：

首先，检索系统事先离线对图像库中的所有图像进行底层物理特征提取，提取的特征包括：颜色特征、纹理特征、形状特征、空间分布特征及局部不变性特征，生成图像特征库V；然后进行如图2所示的在线检索过程，在线检索过程的具体流程如下：

(1)用户提交查询信息，该信息可以是查询图像Q_N，也可以是输入的文本信息，或者是查询图像与文本信息同时存在；检索系统对查询图像Q_N进行特征提取，并对输入的文本信息提取关键字；系统对查询图像进行特征相似度匹配S1，对提取的关键字进行文本的匹配，即语义相关性S2；检索系统利用S1和S2计算总相似度S，S＝αS1+βS2；并对S值按从大到小进行排序，返回S值最大的图像集作为初始的检索结果集合set(R)；其中上述所说的公式S＝αS1+βS2，α、β分为三种情况：

(a)用户只提交Q_N，不进行任何文本标注，则相应的β＝0，图像库中每幅图像的总相似度S＝αS1，综合检索实际是基于特征相似度匹配的检索；

(b)用户既提交Q_N，也对Q_N或想查找的图像进行相应的文本标注，则α≠0且β≠0，综合检索是基于特征相似度匹配和基于文本匹配相结合的综合检索；

(c)用户不提交Q_N，只对想查找的图像进行文本标注，则相应的α＝0，图像库中每幅图像的总相似度S＝βS2，综合检索实际是基于文本匹配的检索。

(2)图像检索系统在关键字数据表KL中查询是否存在set(R)中各图像名对应的记录，如果存在，则给出这些记录对应的关键字权值排序最高的前N(N＞0)个关键字供用户选择。

(3)用户选择系统提供的关键字或者输入文本信息，系统从输入的文本信息中提取关键字并与用户选择的关键字合成新的关键字集合K。

(4)用户对set(R)上的图像进行“满意”或“不满意”评价，选择其认为比较接近检索目标的若干幅图像进行“满意”标记，形成相似图像集S(M)，系统自动把新关键字集合K标记相似图像集。

(5)图像检索系统自动计算本次操作的用户可信度a，并更新语义信息数据库中的用户信息数据表UL：根据用户本次标注得到的关键字集合K，从KL中找到包含K中任一关键字的所有记录，从这些记录中找到关键字权值最高的记录，得到该记录中对应的关键字评价次数，计算该关键字评价次数在对set(R)中的第一幅图像R1进行标注的所有关键字的关键字评价次数总和中所占比重，对该比重进行量化，将该量化值作为本次操作的用户可信度值a。现给出a的计算方法，举例如下：假设KL中的存在4条对R1进行标注的关键字信息记录，对关键字评价次数所占比重的量化方法如下表所示：

关键字

图像名

关键字评价次数

比重

排名

比重量化值

用户可信度

key1

R1

27

27/65

1

100％

key2

R1

12

12/65

3

0.6

60％

key3

R1

19

19/65

2

0.8

80％

key4

R1

5

5/65

4

0.4

40％

假定本次查询，用户给出的关键字集合K为key1和key3，系统找到对应的权值最高的记录，即关键字key1的记录，得到key1的关键字评价次数所占的比重为27/65，根据该表给出的量化方法，得到比重量化值为1，即得到本次操作的用户可信度a为100％。对于匿名用户，匿名用户的此次操作的用户可信度大小就等于a；对于注册用户，该注册用户此次操作的用户可信度为该用户进行过的评价次数n的平均值，即：

a_{n} = \frac{a_{n - 1} * (n - 1) + a}{n};

n表示此次操作是该注册用户的第n次操作，图像检索系统将该注册用户的用户评价次数加1，并更新用户可信度的值为a_n。

(6)根据本次操作的用户可信度，重新计算K中的每个关键字与相似图像集S(M)中每幅图像对应的关键字权值W，W的更新方法为：即累加上本次操作的用户可信度；图像检索系统自动查询S(M)中各图像的图像名与K中各关键字在KL中是否存在对应的记录，如果存在，则将该图像名与该关键字对应的关键字评价次数加1，对应的关键字权值加上本次操作的用户可信度a；如果不存在，则将该图像的图像名、该关键字、关键字评价次数(1次)和相应关键字权值(关键字权值即为本次操作的用户可信度值a)作为一条记录添加进KL中。

(7)如果用户对检索结果不满意，则用户可修改文本标注T，并重新进行基于特征相似度匹配和基于文本匹配相结合的综合检索，直到得到用户满意的结果为止。

应当理解的是，上述针对实施实例的描述较为具体，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

Claims

1.一种结合用户评价和标注的交互式图像检索方法，其特征在于具体步骤如下：

1)对图像库中的所有图像进行特征提取，离线生成图像特征库V；

2)用户登录，如果不登录即为匿名用户；

3)用户提交查询信息，该信息可以是查询图像Q_N，也可以是输入的文本信息，或者是查询图像与文本信息同时存在；

4)检索系统对查询图像Q_N进行特征提取，并对输入的文本信息提取关键字；

5)检索系统对查询图像Q_N进行特征相似度匹配S1；

6)检索系统对提取的关键字进行文本的匹配，即语义相关性S2；

7)检索系统利用S1和S2计算总相似度S，返回S值最大的图像集作为初始的检索结果集合set(R)；

8)同时，检索系统在关键字信息数据表KL中查询是否存在set(R)中各图像名对应的记录，如果存在，则给出这些记录对应的关键字权值排序最高的前N个关键字供用户选择，其中N＞0；

9)用户选择系统提供的关键字K，同时也可以对图像文本标注T；

10)系统根据用户选择的关键字和标注的文本信息，组合新关键字K′；

11)同时，用户对结果图像进行“满意”或“不满意”评价，对标记为“满意”的图像，用关键字K′进行文本标注；

12)图像检索系统计算该用户的用户可信度a，并计算“满意”图像标注的关键字权值W，保存到关键字信息数据表KL中，更新KL，同时，将注册用户的用户信息保存到用户信息数据表UL中，更新UL，匿名用户的用户信息不需要保存，只需对KL进行更新；

13)如果用户对检索结果不满意，则可修改文本标注T，重复步骤3)-12)，直到用户对检索结果满意为止，并给出最终的检索结果。

2.根据权利要求1所述的图像检索方法，其特征在于：步骤1)和步骤4)所述的特征包括颜色特征、纹理特征、形状特征、空间分布特征及局部不变性特征。

3.根据权利要求1所述的图像检索方法，其特征在于：步骤4)所述的提取关键字，其特征在于提取的关键字可以是单一的，也可以是多个关键字。

4.根据权利要求1所述的图像检索方法，其特征在于：步骤7)所述的总相似度S的计算方法如下：

S＝αS1+βS2，其中α+β＝1，α是S1在综合检索中所占的比重，β是S2在综合检索中所占的比重。

5.根据权利要求1所述的图像检索方法，其特征在于：步骤8)、12)所述的关键字信息数据表KL的字段如下：

关键字、图像名、关键字评价次数、关键字权值。

6.根据权利要求1所述的图像检索方法，其特征在于：步骤12)中所述的用户信息数据表UL的字段如下：

用户名、密码、用户评价次数、用户可信度。

7.根据权利要求1所述的图像检索方法，其特征在于：步骤12)中所述的更新KL和更新UL，其更新的具体规则如下：

1)KL的更新：若某次检索过程取得的K′中的某个关键字与用户标注为满意的某个图像名的对应记录不存在，则将该关键字、该图像的图像名、关键字评价次数和该关键字对应该图像名的关键字权值作为一条记录存入KL中，其中关键字评价次数为1次，若记录存在，则将该条记录的评价次数加1，并重新计算该关键字对应记录的关键字权值项；

8.根据权利要求1所述的图像检索方法，其特征在于：步骤12)所述的用户可信度a，对于匿名用户，它的可信度值只取决于本次操作；而对于注册用户，它的用户可信度是该用户多次评价的用户可信度的平均值；用户某次操作的用户可信度a的具体计算方法为：从KL中找到包含K′中任一关键字的所有记录，其中，K′为用户选择的关键字以及用户输入的文本信息整合后的关键字集合，从这些记录中找到关键字权值最高的记录，a的大小等于该条记录对应的关键字评价次数在对查询图像进行标注的所有关键字评价次数总和中所占比重对应的量化值；

a_{n} = \frac{a_{n - 1} * (n - 1) + a}{n};

2)对于匿名用户，匿名用户的用户可信度值为a。

9.根据权利要求8所述的图像检索方法，其特征在于：对应用户某次操作的用户可信度a的具体计算方法，关键字的评价次数在对查询图像进行标注的所有关键字评价次数总和中所占比重对应的量化值的量化方法可以是均匀量化，也可以是非均匀量化。

10.根据权利要求5所述的图像检索方法，其特征在于：对应关键字信息数据表KL中的“关键字权值”字段，某一关键字记录中的关键字权值计算方法如下：

m为该关键字的关键字评价次数。