CN103064903A

CN103064903A - 图片检索方法和装置

Info

Publication number: CN103064903A
Application number: CN2012105502414A
Authority: CN
Inventors: 陈灵敏; 庄进发; 赵庸
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2012-12-18
Filing date: 2012-12-18
Publication date: 2013-04-24
Anticipated expiration: 2032-12-18
Also published as: CN103064903B

Abstract

本发明提供了一种图片检索方法和装置，执行所述方法的装置包括图片库，所述图片库中的图片预先用关键词进行标注，建立所述图片与关键词的关联关系；所述方法包括：接收用户提交的检索关键词；从所述图片库检索与所述检索关键词具有关联关系的图片，并按所述检索关键词对应于所述图片的权重排序后返回至用户；接收用户对所述检索关键词与所述图片关联关系的评价结果，并根据所述评价结果调整所述检索关键词对应于所述图片的权重。本发明关键词对应于图片的权值随着用户反馈信息的不断变化自动调整，从而使得检索结果更加符合用户的需求。

Description

图片检索方法和装置

技术领域

本发明涉及互联网信息处理技术领域，特别是涉及一种图片检索方法和装置。

背景技术

图片作为多媒体信息的重要呈现形式之一，它通过颜色、纹理、形状等丰富的视觉特征，直观、生动地使抽象数据形象化、真实化地呈现给大众。随着网络技术的不断发展，图片这种重要的信息表现形式不可避免地出现在Web的信息交换中，并且数据规模不断膨胀，面对海量的Web图片资源，迫切需要检索Web图片的有效方法。然而，图片语义丰富，但语义理解却不同于文字，缺乏文字语义理解的明确标准，受到人的感知能力与知识结构等因素的限制，不同人对相同图片语义的理解也存在着偏差，而要使计算机正确理解Web图片的语义，并兼顾不同层次的用户需求实现图片的有效检索，这其中涉及到的图片采集、图片语义分析与理解、图片检索等技术原理及方式。随着数字图片和互联网的飞速发展 ,图片数据的种类和数量也在与日俱增。面对浩如烟海的图片海洋，如何对这些海量图片进行快速有效的管理自然而然成为本领域技术人员面临的一个挑战课题。

图片检索是指对数字图片库进行查询的技术，其目标是使检索到的图片能满足用户的意图。现有图片检索方案一般采用两种方式对图片库进行搜索，即：基于关键词的检索和基于图片内容的检索。

1、基于关键词的图片检索

在基于关键字的检索中，必须预先对图片库中的图片进行标注，即用关键字描述各个图片。现有技术一般采用人工标注和自动标注二种方式对图片进行标注。对于人工标注方式，存在的主要问题是：对图片进行人工标注往往需要巨大的工作量，在数据库较大时，这个问题尤为突出；更为严重的是，图片内容和每个人的理解往往不一致，换句话说，不同的人对同一个图片的关注点不同，因此，其理解和意图也不同。对于自动标注方式，指在收集图片的时候，把图片周围的文本一同收集起来、或图片中存在的文本识别出来，作为对该图片的描述；这种方式优点是速度快，实现简单，但上述自动标注方式获得的关键词往往难以客观反应图片内容。综上所述，现有关键词检索方式的结果是难以令人满意的。

2、基于图片内容的检索

基于图片内容的检索（CBIR，Content Based Image Retrieval）与关键词检索方式不同的是，基于图片内容的检索直接根据画面内容来搜索图片。在这种方案中，用户需要提供一个查询图片来表达其意图，之后，系统从图片库中查找与这个查询图片相似的图片并返回给用户。为实现这一目的，系统需要先从查询图片和数据库图片中提取低层次的特征，如颜色、纹理和形状特征；然后，根据这些特征计算查询图片和数据库图片间的距离，即确定它们之间的相似度；最后，返回与查询图片最相似的那些数据库图片。如果图片特征能很好地描述图片内容的话（例如：当用户搜索具有某些特定颜色和复杂纹理的图片时），这种检索方式将非常有效。但由于上述底层的视觉特征与高层的语义概念之间存在着严重的语义鸿沟，例如：若搜索“汽车”图片的话，形状特征比较有效；对于“日落”的风景图片，用颜色特征描述将更为合理，在检索不同类型的图片时，应该采用不同的策略，然而，对于非专业的用户来说，很难确定哪种特征比较有效；此外，即使对于同一个图片，不同的用户在不同的时间其关注点也不相同，因而CBIR的检索结果也同样难以令人满意。

发明内容

本发明所要解决的技术问题是提供一种图片检索方法和装置，可解决现有图片检索技术的检索结果难以令人满意的问题。

为了解决上述问题，本发明公开了一种图片检索方法，执行所述方法的装置包括图片库，所述图片库中的图片预先用关键词进行标注，建立所述图片与关键词的关联关系；所述方法包括：接收用户提交的检索关键词；从所述图片库检索与所述检索关键词具有关联关系的图片，并按所述检索关键词对应于所述图片的权重排序后返回至用户；接收用户对所述检索关键词与所述图片关联关系的评价结果，并根据所述评价结果调整所述检索关键词对应于所述图片的权重。

优选的，根据所述评价结果调整所述检索关键词对应于所述图片的权重的方法具体为：若所述评价结果为所述图片与检索关键词具有关联关系，则增加所述检索关键词对应于所述图片的权重。

优选的，根据所述评价结果调整所述检索关键词对应于所述图片的权重的方法具体为：

W=

Figure 2012105502414100002DEST_PATH_IMAGE001

其中，W表示权重矩阵，其元素w_ij表示第j个关键词对应于第i个图片的权重；A^k表示第k个用户的评价结果矩阵，其元素a_ij ^k表示第k个用户对第j个关键词与第i个图片关联关系的评价结果，a_ij ^k=1表示有关联关系。

优选的，还包括：判断所述关键词对应于所述图片的权重是否小于预设的权重阈值，若是，删除所述关键词与所述图片的关联关系。

优选的，在建立所述图片与关键词的关联关系步骤之后还包括：将所述关键词对应于所述图片的权重设置为0。

优选的，执行所述方法的系统还包括关键词库；在所述接收用户提交的检索关键词步骤之后还包括：判断上述检索关键词是否在所述关键词库中，若否，将所述检索关键词加入关键词库中。

优选的，所述图片库中的图片用关键词进行标注，建立所述图片与关键词的关联关系的方法具体为：收集图片时，把图片周围的文本一同收集起来，作为与所述图片具有关联关系的关键词；或，识别图片中存在的文本，作为与所述图片具有关联关系的关键词。

依据本发明的另一优选实施例，公开了一种图片检索装置，包括：图片库，用于保存预先用关键词进行标注，形成与所述关键词具有关联关系的图片；检索关键词接收单元，用于接收用户提交的检索关键词；图片检索单元，用于从所述图片库检索与所述检索关键词具有关联关系的图片，并按所述检索关键词对应于所述图片的权重排序后返回至用户；权重调整单元，用于接收用户对所述检索关键词与所述图片关联关系的评价结果，并根据所述评价结果调整所述检索关键词对应于所述图片的权重。

优选的，还包括：关联关系删除单元，用于判断所述关键词对应于所述图片的权重是否小于预设的权重阈值，若是，删除所述关键词与所述图片的关联关系。

优选的，还包括：权重初始化单元，用于将对应于所述图片库中图片的所有关键词的权重设置为0。

优选的，还包括：关键词库，用于判断所述检索关键词接收单元接收的检索关键词是否在所述关键词库中，若否，将所述检索关键词加入关键词库中。

优选的，还包括：关联关系建立单元，用于在收集图片时，把图片周围的文本一同收集起来，作为与所述图片具有关联关系的关键词；或，识别图片中存在的文本，作为与所述图片具有关联关系的关键词。

与现有技术相比，本发明具有以下优点：

在本发明优选实施例中，关键词对应于图片的权值随着用户反馈信息的不断变化自动调整，通过一系列关键词和图片建立映射关系，来表达图片的语义。图片信息语义的准确程度用权重来衡量，权重越大，则表示关键词越能清晰描述该图片。通过检索过程中包括的用户对检索结果进行的评价和标记，指出结果中哪些是与查询图片相关的，然后将用户标记的相关信息作为训练样本反馈给系统进行学习，自动调整其内部的相关参数，从而使得检索结果更加符合用户的需求；通过上述多次循环过程，使检索结果不断收敛于用户的需求，解决了现有图片检索技术的检索结果难以令人满意的问题。

在本发明优选实施例的图片检索方法中，不是全自动去提取图片语义，而是将繁重的图片注释工作通过相关反馈的过程分散到各个用户的身上，每个用户只需少量工作，就能增强一点系统的性能，随着系统不断被使用，检索性能也将不断提高。

另外，本发明优选实施例方案具有广泛的应用前景：首先，可应用于互联网上传播的淫秽、犯罪等不良照片的取证；其次，对于搜索引擎，特别是垂直搜索引擎如商品搜索引擎的信息提取及后续的索引具有重大的意义。如今的电子商务的突飞猛进，购物搜索将成为互联网搜索中的重要分支，不过面前的购物搜索还仅限于根据文字信息的检索，比如价格、名称、地点等等，这些信息很多时候并不能完全满足电子商务用户的需求。有时候用户并不清楚某项商品的名称，仅了解商品图片，在这种情况下，传统购物搜索显然无能为力，电子商务用户迫切需要一种根据商品图片的语义关键词搜索商品的购物搜索工具。

附图说明

图1是本发明图片检索方法第一实施例的流程图；

图2是本发明图片检索方法第二实施例的流程图；

图3是本发明图片检索装置一实施例的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明图片检索方法第一实施例的流程，具体包括以下步骤：

步骤S101：建立图片库中图片与关键词的关联关系；

步骤S102：接收用户提交的检索关键词；

步骤S103：从图片库检索与上述检索关键词具有关联关系的图片，并按该检索关键词对应于相应图片的权重排序后返回至用户；

步骤S104：接收用户对该检索关键词与所述图片关联关系的评价结果，并根据该评价结果调整该检索关键词对应于所述图片的权重。

本优选实施例根据用户的评价结果调整关键词对应于图片的权重的方法具体为：

首先，建立一个图片-关键词矩阵模型，如下表所示；

	K₁	K₂	。。。	K_n
					I₁
I₂
					。。。
I_m

表1、图片-关键词矩阵

其中，I_m为返回的结果图片，K_n为检索关键词，对于关键词K_j检索返回的图片I_i，如果用户认为相关，则I_i和K_j的交叉处的元素置为1，如果不相关，则置为0。

其次，根据收到的用户反馈的图片-关键词矩阵, 计算投票结果, 其计算公式为:

其中，A表示图片的选举结果矩阵，i为用户号， n为用户总数，A_i表示第i个用户反馈的图片-关键词矩阵。

第三，按如下公式计算权重矩阵W^A中的各元素数值:

Figure 2012105502414100002DEST_PATH_IMAGE003

或，

ω^A _ij= a_ij

其中，i表示图片-关键词矩阵的行号, j表示图片-关键词列号, a_ij表示A中的元素, ω^A _ij表示权重矩阵W^A中的元素, 经过计算, 权重矩阵的元素得到更新。

本发明优选实施例通过一系列关键词和图片建立的映射关系，来表达图片的语义；关键词对应于图片的权值随着用户反馈信息的不断变化自动调整。图片信息语义的准确程度用权重来衡量，权重越大，则表示关键词越能清晰描述该图片，一幅图片可以有多个关键词对其进行描述，每个关键词与图片各具有不同关联程度。通过上述多次循环过程，使检索结果不断收敛于用户的需求，解决了现有图片检索技术的检索结果难以令人满意的问题。

参照图2，示出了本发明图片检索方法第二实施例的流程，具体包括以下步骤：

步骤S201：建立图片库；

对于图片库，需要预先对图片库中的图片进行标注，建立关键词与图片的关联关系。本优选实施例中，对图片的标注方式是：在收集图片的时候，把图片周围的文本一同收集起来，或将图片中存在的文本识别出来，作为对应于该图片的关联关键词。

步骤S202：初始化权重；

在初始状态，等同看待所有与图片相关的关键词，并将其权值赋予0，然后通过用户的反馈信息重新调整权重。经过若干用户的反馈训练后，系统就能得到一个较符合大多数用户认知的关键词—图片语义的映射关系。

步骤S203：接收用户提交的检索关键词；

步骤S204：判断该检索关键词是否在关键词库中，若是，转步骤S206；否则，转步骤S205；

步骤S205：将上述检索关键词加入关键词库中；

步骤S206：从图片库检索与上述检索关键词具有关联关系的图片，并按该检索关键词对应于所述图片的权重排序后返回至用户；

步骤S207：接收用户对该检索关键词与所述图片关联关系的评价结果，并根据该评价结果调整该检索关键词对应于所述图片的权重；

步骤S208：判断关键词对应于图片的权重是否小于预设的权重阈值，若是，转步骤S209；否则，转步骤S203；

步骤S209：删除上述关键词与相应图片的关联关系，转步骤S203。

在本发明上述优选实施例中，还可以解决因不同的用户对特定图片的不同偏好和认知，个别用户的“误反馈”很容易使训练后的系统对图片的语义特征偏离实际的问题。

对于前述的各方法实施例，为了描述简单，故将其都表述为一系列的动作组合，但是本领域的技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或同时执行；其次，本领域技术人员也应该知悉，上述方法实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参照图3，示出了本发明图片检索装置一实施例的结构示意图，包括：

关联关系建立单元30：用于在收集图片时，把图片周围的文本一同收集起来，作为与所述图片具有关联关系的关键词；或，识别图片中存在的文本，作为与所述图片具有关联关系的关键词；

图片库31：用于保存关联关系建立单元30建立的与相应关键词具有关联关系的图片；

权重初始化单元32：用于将对应于图片库31中图片的所有关键词的权重设置为0；

检索关键词接收单元33：用于接收用户提交的检索关键词；

图片检索单元34：用于从图片库31检索与检索关键词接收单元33接收的检索关键词具有关联关系的图片，并按检索关键词对应于相应图片的权重排序后返回至用户；

权重调整单元35：用于接收用户对检索关键词与相应图片关联关系的评价结果，并根据用户的评价结果调整检索关键词对应于相应图片的权重；

关联关系删除单元36：用于判断关键词对应于相应图片的权重是否小于预设的权重阈值，若是，删除该关键词与相应图片的关联关系；

关键词库37：用于判断检索关键词接收单元33接收的检索关键词是否在关键词库37中，若否，将该检索关键词加入关键词库37中。

需要说明的是，上述装置实施例属于优选实施例，所涉及的单元和模块并不一定是本发明所必须的。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于本发明的装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种图片检索方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种图片检索方法，其特征在于，执行所述方法的装置包括图片库，所述图片库中的图片预先用关键词进行标注，建立所述图片与关键词的关联关系；所述方法包括：

接收用户提交的检索关键词；

从所述图片库检索与所述检索关键词具有关联关系的图片，并按所述检索关键词对应于所述图片的权重排序后返回至用户；

接收用户对所述检索关键词与所述图片关联关系的评价结果，并根据所述评价结果调整所述检索关键词对应于所述图片的权重。

2.如权利要求1所述的方法，其特征在于，根据所述评价结果调整所述检索关键词对应于所述图片的权重的方法具体为：

若所述评价结果为所述图片与检索关键词具有关联关系，则增加所述检索关键词对应于所述图片的权重。

3.如权利要求1所述的方法，其特征在于，根据所述评价结果调整所述检索关键词对应于所述图片的权重的方法具体为：

W=

Figure 2012105502414100001DEST_PATH_IMAGE001

其中，

W表示权重矩阵，其元素w_ij表示第j个关键词对应于第i个图片的权重；

A^k表示第k个用户的评价结果矩阵，其元素a_ij ^k表示第k个用户对第j个关键词与第i个图片关联关系的评价结果，a_ij ^k=1表示有关联关系。

4.如权利要求1所述的方法，其特征在于，还包括：

判断所述关键词对应于所述图片的权重是否小于预设的权重阈值，若是，删除所述关键词与所述图片的关联关系。

5.如权利要求1所述的方法，其特征在于，在建立所述图片与关键词的关联关系步骤之后还包括：将所述关键词对应于所述图片的权重设置为0。

6.如权利要求1所述的方法，其特征在于：

执行所述方法的系统还包括关键词库；

在所述接收用户提交的检索关键词步骤之后还包括：判断上述检索关键词是否在所述关键词库中，若否，将所述检索关键词加入关键词库中。

7.如权利要求1所述的方法，其特征在于，所述图片库中的图片用关键词进行标注，建立所述图片与关键词的关联关系的方法具体为：

收集图片时，把图片周围的文本一同收集起来，作为与所述图片具有关联关系的关键词；或，识别图片中存在的文本，作为与所述图片具有关联关系的关键词。

8.一种图片检索装置，其特征在于，包括：

图片库，用于保存预先用关键词进行标注，形成与所述关键词具有关联关系的图片；

检索关键词接收单元，用于接收用户提交的检索关键词；

图片检索单元，用于从所述图片库检索与所述检索关键词具有关联关系的图片，并按所述检索关键词对应于所述图片的权重排序后返回至用户；

权重调整单元，用于接收用户对所述检索关键词与所述图片关联关系的评价结果，并根据所述评价结果调整所述检索关键词对应于所述图片的权重。

9.如权利要求8所述的装置，其特征在于，还包括：关联关系删除单元，用于判断所述关键词对应于所述图片的权重是否小于预设的权重阈值，若是，删除所述关键词与所述图片的关联关系。

10.如权利要求8所述的装置，其特征在于，还包括：权重初始化单元，用于将对应于所述图片库中图片的所有关键词的权重设置为0。

11.如权利要求8所述的这种，其特征在于，还包括：关键词库，用于判断所述检索关键词接收单元接收的检索关键词是否在所述关键词库中，若否，将所述检索关键词加入关键词库中。

12.如权利要求8所述的这种，其特征在于，还包括：关联关系建立单元，用于在收集图片时，把图片周围的文本一同收集起来，作为与所述图片具有关联关系的关键词；或，识别图片中存在的文本，作为与所述图片具有关联关系的关键词。