CN100392656C - Web搜索中的图文协同方法 - Google Patents

Abstract

本发明公开了一种Web搜索的图文协同方法，其特征是该方法包括以下步骤：(1)网页处理装置接受用户提交的由关键字、词组成的查询，获取初始搜索产生的网页；(2)利用图文协同方法改善搜索效果；(3)根据不同信息产生的网页序列生成最终的搜索结果；(4)结束。本发明结合网页中相关文本描述和图像视觉内容的技术，通过有效地利用网页中的图像内容辅助来提高Web搜索的性能。

Description

Web搜索中的图文协同方法

一、技术领域

本发明涉及一种网页处理装置，特别涉及一种应用于Web搜索的图文协同方法。

二、背景技术

随着多媒体技术和互联网络的迅速发展，Web逐渐成为人们最重要和快捷的信息来源以及最常用的信息交互平台。由于Web本身的信息量巨大并且内容复杂，用户从互联网上寻找信息非常困难，因此，设计有效的Web搜索技术成为一项重要的工作。目前的Web搜索技术大多使用的是网页中的文本内容信息，或者是网页之间的链接包含的信息，没有考虑网页包含的图像等信息内容，其检索性能有待进一步提高。

三、发明内容

1、发明目的：本发明的主要目的是针对目前Web搜索技术没有很好地利用网页中的图像内容这一问题，提供一种结合网页中相关文本描述和图像视觉内容的技术，通过有效地利用网页中的图像内容辅助提高Web搜索的性能。

2、技术方案：为实现本发明所述目的，本发明所述的一种应用于Web搜索的图文协同方法，包括以下步骤：(1)获取初始搜索产生的网页；(2)基于网页中文本描述初步搜索网页中与查询相关的图像；(3)通过对获得图像的视觉内容的分析，产生查询的图像特征表示；(4)基于网页中图像内容的相关度对网页重新排序；(5)结合根据不同信息产生的网页序列生成最终的搜索结果；(6)结束。

下面将结合附图对最佳实施例进行详细说明。

四、附图说明

图1是网页处理装置工作流程图。

图2是本发明方法的流程图。

图3是产生查询的图像特征表示的流程图。

图4是根据网页中图像内容对网页排序的流程图。

图5是生成最终的搜索结果的流程图。

五、具体实施方式

如图1所示，网页处理装置接受用户提交的由关键字、词组成的查询，使用经典的基于关键词的Web搜索技术对Web进行搜索，产生初始搜索结果。假设初始搜索的结果中包含了M个网页的链接，结合对应网页中的文本描述和图像内容，使用图2中的图文协同技术改善搜索效果，最后将最终搜索结果返回给用户。

本发明的技术如图2所示。步骤10是初始动作。步骤11获取初始搜索结果中M个链接对应的网页。步骤12利用网页中与图像相关的文本描述，使用基于文本的Web图像搜索技术从获得的网页中搜索与查询相关的图像。这里的基于文本的Web图像搜索是通过对图像所在网页中文本的分析，基于与图像相关的文本描述，搜索网页中与查询相关的图像，可以使用现有的基于文本的Web图像搜索技术。假设初步搜索共获得N幅相关图像，组成图像集合C。步骤13通过对获得图像的视觉内容的分析，产生查询的图像特征表示，该步骤将在后面的部分结合图3进行具体介绍。步骤15利用获得的查询的特征表示，基于网页中图像的内容对网页重新排序。该步骤将在后面的部分结合图4进行具体介绍。步骤17同时考虑初始搜索产生的网页序列和重新排序后获得的网页序列，结合两种根据不同信息产生的网页序列，生成最终的网页序列。该步骤将在后面的部分结合图5进行具体介绍。步骤18是图2的结束状态。

图3详细说明了图2中的步骤13，其作用是生成查询的图像特征表示。步骤130是初始动作。步骤131生成获得的N幅图像对应的N个图像特征表示并组成集合I，可以使用数字图像处理教科书中的经典方法生成适用的图像特征，例如颜色、纹理、形状等特征，这样，每幅图像由一个特征向量表示，因此可以看成是特征空间中的一个点。步骤132判断I中剩余的图像是否超过20幅，是则执行步骤133，否则转步骤139。步骤133将图像计数参数i置为1。步骤134判断i是否不大于N，是则执行步骤135，否则转到步骤137。步骤135计算特征空间中第i幅图像对应特征位置的密度，计算方式如下：

$f^D\left(x_i\right)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{e}^{-{\mathrm{\Σ}}_j{(x_{\mathrm{ij}}-x_{\mathrm{kj}})}^2}$

其中x_i表示I中的第i幅图像对应的特征表示，x_ij表示I中的第i幅图像在第j个特征上的取值。步骤136将图像计数参数i加1，然后转到步骤134。步骤137使用得到的密度对I中的图像排序，因为与查询相关的图像都包含了用户感兴趣的内容，具有相似的特征，将密集分布于特征空间中，在特征空间中对应位置处具有较大的密度；而不相关的图像由于具有歧义等原因，包含的内容各不相同，将散布于特征空间中，在特征空间中对应位置处密度较小。因此，将按密度排序时密度较小而排在后面的一半图像特征从I中去除，I中保留的是更为相关的图像。图3的步骤138将I中的图像数N设为原来的一半，然后转到步骤132。步骤139获得的是I中剩余的密度最大的一些图像，它们最可能与查询相似，因此计算它们的中心作为查询的图像特征表示，计算方式如下：

$q_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$

其中q_j表示查询在第j个特征上的取值。使用每一特征的标准差的倒数作为衡量特征重要程度的权值，标准差σ_j的计算方式如下：

${\mathrm{\σ}}_j=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_{\mathrm{ij}}-q_j)}^2}$

步骤140是图3的结束状态。

图4详细说明了图2的步骤15，其作用是基于获得的查询的图像特征表示，根据网页中的图像内容与查询的相似度对网页重新排序。步骤150是初始动作。步骤151将网页计数参数u置为1。步骤152判断u是否不大于网页总数M，是则执行步骤153，否则转到步骤160。步骤153取出初始检索获得的第u张网页中包含于C的N_u幅图像，并生成对应的特征。步骤154将网页中图像计数参数v置为1。步骤155判断v是否不大于N_u，是则执行步骤156，否则转到步骤158。步骤156基于图像特征计算网页中第v幅图像与查询间的加权欧氏距离作为图像和查询的相似度，加权欧氏距离的计算式为：

$D\left(x_v\right)=\sqrt{\underset{j}{\mathrm{\Σ}}{\left[\frac{1}{{\mathrm{\σ}}_j}(x_{\mathrm{ij}}-q_j)\right]}^2}$

其中符号的含义与前面各式相同。

步骤157将网页中图像汁数参数v加1，然后转到步骤155。步骤158从第u张网页包含的N_u幅图像与查询的相似度中选择最高的相似度，作为网页与查询的相似度。对于N_u为0，即不包含C中图像的网页，相似度设为0。网页的这个相似度是基于包含图像的内容的相似性所作的评价。步骤159将网页计数参数u加1，然后转到步骤152。步骤160根据获得的各网页与查询的相似度对网页排序，对于相似度为0的网页，相互之间按初始的网页序列中的顺序排列。这是基于网页中图像的视觉内容信息产生的网页序列。步骤161是图4的结束状态。

图5详细说明了图2的步骤17，其作用是根据不同信息产生的网页序列分别计算网页的相关度，并结合两者生成网页的最终序列。步骤170是初始动作。步骤171获取网页的初始序列和基于图像内容产生的序列。步骤172将网页计数参数u置为1。步骤173判断u是否不大于网页总数M，是则执行步骤174和步骤175，否则转到步骤178。步骤174根据第u张网页在初始序列中的位置计算网页的相关度，计算方式如下：

$R_{1u}=Z_1^{-1}\frac{1}{T_1+n_{1u}}$

其中n_1u为第u张网页在初始序列中的位置，R_1u为计算获得的网页相关度。T₁是计算时使用的参数，可以根据需要将其设置为一个具体的整数值，例如780，Z₁是规范化因子，使得

$\underset{u=1}{\overset{M}{\mathrm{\Σ}}}{R}_{1u}=1$

步骤175根据第u张网页在基于图像内容产生的序列中的位置计算网页的相关度，计算方式如下：

$R_{2u}=Z_2^{-1}\frac{1}{T_2+n_{2u}}$

其中n_2u为第u张网页在基于图像内容产生的序列中的位置，R_2u为计算获得的网页相关度。T₂是计算时使用的参数，可以根据需要将其设置为一个具体的整数值，例如720，Z₂是规范化因子，使得

$\underset{u=1}{\overset{M}{\mathrm{\Σ}}}{R}_{2u}=1$

步骤176将根据不同信息获得的网页的两个相关度求均值，作为网页最终的相关度。例如对第u张网页，其最终的相关度为

$\frac{R_{1u}+R_{2u}}{2}.$

步骤177将网页计数参数u加1，然后转到步骤173。步骤178根据获得的所有网页的最终相关度对网页排序，获得网页的最终序列。步骤179是图5的结束状态。

熟知本领域的人士将理解，虽然这里为例便于解释已描述了具体实施例，但是可在不背离本发明精神和范围的情况下作出各种改变。因此，除了所附权利要求之外不能用于限制本发明。

Claims (4)

1.一种Web搜索的图文协同方法，该方法在获取初始搜索产生的网页后通过协同利用网页中相关文本描述和图像视觉内容来改善搜索效果，该方法包括以下步骤：

(11)获取初始搜索结果中M个链接对应的网页；

(12)利用网页中与图像相关的文本描述，使用基于文本的Web图像搜索技术从获得的网页中搜索与查询相关的图像，假设获得了N幅相关图像，组成图像集合G；

(13)通过对获得图像的视觉内容的分析，产生查询的图像特征表示；

(15)用获得的查询的特征表示，基于网页中图像的内容对网页重新排序；

(17)同时考虑初始搜索产生的网页序列和重新排序后获得的网页序列，结合两种根据不同信息产生的网页序列，生成最终的网页序列；

(18)结束。

2.根据权利要求1所述的Web搜索的图文协同方法，其特征是步骤(13)包括以下步骤：

(131)生成获得的N幅图像对应的N个图像特征表示并组成集合I；

(132)判断I中剩余的图像是否超过20幅，是则执行(133)，否则转(139)；

(133)将图像计数参数i置为1；

(134)判断i是否不大于N，是则执行(135)，否则转到(137)；

(135)计算特征空间中第i幅图像对应特征位置的密度，计算方式如下：

$f^D\left(x_i\right)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{e}^{-{\mathrm{\Σ}}_j{(x_{\mathrm{ij}}-x_{\mathrm{kj}})}^2}$

其中x_i表示I中的第i幅图像对应的特征表示，x_ij表示I中的第i幅图像在第j个特征上的取值；

(136)将图像计数参数i加1，转到(134)；

(137)使用得到的密度对I中的图像排序；

(138)将按密度排序时密度较小而排在后面的一半图像特征从I中去除，I中保留的是更为相关的图像，将I中的图像数N设为原来的一半，转到(132)；

(139)获得的是I中剩余的密度最大的一些图像，它们最可能与查询相似，因此计算它们的中心作为查询的图像特征表示，计算方式如下：

$q_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$

其中q_j表示查询在第j个特征上的取值，使用每一特征的标准差的倒数作为衡量特征重要程度的权值，标准差σ_j的计算方式如下：

${\mathrm{\σ}}_j=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_{\mathrm{ij}}-q_j)}^2}$

(140)结束。

3.根据权利要求1所述的Web搜索的图文协同方法，其特征是步骤(15)包括以下步骤：

(151)将网页计数参数u置为1；

(152)判断u是否不大于网页总数M，是则执行(153)，否则转到(160)；

(153)取出初始检索获得的第u张网页中包含于C的N_u幅图像，并生成对应的特征；

(154)将网页中图像计数参数v置为1；

(155)判断v是否不大于N_u，是则执行(156)，否则转到(158)；

(156)基于图像特征计算网页中第v幅图像与查询间的加权欧氏距离作为图像和查询的相似度，加权欧氏距离的计算式为：

$D\left(x_v\right)=\sqrt{\underset{j}{\mathrm{\Σ}}{\left[\frac{1}{{\mathrm{\σ}}_j}(x_{\mathrm{vj}}-q_j)\right]}^2}$

(157)将网页中图像计数参数v加1，转到(155)；

(158)从第u张网页包含的N_u幅图像与查询的相似度中选择最高的相似度，作为网页与查询的相似度；

(159)将网页计数参数u加1，转到(152)；

(160)根据获得的各网页与查询的相似度对网页排序；

(161)结束。

4.根据权利要求1所述的Web搜索的图文协同方法，其特征是步骤(17)包括以下步骤：

(171)获取网页的初始序列和基于图像内容产生的序列；

(172)将网页计数参数u置为1；

(173)判断u是否不大于网页总数M，是则执行(174)和(175)，否则转到(178)；

(174)根据第u张网页在初始序列中的位置计算网页的相关度，计算方式如下：

$R_{1u}=Z_1^{-1}\frac{1}{T_1+n_{1u}}$

其中n_1u为第u张网页在初始序列中的位置，R_1u为计算获得的网页相关度，T₁是计算时使用的参数，Z₁是规范化因子，使得

$\underset{u=1}{\overset{M}{\mathrm{\Σ}}}{R}_{1u}=1$

(175)根据第u张网页在基于图像内容产生的序列中的位置计算网页的相关度，计算方式如下：

$R_{2u}=Z_2^{-1}\frac{1}{T_2+n_{2u}}$

其中n_2u为第u张网页在基于图像内容产生的序列中的位置，R_2u为计算获得的网页相关度，T₂是计算时使用的参数，Z₂是规范化因子，使得

$\underset{u=1}{\overset{M}{\mathrm{\Σ}}}{R}_{2u}=1$

(176)将根据不同信息获得的网页的两个相关度求均值，作为网页最终的相关度；

(177)将网页计数参数u加1，转到(173)；

(178)根据获得的所有网页的最终相关度对网页排序，获得网页的最终序列；

(179)结束。

Images