CN103049446A - 一种图像检索方法及装置 - Google Patents

Abstract

本发明公开了一种图像检索方法及装置，包括：将待检索图像进行子图划分，得到多个子图像；并对该多个子图像中的各指定子图像进行图像特征提取，得到各指定子图像的特征向量；并针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及各指定子图像的特征向量，确定该图像与待检索图像的相似度；以及基于图像库中的每个图像与待检索图像的相似度的大小，确定待检索图像对应的图像检索结果。采用本发明实施例提供的方案，在基于图像内容进行检索时，提高了检索结果的有效性和检索效率。

Description

一种图像检索方法及装置

技术领域

本发明涉及图像处理技术领域中的图像检索技术领域，尤其涉及一种图像检索方法及装置。

背景技术

随着多媒体技术的迅速发展，图像作为内容丰富、表达直观的可视信息，其应用日益广泛。由于图像信息数据量大、抽象程度低的特点，所以如何从海量图像数据中快速高效的检索出用户需要的图像资源，成为图像处理技术领域中新的挑战。

现有对图像的检索技术中，大都采用基于文本的图像检索(text-based imageretrieval)，其技术思路是先人工对图像进行文本标注，如关键词、标题以及一些附加的描述信息，然后采用传统数据库管理系统的方法进行文本检索。

随着大规模数字图像库的出现，基于文本的图像检索问题逐渐严重，例如，对大规模图像库来说，人工进行文本注释是一件繁琐且费时的工作；并且，人工注释具有一定的主观性，不同的人对图像内容可有不同的理解，即使同一个人在不同语境下对图像的理解也不尽相同，所以对于一个图像的文本注释，受个人兴趣和知识背景影响，主观性强；并且，图像内容信息量大，很多图像很难用文字的方式准确描述；并且，世界各地文化差异大，不同语言文字标注后的图像在应用通用性上受到限制。因此，基于文本检索导致检索结果的有效性差，很难准确的返回用户需要的图像。

目前，为了克服低效的人工注释和二义性，出现了基于内容的图像检索(Content-Based Image Retrieval，CBIR)，其技术思路是利用图像的视觉特征进行检索，直接对图像内容进行分析，提取图像特征和语义，并以此建立索引进行检索，特征提取和匹配可以由机器自动完成。

基于内容的图像检索技术融合了图像处理、模式识别、计算机视觉、图像理解、数据库管理、人机交互等技术，是多种技术的融合，具有广泛的应用，得到了快速的发展。

然而，现有的基于图像内容的图像检索技术，侧重于考虑图像全局特征进行检索，将图像作为不可分的整体进行描述，使用颜色、纹理、形状等特征描述整幅图像，并不区分图像的前景和背景，且很多情况下基于单一特征进行检索。

因此，当一幅图像的内容表达的含义较多时，比如能够表达风景、建筑和人物，则采用上述现有图像检索技术，可能导致提取的特征无法准确的表达图像内容的含义，从而使得检索结果的有效性较差，进而使得检索效率较低。

发明内容

本发明实施例提供一种图像检索方法及装置，用以解决现有技术中存在的基于图像内容进行检索时，检索结果的有效性差，检索效率低的问题。

本发明实施例提供一种图像检索方法，包括：

将待检索图像进行子图划分，得到多个子图像；

对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；

针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度；其中，待匹配子图像组中的各子图像之间的相对位置，与所述各指定子图像之间的相对位置相同；

基于所述图像库中的每个图像与所述待检索图像的相似度的大小，确定所述待检索图像对应的图像检索结果。

本发明实施例还提供一种图像检索装置，包括：

划分单元，用于将待检索图像进行子图划分，得到多个子图像；

提取单元，用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；

相似度确定单元，用于针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度；其中，待匹配子图像组中的各子图像之间的相对位置，与所述各指定子图像之间的相对位置相同；

检索结果确定单元，用于基于所述图像库中的每个图像与所述待检索图像的相似度的大小，确定所述待检索图像对应的图像检索结果。

本发明有益效果包括：

本发明实施例提供的方法中，对待检索图像和图像库中的图像均进行了子图划分，并对待检索图像的多个子图像中的各指定子图像进行图像特征提取，得到各指定子图像的特征向量，并在进行图像检索时，针对图像库中每个图像，均在该图像中确定出各待匹配子图像组，且待匹配子图像组中的各子图像之间的相对位置，与各指定子图像之间的相对位置相同，然后基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及各指定子图像的特征向量，确定该图像与待检索图像的相似度，以及基于图像库中的每个图像与待检索图像的相似度的大小，确定待检索图像对应的图像检索结果。由于在进行图像检索时，是针对待检索图像的各指定子图像，以及针对图像库中每个图像的各待匹配子图像组中的各子图像进行的，所以相比技术中基于图像的全局特征进行检索，针对性更强，更能够有效的检索出表达的含义与待检索图像的各指定子图像所表达含义相匹配的图像，从而提高了检索结果的有效性和检索效率。

附图说明

图1为本发明实施例提供的图像检索方法的流程图；

图2为本发明实施例1中提供的图像检索方法的流程图；

图3为本发明实施例1中子图划分和索引窗口的示意图；

图4为本发明实施例1中基于索引窗口确定映射窗口的示意图；

图5为本发明实施例2中提供的图像检索方法的流程图；

图6为本发明实施例3中提供的图像检索装置的结构示意图。

具体实施方式

为了给出在基于图像内容进行检索时，提高检索结果的有效性和检索效率的实现方案，本发明实施例提供了一种图像检索方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种图像检索方法，如图1所示，包括：

步骤S101、将待检索图像进行子图划分，得到多个子图像。

步骤S102、对该多个子图像中的各指定子图像进行图像特征提取，得到各指定子图像的特征向量。

步骤S103、针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及各指定子图像的特征向量，确定该图像与待检索图像的相似度；其中，待匹配子图像组中的各子图像之间的相对位置，与各指定子图像之间的相对位置相同。

步骤S104、基于图像库中的每个图像与待检索图像的相似度的大小，确定待检索图像对应的图像检索结果。

较佳的，在上述方法中进行图像特征提取时，具体可以是得到各指定子图像中的每个指定子图像的特征向量，且该特征向量具体还可以包括多种特征向量，以及每种特征向量具体还可以包括多种特征分量。

相应的，在上述方法中确定图像库中的一个图像与待检索图像的相似度时，具体可以基于各指定子图像中每个指定子图像对应的子图像权重进行确定，具体还可以基于每种特征向量对应的特征间权重进行确定，具体还可以基于每种特征分量对应的特征内权重进行确定。

较佳的，在上述方法的基础上，还可以在将图像检索结果显示给用户后，由用户对每个检索结果图像进行相关性评价，并基于用户对每个检索结果图像的相关性评价结果，调整在确定图像库中的图像与待检索图像的相似度时所使用的权重，得到调整后权重，并基于调整后权重，确定图像库中的图像与待检索图像的最新相似度，以及基于图像库中的图像与待检索图像的最新相似度的大小，确定待检索图像对应的最新图像检索结果。

下面结合附图，用具体实施例对本发明提供的方法及装置进行详细描述。

实施例1：

图2所示为本发明实施例1中提供的图像检索方法的流程图，具体包括如下步骤：

步骤S201、获取用户提交的待检索图像，对待检索图像进行子图划分，得到多个子图像。

具体的，子图划分可采用现有技术中的各种方法，将待检索图像划分为大小相同的矩形的多个子图，例如，如图3所示，划分为4×4的16个子图。其中，多个子图的大小相同且为矩形，是便于后续进行相似度计算，并非是严格的划分条件。

本发明实施例中，提出采用伪四叉树划分法进行子图划分，具体如下：

在进行第1级划分时，将图像划分为大小相同的矩形的m×n个子图，其中，首先确定图像的宽和高的最大公约数，m为图像的宽除以该最大公约数，n为图像的高除以该最大公约数；

在进行第2级划分时，针对m×n个子图中的每个子图，均将其划分为2×2的4个子图，从而将该图像划分为大小相同的矩形的(2*m)×(2*n)个子图；

依此类推，可以将该图像划分为大小相同的矩形的(2^k*m)×(2^k*n)个子图，其中，k为划分的级数减1。

步骤S202、从待检索图像的多个子图像中选择各指定子图像，所选择的各指定子图像组成指定子图像组。

指定子图像可以按照一定的选择策略由设备进行自动选择。

较佳的，可以将这多个子图像显示给用户，由用户根据自身的检索需要进行指定子图像的选择，用户所选择的各指定子图像即相当于用户感兴趣区域，即用户进行本次图像检索的目的，是检索出与其感兴趣区域表达含义相匹配的图像，所以，由用户进行各指定子图像的选择可以提高检索结果的有效性。

例如，如图3所示，用户选择了16个子图像中的指定子图像1-5。

为了便于后续确定图像库中图像的待匹配子图像组中的各子图像，本步骤中，在选择各指定子图像后，还可以确定包括各指定子图像的索引窗口，该索引窗口为由这多个子图像中的子图像组成，且包括各指定子图像的，最小的矩形窗口。例如，如图3所示，索引窗口中包括了待检索图像的左上方的3×3的9个子图像。

步骤S203、对待检索图像的多个子图像中的各指定子图像进行图像特征提取，得到各指定子图像的特征向量。

具体的，可以提取出各指定子图像中的每个指定子图像的特征向量。

进一步的，指定子图像的特征向量可以包括多种特征向量。

进一步的，每种特征向量可以包括多种特征分量。

下面以对一个图像的颜色、纹理和形状三种特征向量的提取为例进行具体描述。

1、颜色特征向量的提取：

采用颜色矩法，由图像像素点的各阶中心矩表示颜色分布情况，颜色信息大都集中在低阶矩上，包括一阶矩为均值、二阶矩为方差和三阶矩为饶度，用于表示图像的总体颜色分布，其中：

采用如下公式确定一阶矩均值：

$\mathrm{\μ}=\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}{p}_i;$ 其中，μ为一阶矩均值，p_i为图像中的第i个像素点的颜色分量值，N为图像包括的像素点的数量。

采用如下公式确定二阶矩方差：

$\mathrm{\σ}={\left[\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}(p_i-\mathrm{\μ})\right]}^{\frac{1}{2}},$ 其中，σ为二阶矩方差。

采用如下公式确定三阶矩饶度：

$s={\left[\frac{1}{N}\underset{i}{\overset{N}{\mathrm{\Σ}}}(p_i-\mathrm{\μ})\right]}^{\frac{1}{3}},$ 其中，s为三阶矩饶度。

由于每个像素共有3个颜色分量，包括红色分量、绿色分量和蓝色分量，所以，针对每种颜色分量均可以确定出对应的一阶矩均值、二阶矩方差和三阶矩饶度，因此，本发明实施例中提出的图像的颜色特征向量包括9种颜色特征分量，分别对应为：红色一阶矩均值μ_r、红色二阶矩方差σ_r和红色三阶矩饶度s_r，以及绿色一阶矩均值μ_g、绿色二阶矩方差σ_g和绿色三阶矩饶度s_g，以及蓝色一阶矩均值μ_b、蓝色二阶矩方差σ_b和蓝色三阶矩饶度s_b。

2、纹理特征向量的提取：

采用灰度共生矩阵法，利用其统计量提取出相应的纹理特征。

首先将彩色图像转换成灰度图像，然后分别提取出0度、90度、45度、135度四个方向的灰度共生矩阵M(h，k)，对于每个方向的灰度共生矩阵M(h，k)中的元素m_hk，表示该方向的灰度级为h和k的像素点对出现的次数，其中，灰度级的取值范围为0-256。

针对每个方向，基于该方向的灰度共生矩阵M(h，k)，分别确定与该方向对应的，能量、熵、反差和相关这4个纹理特征统计量：

采用如下公式确定能量纹理特征统计量：

$\mathrm{SAM}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\left(m_{\mathrm{hk}}\right)}^2;$ 其中，ASM为能量纹理特征统计量。

采用如下公式确定熵纹理特征统计量：

$\mathrm{ENT}=-\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{m}_{\mathrm{hk}}\lg \left(m_{\mathrm{hk}}\right);$ 其中，ENT为熵纹理特征统计量；

采用如下公式确定反差纹理特征统计量：

$\mathrm{CON}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(h-k)}^2{m}_{\mathrm{hk}};$ 其中，CON为反差纹理特征统计量；

采用如下公式确定相关纹理特征统计量：

$\mathrm{COR}=[\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\mathrm{hkm}}_{\mathrm{hk}}-{\mathrm{\μ}}_h{\mathrm{\μ}}_k]/\left[{\mathrm{\σ}}_h{\mathrm{\σ}}_k\right];$ 其中，COR为相关纹理特征统计量，μ_h为灰度共生矩阵M(h，k)中第h行各元素的均值，μ_k为灰度共生矩阵M(h，k)中第k列各元素的均值，σ_h为灰度共生矩阵M(h，k)中第h行各元素的标准差，σ_k为灰度共生矩阵M(h，k)中第k列各元素的标准差。

针对上述4个纹理特征统计量中每种纹理特征统计量，确定分别与4个方向对应的4个该纹理特征统计量的均值和标准差，作为提取的图像的纹理特征向量包括的纹理特征分量，共计包括8种纹理特征分量，分别为：能量均值纹理特征分量μ_ASM、能量标准差纹理特征分量σ_ASM、熵均值纹理特征分量μ_ENT、熵标准差纹理特征分量σ_ENT、反差均值纹理特征分量μ_CON、反差标准差纹理特征分量σ_CON、相关均值纹理特征分量μ_COR和相关标准差纹理特征分量σ_COR。

3、形状特征向量的提取：

采用形状不变矩法提取图像的形状特征向量。

具体为，采用Canny算子提取图像中每个像素点的边缘信息f(x，y)，f(x，y)表示采用Canny算子提取坐标为(x，y)的像素点的边缘信息，并确定图像的二维p+q阶矩和具有平移不变性的规格化后的中心矩，其中：

采用如下公式确定二维p+q阶矩：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^p{y}^{q}f(x,y);$ 其中，m_pq为二维p+q阶矩。

采用如下公式确定具有平移不变性的规格化后的中心矩：

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-x_o)}^p{(y-y_o)}^{q}f(x,y);$ 其中，μ_pq为具有平移不变性的规格化后的

中心矩，(x_o，y_o)为图像重心的坐标。

基于m_pq和μ_pq，将各种二阶和三阶中心矩进行组合，分别得到对平移、旋转和尺度均具有无关性的7个不变矩，并将这7个不变钜作为提取的图像的形状特征向量的形状特征分量，7个不变钜具体可采用现有技术中的方法进行计算，在此不再进行详细描述。

步骤S204、针对图像库中每个图像，确定该图像的各待匹配子图像组，其中，待匹配子图像组中的各子图像之间的相对位置，与待检索图像的各指定子图像之间的相对位置相同，即在该图像中确定出各组子图像，且每组子图像均满足，其包括的各子图像之间的相对位置，与待检索图像的各指定子图像之间的相对位置相同。

本发明实施例中，针对图像库中的每个图像，预先进行了子图划分，具体可以采用对待检索图像进行子图划分的相同方法，对图像库中的每个图像进行子图划分，所得到的子图像的数量，可以等于待检索图像划分后得到的多个子图像的数量，也可以大于待检索图像划分后得到的多个子图像的数量。

基于上述步骤S202中确定的包括各指定子图像的索引窗口，具体可采用如下方式确定图像库中一个图像的各待匹配子图像组：

首先在该图像中确定各映射窗口，映射窗口满足的条件为：其所包括的子图像的数量和排列方式，与索引窗口中各指定子图像的数量和排列方式相同，例如，如图4所示，索引窗口中包括了待检索图像的左上方的3×3的9个子图像，即索引窗口包括的各指定子图像的数量为9，排列方式为3×3，则在一个划分为4×4的16个子图像的图像中，可以确定出满足条件的4个映射窗口，分别为左上、左下、右上和右下的包括3×3的9个子图像的映射窗口。由于索引窗口与映射窗口中包括的子图像的数量和排列方式相同，所以索引窗口包括的各子图像与每个映射窗口中包括的各子图像之间，存在位置一一对应的关系。

然后确定由每个映射窗口包括的各子图像中，与索引窗口包括的各指定子图像位置对应的子图像，组成该映射窗口对应的待匹配子图像组。

步骤S205、针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及待检索图像的各指定子图像的特征向量，确定该图像的每个待匹配子图像组与指定子图像组的相似度。其中，图像库中每个图像的各子图像的特征向量，可以为预先提取并存储的，在使用时可直接获取。

具体可采用如下公式确定一个待匹配子图像组与指定子图像组的相似度：

$S(q,p_l)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_{1,i}S\left(z_i\right),$ 其中，S(q，p_l)为图像库中的图像P的第l个待匹配子图像组与待检索图像q的指定子图像组的相似度，S(z_i)为第l个待匹配子图像组的第i个子图像与位置对应的第i个指定子图像的相似度，W_1，i为第i个指定子图像对应的子图像权重，N为各指定子图像包括的子图像的数量。

具体的，上述S(z_i)可采用如下公式确定：

$S\left(z_i\right)=\underset{j}{\overset{M}{\mathrm{\Σ}}}{W}_{2,j}S\left(f_{\mathrm{ij}}\right),$ 其中，S(f_ij)为待匹配子图像组中的第i个子图像与位置对应的第i个指定子图像的第j种特征向量的相似度，W_2，j为第j种特征向量对应的特征间权重，M为提取的第i个子图像的特征向量的种类的数量，例如，当提取的特征向量包括颜色、纹理和形状三种特征向量时，M取值为3。

具体的，上述S(f_ij)可采用如下加权欧式距离之和的计算公式确定：

$S\left(f_{\mathrm{ij}}\right)=\sqrt{\underset{k}{\overset{H}{\mathrm{\Σ}}}{W}_{3,\mathrm{jk}}S{\left(r_{\mathrm{ijk}}\right)}^2},$ 其中，S(r_ijk)为待匹配子图像组中的第i个子图像与位置对应的第i个指定子图像的第j种特征向量的第k种特征分量的相似度，W_3，jk为第j种特征向量的第k种特征分量对应的特征内权重，H为提取的第j种特征向量包括的特征分量的数量，例如，上述颜色特征向量包括的特征分量的数量为9个，上述纹理特征向量包括的特征分量的数量为8个，上述形状特征向量包括的特征分量的数量为7个。

具体的，上述S(r_ijk)可采用如下公式确定：r_ijk，Q-r_ijk，P

S(r_ijk)＝|r_ijk，q-r_ijk，p|，其中，r_ijk，q为待检索图像q的第i个指定子图像的第j种特征向量的第k种特征分量，r_ijk，p为图像库中的该图像P的待匹配子图像组中的第i个子图像的第j种特征向量的第k种特征分量。

步骤S206、针对图像库中每个图像，在确定出该图像的每个待匹配子图像组与待检索图像的指定子图像组的相似度后，将各相似度的平均值作为该图像与待检索图像的相似度，或者，较佳的，还可以将各相似度中的最大值作为该图像与待检索图像的相似度。

步骤S207、基于图像库中的每个图像与待检索图像的相似度的大小，确定待检索图像对应的图像检索结果。

具体可以为，将图像库中与待检索图像的相似度大于设定相似度阈值的图像，确定为待检索图像对应的图像检索结果。

具体还可以为，将图像库中与待检索图像的相似度从高到低的顺序的前设定数量的图像，确定为待检索图像对应的图像检索结果。

采用本发明实施例1提供的上述图像检索方法，是针对待检索图像的各指定子图像，以及针对图像库中每个图像的各待匹配子图像组中的各子图像进行的，所以相比技术中基于图像的全局特征进行检索，针对性更强，更能够有效的检索出表达的含义与待检索图像的各指定子图像所表达含义相匹配的图像，从而提高了检索结果的有效性和检索效率。

实施例2：

为了能够更准确的向用户返回用户所需要的图像检索结果，本发明实施例2中，在上述实施例1中方法的基础上，提出基于用户对每个检索结果图像的相关性评价结果，调整确定相似度时所使用的权重，并基于调整后权重，确定图像之间的最新相似度，以确定最新图像检索结果的方案。如图5所示，具体包括如下处理步骤：

步骤S501、向用户显示上述实施例1中确定的图像检索结果中的各检索结果图像，并针对每个检索结果图像，向用户提供该检索结果图像的相关性评价选项，使得用户能够对该检索结果图像进行相关性评价。

步骤S502、获取用户对图像检索结果中的每个检索结果图像的相关性评价结果，相关性评价结果具体可以包括三种，分别为：表征相关的相关结果、表征不相关的不相关结果和表征不评判的不评判结果。

步骤S503、基于获取的每个检索结果图像的相关性评价结果，调整在确定图像库中的每个图像与待检索图像的相似度时所使用的权重，得到调整后权重。

针对上述实施例1中所使用的三个权重，分别采用如下方式确定对应的调整后权重：

1、指定子图像对应的子图像权重：

步骤A：确定图像检索结果中相关性评价结果为相关结果的各正例图像；例如图像检索结果中包括的图像数量为T，其中正例图像的数量为T1。

步骤B：针对每个正例图像中相似度最高的待匹配子图像组，确定该待匹配子图像组中与指定子图像组中位置相对应的每对子图像的相似度，由于上述实施例1中已经确定出该相似度，所以此时可以直接获取保存的该相似度。为了便于后续调整后子图像权重的确定，可以将针对每个正例图像和每个指定子图像确定的相似度组成矩阵其中，矩阵

为T1×N阶矩阵，N为指定子图像组包括的子图像的数量，矩阵中的元素

为第i个指定子图像与第t个正例图像中相似度最高的待匹配子图像组中位置相对应的子图像的相似度。

步骤C：针对指定子图像组中每个指定子图像，确定各相似度最高的待匹配子图像组中，与该指定子图像位置相对应的该对子图像的各相似度的标准差的倒数。其中，该标准差即为上述矩阵

中每一列元素的标准差σ_i，σ_i表示与第i个指定子图像对应的标准差，并计算标准差σ_i的倒数。

由于标准差σ_i的值越小，表示该指定子图像更受到用户的重视，因此该标准差σ_i的倒数反映了该指定子图像的子图像权重的大小。

步骤D：对各指定子图像分别对应的各倒数，进行归一化处理，将归一化处理出后得到的与每个指定子图像对应的结果，作为该指定子图像对应的调整后子图像权重W_1，i，具体可以采用如下公式确定：

w_1，i＝1/σ_1，i；

W_1，i为第i个指定子图像对应的调整后子图像权重。

2、特征向量对应的特征间权重：

步骤a：针对多种特征向量中的每种特征向量，基于图像库中每个图像的每个待匹配子图像组中的各子图像的该种特征向量，以及各指定子图像的该种特征向量，确定与该种特征向量对应的，待检索图像对应的特征图像检索结果。

即上述实施例1中是基于多种特征向量，确定检索图像对应的图像检索结果，本步骤a中是分别基于单一的一种特征向量，确定检索图像对应的图像检索结果，为便于区分，将基于单一的一种特征向量确定的图像检索结果称为特征图像检索结果，例如，基于颜色特征向量确定的称作颜色图像检索结果，将基于纹理特征向量确定的称作纹理图像检索结果，将形状特征向量确定的称作形状图像检索结果。具体的确定方式可采用上述实施例1中相同的方法，区别仅是基于单一的一种特征向量。

步骤b：确定该特征图像检索结果与实施例1中确定的该图像检索结果中均存在的各检索结果图像。

步骤c：确定均存在的各检索结果图像的相关性评价结果分别对应的各分值的第一和值，以及确定第一和值与该种特征向量的特征间权重的初始值的第二和值，具体采用如下公式确定：

w_2，j＝w_2，j0+MARK；其中，w_2，j0为第j种特征向量的特征间权重的初始值，例如，将每种特征向量的特征间权重的初始值均设为0；MARK为与第j中特征向量对应的上述第一和值，其中，相关性评价结果对应的分值可根据实际需要进行设置，例如，本实施例中设置相关结果对应分值为2，设置不评判结果对应分值为1，设置不相关结果对应分值为0；w_2，j为与第j种特征向量对应的上述第二和值。

步骤d：对多种特征向量分别对应的各第二和值，进行归一化处理，将归一化处理出后得到的与每种特征向量对应的结果，作为该种特征向量对应的调整后特征间权重W_2，j，具体可以采用如下公式确定：

$W_{2,j}=w_{2,j}/\underset{j}{\overset{M}{\mathrm{\Σ}}}{w}_{2,j};$ W_2，j为第j种特征向量对应的调整后特征间权重，M为提取的子图像的特征向量的种类的数量。

3、特征矢量对应的特征内权重：

步骤1：确定图像检索结果中相关性评价结果为相关结果的各正例图像；例如图像检索结果中包括的图像数量为T，其中正例图像的数量为T1。

步骤2：对于每个正例图像中相似度最高的待匹配子图像组，针对每种特征向量，确定该待匹配子图像组中每个子图像的该种特征向量包括的每种特征分量。为了便于后续调整后子图像权重的确定，可以将确定的该每种特征分量组成矩阵

其中，矩阵

为T1×H阶矩阵，H为提取的第j种特征向量包括的特征分量的数量，矩阵中的元素

为第t个正例图像中相似度最高的待匹配子图像组中第i个子图像的第j种特征向量的第k种特征分量。

步骤3：针对该待匹配子图像组中的每个子图像和每种特征分量，确定各正例图像的该待匹配子图像组中的该子图像的该种特征向量包括的各该种特征分量的标准差，作为与每个子图像的该种特征分量对应的标准差。其中，该标准差即为上述矩阵

中每一列元素的标准差σ_ijk，σ_ijk表示与第i个子图像对应的，且与第j种特征向量的第k种特征分量对应的标准差。

步骤4：针对每个子图像和每种特征向量，对该种特征向量所包括的多种特征分量分别对应的各标准差的倒数，进行归一化处理，得到与每个子图像和每种特征分量对应的处理结果，具体可以采用如下公式确定：

w_ijk＝1/σ_ijk；

W_ijk为第i个子图像的第j种特征向量的第k种特征分量对应的处理结果。

步骤5：针对每种特征分量，确定各子图像的该种特征分量对应的处理结果的平均值，将该平均值作为该种特征分量对应的调整后特征间权重W_3，jk，具体可以采用如下公式确定：

$W_{3,\mathrm{jk}}=\underset{i}{\overset{N}{\mathrm{\Σ}}}{w}_{3,\mathrm{ijk}}/N;$ W_3，jk为第j种特征向量的第k种特征分量对应的调整后特征内权重。

由于标准差σ_ijk的值越小，表示该种特征向量的该种特征分量更受到用户的重视，因此该标准差σ_ijk的倒数反映了该种特征向量的该种特征分量的特征内权重的大小。

步骤S504、基于确定的调整后权重，确定图像库中的图像与待检索图像的最新相似度。

本步骤中，较佳的，可以仅确定图像库中除上述正例图像外的每个图像与待检索图像的最新相似度。

步骤S505、基于图像库中的图像与待检索图像的最新相似度的大小，确定待检索图像对应的最新图像检索结果。

较佳的，可以将上述正例图像作为该最新图像检索结果包括的一部分图像，对于最新图像检索结果包括的其它图像，具体可以为，将图像库中与待检索图像的最新相似度大于设定相似度阈值的图像，确定为最新图像检索结果包括的其它图像；

具体还可以为，将图像库中与待检索图像的最新相似度从高到低的顺序的前设定数量的图像，确定为最新图像检索结果包括的其它图像。

本发明实施例2中上述图5所示方法，可以多次循环执行，直到满足设定循环次数为止，或者直到用户指示将当前确定的最新图像检索结果作为最终图像检索结果为止。

采用本发明实施例2提供的图像检索方法，由于基于用户对检索结果图像的相关性评价结果，调整权重，并基于调整后权重，确定出最新图像检索结果，从而使得确定的最新图像检索结果更接近用户的需要，进而进一步的提高了图像检索的有效性和效率。

实施例3：

基于同一发明构思，根据本发明上述实施例提供的图像检索方法，相应地，本发明实施例3还提供了一种图像检索装置，其结构示意图如图6所示，具体包括：

划分单元601，用于将待检索图像进行子图划分，得到多个子图像；

提取单元602，用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；

相似度确定单元603，用于针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度；其中，待匹配子图像组中的各子图像之间的相对位置，与所述各指定子图像之间的相对位置相同；

检索结果确定单元604，用于基于所述图像库中的每个图像与所述待检索图像的相似度的大小，确定所述待检索图像对应的图像检索结果。

较佳的，相似度确定单元603，具体用于基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像的每个待匹配子图像组，与所述各指定子图像组成的指定子图像组的相似度；

将每个待匹配子图像组与所述指定子图像组的相似度中的最大值或平均值，作为该图像与所述待检索图像的相似度。

较佳的，提取单元602，具体用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的特征向量；

相似度确定单元603，具体用于基于待匹配子图像组中的每个子图像的特征向量，以及所述指定子图像组中每个指定子图像的特征向量，分别确定该待匹配子图像组中与所述指定子图像组中位置相对应的每对子图像的相似度；

基于所述指定子图像组中每个指定子图像对应的子图像权重，将每对子图像的相似度进行加权求和，得到该待匹配子图像组与所述指定子图像组的相似度。

较佳的，提取单元602，具体用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量；

相似度确定单元603，具体用于基于待匹配子图像组中的一个子图像的多种特征向量，以及所述指定子图像组中与该子图像位置相对应的一个指定子图像的多种特征向量，确定该子图像与该指定子图像的每种特征向量的相似度；

基于每种特征向量对应的特征间权重，将每种特征向量的相似度进行加权求和，得到该子图像与该指定子图像的相似度。

较佳的，提取单元602，具体用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量中，每种特征向量包括的多个特征分量；

相似度确定单元603，具体用于基于该子图像的一种特征向量包括的多个特征分量，以及该指定子图像的该种特征向量包括的多个特征分量，确定该子图像与该指定子图像的该种特征向量包括的每种特征分量的相似度；

基于每种特征分量对应的特征内权重，确定各种特征分量的相似度的加权欧式距离之和，得到该子图像与该指定子图像的一种特征向量的相似度。

较佳的，还包括：

获取单元605，用于获取用户对所述图像检索结果中的每个检索结果图像的相关性评价结果；

权重调整单元606，用于基于获取的每个检索结果图像的相关性评价结果，调整在确定所述图像库中的每个图像与所述待检索图像的相似度时所使用的权重，得到调整后权重；

相似度确定单元603，还用于基于所述调整后权重，确定所述图像库中的图像与所述待检索图像的最新相似度；

检索结果确定单元604，还用于基于所述图像库中的图像与所述待检索图像的最新相似度的大小，确定所述待检索图像对应的最新图像检索结果。

较佳的，获取单元605获取的相关性评价结果包括：表征相关的相关结果、表征不相关的不相关结果和表征不评判的不评判结果；

权重调整单元606，具体用于当所述所使用的权重为子图像权重时，确定所述图像检索结果中相关性评价结果为相关结果的各正例图像；针对每个正例图像中相似度最高的待匹配子图像组，确定该待匹配子图像组中与所述指定子图像组中位置相对应的每对子图像的相似度；针对所述指定子图像组中每个指定子图像，确定各相似度最高的待匹配子图像组中，与该指定子图像位置相对应的该对子图像的各相似度的标准差的倒数；对所述各指定子图像分别对应的各倒数，进行归一化处理；将归一化处理出后得到的与每个指定子图像对应的结果，作为该指定子图像对应的调整后子图像权重；

当所述所使用的权重为特征间权重时，针对多种特征向量中的每种特征向量，基于图像库中每个图像的每个待匹配子图像组中的各子图像的该种特征向量，以及所述各指定子图像的该种特征向量，确定与该种特征向量对应的，所述待检索图像对应的特征图像检索结果，确定该特征图像检索结果与所述图像检索结果中均存在的各检索结果图像，确定所述均存在的各检索结果图像的相关性评价结果分别对应的各分值的第一和值，以及确定所述第一和值与该种特征向量的特征间权重的初始值的第二和值；对多种特征向量分别对应的各第二和值，进行归一化处理；将归一化处理出后得到的与每种特征向量对应的结果，作为该种特征向量对应的调整后特征间权重；

当所述所使用的权重为特征内权重时，确定所述图像检索结果中相关性评价结果为相关结果的各正例图像；对于每个正例图像中相似度最高的待匹配子图像组，针对每种特征向量，确定该待匹配子图像组中每个子图像的该种特征向量包括的每种特征分量；针对该待匹配子图像组中的每个子图像和每种特征分量，确定各正例图像的该待匹配子图像组中的该子图像的该种特征向量包括的各该种特征分量的标准差，作为与每个子图像的该种特征分量对应的标准差；针对每个子图像和每种特征向量，对该种特征向量所包括的多种特征分量分别对应的各标准差的倒数，进行归一化处理，得到与每个子图像和每种特征分量对应的处理结果；针对每种特征分量，确定各子图像的该种特征分量对应的处理结果的平均值，将该平均值作为该种特征分量对应的调整后特征间权重。

综上所述，本发明实施例提供的方案，包括：将待检索图像进行子图划分，得到多个子图像；并对该多个子图像中的各指定子图像进行图像特征提取，得到各指定子图像的特征向量；并针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及各指定子图像的特征向量，确定该图像与待检索图像的相似度；以及基于图像库中的每个图像与待检索图像的相似度的大小，确定待检索图像对应的图像检索结果。采用本发明实施例提供的方案，在基于图像内容进行检索时，提高了检索结果的有效性和检索效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种图像检索方法，其特征在于，包括：

将待检索图像进行子图划分，得到多个子图像；

对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；

针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度；其中，待匹配子图像组中的各子图像之间的相对位置，与所述各指定子图像之间的相对位置相同；

基于所述图像库中的每个图像与所述待检索图像的相似度的大小，确定所述待检索图像对应的图像检索结果。

2.如权利要求1所述的方法，其特征在于，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度，具体包括：

基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像的每个待匹配子图像组，与所述各指定子图像组成的指定子图像组的相似度；

将每个待匹配子图像组与所述指定子图像组的相似度中的最大值或平均值，作为该图像与所述待检索图像的相似度。

3.如权利要求2所述的方法，其特征在于，对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量，具体为：

对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的特征向量；

基于待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该待匹配子图像组与所述指定子图像组的相似度，具体包括：

基于待匹配子图像组中的每个子图像的特征向量，以及所述指定子图像组中每个指定子图像的特征向量，分别确定该待匹配子图像组中与所述指定子图像组中位置相对应的每对子图像的相似度；

基于所述指定子图像组中每个指定子图像对应的子图像权重，将每对子图像的相似度进行加权求和，得到该待匹配子图像组与所述指定子图像组的相似度。

4.如权利要求3所述的方法，其特征在于，对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的特征向量，具体为：

对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量；

确定待匹配子图像组中与所述指定子图像组中位置相对应的一对子图像的相似度，具体包括：

基于待匹配子图像组中的一个子图像的多种特征向量，以及所述指定子图像组中与该子图像位置相对应的一个指定子图像的多种特征向量，确定该子图像与该指定子图像的每种特征向量的相似度；

基于每种特征向量对应的特征间权重，将每种特征向量的相似度进行加权求和，得到该子图像与该指定子图像的相似度。

5.如权利要求4所述的方法，其特征在于，对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量，具体为：

对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量中，每种特征向量包括的多个特征分量；

确定该子图像与该指定子图像的一种特征向量的相似度，具体包括：

基于该子图像的一种特征向量包括的多个特征分量，以及该指定子图像的该种特征向量包括的多个特征分量，确定该子图像与该指定子图像的该种特征向量包括的每种特征分量的相似度；

基于每种特征分量对应的特征内权重，确定各种特征分量的相似度的加权欧式距离之和，得到该子图像与该指定子图像的一种特征向量的相似度。

6.如权利要求3-5任一所述的方法，其特征在于，还包括：

获取用户对所述图像检索结果中的每个检索结果图像的相关性评价结果；

基于获取的每个检索结果图像的相关性评价结果，调整在确定所述图像库中的每个图像与所述待检索图像的相似度时所使用的权重，得到调整后权重；

基于所述调整后权重，确定所述图像库中的图像与所述待检索图像的最新相似度；

基于所述图像库中的图像与所述待检索图像的最新相似度的大小，确定所述待检索图像对应的最新图像检索结果。

7.如权利要求6所述的方法，其特征在于，相关性评价结果包括：表征相关的相关结果、表征不相关的不相关结果和表征不评判的不评判结果；

基于获取的每个检索结果图像的相关性评价结果，调整在确定所述图像库中的每个图像与所述待检索图像的相似度时所使用的权重，具体包括：

当所述所使用的权重为子图像权重时，确定所述图像检索结果中相关性评价结果为相关结果的各正例图像；针对每个正例图像中相似度最高的待匹配子图像组，确定该待匹配子图像组中与所述指定子图像组中位置相对应的每对子图像的相似度；针对所述指定子图像组中每个指定子图像，确定各相似度最高的待匹配子图像组中，与该指定子图像位置相对应的该对子图像的各相似度的标准差的倒数；对所述各指定子图像分别对应的各倒数，进行归一化处理；将归一化处理出后得到的与每个指定子图像对应的结果，作为该指定子图像对应的调整后子图像权重；

当所述所使用的权重为特征间权重时，针对多种特征向量中的每种特征向量，基于图像库中每个图像的每个待匹配子图像组中的各子图像的该种特征向量，以及所述各指定子图像的该种特征向量，确定与该种特征向量对应的，所述待检索图像对应的特征图像检索结果，确定该特征图像检索结果与所述图像检索结果中均存在的各检索结果图像，确定所述均存在的各检索结果图像的相关性评价结果分别对应的各分值的第一和值，以及确定所述第一和值与该种特征向量的特征间权重的初始值的第二和值；对多种特征向量分别对应的各第二和值，进行归一化处理；将归一化处理出后得到的与每种特征向量对应的结果，作为该种特征向量对应的调整后特征间权重；

当所述所使用的权重为特征内权重时，确定所述图像检索结果中相关性评价结果为相关结果的各正例图像；对于每个正例图像中相似度最高的待匹配子图像组，针对每种特征向量，确定该待匹配子图像组中每个子图像的该种特征向量包括的每种特征分量；针对该待匹配子图像组中的每个子图像和每种特征分量，确定各正例图像的该待匹配子图像组中的该子图像的该种特征向量包括的各该种特征分量的标准差，作为与每个子图像的该种特征分量对应的标准差；针对每个子图像和每种特征向量，对该种特征向量所包括的多种特征分量分别对应的各标准差的倒数，进行归一化处理，得到与每个子图像和每种特征分量对应的处理结果；针对每种特征分量，确定各子图像的该种特征分量对应的处理结果的平均值，将该平均值作为该种特征分量对应的调整后特征间权重。

8.一种图像检索装置，其特征在于，包括：

划分单元，用于将待检索图像进行子图划分，得到多个子图像；

提取单元，用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；

相似度确定单元，用于针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度；其中，待匹配子图像组中的各子图像之间的相对位置，与所述各指定子图像之间的相对位置相同；

检索结果确定单元，用于基于所述图像库中的每个图像与所述待检索图像的相似度的大小，确定所述待检索图像对应的图像检索结果。

9.如权利要求8所述的装置，其特征在于，所述相似度确定单元，具体用于基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像的每个待匹配子图像组，与所述各指定子图像组成的指定子图像组的相似度；

将每个待匹配子图像组与所述指定子图像组的相似度中的最大值或平均值，作为该图像与所述待检索图像的相似度。

10.如权利要求9所述的装置，其特征在于，所述提取单元，具体用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的特征向量；

所述相似度确定单元，具体用于基于待匹配子图像组中的每个子图像的特征向量，以及所述指定子图像组中每个指定子图像的特征向量，分别确定该待匹配子图像组中与所述指定子图像组中位置相对应的每对子图像的相似度；

基于所述指定子图像组中每个指定子图像对应的子图像权重，将每对子图像的相似度进行加权求和，得到该待匹配子图像组与所述指定子图像组的相似度。

11.如权利要求10所述的装置，其特征在于，所述提取单元，具体用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量；

所述相似度确定单元，具体用于基于待匹配子图像组中的一个子图像的多种特征向量，以及所述指定子图像组中与该子图像位置相对应的一个指定子图像的多种特征向量，确定该子图像与该指定子图像的每种特征向量的相似度；

基于每种特征向量对应的特征间权重，将每种特征向量的相似度进行加权求和，得到该子图像与该指定子图像的相似度。

12.如权利要求11所述的装置，其特征在于，所述提取单元，具体用于对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像中每个指定子图像的多种特征向量中，每种特征向量包括的多个特征分量；

所述相似度确定单元，具体用于基于该子图像的一种特征向量包括的多个特征分量，以及该指定子图像的该种特征向量包括的多个特征分量，确定该子图像与该指定子图像的该种特征向量包括的每种特征分量的相似度；

基于每种特征分量对应的特征内权重，确定各种特征分量的相似度的加权欧式距离之和，得到该子图像与该指定子图像的一种特征向量的相似度。

13.如权利要求10-12所述的装置，其特征在于，还包括：

获取单元，用于获取用户对所述图像检索结果中的每个检索结果图像的相关性评价结果；

权重调整单元，用于基于获取的每个检索结果图像的相关性评价结果，调整在确定所述图像库中的每个图像与所述待检索图像的相似度时所使用的权重，得到调整后权重；

所述相似度确定单元，还用于基于所述调整后权重，确定所述图像库中的图像与所述待检索图像的最新相似度；

所述检索结果确定单元，还用于基于所述图像库中的图像与所述待检索图像的最新相似度的大小，确定所述待检索图像对应的最新图像检索结果。

14.如权利要求13所述的装置，其特征在于，所述获取单元获取的相关性评价结果包括：表征相关的相关结果、表征不相关的不相关结果和表征不评判的不评判结果；

所述权重调整单元，具体用于当所述所使用的权重为子图像权重时，确定所述图像检索结果中相关性评价结果为相关结果的各正例图像；针对每个正例图像中相似度最高的待匹配子图像组，确定该待匹配子图像组中与所述指定子图像组中位置相对应的每对子图像的相似度；针对所述指定子图像组中每个指定子图像，确定各相似度最高的待匹配子图像组中，与该指定子图像位置相对应的该对子图像的各相似度的标准差的倒数；对所述各指定子图像分别对应的各倒数，进行归一化处理；将归一化处理出后得到的与每个指定子图像对应的结果，作为该指定子图像对应的调整后子图像权重；

当所述所使用的权重为特征间权重时，针对多种特征向量中的每种特征向量，基于图像库中每个图像的每个待匹配子图像组中的各子图像的该种特征向量，以及所述各指定子图像的该种特征向量，确定与该种特征向量对应的，所述待检索图像对应的特征图像检索结果，确定该特征图像检索结果与所述图像检索结果中均存在的各检索结果图像，确定所述均存在的各检索结果图像的相关性评价结果分别对应的各分值的第一和值，以及确定所述第一和值与该种特征向量的特征间权重的初始值的第二和值；对多种特征向量分别对应的各第二和值，进行归一化处理；将归一化处理出后得到的与每种特征向量对应的结果，作为该种特征向量对应的调整后特征间权重；

当所述所使用的权重为特征内权重时，确定所述图像检索结果中相关性评价结果为相关结果的各正例图像；对于每个正例图像中相似度最高的待匹配子图像组，针对每种特征向量，确定该待匹配子图像组中每个子图像的该种特征向量包括的每种特征分量；针对该待匹配子图像组中的每个子图像和每种特征分量，确定各正例图像的该待匹配子图像组中的该子图像的该种特征向量包括的各该种特征分量的标准差，作为与每个子图像的该种特征分量对应的标准差；针对每个子图像和每种特征向量，对该种特征向量所包括的多种特征分量分别对应的各标准差的倒数，进行归一化处理，得到与每个子图像和每种特征分量对应的处理结果；针对每种特征分量，确定各子图像的该种特征分量对应的处理结果的平均值，将该平均值作为该种特征分量对应的调整后特征间权重。

Images