CN105320694A - 多模态图像检索方法 - Google Patents

Abstract

本发明提供一种多模态图像检索方法，包括以下步骤：S1、输入待检索图像；S21、提取待检索图像的颜色特征；S22、提取待检索图像的边界角度；特征；S3、融合颜色特征和边界角度特征，得到多模态特征；S4、比较待检索图像与数据库中图像的多模态特征；S5、输出检索结果。实施本发明的多模态图像检索方法，将图像分成子图像，通过不同的通道进行颜色和角度特征的提取，从而实现了在保持图片细节的前提下提取图片的颜色、纹理以及形状特征。尤其适用于布料和時装图像检索。

Description

多模态图像检索方法

技术领域

本发明涉及图像处理的检索技术，更具体地说，涉及一种多模态图像检索方法。

背景技术

图像检索是计算机视觉和模式识别的主要研究热点之一，图像检索技术主要分为两类：基于文本的图像检索技术(Text-basedimageretrieval，简称TBIR)和基于内容的图像检索技术(Content-basedimageretrieval，简称CBIR)。

基于文本的图像检索技术的研究始于20世纪70年代，利用文本描述的方式描述图像的特征，如绘画作品的尺寸，流派，年代，作者及画中的实物等。基于文本的图像检索一般以关键词的形式提问查询图像，或根据等级目录的形式查找特征类目下的图像，因此，图像的标记信息直接影响图片的检索效果。显而易见的是，不同的人对同一幅图像可能有不同的理解，从而不可避免的造成了标记信息的多义性。并且，在实际应用中，关键字很难完整的表达图像的本身信息，同时，随着图像的不断增多，人工标注的工作量也会急剧攀升。因此，基于文本的图像检索技术很难满足信息化时代图像检索的要求。

基于内容的图像检索技术是一种近些年发展起来的利用图像本身的颜色，纹理，布局等本身特征信息进行图像检索的技术。图像的特征分为低层物理特征(如颜色、纹理、形状、轮廓等)和高层语意特征(如人对图像概念的反应以及人对图片的个人理解)。目前条件下，高层语意特征一般通过人工标注的方法实现，也就是基于文本的图像检索方法。而颜色、纹理、形状等低层物理特征相对比较容易提取，也可客观地反应图像之间的差别。然而，目前的颜色、纹理、形状等低层物理特征都是基于图片的整体统计直方图特征，这种基于统计直方图的特征不可避免的丢失了图片的局部细节特征，在一定程度上减弱了图像之间的差别，进而影响图像的检索效果。

发明内容

本发明的目的在于，针对现有的基于内容的图像检索技术中，基于统计直方图的特征会丢失图片的局部细节，导致检索结果不够精确的问题，提供一种能够反映图片局部细节特征的多模态图像检索方法。

本发明解决上述问题的方案是，提供一种多模态图像检索方法，包括以下步骤：

S1、输入待检索图像；

S21、提取待检索图像的颜色特征；

S22、提取待检索图像的边界角度特征；

S3、融合颜色特征和边界角度特征，得到多模态特征；

S4、比较待检索图像与数据库中图像的多模态特征；

S5、输出检索结果。

本发明的多模态图像检索方法，所述步骤S21包括：

待检索图像转换成多个通道的图像；

对每个通道的图像分割成块；

将图像块堆叠成向量集；

依据向量集求解转换矩阵；

依据转换矩阵计算图像的二维颜色特征。

本发明的多模态图像检索方法，所述步骤S22包括：

计算各个通道图像的梯度向量；

依据所述各个通道图像的梯度向量计算边界角度图像；

依据所述边界角度图像得到待检索图像的二维边界角度特征。

本发明的多模态图像检索方法，所述待检索图像为RGB图像f(x，y)，所述RGB图像f(x，y)包括3个通道图像f′(x，y)，所述f′(x，y)包括R通道图像f_R(x，y)、G通道图像f_G(x，y)、B通道图像f_B(x，y)。

本发明多模态图像检索方法，所述步骤S21包括：

将f′(x，y)的图像分割成p₁×p₂块；X′＝{f′₁，f′₂，...，f′_p}为f′(x，y)的子图像集；

取X′中的任意元素进行堆叠，形成向量集；

求解最优化方程 $\mathrm{ma}J\left(W\right)=\mathrm{trace}\left[W^T{X}_r(I-E/n)X_r^{T}W\right]$

其中，J(W)为关于W的目标函数，W是最大化目标函数得到的降维变换矩阵，E是每个元素都是1的矩阵，I是单位矩阵，trace是矩阵的迹函数；

由W和y_ri＝W^Tx_ri得到关于x_ri的颜色特征。

本发明的多模态图像检索方法，所述步骤S22包括：

对三个通道f_R(x，y)、f_G(x，y)、f_B(x，y)的图像进行梯度运算；

像素p(x，y)的角度θ(x，y)为：

$\mathrm{\θ}(x,y)=\arccos \left[\frac{\mathrm{uv}}{\left|u\right|\left|v\right|}\right];$

其中，

$u=({\▿f}_R\left(x\right),{\▿f}_G\left(x\right),{\▿f}_B\left(x\right));$

$v=({\▿f}_R\left(y\right),{\▿f}_G\left(y\right),{\▿f}_B\left(y\right));$

$\left|u\right|=\sqrt{({\▿f}_R\left(x\right),{\▿f}_G\left(x\right),{\▿f}_B\left(x\right))};$

$\left|v\right|=\sqrt{({\▿f}_R\left(y\right),{\▿f}_G\left(y\right),{\▿f}_B\left(y\right))};$

$\mathrm{uv}=\left({\▿f}_R\left(x\right){\▿f}_R\left(y\right)\right)+\left({\▿f}_R\left(x\right){\▿f}_G\left(y\right)\right)+\left({\▿f}_R\left(x\right){\▿f}_B\left(y\right)\right);$

依据θ(x，y)得到待检索图像的二维边界角度特征。

本发明的多模态图像检索方法，所述步骤S4还包括：

引入多模态相似度量：

$D_{\▿}=\sqrt{{\mathrm{\λ}}_1{(Y_{1R}-Y_{2R})}^2+{\mathrm{\λ}}_2{(Y_{1G}-Y_{2G})}^2+{\mathrm{\λ}}_3(Y_{1B}-Y_{2B}{)}^2+{\mathrm{\λ}}_4{(Y_{1\mathrm{\θ}}-Y_{2\mathrm{\θ}})}^2}$ 其中，λ₁-λ₄为检索参数，Y_1R、Y_1G、Y_1B、Y_1θ为待检索图像的R通道颜色特征、G通道颜色特征、B通道颜色特征和边界角度特征；Y_2R、Y_2G、Y_2B、Y_2θ为数据库中被比较图像R通道颜色特征、G通道颜色特征、B通道颜色特征和边界角度特征。

本发明的多模态图像检索方法，还包括进行完检索后，将图像的相关参数保存到数据库中。

实施本发明的多模态图像检索方法，将图像分成子图像，通过不同的通道进行颜色和角度特征的提取，从而实现了在保持图片细节的前提下提取图片的颜色、纹理以及形状特征。尤其适用于布料和时装图像的检索。

附图说明

以下结合附图对本发明进行说明，其中：

图1为本发明多模态图像检索方法一则优选实施例的流程图；

图2为本发明待检索图像分解为RGB通道图像的示意图；

图3为本发明多模态图像检索方法中颜色特征提取方法的流程图；

图4为本发明多模态图像检索方法中边界角度特征提取方法的流程图。

具体实施方式

本发明针对现有的图像检索方法会在统计直方图的特征时丢失图片细节，导致检索结果不够精确的缺陷，提供一种基于多模态局部PCA特征描述算子，在保持图片细节的前提下提取图片的颜色、纹理或形状特征，提高检索的准确性。

以下将结合附图和具体实施方式，详细说明基于本发明的思想，如何进行图像的检索。

如图1所示为本实施例的图像检索方法流程图。首先在步骤S1中，输入一个待检索的图像，对于这个平面图像，将其数值化处理。例如，在计算机系统中，图像可以以不同的格式输入，例如bmp图像，jpg图像等。为了方便在计算机系统中对图像进行描述，以下均以f(x，y)的函数形式来表述图像，其中(x，y)分别表示X坐标和Y坐标。由于现在的图像通常以不同的通道来表述图像，例如常见的有RGB、CMYK等，若在RGB图像中，对于给定的一点(x，y)，其f(x，y)一般包括3个分量，分别表示R、G、B的数值。

对于转换好，并以f(x，y)形式表示的图像，分别在步骤S21提取其颜色特征和在步骤S22提取边界角度特征。为了直观地显示如何提取出颜色特征和边界特征，现在以一个RGB图像为例进行说明。

首先提取出图像的颜色特征，其步骤如图3所示。对于一个尺寸为m×n的如图2所示RGB图像，该待检索图像100可以用数学表示成：f(x，y)∈R^m×n×3，该公式表示f(x，y)在一个m×n×3的实数范围内取值，若考虑到每一个R、G、B通道，则有：f_R(x，y)∈R^m×n，f_G(x，y)∈R^m×n，f_B(x，y)∈R^m×n，分别对应图中的R通道图像101、G通道图像102、B通道图像103；在本实施例中，对R通道图像f_R(x，y)进行处理，阐述如何提取该通道图像的颜色特征。

将f_R(x，y)的图像分割成p＝p₁×p₂的小块，其中p₁，p₂分别是行和列对应的子块数，记X_R＝{f_R1，f_R2，...，f_Rp}为f_R(x，y)∈R^m×n的子图像集，这里其中m₁＝m/p₁，n₁＝n/p₂。

然后取X_R中的任意元素进行堆叠，形成向量，用数学符号表示如下：

堆叠成向量，f_Ri∈R^q，(q＝m₁×n₁)，得到一个X_R对应的向量集。

接着需要通过X_R来得到颜色特征，此步骤中，需要一个转换矩阵W来得到，而该矩阵W是通过一个最优化方程来求解的：

$\underset{W\∈R^{q\×d}}{\max }J\left(W\right)=\mathrm{trace}\left[W^T{X}_r(I-E/n)X_r^{T}W\right]$

其中，J(W)为关于W的目标函数，W是最大化目标函数得到的降维变换矩阵，d为提取的主要特征个数，E是每个元素都是1的矩阵，I是单位矩阵，trace是矩阵的迹函数。

当通过上述的有优化方程得到W之后，则可以通过y_ri＝W^Tx_ri得到关于x_ri的颜色特征，继而可以得到X_r对应的颜色特征集Y_r＝{y_r1，y_r2，...，y_rp}，然后对上述的颜色特征集的元素进行排序：对y_ri，(i＝1，2...，p)，按照图像子集的空间几何位置进行排序，得到f_R(x，y)对应的2D颜色特征，该特征可用数学符号表示称： $Y_R\∈R^{(d\×p_1)\×p_2}.$

以上得到了R通道的颜色特征Y_R，通过相似的处理步骤对G通道f_G(x，y)和B通道进行处理，得到另外两个颜色通道的颜色特征Y_G和Y_B。

以上的步骤通过对每个子图像进行特征提取，保持图像的局部细节特征，因此相对于目前现有技术中基于统计直方图的颜色特征，上述的方法能够更多的保持图像本身的内容信息，进而保持不同图像之间的差别性。

此后，提取图像的边界角度特征，具体如图4所示。对全彩图像f(x，y)∈R^m×n×3，进行每个像素点的方向信息采集：

根据索贝尔算子分别计算对三个通道f_R(x，y)、f_G(x，y)、f_B(x，y)的图像进行梯度运算。具体如下：

首先令：

$u=({\▿f}_R\left(x\right),{\▿f}_G\left(x\right),{\▿f}_B\left(x\right))$

$v=({\▿f}_R\left(y\right),{\▿f}_G\left(y\right),{\▿f}_B\left(y\right))$

然后计算以下的三个值：

$\left|u\right|=\sqrt{({\▿f}_R\left(x\right),{\▿f}_G\left(x\right),{\▿f}_B\left(x\right))};$

$\left|v\right|=\sqrt{({\▿f}_R\left(y\right),{\▿f}_G\left(y\right),{\▿f}_B\left(y\right))};$

$\mathrm{uv}=\left({\▿f}_R\left(x\right){\▿f}_R\left(y\right)\right)+\left({\▿f}_R\left(x\right){\▿f}_G\left(y\right)\right)+\left({\▿f}_R\left(x\right){\▿f}_B\left(y\right)\right).$

那样，像素p(x，y)的角度θ(x，y)则为：

$\mathrm{\θ}(x,y)=\arccos \left[\frac{\mathrm{uv}}{\left|u\right|\left|v\right|}\right]$

进而得到整个全彩图像f(x，y)对应的边界角度图像f_θ(x，y)；对所有通道都像素的角度计算后，得到全彩图像的二维边界角度特征Y_θ(x，y)。

通过上述的步骤，得到了关于全彩图像的二维边界角度特征，相比于现有技术中将整幅图像的边界角度量化统计直方图，上述的边界角度特征计算更能够保持图像的细节信息，增强不同图像之间的差异性。

本发明通过上述的步骤分别获得了颜色特征和角度特征，在步骤S3中，将这两个特征融合为图像的多模态特征，在后续的检索过程中则只要比较多模态特征即可。在步骤S4中，将上述的两个特征相结合，作为图像的多模态特征，进行比较。而为了确认两幅图像的相似程度，引入一个多模态相似度量：

$D_{\▿}=\sqrt{{\mathrm{\λ}}_1{(Y_{1R}-Y_{2R})}^2+{\mathrm{\λ}}_2{(Y_{1G}-Y_{2G})}^2+{\mathrm{\λ}}_3(Y_{1B}-Y_{2B}{)}^2+{\mathrm{\λ}}_4{(Y_{1\mathrm{\θ}}-Y_{2\mathrm{\θ}})}^2}$

其中，λ₁-λ₄为检索参数，Y_1R、Y_1G、Y_1B、Y_1θ为待检索图像的R通道颜色特征、G通道颜色特征、B通道颜色特征和边界角度特征；Y_2R、Y_2G、Y_2B、Y_2θ为数据库中被比较图像R通道颜色特征、G通道颜色特征、B通道颜色特征和边界角度特征。对应于不同的待检索图像，通过调节λ₁-λ₄，来获得最佳的检索效果。例如如果只根据方向纹理特征计算相似度量：λ₁＝λ₂＝λ₃＝0，λ₄＝1；如果只根据颜色特征进行计算相似度量：λ₁＝λ₂＝λ₃＝1，λ₄＝0；如根据颜色和方向纹理特征计算相似度量：λ₁＝λ₂＝λ₃＝λ₄＝1。

当比较两幅图像的值越小，则两幅图像越相似。当对数据库中的所有图像进行检索后，值最小的即为最相似的图像，在步骤S5中，将该图像进行输出。

以上的实施例中给出了RGB图像。若使用CMYK图像，则上述的方法步骤中需要对应修改为4个通道的图像，对应的，的计算也需要适应性的进行修改。

较佳的，对于检索时，一般对的值进行限定范围，只要检索的值落在该范围内，就将相关的图像输出。以保证相似的图像都能够被检索得到。

较佳的，在对待检索的图像进行完检索后，将图像的相关参数保存到数据库中，以便以后进行检索时，直接从数据库中调取相关的图像数据。

本发明通过将图像分成子图像，通过不同的通道进行颜色和角度特征的提取，从而实现了在保持图片细节的前提下提取图片的颜色、纹理以及形状特征。尤其适用于布料和时装图像的检索。

以上仅为本发明具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本发明所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims (8)

1.一种多模态图像检索方法，其特征在于，包括以下步骤：

S1、输入待检索图像；

S21、提取待检索图像的颜色特征；

S22、提取待检索图像的边界角度特征；

S3、融合颜色特征和边界角度特征，得到多模态特征；

S4、比较待检索图像与数据库中图像的多模态特征；

S5、输出检索结果。

2.根据权利要求1所述的多模态图像检索方法，其特征在于，所述S21包括：

S211、待检索图像转换成多个通道的图像；

S212、对每个通道的图像分割成块；

S213、将图像块堆叠成向量集；

S214、依据向量集求解转换矩阵；

S215、依据转换矩阵计算图像的二维颜色特征。

3.根据权利要求2所述的多模态图像检索方法，所述S22包括：

S221、计算各个通道图像的梯度向量；

S222、依据所述各个通道图像的梯度向量计算边界角度图像；

S223、依据所述边界角度图像得到待检索图像的二维边界角度特征。

4.根据权利要求1所述的多模态图像检索方法，其特征在于，所述待检索图像为RGB图像f(x，y)，所述RGB图像f(x，y)包括3个通道图像f′(x，y)，所述f′(x，y)包括R通道图像f_R(x，y)、G通道图像f_G(x，y)、B通道图像f_B(x，y)。

5.根据权利要求4所述的多模态图像检索方法，其特征在于，所述S21包括：

将f′(x，y)的图像分割成p₁×p₂块；X′＝{f′₁，f′₂，...，f′_p}为f′(x，y)的子图像集；

取X′中的任意元素进行堆叠，形成向量集；

求解最优化方程 $\underset{W\∈R^{q\×d}}{\max }J\left(W\right)=\mathrm{trace}\left[W^T{X}_r(I-E/n)X_r^{T}W\right]$

其中，J(W)为关于W的目标函数，W是最大化目标函数得到的降维变换矩阵，E是每个元素都是1的矩阵，I是单位矩阵，trace是矩阵的迹函数，q为f′(x，y)的图像分割成p₁×p₂块后，每块图像的维数，d为提取特征个数；

由W和y_ri＝W^Tx_ri得到关于x_ri的颜色特征。

6.根据权利要求5所述的多模态图像检索方法，其特征在于，所述S22包括：

对三个通道f_R(x，y)、f_G(x，y)、f_B(x，y)的图像进行梯度运算；

像素p(x，y)的角度θ(x，y)为：

$\mathrm{\θ}(x,y)=\arccos \left[\frac{\mathrm{uv}}{\left|u\right|\left|v\right|}\right];$

其中，

$u=({\▿f}_R\left(x\right),{\▿f}_G\left(x\right),{\▿f}_B\left(x\right));$

$v=({\▿f}_R\left(y\right),{\▿f}_G\left(y\right),{\▿f}_B\left(y\right));$

$\left|u\right|=\sqrt{({\▿f}_R\left(x\right),{\▿f}_G\left(x\right),{\▿f}_B\left(x\right))};$

$\left|v\right|=\sqrt{({\▿f}_R\left(y\right),{\▿f}_G\left(y\right),{\▿f}_B\left(y\right))};$

$\mathrm{uv}=\left({\▿f}_R\left(x\right){\▿f}_R\left(y\right)\right)+\left({\▿f}_R\left(x\right){\▿f}_G\left(y\right)\right)+\left({\▿f}_R\left(x\right){\▿f}_B\left(y\right)\right);$

依据θ(x，y)得到待检索图像的二维边界角度特征。

7.根据权利要求6所述的多模态图像检索方法，所述步骤S4还包括：

引入多模态相似度量：

$D_{\▿}=\sqrt{{\mathrm{\λ}}_1{(Y_{1R}-Y_{2R})}^2+{\mathrm{\λ}}_2{(Y_{1G}-Y_{2G})}^2+{\mathrm{\λ}}_3(Y_{1B}-Y_{2B}{)}^2+{\mathrm{\λ}}_4{(Y_{1\mathrm{\θ}}-Y_{2\mathrm{\θ}})}^2}$

其中，λ₁-λ₄为检索参数，Y_1R、Y_1G、Y_1B、Y_1θ为待检索图像的R通道颜色特征、G通道颜色特征、B通道颜色特征和边界角度特征；Y_2R、Y_2G、Y_2B、Y_2θ为数据库中被比较图像R通道颜色特征、G通道颜色特征、B通道颜色特征和边界角度特征。

8.根据权利要求1的多模态图像检索方法，其特征在于，还包括进行完检索后，将图像的相关参数保存到数据库中。