CN105808757A - 基于多特征融合的bow模型的中草药植物图片检索方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的Bag‑of‑Words(BOW)模型的中草药植物图像检索方法。首先，对中草药图片尺寸进行归一化处理；其次，对归一化后的中草药图片提取基于稠密采样的SIFT特征和OpponentSIFT特征；然后，采用k‑means聚类算法将前一步中提取的特征聚类得到视觉字典，其中，聚类中心即为视觉单词；接着，采用局部线性编码对局部特征用视觉词典中的视觉单词进行表达，得到其对应的编码向量；然后，采用最大值池化方法对中草药植物图片局部特征对应的编码向量进行池化处理，得到图片特征；最后，将图片特征输入训练好的SVM分类器得到相应类别，返回对应类别中的图片给用户。

Description

基于多特征融合的BOW模型的中草药植物图片检索方法

技术领域

本发明涉及中草药植物图片检索方法，尤其涉及一种基于多特征融合的BOW模型的中草药植物图片检索方法。

背景技术

中医药是中华名族的传统文化宝库的重要组成部分，中医药文化的复兴是实现中华名族文化复兴的一个重要组成部分，建设专业的中草药植物图像检索系统将有利于推动中医药的推广和普及，因为它能降低人们认识和了解中医药的门槛，通过图像数据给人们一种视觉上的直观认知，引发人们对中医文化的浓厚兴趣。而中草药植物图像由于光照、视角和尺寸的不同，同时它们具有背景复杂混乱以及遮挡现象普遍存在等问题，导致即使是同一类植物图像的差别也很大，这将极大地影响到检索的效果。同时，不同于传统的基于内容的图像检索关注在不同类别的差异，如鸟和花，这样对于花的检索只需要返回是花的图像，而不必关注它到底是什么种类的花；但在细粒度的中草药植物图像检索中，需要的不仅仅是返回花的图像，而应该是同一种类花的图像，这就需要开发表达能力更强的视觉特征。同时，由于中草药植物种类数量的繁多以及它们之间存在的多样性，使得中草药植物图像的检索愈加更难。

发明内容

本发明的目的是将图像检索技术应用于中草药植物图像领域，提出了一种基于多特征融合的Bag-of-Words模型中草药植物图片检索方法。

本发明的目的是通过以下技术方案来实现的：一种基于多特征融合的Bag-of-Words(BOW)模型的中草药植物图片检索方法，其特征在于包括以下步骤：

1.一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于包括以下步骤：

1)对中草药植物图片尺寸进行归一化处理，首先将图片较长的边归一化到480像素，然后按原图片的宽高比将较短的边缩放到相应的像素；

2)将第1)步所得的归一化图片进行步长为4、图像块大小为16×16像素的稠密采样，对每个采样图像块提取SIFT(Scale-invariant feature transform)特征和OpponentSIFT特征，并将它们拼接融合为一个向量，得到各图像块的局部特征向量；

3)从第2)步中所得的局部特征向量中随机选取一部分，然后利用k-means算法对选取的局部特征进行聚类操作得到视觉词典，其中，各聚类中心为视觉单词；

4)采用局部约束线性编码算法将第2)步中所得的各局部特征向量用第3)步所得的视觉词典中的视觉单词表示，得到各局部特征的编码向量；

5)对于每一张中草药植物图片，采用最大值池化算法将第4)步所得编码向量进行池化处理，得到图片的特征向量；

6)利用第5)步得到的图片的特征向量和图片对应的类别标签作为训练集来训练SVM分类器；

7)对于用户的每一张查询图片，将其特征向量输入第6)步中训练好的SVM分类器中，得到其对应的类别，然后返回该类别中的图片集给用户。

本发明是中医药领域与计算机科学相结合的产物，它通过将基于内容的图像检索技术应用于中草药植物检索领域中，提出了一种基于多特征融合的BoW模型的方法，具有良好的效果，同时，本发明所阐述的方法也具有一般性，可适用于其他领域的图片检索中。

附图说明

图1是本一种基于多特征融合的BOW模型的中草药植物图片检索方法的整体流程图；

图2是实施例中的视觉单词示例；

图3是实施例中输入的例图--三色堇的图片；

图4是实施例中的检索结果图。

具体实施方式

下面结合附图和实施例对本发明做进一步阐述。

如图1所示，一种基于多特征融合的BOW模型的中草药植物图片检索方法，包括以下步骤：

1)对中草药植物图片尺寸进行归一化处理，首先将图片较长的边归一化到480像素，然后按原图片的宽高比将较短的边缩放到相应的像素；

2)将第1)步所得的归一化图片进行步长为4、图像块大小为16×16像素的稠密采样，对每个采样图像块提取SIFT(Scale-invariant feature transform)特征和OpponentSIFT特征，并将它们拼接融合为一个向量，得到各图像块的局部特征向量。本步骤中的OpponentSIFT特征的提取包括：

2.1)将图片从RGB颜色空间按如下公式转换到opponent颜色空间：

$\left(\begin{array}{c}{O}_1\\ O_2\\ O_3\end{array}\right)=\left(\begin{array}{c}\frac{R-G}{\sqrt{2}}\\ \frac{R+G-2B}{\sqrt{6}}\\ \frac{R+G+B}{\sqrt{3}}\end{array}\right)$

其中：O₁、O₂、O₃分别为opponent颜色空间三个颜色通道；R、G、B为RGB颜色空间的三个颜色通道；

2.2)分别在在O₁、O₂、O₃三个颜色通道上计算SIFT特征，并将它们拼接合并为一个向量，即为OpponentSIFT特征向量。

3)从第2)步中所得的局部特征向量中随机选取一部分，然后利用k-means算法对选取的局部特征进行聚类操作得到视觉词典，其中，各聚类中心为视觉单词。本步骤具体为：

给定N个局部特征描述子为n维向量空间，k-means算法的目标是寻找使最小的K个中心向量和各个局部特征对应的聚类中心标签q₁,...,q_N∈{1,...,K}，其中，q_i表示局部特征描述子x_i对应的聚类中心标签，为x_i对应聚类的中心向量；其中，i,j＝1,...,N，表示使||x_i-μ_k||²最小的k的值；学习得到的K个中心向量称为视觉单词，它们的集合构成视觉字典。

4)采用局部约束线性编码算法将第2)步中所得的各局部特征向量用第3)步所得的视觉词典中的视觉单词表示，得到各局部特征的编码向量。本步骤中局部约束线性编码是将局部特征用其所在的一个局部线性子空间中的视觉单词表示，即用与局部特征近邻的视觉单词表示；记X＝[x₁,...,x_N]为一张图像的局部特征描述子的集合，其中x_i为第i个局部特征描述子；V＝[v1,...,v_K]为视觉词典，其中为第i个视觉单词；对于局部特征x_i，首先找出其近邻的L个视觉单词，记它们的集合为V_L，其中L＜＜K，然后优化如下目标函数C：

其中λ为权衡因子；|| ||₂表示2范数。

5)对于每一张中草药植物图片，采用最大值池化算法将第4)步所得编码向量进行池化处理，得到图片的特征向量。记f₁,...,f_N分别为图像局部特征x₁,...,x_N编码后的特征向量，x'表示池化后图像的特征向量；最大值池化的公式为：

x'_i＝max{f_1i,...,f_Ni}i＝1,...,K

其中，f_ji表示第j个图像局部特征f_j的第i个元素,j＝1,...,N。

6)利用第5)步得到的图片的特征向量和图片对应的类别标签作为训练集来训练SVM分类器。SVM分类器的分类函数f(x)为：

$f\left(x\right)=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i<x_i,x>+b$

其中，{(x₁,y₁),...,(x_i,y_i),...,(x_N,y_N)}为训练集，〈〉表示向量内积运算，α_i是拉格朗日乘子，i＝1,...,N，N为训练数据集的大小；b为模型参数；

得到上式采用的方法如下：

6.1)初始化α＝0；

6.2)选取优化变量α₁和α₂，解析求解如下两个变量的最优化变量即：

$\underset{{\mathrm{\&alpha;}}_1,{\mathrm{\&alpha;}}_2}{\min }W({\mathrm{\&alpha;}}_1,{\mathrm{\&alpha;}}_2)=\frac{1}{2}{K}_{11}{\mathrm{\&alpha;}}_1^2+\frac{1}{2}{K}_{22}{\mathrm{\&alpha;}}_2^2+y_1{y}_2{K}_{12}{\mathrm{\&alpha;}}_1{\mathrm{\&alpha;}}_2+y_1{\mathrm{\&alpha;}}_1{v}_1+y_2{\mathrm{\&alpha;}}_2{v}_2-{\mathrm{\&alpha;}}_1-{\mathrm{\&alpha;}}_2$

s.t.0≤α_i≤C,i＝1,2

其中，y₁、y₂均为类别；

K_ij＝K(x_i,x_j),i,j＝1,...,N

$v_i=\underset{j=3}{\overset{N}{\&Sigma;}}{y}_j{\mathrm{\&alpha;}}_j{K}_{ij}$

C为惩罚因子，式中K为核函数；

为常数

上述最优化问题的解和按如下步骤求解：

6.2.1)计算解的上界H和下界L，即：

当y₁≠y₂时，得到

当y₁＝y₂时，得到

其中，和分别为α₁和α₂更新前的值；

6.2.2)计算η＝K₁₁+K₂₂-2K₁₂；

6.2.3)更新α₂，记更新后值为则：

${\mathrm{\&alpha;}}_2^{new,unc}={\mathrm{\&alpha;}}_2^{old}+\frac{y_2(E_1-E_2)}{\mathrm{\&eta;}}$

其中，

6.2.4)计算裁剪后的α₂，记其值为则：

${\mathrm{\&alpha;}}_2^{new}=\left\{\begin{array}{c}H,{\mathrm{\&alpha;}}_2^{new,unc}>H\\ {\mathrm{\&alpha;}}_2^{new,unc},L\&le;{\mathrm{\&alpha;}}_2^{new,unc}\&le;H\\ L,{\mathrm{\&alpha;}}_2^{new,unc}<L\end{array}\right.$

6.2.5)更新α₁，记α₁更新后的值为即：

${\mathrm{\&alpha;}}_1^{new}={\mathrm{\&alpha;}}_1^{old}+y_1{y}_2({\mathrm{\&alpha;}}_2^{old}-{\mathrm{\&alpha;}}_2^{new})$

6.2.6)更新b，定义以及

b^old为b更新前的值同时，记b更新后的值为b^new，则：

6.2.7)更新E_i，记E_i更新后的值为则：

$E_i^{new}=\underset{S}{\&Sigma;}{y}_j{\mathrm{\&alpha;}}_j{K}_{ij}+b^{new}-y_i$

其中，S是所有支持向量x_j的集合；

6.3)重复6.2)步直到得到SVM分类器的解，即可得SVM分类器的分类函数f(x)。

7)对于用户的每一张查询图片，将其特征向量输入第6)步中训练好的SVM分类器中，得到其对应的类别，然后返回该类别中的图片集给用户。

实施例

如图1所示，本发明一种基于多特征融合的BOW模型的中草药植物图片检索方法。本实施例中，未详细说明的步骤，如步骤2)-6)，具体按照前述具体实施方式中所述进行。本实施例中采用的主要步骤如下：

1)对中草药植物图片尺寸进行归一化处理，首先将图片较长的边归一化到480像素，然后按原图片的宽高比将较短的边缩放到相应的像素；

2)将第1)步所得的归一化图片进行步长为4、图像块大小为16×16像素的稠密采样，对每个采样图像块提取SIFT特征和OpponentSIFT特征，并将它们拼接融合为一个向量，得到各图像块的局部特征向量；

3)从第2)步中所得的局部特征向量中随机选取一部分，然后利用k-means算法对选取的局部特征进行聚类操作得到视觉词典，其中，各聚类中心为视觉单词，部分视觉单词如图2所示；

4)采用局部约束线性编码算法将第2)步中所得的各局部特征向量用第3)步所得的视觉词典中的视觉单词表示，得到各局部特征的编码向量；

5)对于每一张中草药植物图片，采用最大值池化算法将第4)步所得编码向量进行池化处理，得到图片的特征向量；

6)利用第5)步得到的图片的特征向量和图片对应的类别标签作为训练集来训练SVM分类器；

7)对于用户的每一张查询图片，将其特征向量输入第6)步中训练好的SVM分类器中，得到其对应的类别，然后返回该类别中的图片集给用户。例如，当输入“三色堇”的图片，如图3所示，其检索结果如图4所示。

Claims (6)

1.一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于包括以下步骤：

1)对中草药植物图片尺寸进行归一化处理，首先将图片较长的边归一化到480像素，然后按原图片的宽高比将较短的边缩放到相应的像素；

2)将第1)步所得的归一化图片进行步长为4、图像块大小为16×16像素的稠密采样，对每个采样图像块提取SIFT特征和OpponentSIFT特征，并将它们拼接融合为一个向量，得到各图像块的局部特征向量；

3)从第2)步中所得的局部特征向量中随机选取一部分，然后利用k-means算法对选取的局部特征进行聚类操作得到视觉词典，其中，各聚类中心为视觉单词；

4)采用局部约束线性编码算法将第2)步中所得的各局部特征向量用第3)步所得的视觉词典中的视觉单词表示，得到各局部特征的编码向量；

5)对于每一张中草药植物图片，采用最大值池化算法将第4)步所得编码向量进行池化处理，得到图片的特征向量；

6)利用第5)步得到的图片的特征向量和图片对应的类别标签作为训练集来训练SVM分类器；

7)对于用户的每一张查询图片，将其特征向量输入第6)步中训练好的SVM分类器中，得到其对应的类别，然后返回该类别中的图片集给用户。

2.根据权利要求1中所述的一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于所述的步骤2)中的OpponentSIFT特征的提取包括：

2.1)将图片从RGB颜色空间按如下公式转换到opponent颜色空间：

$\left(\begin{array}{c}{O}_1\\ O_2\\ O_3\end{array}\right)=\left(\begin{array}{c}\frac{R-G}{\sqrt{2}}\\ \frac{R+G-2B}{\sqrt{6}}\\ \frac{R+G+B}{\sqrt{3}}\end{array}\right)$

其中：O₁、O₂、O₃分别为opponent颜色空间三个颜色通道；R、G、B为RGB颜色空间的三个颜色通道；

2.2)分别在在O₁、O₂、O₃三个颜色通道上计算SIFT特征，并将它们拼接合并为一个向量，即为OpponentSIFT特征向量。

3.根据权利要求1中所述的一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于所述的步骤3)具体为：

给定N个局部特征描述子 为n维向量空间，k-means算法的目标是寻找使最小的K个中心向量和各个局部特征对应的聚类中心标签q₁,...,q_N∈{1,...,K}，其中，q_i表示局部特征描述子x_i对应的聚类中心标签，为x_i对应聚类的中心向量；其中，i,j＝1,...,N，k＝1,...,K，表示使||x_i-μ_k||²最小的k的值；学习得到的K个中心向量称为视觉单词，它们的集合构成视觉字典。

4.根据权利要求1中所述的一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于所述的步骤4)中局部约束线性编码是将局部特征用其所在的一个局部线性子空间中的视觉单词表示，即用与局部特征近邻的视觉单词表示；记X＝[x₁,...,x_N]为一张图像的局部特征描述子的集合，其中x_i为第i个局部特征描述子；V＝[v₁,...,v_K]为视觉词典，其中为第i个视觉单词；对于局部特征x_i，首先找出其近邻的L个视觉单词，记它们的集合为V_L，其中L＜＜K，然后优化如下目标函数C：

其中λ为权衡因子；|| ||₂表示2范数。

5.根据权利要求1中所述的一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于所述的步骤5)中：

记f₁,...,f_N分别为图像局部特征x₁,...,x_N编码后的特征向量，x'表示池化后图像的特征向量；最大值池化的公式为：

x'_i＝max{f_1i,...,f_Ni} i＝1,...,K

其中，f_ji表示第j个图像局部特征f_j的第i个元素,j＝1,...,N。

6.根据权利要求1中所述的一种基于多特征融合的BOW模型的中草药植物图片检索方法，其特征在于所述的步骤6)中：

SVM分类器的分类函数f(x)为：

$f\left(x\right)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{y}_i<x_i,x>+b$

其中，{(x₁,y₁),...,(x_i,y_i),...,(x_N,y_N)}为训练集，〈 〉表示向量内积运算，α_i是拉格朗日乘子，i＝1,...,N，N为训练数据集的大小；b为模型参数；

得到上式采用的方法如下：

6.1)初始化α＝0；

6.2)选取优化变量α₁和α₂，解析求解如下两个变量的最优化变量即：

$\underset{{\mathrm{\&alpha;}}_1,{\mathrm{\&alpha;}}_2}{\min }W({\mathrm{\&alpha;}}_1,{\mathrm{\&alpha;}}_2)=\frac{1}{2}{K}_{11}{\mathrm{\&alpha;}}_1^2+\frac{1}{2}{K}_{22}{\mathrm{\&alpha;}}_2^2+y_1{y}_2{K}_{12}{\mathrm{\&alpha;}}_1{\mathrm{\&alpha;}}_2+y_1{\mathrm{\&alpha;}}_1{v}_1+y_2{\mathrm{\&alpha;}}_2{v}_2-{\mathrm{\&alpha;}}_1-{\mathrm{\&alpha;}}_2$

s.t. 0≤α_i≤C,i＝1,2

其中，y₁、y₂均为类别；

K_ij＝K(x_i,x_j),i,j＝1,...,N

$v_i=\underset{j=3}{\overset{N}{\mathrm{\&Sigma;}}}{y}_j{\mathrm{\&alpha;}}_j{K}_{ij}$ ，式中K为核函数；

C为惩罚因子

为常数

上述最优化问题的解和按如下步骤求解：

6.2.1)计算解的上界H和下界L，即：

当y₁≠y₂时，得到

当y₁＝y₂时，得到

其中，和分别为α₁和α₂更新前的值；

6.2.2)计算η＝K₁₁+K₂₂-2K₁₂；

6.2.3)更新α₂，记更新后值为则：

${\mathrm{\&alpha;}}_2^{new,unc}={\mathrm{\&alpha;}}_2^{old}+\frac{y_2(E_1-E_2)}{\mathrm{\&eta;}}$

其中，

6.2.4)计算裁剪后的α₂，记其值为则：

${\mathrm{\&alpha;}}_2^{new}=\left\{\begin{array}{c}H,{\mathrm{\&alpha;}}_2^{new,unc}>H\\ {\mathrm{\&alpha;}}_2^{new,unc},L\&le;{\mathrm{\&alpha;}}_2^{new,unc}\&le;H\\ L,{\mathrm{\&alpha;}}_2^{new,unc}<L\end{array}\right.$

6.2.5)更新α₁，记α₁更新后的值为即：

${\mathrm{\&alpha;}}_1^{new}={\mathrm{\&alpha;}}_1^{old}+y_1{y}_2({\mathrm{\&alpha;}}_2^{old}-{\mathrm{\&alpha;}}_2^{new})$

6.2.6)更新b，定义以及

b^old为b更新前的值同时，记b更新后的值为b^new，则：

6.2.7)更新E_i，记E_i更新后的值为则：

$E_i^{new}=\underset{S}{\mathrm{\&Sigma;}}{y}_j{\mathrm{\&alpha;}}_j{K}_{ij}+b^{new}-y_i$

其中，S是所有支持向量x_j的集合；

6.3)重复6.2)步直到得到SVM分类器的解，即可得SVM分类器的分类函数f(x)。