CN103530405A - 一种基于分层结构的图像检索方法 - Google Patents

Abstract

本发明属于图像检索技术领域，涉及一种分层结构的图像检索方法，包括：获取进行训练的图像，并对图像中每个物体构造树状结构标签，形成训练集；提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据；构造条件随机场模型，训练得到模型参数；对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再提取待描述图像中每个物体的低层特征；之后利用所构造的条件随机场模型及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的树状结构标签进行预测；建立相应的图像检索系统。本发明可以提高图像与图像之间的区分度，产生更好的检索结果。

Description

一种基于分层结构的图像检索方法

所属技术领域

本发明属于图像检索技术领域，涉及一种基于分层结构的图像检索方法。

背景技术

使用更加丰富的语义信息来描述一幅图像无论对理解该图像还是从Web上面检索该图像都是及其重的。一方面，当面对一幅新的图像时，人们首先想知道的是图像中的物体属于哪个类（比如是一种动物还是一种交通工具），当获取到它的类信息后，更进一步人们想知道它是属于哪个子类（属于鸟类，还是属于猫科动物），此外，每种物体都具有自己特有的属性信息，比如是否具有羽毛，是否会飞，是否食肉等等。通过这些信息，人们可以从多个角度更加精确的来理解一幅图像，同时获取到更多关于图像中物体的知识。另一方面，在图像检索领域，由于计算机是使用低层特征来表示一幅图像的，这样由计算机给出的检索结果并不能很好的匹配用户的检索意图，为了克服图像检索领域存在的这种“语义鸿沟”，也需要使用更加丰富更加精确的语义信息来描述一幅图像。

在过去的几年中已经涌现出了各种各样的图像描述方法，比如使用单个标签来描述图像中的物体属于动物还是植物，这种描述方法虽然指定了图像中物体的类别，但是所蕴含的信息非常有限，为了克服这个缺点，人们就创建一个标签库，然后选取标签库中与之相关的多个标签来描述图像中的某个物体，但是标签库毕竟有限，不可能覆盖自然界中的所有物体，于是就产生了基于属性的图片描述方法，这类方法使用物体的属性信息，比如是否会飞，是否有羽毛等去描述一幅图像，这样做的好处是即使遇到了一幅没有见过的图像，人们依然可以使用一些基本的属性信息去描述它，从而获取对图像的一些感性认识。不管这些图像描述方法是从什么角度，使用什么信息来描述图像的，他们的目标都是为了获取图像中更加丰富的语义信息。

为此，本发明提出了一种基于分层结构的图像检索方法，即使用一个3层树状结构标签来描述图像中的物体，其中第一层指出了物体所属的大类，第二层指出了物体所属的子类，第三层指出了图像具有的属性信息。这种分层的树状结构语义单元融合了现有方法的优点，不仅可以给出物体在不同层次上的类别信息和属性信息，而且可以输出一个体现这些信息结构的语义单元，从而给出对图像一个更加丰富和精确的描述。使用该3层树状结构进行图像检索，可以完整的保留出属物体类别信息和属性信息的关系，进而检索到更加精确的图像结果。

发明内容

本发明的目的是提供一种新基于分层结构的图像检索方法，使得图像对图像的描述和检索更为精确。本发明使用一个3层的树状结构语义标签来描述一幅图像，并进而使用该结构化的描述进行图像检索。本发明提出的基于分层结构的图像检索方法包括如下步骤：

第一步，获取进行训练的图像，并对图像中每个物体构造3层树状结构标签，形成训练集：

(1)获取进行训练的图像，构建图像集合IMG；

(2)使用图像分割算法分割出集合IMG中每幅图像中所包含的物体，构成物体集合OBJ；

(3)对集合OBJ中的每个物体进行标注，标注的内容包括物体所属的类，子类以及具有的属性，形成类集合CLASS，子类集合SUBCLASS以及属性集合ATTRIBUTE；

(4)根据标注信息对集合OBJ中的每个物体构造包括类-子类-属性3层树状结构标签，形成与OBJ相对应的标签集合Y，两个集合的元素一一对应；

(5)类集合CLASS中有很多相同的元素，顺序扫描CLASS中的每个元素，相同的元素只保留一个，形成候选的类集合Cla，对其子类集合SUBCLASS和属性集合ATTRIBUTE做相同的扫描，得到候选的子类集合Subcl和候选的属性集合Attri；

(6)构造包括：物体集合OBJ，标签集合Y，候选的类集合Cla，候选的子类集合Subcl以及候选的属性集合Attri的训练集Tr。

第二步，提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据的步骤如下：

(1)提取物体集合OBJ中每个物体的局部二值模式特征（LBP）特征，构造特征集合X；

(2)根据特征集合X和类集合CLASS，训练得到集合Cla中每个元素w_i的SVM分类器SVM_w_i，构成与类相对应的分类器集合S_w，同理，根据特征集合X和子类集合SUBCLASS，训练得到子类集合Subcl中每个元素v_j的SVM分类器SVM_v_j，构成与子类相对应的分类器集合S_v，根据特征集合X和属性集合ATTRIBUTE，训练得到集合Attri中每个元素u_k的SVM分类器SVM_u_k，构成与属性相对应的分类器集合S_u；

(3)在训练集Tr上计算分类器集合S_u中每个分类器SVM_u_k的查准率和查全率曲线(PR曲线)，根据该PR曲线得到分类器SVM_u_k的阈值thre_k，构成与S_u对应的阈值集合Threshold；

(4)在训练集Tr上统计候选的类集合Cla中的每一个元素w_i和候选的子类集合Subcl中每一个元素v_j的共现概率p_ij，即标签集合Y中同时具有w_i和v_i的物体数量占OBJ中总物体数N_m的比例；在训练集Tr上统计候选的子类集合Subcl中每一个元素v_i和候选的属性集合Attri中每一个元素u_k的共现概率g_jk，即集合Y中同时具有u_k和v_i的物体数量占OBJ中总物体数N_m的比例，此外，在训练集Tr上统计含有候选的子类集合Subcl中元素v_i但不含有候选的属性集合中元素u_k的概率q_jk，即集合Y中具有v_i但没有u_k的物体数量占OBJ中总物体数N_m的比例；

(5)构造包含：分类器集合S_w，S_v，S_u，阈值集合Threshold，概率统计数据p_ij，g_jk，q_jk的中间数据，以备下一步建模使用。

第三步，构造条件随机场模型(CRF)，训练得到模型参数；

第四步，对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再按照前述的第二步的方法，提取待描述图像中每个物体的低层特征；之后，利用第三步构造的条件随机场模型(CRF)及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的3层树状结构标签进行预测；

第五步，使用资源描述框架（RDF）对图像进行描述，建立相应的图像检索系统。

本发明提出基于分层结构的图像检索方法。使用一个3层的树状结构语义单元来描述图像，从该语义单元中，用户不光可以获取到图像中物体所属的类和具体的子类信息，而且可以获取到图像中物体具有的属性信息，从而产生对图像内容更加丰富和更加精确的描述，这样可以提高图像与图像之间的区分度，方便在图像检索时消除语义鸿沟，产生更好的检索结果，同时本发明亦提供给了用户一种更加直观的图像内容的展示方法，即以一个3层树状结构来组织图像的类，子类，属性信息，方便用户更加容易的理解图像，并使用资源描述符进行图像检索。

附图说明

图1CRF模型示意图。

图2本发明使用的训练集中的若干例子，其中第一行的图像为从网络上下载的自然图像，其中的物体已经使用矩形框标出。第二行为每个物体相对应的3层树状结构标签。

图3左图为自然图像，其中需要描述的物体已经使用矩形框标出。右图为使用本发明提出的发明预测出的3层树状结构语义标签。

图4左图为自然图像，其中需要描述的物体已经使用矩形框标出。右图为使用本发明提出的发明预测出的3层树状结构语义标签。

图5使用SPARQL检索语言建议的结构化图像查询系统。其中上面的框内显示的查询语句，下面的框里显示的是对数据库的描述，使用SPARQL可以对本发明提出的分层结构进行编码，之后用于图像检索。

图6两个基于分层结构的图像检索结果，在每一行中，第一个框内显示的是查询语句，查询到的四张图像显示在后面。

具体实施方式

这里选取两幅图像作为待描述图像，分别为图3，图4中左边的图像，使用本发明中描述的方法对其进行预测输出3层树状结构语义单元。

首先需要训练得到条件随机场(CRF)的模型参数：具体步骤如下：

1，构造训练集步骤如下：

(1)编写爬虫程序下载Google图片搜索的检索结果中的图像，构成图像集合

其中N_d是集合IMG中的图像总数；

(2)使用图像分割算法分割出集合IMG中每幅图像中所包含的物体，构成物体集合

其中N_m是集合OBJ中的物体总数，因为一幅图像中可能存在多个物体，所以N_m≥N_d；

(3)使用Amazons Mechanical Turk工具对集合OBJ中的每个物体进行标注，包括物体Obj_l所属的类class_l，子类subclass_l以及具有的属性attr_l1,…,attr_lp，lp表示物体Obj_l具有的属性数目，形成类集合 $\mathrm{CLASS}={\{\mathrm{class}}_1,\·\·\·,{\mathrm{class}}_{N_m}\},$ 子类集合 $\mathrm{SUBCLASS}=\{{\mathrm{subclass}}_1,\·\·\·,{\mathrm{subclass}}_{N_m}\}$ 以及属性集合 $\mathrm{ATTRIBUTE}=\{{\mathrm{attr}}_{11},\·\·\·,{\mathrm{attr}}_{1p},\·\·\·,{\mathrm{attr}}_{l1},\·\·\·,{\mathrm{attr}}_{\mathrm{lp}},\·\·\·,{\mathrm{attr}}_{N_{m}1},\·\·\·,{\mathrm{attr}}_{N_{m}p},\};$

(4)根据标注信息对集合OBJ中的每个物体Obj_l构造3层树状结构标签(类-子类-属性)Y_l＝{class_l,subclass_l,attr_l1,…,attr_lp}，形成与OBJ相对应的标签集合

(两个集合的元素一一对应)；

(5)类集合CLASS中有很多相同的元素，顺序扫描CLASS中的每个元素，相同的元素只保留一个，形成候选的类集合

其中N_w是集合Cla中不同元素的总数，对子类集合SUBCLASS和属性集合ATTRIBUTE做相同的扫描，得到候选的子类集合

和候选的属性集合

N_v和N_u分别是集合Subcl和Attri中不同元素的总数；

(6)构造包括：物体集合 $\mathrm{OBJ}=\{{\mathrm{Obj}}_1,\·\·\·,{\mathrm{Obj}}_{N_m}\},$ 标签集合 $Y=\{Y_1,\·\·\·{,Y}_{N_m}\},$ 候选的类集合 $\mathrm{Cla}=\{w_1,\·\·\·,w_{N_w}\},$ 候选的子类集合 $\mathrm{Subcl}=\{v_1,\·\·\·,v_{N_v}\}$ 以及候选的属性集合 $\mathrm{Attri}=\{u_1,\·\·\·,u_{N_u}\}$ 的训练集Tr。生成的训练集如图2所示。

2，处理数据步骤如下：

(1)提取物体集合OBJ中每个物体Obj_l(l＝1,…,N_m)的局部二值模式特征(Local BinaryPatterns)LBP特征X_l，构造

的特征集合；

(2)根据特征集合 $X=\{X_1,\·\·\·{,X}_{N_m}\}$ 和类集合 $\mathrm{CLASS}=\{{\mathrm{class}}_1,\·\·\·,{\mathrm{class}}_{N_m}\},$ 训练得到集合Cla中每个元素w_i的SVM分类器SVM_w_i，构成与类相对应的分类器集合

同理，根据特征集合 $X=\{X_1,\·\·\·,X_{N_m}\}$ 和子类集合 $\mathrm{SUBCLASS}={\{\mathrm{subclass}}_1,\·\·\·,{\mathrm{subclass}}_{N_m}\},$ 训练得到集合Subc中每个元素v_j的SVM分类器SVM_v_j，构成与子类相对应的分类器集合 $S_v=\{{\mathrm{SVM}\_v}_1,\·\·\·,\mathrm{SVM}\_v_{N_v}\},$ 根据 $X=\{X_1,\·\·\·,X_{N_m}\}$ 和属性集合 $\mathrm{ATTRIBUTE}=\{{\mathrm{attr}}_{11},\·\·\·,{\mathrm{attr}}_{1p},\·\·\·,{\mathrm{attr}}_{l1},\·\·\·,{\mathrm{attr}}_{\mathrm{lp}},\·\·\·,{\mathrm{attr}}_{N_{m}1},\·\·\·,{\mathrm{attr}}_{N_{m}p},\},$ 训练得到集合Attri中每个元素u_k的SVM分类器SVM_u_k，构成与属性相对应的分类器集合

(3)在训练集Tr上计算集合S_u中每个分类器SVM_u_k的查准率和查全率曲线(PR曲线)，根据该PR曲线得到SVM_u_k的阈值thre_k，构成与S_u对应的阈值集合

(4)在训练集Tr上统计集合Cla中的每一个元素w_i(i＝1,2,...,N_w)和集合Subcla中每一个元素v_j(j＝1,2,...,N_v)的共现概率p_ij(i＝1,...,N_w,j＝1,...,N_v)(即集合Y中同时具有w_i和v_i的物体数量占OBJ中总物体数N_m的比例)；在训练集Tr上统计集合Subcla中每一个元素v_i(i＝1,2,...,N_v)和集合Attri中每一个元素u_k(k＝1,2,...,N_u)的共现概率g_jk(j＝1,...,N_v,k＝1,...,N_u)(即集合Y中同时具有u_k和v_i的物体数量占OBJ中总物体数N_m的比例)，此外，在训练集Tr上统计含有集合

中元素v_i(i＝1,2,...N,_v)但不含有集合Attri中元素u_k(k＝1,2,...,N_u)的概率q_jk(j＝1,...,N_v,k＝1,...,N_u)(即集合Y中具有v_i但没有u_k的物体数量占OBJ中总物体数N_m的比例)；

(5)构造包含：分类器集合 $S_w=\{{\mathrm{SVM}\_w}_1,\·\·\·,{\mathrm{SVM}\_w}_{N_w}\},S_v=\{{\mathrm{SVM}\_v}_1,\·\·\·,{\mathrm{SVM}\_v}_{N_v}\},$ $S_u=\{{\mathrm{SVM}\_u}_1,\·\·\·,{\mathrm{SVM}\_u}_{N_u}\},$ 阈值集合

概率统计数据p_ij(i＝1,...,N_w,j＝1,...,N_v)，g_jk(j＝1,...,N_v,k＝1,...,N_u)，q_jk(j＝1,...,N_v,k＝1,...,N_u)的中间数据，以备下一步建模使用。

3，构建CRF模型并训练参数步骤如下：

(1)构造如图1所示的CRF模型：

其中o₁是类节点，表示图像中的物体所属的类，可在候选的类集合Cla中的任意一个元素处取值(即o₁∈{1,…,N_w})；o₂是子类节点，表示图像中的物体所属的子类，可在候选的子类集合Subcl中任意一个元素处取值(即o₂∈{1,…,N_v})；o_k(k＝3,…,m),m＝2+N_u是属性节点，表示图像中的物体具有的属性，取值范围为1和2(即o_k∈{1,2})，其中1表示物体不具有该属性，2表示物体具有该属性)。这样我们可以使用O_l＝{o₁,o₂,o₃…,o_m}代替Y_l＝{class_l,subclass_l,attr_l1,…,attr_lp}来表示物体Obj_l具有的3层树状结构标签；CRF模型需要最大化如下公式：

$P\left(O_l\right|X_l)=\frac{1}{Z\left(X_l\right)}\exp \{-E(X_l,O_l)\}---\left(1\right)$

其中，X_l指的是从物体Obj_l提取的低层特征，Z(X_l)是一个归一化的常数，叫做配分函数，E(X_l,O_l)叫做能量函数，我们可以看到最大化公式(1)相当于最小化能量函数，能量函数的公式定义如下：

其中，

叫做节点势函数(node potential)，γ₁定义为o₁对应的分类器

在X_l上面的输出，γ₂定义为o₂对应的分类器

在X_l上面的输出，当o_k＝2(k＝3,…,m)时，γ_k定义为o_k对应的分类器SVM_u_k-2在X_l上面的输出，当o_k＝1(k＝3,…,m)，γ_k(k＝3,…,m)定义为o_k对应的分类器SVM_u_k-2的阈值thre_k-2(k-2∈{1,…,N_u})；

叫做边势函数(edge potential)，其中

当o_k＝1(k＝3,…,m)时，

当o_k＝2(k＝3,…,m)时，

是CRF模型中需要最大化公式(1)得到的参数；

(2)使用随机梯度下降法(stochastic gradient descent)最小化公式(2)中的能量函数E(X_l,O_l)，从而得到CRF模型的参数ω＝{ω₁,…,ω_m+n}。

其次，训练得到CRF模型参数后，接下来对待描述图像进行预测，步骤如下：

(1)使用图像分割算法分割出待描述图像Image^t中包含的物体

其中N^t表示待描述图像中分割出的物体总数，图3，图4中红框所示为使用图像分割算法分割出的物体。

(2)提取Image^t中每个物体

的局部二值模式特征(Local Binary Patterns)LBP特征，l＝1,…,N^t;

(3)利用训练得到的模型参数ω＝{ω₁,…,ω_m+n}最大化如下公式：

其中，

定义为

中第一个元素o₁对应的分类器

在

上面的输出，定义为

中第二个元素o₂对应的分类器

在上面的输出，当o_k＝2(k＝3,…,m)时，

定义为o_k对应的分类器SVM_u_k-2在

上面的输出，当o_k＝1(k＝3,…,m)，γ_k(k＝3,…,m)定义为o_k对应的分类器SVM_u_k-2的阈值thre_k-2(k-2∈{1,…,N_u})；结点o₁和o₂之间边的值

结点o₂和结点o_k(k＝3,…,m)之间边的值

需要分情况讨论，当o_k＝1(k＝3,…,m)时，

当o_k时

(4)使用最大积信念传播算法(max-product belief propagation.)来求解公式(3)，从而得到可以使公式(3)最大化的输出即预测出的物体

的3层树状结构标签。

最终预测输出的3层树状结构标签如图3，图4中右侧所示。

最后，使用资源描述符进行图像检索：

使用资源描述框架描述以上提的3层树状语义标签，并使用SPARQL检索语言进行图像检索。图5为检索系统例子。图6为检索的结果。

本发明针对图像描述问题提出了一种基于分层结构的图像检索方法。从本发明定义的3层树状结构语义标签中，用户不光可以得到图像中物体所属的类，子类，还可以获取到物体具有的属性信息，以及类，子类，属性之间的结构关系，从而产生对图像更加精确，更加丰富的描述，进而进行图像检索。

Claims (1)

1.一种基于分层结构的图像检索方法,包括下列步骤：

第一步，获取进行训练的图像，并对图像中每个物体构造3层树状结构标签，形成训练集：

(1)获取进行训练的图像，构建图像集合IMG；

(2)使用图像分割算法分割出集合IMG中每幅图像中所包含的物体，构成物体集合OBJ；

(3)对集合OBJ中的每个物体进行标注，标注的内容包括物体所属的类，子类以及具有的属性，形成类集合CLASS，子类集合SUBCLASS以及属性集合ATTRIBUTE；

(4)根据标注信息对集合OBJ中的每个物体构造包括类-子类-属性3层树状结构标签，形成与OBJ相对应的标签集合Y，两个集合的元素一一对应；

(5)类集合CLASS中有很多相同的元素，顺序扫描CLASS中的每个元素，相同的元素只保留一个，形成候选的类集合Cla，对其子类集合SUBCLASS和属性集合ATTRIBUTE做相同的扫描，得到候选的子类集合Subcl和候选的属性集合Attri；

(6)构造包括：物体集合OBJ，标签集合Y，候选的类集合Cla，候选的子类集合Subcl以及候选的属性集合Attri的训练集Tr。

第二步，提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据的步骤如下：

(1)提取物体集合OBJ中每个物体的局部二值模式特征（LBP）特征，构造特征集合X；

(2)根据特征集合X和类集合CLASS，训练得到集合Cla中每个元素w_i的SVM分类器SVM_w_i，构成与类相对应的分类器集合S_w，同理，根据特征集合X和子类集合SUBCLASS，训练得到子类集合Subcl中每个元素v_j的SVM分类器SVM_v_j，构成与子类相对应的分类器集合S_v，根据特征集合X和属性集合ATTRIBUTE，训练得到集合Attri中每个元素u_k的SVM分类器SVM_u_k，构成与属性相对应的分类器集合S_u；

(3)在训练集Tr上计算分类器集合S_u中每个分类器SVM_u_k的查准率和查全率曲线(PR曲线)，根据该PR曲线得到分类器SVM_u_k的阈值thre_k，构成与S_u对应的阈值集合Threshold；

(4)在训练集Tr上统计候选的类集合Cla中的每一个元素w_i和候选的子类集合Subcl中每一个元素v_j的共现概率p_ij，即标签集合Y中同时具有w_i和v_i的物体数量占OBJ中总物体数N_m的比例；在训练集Tr上统计候选的子类集合Subcl中每一个元素v_i和候选的属性集合Attri中每一个元素u_k的共现概率g_jk，即集合Y中同时具有u_k和v_i的物体数量占OBJ中总物体数N_m的比例，此外，在训练集Tr上统计含有候选的子类集合Subcl中元素v_i但不含有候选的属性集合中元素u_k的概率q_jk，即集合Y中具有v_i但没有u_k的物体数量占OBJ中总物体数N_m的比例；

(5)构造包含：分类器集合S_w，S_v，S_u，阈值集合Threshold，概率统计数据p_ij，g_jk，q_jk的中间数据，以备下一步建模使用。

第三步，构造条件随机场模型(CRF)，训练得到模型参数；

第四步，对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再按照前述的第二步的方法，提取待描述图像中每个物体的低层特征；之后，利用第三步构造的条件随机场模型(CRF)及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的3层树状结构标签进行预测；

第五步，使用资源描述框架（RDF）对图像进行描述，建立相应的图像检索系统。

Images