CN104102647A - 基于无参数量子论的图像检索方法 - Google Patents

Abstract

本发明提供了一种全新的基于无参数量子估计的图像检索框架。在该框架中，我们将数据库图像看做光源产生的光子，检索过程看做通过查询偏振滤波器来估计数据库图像的相关性。该框架的基本思路是：首先，利用预滤波滤除掉数据库中那些相关度较低的图片，以降低计算花费；然后，利用半监督学习方法，计算相关度较高的那些图像与输入查询图像间的相关性概率；最后，通过无参数量子估计优化排名靠前那些图像的相关性，以得到满意的检索结果。

Description

基于无参数量子论的图像检索方法

技术领域

本发明涉及计算机技术领域的图像检索，特别涉及一种基于无参数量子论的图像检索。 

背景技术

随着多媒体技术的迅猛发展、网络传输速度的提高以及新的有效图像压缩技术的不断涌现，人们通过网络实现全球图像资源的共享已成为现实。如何从海量的图像数据库中迅速准确地检索到所需要的图像，已经成为近十年来多媒体领域的研究热点之一。 

传统的图像检索采用基于关键词检索方法。首先人工注释每幅图像，接着图像检索是基于文本注释的关键字。该方法有两大不利：一是图像集很大时需要大量的人工注释；二是仅凭人的主观感知很难精确注释内容丰富的图像。为克服上述问题需要全面地、一般性地和客观地提取图像的内容。基于内容的图像检索 (Content Based Image Retrieval)技术，即对图像内容的视觉特征如颜色、纹理、形状等进行检索，计算机通过对图像视觉特征和上下文联系的分析，提取出图像的内容特征作为索引来得到需要的图像。 

经对现有技术文献的检索发现，Sahbi等人提出了基于图像分割传感器的相关反馈算法，Wang等人提出了可理解的图像检索算法，Perronnin等人提出了压缩Fisher向量的图像检索算法，Zhuang等人提出了非参数核排序算法，Beecks等人提出了未知用户喜好的多媒体检索。然而这些方法中一个常见的问题是：为获取与查询图像具有语义相关的那些图像，往往需要依据给定的少量图像实现大量参数的整定。另外，图片的视觉特征和语义概念间存在着较大的语义差距，使得基于内容的图片检索依然存在很多问题。Zhou等人提出了局部和全局一致性法实现图像检索，它主要通过半监督学习算法实现对图像的相关性排序，Zuccon等人提出了量子概率排序算法，将光子偏振实验理论和量子估计理论成功的应用到图像检索中。 

发明内容

本发明目的在于提出了一种全新的基于无参数量子估计的图像检索框架。在该框架中，本发明将数据库图像看做光源产生的光子，检索过程看做通过查询偏振滤波器来估计数据库图像的相关性。 

本发明的技术方案为：首先，利用预滤波滤除掉数据库中那些相关度较低的图片，以降低计算花费；然后，利用半监督学习方法，计算相关度较高的那些图像与输入查询图像间的相关性概率；最后，通过无参数量子估计优化排名靠前那些图像的相关性，以得到满意的检索结果。 

本发明的方法通过以下步骤实现： 

1 图像间距离度量和预处理

在这一步中，我们将首先介绍图像间的距离度量，它同时考虑相邻图像和不相邻图像两方面的影响；然后，我们再对预处理进行分析。

1.1图像间距离度量 

基于半监督学习方法有两个基本假设。第一个假设是：视觉上相近的图片，其具有相似的标签；第二个假设是：同一类型的图片，其具有相似的标签。图像i和图像j间的距离可用曼哈顿距离度量：

  (1)

其中，x _i ^l 表示图像i第l维的特征，L表示特征空间的维数，σ ^l 是一个正参数，它反映了维数的范围。

为与第一个假设保持一致性，根据第二个假设得到图像i和图像j间的距离度量为： 

                (2)

其中n _i 和n _j 分别为图像i和图像j的邻里密度，且n _i 的定义如下：

             (3)

其中，N _i 表示与图像i相邻的图像集数目，n _j 的定义与n _i 雷同。

基于上述两个假设，第i幅图像和第j幅图像间的距离度量为： 

              (4)

其中，“”表示Hadamard积。

1.2预处理 

在分析整个图像检索过程后，我们可以看到，预处理过程应同时满足以下两个条件：计算代价低和查全率高。在这里，我们采用修改的近邻法则进行预处理。具体来说，对于给定的查询图像，首先根据公式(4)的计算结果对数据库图像进行相似性排序：距离数值越大的图像，其排名越高；然后，将排在后面的占一定比例的数据库图像滤除掉。通过这样一个预处理，整个计算成本可明显从O(M³)(M为数据库图像数量)降到O(N³)(N为保留下来的图像数量，且N<<M)。 

2 相关性计算 

对给定的查询图像，我们需计算其与每个保留数据库图像间的相关性。这里，我们采用半监督学习的流行排序方法计算相关性。该方法包含相似图构建和相关性计算这两个步骤。

2.1 相似图构建 

构建一个基于查询图像的相似图，主要需要以下两个步骤：顶点设置和顶点连接。

顶点设置：对查询图像q，首先依据预处理过程中的最近邻规则生成N个图像的近邻集Э={1, 2,…, i,…, N}；然后，生成加权相似图G=(V, E)，其中V表示由Э和查询图像q构成的顶点，E表示由相邻图像间距离构成的加权边缘。 

顶点连接：相似图G的边界集E是通过(N+1)×(N+1)的仿射矩阵进行加权。其中，将仿射矩阵的元素W(i,i)设置为零，以避免自增强；当i≠j时，W(i,j)由公式(4)得到，即W(i,j)=S(i,j)。 

2.2 相关性计算 

相关性计算过程包括以下两个主要步骤：加权矩阵归一化和相关性计算。

加权矩阵归一化 使用下列公式对加权矩阵W进行归一化： 

             (5)

其中，D为对角阵，其元素D(i,i)为加权矩阵W第i行元素的总和。

相关性计算 经过多次迭代，可计算出Э中每个图像的相关值： 

       (6)

其中，y为一向量：当第i幅图像为输入的查询图像时，其值y(i)=1；如果第i幅图像来自数据库时，其值y(i)=0。此外，c(0)=y，α+β=1(α [0,1])。迭代过程结束后，(N+1)×1维向量c的第i个元素是第i幅数据库图像的相关值。

3 基本算法 

得到数据库图像的初始相关值后，我们利用非参数量子估计法优化候选图像间的相关性，以得到满意的检索排序结果。本节包含以下两部分内容：量子估计法简单说明和图像间相关性的优化过程。

3.1 量子估计法 

量子估计法的基本思想，可借助光子偏振实验进行解释。选取合适方向上的单位向量进行线性组合，可对光子偏振状态进行估计：

          (7)

其中，“|↑>”和“|→>”分别表示垂直极化和水平极化，μ和υ是复数，满足|μ|² + |υ|² = 1。

将基于光子偏振状态的量子估计转换成对应的标准正交基向量，即将状态概率表示为对应的基向量方向的上振幅幅值的平方。例如，使用概率为|μ|²的“|↑>”和概率为|υ|²的“|→>”估计公式(7)所示的状态Ф。估计“|→>”后，状态Ф将倾向υ|→>；同理，估计“|↑>” 后，状态Ф将倾向μ|↑>。 

3.2 提出的方法描述 

对于任意一幅图像i，定义其最初的量子状态为：

                (8)

其中，状态“|1>”表示与给定查询的相关基，“|0>”表示与给定查询的无关基，且|μ|² + |υ|² = 1。第一轮检索，我们仅利用相关基 “|1>”估计任一图像i的初始相关性，并得到相关概率|μ _i |²，其中，|μ _i |² = p(i|q)使用步骤2.2中介绍的流行排序方法得到。

为达到优化检索图像目的，针对步骤2中得到的那些最相似图像，我们引入顶部度量进行相似性优化。具体地说，就是把相关性最高的图像放置在第一位，计算其它图像与它的关系并重排序。 

与查询图像最相关的图像ti的量子状态定义为： 

               (9)

经顶部度量后，第i幅图像的状态Ф _i 为：

     (10)

其中，Ф _ti 是Ф _ti 的正交形式，γ和η是复数形式。将(9)式代入(10)式，有：

         (11)

此时，γ和η为下面这个线性方程组的解：

                  (12)

由|μ|² + |υ|² = 1，可得γ的计算公式为：

                 (13)

我们将图像检索过程看做利用查询偏振滤波器，对相关图像集图像的状态进行估计。因此，经顶部度量后，第i幅图像的量子状态Ф _i 应偏向Ф _ti 所在的方向：

         (14)

其中，Ф _i ^t表示顶部度量后，第i幅图像的偏向状态向量。

为得到第i幅图像相关性的优化值，我们通过相关基“|1>”估计当前状态Ф _i ^t： 

                  (15)

由公式（13）可知：当i =1时即对最相关图像ti有|γ|=1，即，且经顶部度量后，最相关图像的相关性概率保持不变，即。

按照上面的推导过程，第i幅图像的相关值为： 

         (16)

其中，Γ为最相关图像集，s(i,ti)为相应的权重。在我们的框架中，方程(16)是图像重新排名的基础和依据。

本发明与现有技术相比的显著效果在于： 

本发明对于给定的输入查询图像，预过滤能有效地保留数据库中那些相关度较高的图像，同时滤除掉那些相关度较低的图像，大大降低了计算代价；半监督学习方法和无参数量子估计算法不仅使得检索质量有很大的提高，也避免了参数整定。

附图说明

图1为本发明的框图。 

具体实施方式

以下结合说明书附图对本发明的技术方案作进一步详细说明，以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，本发明的具体实施步骤如下： 

1 图像间距离度量和预处理

在这一步中，我们将首先介绍图像间的距离度量，它同时考虑相邻图像和不相邻图像两方面的影响；然后，我们再对预处理进行分析。

1.1图像间距离度量 

基于半监督学习方法有两个基本假设。第一个假设是：视觉上相近的图片，其具有相似的标签；第二个假设是：同一类型的图片，其具有相似的标签。图像i和图像j间的距离可用曼哈顿距离度量：

  (1)

其中，x _i ^l 表示图像i第l维的特征，L表示特征空间的维数，σ ^l 是一个正参数，它反映了维数的范围。

为与第一个假设保持一致性，根据第二个假设得到图像i和图像j间的距离度量为： 

                (2)

其中n _i 和n _j 分别为图像i和图像j的邻里密度，且n _i 的定义如下：

             (3)

其中，N _i 表示与图像i相邻的图像集数目，n _j 的定义与n _i 雷同。

基于上述两个假设，第i幅图像和第j幅图像间的距离度量为： 

              (4)

其中，“”表示Hadamard积。

1.2预处理 

在分析整个图像检索过程后，我们可以看到，预处理过程应同时满足以下两个条件：计算代价低和查全率高。在这里，我们采用修改的近邻法则进行预处理。具体来说，对于给定的查询图像，首先根据公式(4)的计算结果对数据库图像进行相似性排序：距离数值越大的图像，其排名越高；然后，将排在后面的占一定比例的数据库图像滤除掉。通过这样一个预处理，整个计算成本可明显从O(M³)(M为数据库图像数量)降到O(N³)(N为保留下来的图像数量，且N<<M)。 

2 相关性计算 

对给定的查询图像，我们需计算其与每个保留数据库图像间的相关性。这里，我们采用半监督学习的流行排序方法计算相关性。该方法包含相似图构建和相关性计算这两个步骤。

2.1 相似图构建 

构建一个基于查询图像的相似图，主要需要以下两个步骤：顶点设置和顶点连接。

顶点设置：对查询图像q，首先依据预处理过程中的最近邻规则生成N个图像的近邻集Э={1, 2,…, i,…, N}；然后，生成加权相似图G=(V, E)，其中V表示由Э和查询图像q构成的顶点，E表示由相邻图像间距离构成的加权边缘。 

顶点连接：相似图G的边界集E是通过(N+1)×(N+1)的仿射矩阵进行加权。其中，将仿射矩阵的元素W(i,i)设置为零，以避免自增强；当i≠j时，W(i,j)由公式(4)得到，即W(i,j)=S(i,j)。 

2.2 相关性计算 

相关性计算过程包括以下两个主要步骤：加权矩阵归一化和相关性计算。

加权矩阵归一化 使用下列公式对加权矩阵W进行归一化： 

             (5)

其中，D为对角阵，其元素D(i,i)为加权矩阵W第i行元素的总和。

相关性计算 经过多次迭代，可计算出Э中每个图像的相关值： 

       (6)

其中，y为一向量：当第i幅图像为输入的查询图像时，其值y(i)=1；如果第i幅图像来自数据库时，其值y(i)=0。此外，c(0)=y，α+β=1(α [0,1])。迭代过程结束后，(N+1)×1维向量c的第i个元素是第i幅数据库图像的相关值。

3 基本算法 

得到数据库图像的初始相关值后，我们利用非参数量子估计法优化候选图像间的相关性，以得到满意的检索排序结果。本节包含以下两部分内容：量子估计法简单说明和图像间相关性的优化过程。

3.1 量子估计法 

量子估计法的基本思想，可借助光子偏振实验进行解释。选取合适方向上的单位向量进行线性组合，可对光子偏振状态进行估计：

          (7)

其中，“|↑>”和“|→>”分别表示垂直极化和水平极化，μ和υ是复数，满足|μ|² + |υ|² = 1。

将基于光子偏振状态的量子估计转换成对应的标准正交基向量，即将状态概率表示为对应的基向量方向的上振幅幅值的平方。例如，使用概率为|μ|²的“|↑>”和概率为|υ|²的“|→>”估计公式(7)所示的状态Ф。估计“|→>”后，状态Ф将倾向υ|→>；同理，估计“|↑>” 后，状态Ф将倾向μ|↑>。 

3.2 提出的方法描述 

对于任意一幅图像i，定义其最初的量子状态为：

                (8)

其中，状态“|1>”表示与给定查询的相关基，“|0>”表示与给定查询的无关基，且|μ|² + |υ|² = 1。第一轮检索，我们仅利用相关基 “|1>”估计任一图像i的初始相关性，并得到相关概率|μ _i |²，其中，|μ _i |² = p(i|q)使用步骤2.2中介绍的流行排序方法得到。

为达到优化检索图像目的，针对步骤2中得到的那些最相似图像，我们引入顶部度量进行相似性优化。具体地说，就是把相关性最高的图像放置在第一位，计算其它图像与它的关系并重排序。 

与查询图像最相关的图像ti的量子状态定义为： 

               (9)

经顶部度量后，第i幅图像的状态Ф _i 为：

     (10)

其中，Ф _ti 是Ф _ti 的正交形式，γ和η是复数形式。将(9)式代入(10)式，有：

         (11)

此时，γ和η为下面这个线性方程组的解：

                  (12)

由|μ|² + |υ|² = 1，可得γ的计算公式为：

                 (13)

我们将图像检索过程看做利用查询偏振滤波器，对相关图像集图像的状态进行估计。因此，经顶部度量后，第i幅图像的量子状态Ф _i 应偏向Ф _ti 所在的方向：

         (14)

其中，Ф _i ^t表示顶部度量后，第i幅图像的偏向状态向量。

为得到第i幅图像相关性的优化值，我们通过相关基“|1>”估计当前状态Ф _i ^t： 

                  (15)

由公式（13）可知：当i =1时即对最相关图像ti有|γ|=1，即，且经顶部度量后，最相关图像的相关性概率保持不变，即。

按照上面的推导过程，第i幅图像的相关值为： 

         (16)

其中，Γ为最相关图像集，s(i,ti)为相应的权重。在我们的框架中，方程(16)是图像重新排名的基础和依据。

Claims (1)

1.一种基于无参数量子论的图像检索方法，其特征在于，包括如下步骤：

1 图像间距离度量和预处理；

图像间的距离度量，同时考虑相邻图像和不相邻图像两方面的影响；然后，再对预处理进行分析；

1.1图像间距离度量；

基于半监督学习方法有两个基本假设，第一个假设是：视觉上相近的图片，其具有相似的标签；第二个假设是：同一类型的图片，其具有相似的标签；图像i和图像j间的距离可用曼哈顿距离度量：

  (1)

其中，x _i ^l 表示图像i第l维的特征，L表示特征空间的维数，σ ^l 是一个正参数，它反映了维数的范围；

为与第一个假设保持一致性，根据第二个假设得到图像i和图像j间的距离度量为：

                (2)

其中n _i 和n _j 分别为图像i和图像j的邻里密度，且n _i 的定义如下：

             (3)

其中，N _i 表示与图像i相邻的图像集数目，n _j 的定义与n _i 雷同；

基于上述两个假设，第i幅图像和第j幅图像间的距离度量为：

              (4)

其中，“”表示Hadamard积；

1.2 预处理；

在分析整个图像检索过程后，预处理过程应同时满足以下两个条件：计算代价低和查全率高；在这里，采用修改的近邻法则进行预处理；具体来说，对于给定的查询图像，首先根据公式(4)的计算结果对数据库图像进行相似性排序：距离数值越大的图像，其排名越高；然后，将排在后面的占一定比例的数据库图像滤除掉；通过这样一个预处理，整个计算成本可明显从O(M ³) (M为数据库图像数量)降到O(N ³)(N为保留下来的图像数量，且N<<M)；

2 相关性计算；

对给定的查询图像，需计算其与每个保留数据库图像间的相关性；在这里，采用半监督学习的流行排序方法计算相关性；该方法包含相似图构建和相关性计算这两个步骤；

2.1 相似图构建；

构建一个基于查询图像的相似图，主要需要以下两个步骤：顶点设置和顶点连接；

顶点设置：对查询图像q，首先依据预处理过程中的最近邻规则生成N个图像的近邻集Э={1, 2,…, i,…, N}；然后，生成加权相似图G=(V, E)，其中V表示由Э和查询图像q构成的顶点，E表示由相邻图像间距离构成的加权边缘；

顶点连接：相似图G的边界集E是通过(N+1)×(N+1)的仿射矩阵进行加权；其中，将仿射矩阵的元素W(i,i)设置为零，以避免自增强；当i≠j时，W(i,j)由公式(4)得到，即W(i,j)=S(i,j)；

2.2 相关性计算；

相关性计算过程包括以下两个主要步骤：加权矩阵归一化和相关性计算；

加权矩阵归一化 使用下列公式对加权矩阵W进行归一化：

             (5)

其中，D为对角阵，其元素D(i,i)为加权矩阵W第i行元素的总和；

相关性计算 经过多次迭代，可计算出Э中每个图像的相关值：

       (6)

其中，y为一向量：当第i幅图像为输入的查询图像时，其值y(i)=1；如果第i幅图像来自数据库时，其值y(i)=0；此外，c(0)=y，α+β=1(α [0,1])；迭代过程结束后，(N+1)×1维向量c的第i个元素是第i幅数据库图像的相关值；

3 基本算法；

得到数据库图像的初始相关值后，利用非参数量子估计法优化候选图像间的相关性，以得到满意的检索排序结果，包含以下两部分内容：量子估计法简单说明和图像间相关性的优化过程；

3.1 量子估计法；

量子估计法的基本思想，可借助光子偏振实验进行解释；选取合适方向上的单位向量进行线性组合，可对光子偏振状态进行估计：

          (7)

其中，“|↑>”和“|→>”分别表示垂直极化和水平极化，μ和υ是复数，满足|μ|² + |υ|² = 1；

将基于光子偏振状态的量子估计转换成对应的标准正交基向量，即将状态概率表示为对应的基向量方向的上振幅幅值的平方；

3.2 提出的方法描述；

对于任意一幅图像i，定义其最初的量子状态为：

                (8)

其中，状态“|1>”表示与给定查询的相关基，“|0>”表示与给定查询的无关基，且|μ|² + |υ|² = 1；第一轮检索，仅利用相关基 “|1>”估计任一图像i的初始相关性，并得到相关概率|μ _i |²，其中，|μ _i |² = p(i|q)使用步骤2.2中介绍的流行排序方法得到；

为达到优化检索图像目的，针对步骤2中得到的那些最相似图像，引入顶部度量进行相似性优化；具体地说，就是把相关性最高的图像放置在第一位，计算其它图像与它的关系并重排序；

与查询图像最相关的图像ti的量子状态定义为：

               (9)

经顶部度量后，第i幅图像的状态Ф _i 为：

     (10)

其中，Ф _ti 是Ф _ti 的正交形式，γ和η是复数形式；将(9)式代入(10)式，有：

         (11)

此时，γ和η为下面这个线性方程组的解：

                  (12)

由|μ|² + |υ|² = 1，可得γ的计算公式为：

                 (13)

将图像检索过程看做利用查询偏振滤波器，对相关图像集图像的状态进行估计；因此，经顶部度量后，第i幅图像的量子状态Ф _i 应偏向Ф _ti 所在的方向：

         (14)

其中，Ф _i ^t表示顶部度量后，第i幅图像的偏向状态向量；

为得到第i幅图像相关性的优化值，通过相关基“|1>”估计当前状态Ф _i ^t：

                  (15)

由公式（13）可知：当i =1时即对最相关图像ti有|γ|=1，即，且经顶部度量后，最相关图像的相关性概率保持不变，即；

按照上面的推导过程，第i幅图像的相关值为：

         (16)

其中，Γ为最相关图像集，s(i,ti)为相应的权重；在框架中，方程(16)是图像重新排名的基础和依据。