CN110399519A - 一种可扩展的多语义图像相关反馈方法 - Google Patents

Abstract

本发明公开了一种可扩展的多语义图像相关反馈方法，包括以下步骤：步骤一，有效主流排序；步骤二，基于帕累托的多语义图像相关反馈；给定某一基于内容图像检索的图像特征数据集X＝{x₁,x₂,...,x_n}；定义M为X上的某种度量(如距离度量)；定义排序函数R为每个x_i分配排序得分γ_i，对应于检索图像特征数据点的排序得分为1；该可扩展的多语义图像相关反馈方法，利用和结合有效主流排序依据数据中潜在的几何关系对检索数据进行相似性度量排序，实现了一种具有强鲁棒性(扩展性)的图像相关反馈检索方法，同时集合帕累托前沿深度，利用帕累托相关理论依靠检索数据的有效主流排序结果进行反馈检索优化，实现了基于内容的多语义图像相关反馈检索。

Description

一种可扩展的多语义图像相关反馈方法

技术领域

本发明涉及信息检索技术领域，具体为一种可扩展的多语义图像相关反馈方法。

背景技术

图像作为人类获取信息的主要载体，主要由语义属性和特征属性两部分组成。区别于文本信息数据的自证性，图像信息数据的自证性主要由特征属性决定并体现，基于内容图像检索(Content-based Image Retrieval，CBIR)使用图像自身内容特征作为检索依据进行检索。但由于图像语义属性与特征属性间语义鸿沟的存在，致使CBIR检索结果不尽人意。由于图像语义信息的获取须借助人的主观理解进行实现，因此在实际图像检索应用中如何快速有效的检索用户所需的图像内容信息成为研究热点。基于内容图像检索借助机器学习、模式识别、深度学习及人工之智能等相关方法，对图像数据进行分析，特征提取，并以此为图像内容检索依据，通过特征向量间的相似性比较，检索得到与用户检索样例类似的图像。由于人对图像内容的主观理解与图像自身底层特征之间存在语义鸿沟，即被提取图像内容特征与图像语义属性间多对一的“模糊映射”关系，致使检索到的目标图像内容中语义主体单一，与实际检索中用户主观对图像多语义主体内容的需求产生了背离。为了使检索结果更贴近用户的主观检索需求，将信息检索领域中的相关反馈与图像检索相结合，将以计算机为中心的基于内容特征的图像检索转化为用户主观语义需求辅助的基于内容图像检索。通过用户对基于内容图像检索结果的相关性进行反馈，并以反馈信息指导检索更新再反馈，最后达到提升检索结果准确性的目的。对于实际应用中的基于内容图像检索相关反馈，其主要研究内容有：

1)图像检索中的相关反馈作为一种交互式检索。在实际的检索应用中，应能够应对于不同检索领域、数据规模、特征进行相关反馈检索，即能够适用于基于不同内容特征的图像检索，具有很强的鲁棒性(可扩展性)；

2)当前的基于内容图像检索相关反馈方式主要有显式，隐式两种。显式反馈中用户需进行多轮检索结果相关性程度信息反馈，以相关性程度为依据进行反馈检索；隐式反馈，以用户标定初始检索结果中满意的检索结果作为反馈检索的依据，并经过多轮相关算法迭代更新进行相关反馈检索。相对于前者自主的隐式相关反馈更贴近实际检索应用需求。

综上所述，由于相关反馈的扩展性问题，导致基于内容图像检索相关反馈应用范围十分有限。虽然基于内容图像检索的依据为图像内容特征，并采用相关反馈，利用用户主观理解提升检索结果，但本质上并没有在相关反馈阶段，解决语义鸿沟即：特征语义间多对一“模糊映射”所带来的主题语义单一问题。如申请号为CN201711363543.X，CN201510757225.6的专利，虽然通过相关反馈提升了检索指标，但是并没有考虑过相关反馈的扩展差的性的问题，以及检索结果图像语义单一的问题。因此设计一种可扩展的多语义图像相关反馈方法是十分有必要的。

发明内容

本发明的目的在于提供一种可扩展的多语义图像相关反馈方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种可扩展的多语义图像相关反馈方法，包括以下步骤：步骤一，有效主流排序；步骤二，基于帕累托的多语义图像相关反馈；

其中在上述步骤一中，有效主流排序包括以下步骤：

1)给定某一基于内容图像检索的图像特征数据集X＝{x₁,x₂,...,x_n}；定义M为X上的某种度量(如距离度量)；定义排序函数R为每个x_i分配排序得分γ_i，对应于检索图像特征数据点的排序得分为1，其余图像特征数据点依据与检索特征数据点间(距离)度量，被对应分配小于1的排序得分；

2)定义Y＝[y₁,...,y_n]，当x_i为检索图像特征数据点时则对应y_i取值为1；

3)构造X的相关图，将特征样本对间距离按升序排序，并以此对数据点之间添加边，构造相关的连通图，即锚图，如x_i与x_j之间连通，边的权重计算依据公式为：w_ij＝exp(-M²(x_i,x_j)/2σ²)，若两者不连通全重置零；

4)对于大规模检索图像数据集，选用迭代方案：R(t+1)＝αSR(t)+(1-α)y，在每次迭代期间，每个数据点从其邻域接收信息，并保留其初始信息，重复迭代直至收敛；对于小规模图像检索数据集，也可以采用闭合策略，仅对每个数据点计算其排序得分；

5)计算有效主流排序时，依据Woodbury公式，H＝ZD^-1/2，S＝H^TH得到最终排序函数如下：

其中，D是对角矩阵，其中z_i是为Z的第i列，

6)相关反馈中选取图像特征数据库中数据点作为锚图中数据点的坐标；并通过邻域大小为s的核函数构造权重矩阵Z；直接按最终排序公式计算排名得分；

其中在上述步骤二中，基于帕累托的多语义图像相关反馈包括以下步骤：

1)定义用户反馈的一组图像检索特征数据点为使用前述有效主流排序得到的对应定义非相似性度量且表征I_i与所有检索数据间的差异；

2)对于T＞1，表示检索的T元组，设P为所有的帕累托点集合，每个帕累托点P_j且P_j＝[dis_1(j),...,dis_T(j)]，其中j∈{1,...,N})对应于x_j；

3)采用帕累托前沿方法依据有效主流排序结果生成帕累托优化点，帕累托优化点的集合即为帕累托前沿，定义帕累托优化点集为S，同时其前沿深度为1；在除去深度为1的帕累托优化点后，剩余样本中的非支配点集合成为深度为2的帕累托前沿；重复剔除前一深度优化点P_j，并在前深度前沿差集中获取当前深度前沿P_i中的非支配点集，帕累托前沿深度迭代过程公式表示如下：

4)定义各深度帕累托前沿中间部分的点集为反馈结果，在深度到达设定阈值或直至获得足够多数量的样本数据后，终止反馈检索并输出对应的多语义相关图像数据。

根据上述技术方案，所述步骤一1)中，排序R的成本函数公式为μ为取值为正的正则化参数，D为对角矩阵且最小化O(R)，得到R^*＝(I_n-αS)^-1y，其中S为权重邻接矩阵的对称归一化，且S＝D^-1/2WD^-1/2，I_n是n阶单位矩阵，

根据上述技术方案，所述权重矩阵Z是数据X的d维表征，d为锚点的数量；使用内积作为数据点间邻接权重的度量，并将邻接矩阵W转换为低秩形式W＝Z^TZ；若两点相关(W_ij取正值)，则两点至少共享一个锚点；使用Nadaraya-Waston及Epanechnikov核回归方式构建权重矩阵：

根据上述技术方案，所述λ为平滑参数，使用最近邻域大小确定λ，公式为：λ(x_i)＝|x_i-a_[s]|，其中a_[s]为第s个与x_i最接近的锚点；构建锚图，将每个数据点连接到其最近的s个锚点，然后通过核函数为每个连接分配权重。

根据上述技术方案，所述步骤一3)中，所述锚图指代与图像特征数据集中数据点具有相同维度空间的锚点集合；具体来说，构建锚点图，需将每个图像特征数据点连接到与其最近的s个锚点，然后通过核函数为每个连接分配权重；并定义一个实数函数为每个数据点分配一个语义标签；需找到权重矩阵Z∈R^d×n，对图像特征数据集X中的数据点与锚图A中锚点a_k之间潜在联系进行度量表征，Z_ki为a_k与x_i之间的权重，随后对每个数据点估算函数值作为锚点上的标签的加权平均值。

根据上述技术方案，所述步骤一4)中，对于不同尺度的图像检索数据集，尤其是大规模数据集，仅保存d×n的矩阵Z即可。

根据上述技术方案，所述步骤二2)中，如果dis_l(i)≤dis_l(j)，则P_i严格支配P_j，其中l∈{1,...,T}，如果dis_l(i)不是严格大于小于dis_l(j)，则为支配关系。

根据上述技术方案，所述步骤二3)中，帕累托前沿深度不断加深的过程，即基于内容图像检索的相关反馈的过程。

与现有技术相比，本发明所达到的有益效果是：该可扩展的多语义图像相关反馈方法，利用和结合效主流排序依据潜在几何关系对检索数据进行相似性度量排序，实现了一种具有强鲁棒性(扩展性)的图像相关反馈检索方法，同时集合帕累托前沿深度，利用帕累托相关理论依靠检索数据的有效主流排序结果进行反馈检索优化，实现了基于内容的多语义图像相关反馈检索。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的主要流程框架图；

图2是本发明的带有相关反馈的基于内容图像检索整体图例；

图3是本发明的图像内容特征与图像语义间(语义鸿沟|多对一模糊映射)，对检索结果造成的检索结果语义主体单一的示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：一种可扩展的多语义图像相关反馈方法，包括以下步骤：步骤一，有效主流排序；步骤二，基于帕累托的多语义图像相关反馈；

其中在上述步骤一中，有效主流排序包括以下步骤：

1)给定某一基于内容图像检索的图像特征数据集X＝{x₁,x₂,...,x_n}；定义M为X上的某种度量(如距离度量)；定义排序函数R为每个x_i分配排序得分γ_i，对应于检索图像特征数据点的排序得分为1，其余图像特征数据点依据与检索特征数据点间(距离)度量，被对应分配小于1的排序得分；排序R的成本函数公式为μ为取值为正的正则化参数，D为对角矩阵且最小化O(R)，得到R^*＝(I_n-αS)^-1y，其中S为权重邻接矩阵的对称归一化，且S＝D^-1/2WD^-1/2，I_n是n阶单位矩阵，

2)定义Y＝[y₁,...,y_n]，当x_i为检索图像特征数据点时则对应y_i取值为1；

3)构造X的相关图，将特征样本对间距离按升序排序，并以此对数据点之间添加边，构造相关的连通图，即锚图，锚图指代与图像特征数据集中数据点具有相同维度空间的锚点集合；具体来说，构建锚点图，需将每个图像特征数据点连接到与其最近的s个锚点，然后通过核函数为每个连接分配权重；并定义一个实数函数为每个数据点分配一个语义标签；需找到权重矩阵Z∈R^d×n，对图像特征数据集X中的数据点与锚图A中锚点a_k之间潜在联系进行度量表征，z_ki为a_k与x_i之间的权重，随后对每个数据点估算函数值作为锚点上的标签的加权平均值，如x_i与x_j之间连通，边的权重计算依据公式为：w_ij＝exp(-M²(x_i,x_j)/2σ²)，若两者不连通全重置零；

4)对于大规模检索图像数据集，选用迭代方案：R(t+1)＝αSR(t)+(1-α)y，在每次迭代期间，每个数据点从其邻域接收信息，并保留其初始信息，重复迭代直至收敛；对于小规模图像检索数据集，也可以采用闭合策略，仅对每个数据点计算其排序得分，对于不同尺度的图像检索数据集，尤其是大规模数据集，仅保存d×n的矩阵Z即可；

5)计算有效主流排序时，依据Woodbury公式，H＝ZD^-1/2，S＝H^TH得到最终排序函数如下：

其中，D是对角矩阵，其中z_i是为Z的第i列，

6)相关反馈中选取图像特征数据库中数据点作为锚图中数据点的坐标；并通过邻域大小为s的核函数构造权重矩阵Z；直接按最终排序公式计算排名得分；

其中在上述步骤二中，基于帕累托的多语义图像相关反馈包括以下步骤：

1)定义用户反馈的一组图像检索特征数据点为使用前述有效主流排序得到的对应定义非相似性度量且表征I_i与所有检索数据间的差异；

2)对于T＞1，表示检索的T元组，设P为所有的帕累托点集合，每个帕累托点P_j且P_j＝[dis_1(j),...,dis_T(j)]，其中j∈{1,...,N})对应于x_n中x_j，如果dis_l(i)≤dis_l(j)，则P_i严格支配P_j，其中l∈{1,...,T}，如果dis_l(i)不是严格大于小于dis_l(j)，则为支配关系；

3)采用帕累托前沿方法依据有效主流排序结果生成帕累托优化点，帕累托优化点的集合即为帕累托前沿，定义帕累托优化点集为S，同时其前沿深度为1；在除去深度为1的帕累托优化点后，剩余样本中的非支配点集合成为深度为2的帕累托前沿；重复剔除前一深度优化点P_j，并在前深度前沿差集中获取当前深度前沿P_i中的非支配点集，帕累托前沿深度不断加深的过程，即基于内容图像检索的相关反馈的过程，帕累托前沿深度迭代过程公式表示如下：

4)定义各深度帕累托前沿中间部分的点集为反馈结果，在深度到达设定阈值或直至获得足够多数量的样本数据后，终止反馈检索并输出对应的多语义相关图像数据。

其中，权重矩阵Z是数据X的d维表征，d为锚点的数量；使用内积作为数据点间邻接权重的度量，并将邻接矩阵W转换为低秩形式W＝Z^TZ；若两点相关(W_ij取正值)，则两点至少共享一个锚点；使用Nadaraya-Waston及Epanechnikov核回归方式构建权重矩阵：

其中，λ为平滑参数，使用最近邻域大小确定λ，公式为：λ(x_i)＝|x_i-a_[s]|，其中a[s]为第s个与x_i最接近的锚点；构建锚图，将每个数据点连接到其最近的s个锚点，然后通过内核函数为每个连接分配权重。

基于上述，本发明，利用有效主流排序依据潜在几何关系对检索数据进行相似性度量排序；利用帕累托相关理论依靠检索数据的有效主流排序结果进行反馈检索优化，实现基于帕累托前沿深度的多语义相关图像的反馈。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种可扩展的多语义图像相关反馈方法，包括以下步骤：步骤一，有效主流排序；步骤二，基于帕累托的多语义图像相关反馈；其特征在于：

其中在上述步骤一中，有效主流排序包括以下步骤：

1)给定某一基于内容图像检索的图像特征数据集X＝{x₁,x₂,...,x_n}；定义M为X上的某种度量(如距离度量)；定义排序函数R为每个x_i分配排序得分γ_i，对应于检索图像特征数据点的排序得分为1，其余图像特征数据点依据与检索特征数据点间(距离)度量，被对应分配小于1的排序得分；

2)定义Y＝[y₁,...,y_n]，当x_i为检索图像特征数据点时则对应y_i取值为1；

3)构造X的相关图，将特征样本对间距离按升序排序，并以此对数据点之间添加边，构造相关的连通图，即锚图，如x_i与x_j之间连通，边的权重计算依据公式为：w_ij＝exp(-M²(x_i,x_j)/2σ²)，若两者不连通全重置零；

4)对于大规模检索图像数据集，选用迭代方案：R(t+1)＝αSR(t)+(1-α)y，在每次迭代期间，每个数据点从其邻域接收信息，并保留其初始信息，重复迭代直至收敛；对于小规模图像检索数据集，也可以采用闭合策略，仅对每个数据点计算其排序得分；

5)计算有效主流排序时，依据Woodbury公式，H＝ZD^-1/2，S＝H^TH得到最终排序函数如下：

其中，D是对角矩阵，其中z_i是为Z的第i列，

6)相关反馈中选取图像特征数据库中数据点作为锚图中数据点的坐标；并通过邻域大小为s的核函数构造权重矩阵Z；直接按最终排序公式计算排名得分；

其中在上述步骤二中，基于帕累托的多语义图像相关反馈包括以下步骤：

1)定义用户反馈的一组图像检索特征数据点为使用前述有效主流排序得到的对应定义非相似性度量表征I_i与所有检索数据间的差异；

2)对于T＞1，表示检索的T元组，设P为所有的帕累托点集合，每个帕累托点为P_j且P_j＝[dis_1(j),...,dis_T(j)]，其中j∈{1,...,N})对应于x_j；

3)采用帕累托前沿方法依据有效主流排序结果生成帕累托优化点。帕累托优化点的集合即为帕累托前沿。定义帕累托优化点集为S，同时其前沿深度为1；在除去深度为1的帕累托优化点后，剩余样本中的非支配点集合成为深度为2的帕累托前沿；重复剔除前一深度优化点集P_j，并在前深度前沿差集中获取当前深度前沿P_i中的非支配点集，帕累托前沿深度迭代过程公式表示如下：

4)定义各深度帕累托前沿中间部分的点集为反馈结果，在深度到达设定阈值或直至获得足够多数量的样本数据后，终止反馈检索并输出对应的多语义相关图像数据。

2.根据权利要求1所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述步骤一1)中，排序R的成本函数公式为μ为取值为正的正则化参数，D为对角矩阵且最小化O(R)，得到R^*＝(I_n-αS)^-1y，其中S为权重邻接矩阵的对称归一化，且S＝D^-1/2WD^-1/2，I_n是n阶单位矩阵，

3.根据权利要求2所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述权重矩阵Z是数据X的d维表征，d为锚点的数量；使用内积作为数据点间邻接权重的度量，并将邻接矩阵W转换为低秩形式W＝Z^TZ；若两点相关(W_ij取正值)，则两点至少共享一个锚点；使用Nadaraya-Waston及Epanechnikov核回归方式构建权重矩阵：

4.根据权利要求3所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述λ为平滑参数，使用最近邻域大小确定λ，公式为：λ(x_i)＝|x_i-a_[s]|，其中a_[s]为第s个与x_i最接近的锚点；构建锚图，将每个数据点连接到其最近的s个锚点，然后通过内核函数为每个连接分配权重。

5.根据权利要求1所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述步骤一3)中，所述锚图指代与图像特征数据集中数据点具有相同维度空间的锚点集合；具体来说，构建锚点图，需将每个图像特征数据点连接到与其最近的s个锚点，然后通过核函数为每个连接分配权重；并定义一个实数函数为每个数据点分配一个语义标签；需找到权重矩阵Z，对图像特征数据集X中的数据点与锚图A中锚点a_k之间潜在联系进行度量表征，z_ki为a_k与x_i之间的权重，随后对每个数据点估算函数值作为锚点上的标签的加权平均值。

6.根据权利要求1所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述步骤一4)中，对于不同尺度的图像检索数据集，尤其是大规模数据集，仅保存d×n的矩阵Z即可。

7.根据权利要求1所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述步骤二2)中，如果dis_l(i)≤dis_l(j)，则P_i严格支配P_j，其中l∈{1,...,T}，如果dis_l(i)不是严格大于小于dis_l(j)，则为支配关系。

8.根据权利要求1所述的一种可扩展的多语义图像相关反馈方法，其特征在于：所述步骤二3)中，帕累托前沿深度不断加深的过程，即基于内容图像检索的相关反馈的过程。