CN109918616B - 一种基于语义索引精度增强的可视媒体处理方法 - Google Patents

Abstract

本发明涉及一种基于语义索引精度增强的可视媒体处理方法，属于视觉媒体处理技术领域。首先，对可视媒体中包含的物体和场景进行语义索引，构建置信度矩阵，通过阈值判断筛选出部分元素，应用带外部相关性平滑的加权非负矩阵分解的方法对筛选后的矩阵进行重新估计，完成全局精度增强。根据全局精度增强后的结果采用相似度传播的方法，利用样本间的相似度关系进行局部精度增强。本发明利用多种语义关系，增强了可视媒体语义索引的准确率，并且充分利用了概念的外部相关性，提高了语义索引精度增强的效果。本方法中基于外部相关性平滑的全局精度增强与局部精度增强有机结合，计算复杂度低，可扩展性强，适合于实际工业应用。

Description

一种基于语义索引精度增强的可视媒体处理方法

技术领域

本发明涉及一种基于语义索引精度增强的可视媒体处理方法，属于视觉媒体处理技术领域。

背景技术

可视媒体语义索引的精度增强是利用概念的相关性对索引结果进行进一步改善的关键技术。这种索引增强技术的作用是给出可视媒体进行概念探测的结果，对概念探测的结果应用概念的量化关系进行调整和改善，以达到对大量可视媒体有效索引的目的。发明名称为“一种用于可视媒体语义索引的精度增强方法”(申请号：201610108055.3)的专利申请公开了一种全局增强和局部增强相结合的方式，对可视媒体语义索引的结果进行改善。但是在增强过程中，该方法无法有效地利用从外部输入得到的可视媒体中语义概念之间的相关性，故在可视媒体语义索引精度增强的过程中还存在改善的空间。尤其随着互联网可用数据体量的快速增长，采用数据挖掘、统计、知识建模的方法得到的语义概念之间的相关性对可视媒体的有效索引具有很高的应用价值。

对基于外部相关性平滑的可视媒体语义索引的精度增强方法同样需要满足如下要求：1)对语义概念索引的灵活性；2)对不同数量和质量的标注数据的适应性；3)对大规模样本数据的扩展性。在时序可视媒体语义索引增强的过程中，应该尽量保证上述三点，这样才能保证增强方法在视觉大数据上的灵活应用，从而达到预期的效果。

发明内容

本发明的目的是提出一种基于语义索引精度增强的可视媒体处理方法，对已有的可视媒体处理方法作出改进，以应对当前单类概念探测器造成的概念探测精度低及不均衡的问题，既可应对普通的索引精度增强任务，也可以在外部知识或标注数据可用时充分利用所得到的概念相关性，用于为不同应用域中的语义索引结果进行精度增强。

本发明提出的基于语义索引精度增强的可视媒体处理方法，包括以下步骤：

(1)对初始可视媒体中包含的物体和场景进行语义索引，得到初始可视媒体语义索引的探测置信度值，根据探测置信度值，构建一个矩阵C，矩阵C中的行对应于可视媒体中的一个样本c_i，1≤i≤N，矩阵C中的列对应一个物体或场景v_j，1≤j≤M，矩阵C中的任意一个元素c_ij表示样本c_i包含的物体或场景v_j的探测置信度值，其中，N表示样本的个数，M表示物体或场景的个数；

(2)设定一个探测置信度阈值，将上述矩阵C中的探测置信度值与设定的探测置信度阈值进行比较，若矩阵C中的探测置信度值大于或等于探测置信度阈值，则保留该探测置信度值，若矩阵C中的探测置信度值小于探测置信度阈值，则将该探测置信度值置为0，并将该比较更新后的矩阵记为C″，矩阵C″的每个元素记为c″_ij，1≤i≤N，1≤j≤M；

(3)利用基于外部相关性平滑的加权非负矩阵分解方法，对上述比较更新后的矩阵C″进行全局精度增强，具体过程如下：

采用以下方法对上述比较更新后的矩阵C″进行加权非负矩阵分解，得到C′，具体包括以下步骤：

(3-1)构建两个初始非负矩阵L_N×d及R_d×M，其中d≤min(M，N)；

(3-2)构建一个权重矩阵W，W＝(w_ij)_N×M，其中w_ij∈[0，1]，1≤i≤N，1≤j≤M，根据上述置信度阈值，对权重矩阵W中的各元素w_ij进行赋值，若矩阵C中的置信度值高于或等于上述置信度阈值，则元素w_ij赋以值(0.5，1.0]，若矩阵C中的置信度值低于上述置信度阈值，则元素w_ij赋以值[0，0.5]；

(3-3)构建一个平滑函数S如下：

其中，Correl是概念相关性矩阵，概念相关性矩阵中的每个元素Correl(v_i，v_j)代表两个物体或场景v_i和v_j的相关性量化，对角矩阵D的对角元素D_ii＝∑_jCorrel(v_i，v_j)，且L_Correl＝D-Correl表示概念相关性矩阵Correl的拉普拉斯矩阵，tr表示拉普拉斯矩阵的迹；

(3-4)根据上述步骤(3-1)的两个非负矩阵L_N×d和R_d×M、步骤(3-2)的权重矩阵W和步骤(3-3)的平滑函数S，构建一个费效函数F：

其中，L及R分别代表上述非负矩阵L_N×d及R_d×M，该费效函数满足约束L≥0及R≥0，

其中，表示Frobenius范数，参数λ的取值范围为(0，10]，二次正规化因子

用于防止优化的过程中产生过拟合，参数β用于控制概念相关性在优化过程中的平滑力度，取值范围为[10，200]；

(3-5)利用梯度下降法最小化上述费效函数F，得到优化后的非负矩阵L_N×d及R_d×M，进而得到一个矩阵，记为R_d×M和L_N×d的迭代优化过程采用梯度下降法，迭代收敛后的R_d×M和L_N×d即为优化后的非负矩阵R_d×M和L_N×d；

(3-6)将上述步骤(3-5)的矩阵

与上述步骤(1)的矩阵C进行加权平均，得到一个矩阵，记为C′：

其中，α的取值范围为(0，1)；

(4)利用相似度传播方法，对上述步骤(3)得到的矩阵C′进行局部精度增强，具体过程如下：

(4-1)采用皮尔森相关系数，计算可视媒体中不同样本c_i和c_j之间的相似度P_i，j：

其中，c_i和c_j在矩阵C′中的值为第i行和第j行的行向量，行向量c′_i＝(c′_ik)_1≤k≤M，c′_j＝(c′_jk)_1≤k≤M，

和

分别为c′_i和c′_j对应各行的平均值；

采用高斯形式，对上述相似度P_i，j进行归一化处理，得到归一化后的相似度P′_i，j：

其中，δ为样本间距离的尺度参数，取值范围为(0，10]；

(4-2)根据上述样本间归一化后的相似度P′_i，j，选定可视媒体中的任意一个样本c_i(1≤i≤N)，从除c_i以外的其他样本c_j，1≤j≤N且j≠i中选择与样本c_i最近邻的前K个样本，并构建一个c_i与K个最近邻样本之间的相似度矩阵G：

G＝(P′_i，j)_(K+1)×(K+1)

其中，矩阵G中的每个元素为相应两个样本间的相似度，矩阵G的前K行及前K列为样本c_i的K个最近邻样本，矩阵G的最后第K+1行和最后第K+1列为样本c_i；

(4-3)对上述矩阵G进行列归一化处理，构建概率矩阵T，概率矩阵T中的每个元素为：

表示矩阵G第j列所有元素按行的求和；

(4-4)将矩阵C′中第i个样本的K个最近邻样本在矩阵C′中的行号记为n_i，1≤i≤K，为矩阵C′中的第n_i个行向量，将所有K+1个行向量层叠在一起，构成一个矩阵C_n，C_n＝(c′_n1；c′_n2；…；c′_nK；c′_i)，通过下面的传播方法对矩阵C_n中的第K+1行的向量值c′_i进行更新迭代：

(4-5)进行多次更新迭代后，得到一个矩阵C_n，矩阵C_n中的第K+1行的向量值c′_i即为对第i个样本通过相似度传播进行局部精度增强后的可视媒体语义索引结果；

(4-6)遍历矩阵C′中所有样本c_i，1≤i≤N，重复上述步骤(4-4)和步骤(4-5)，实现基于语义索引精度增强的可视媒体处理。

本发明提出的基于语义索引精度增强的可视媒体处理方法，其优点是：

本发明的基于语义索引精度增强的可视媒体处理方法，不仅具有已有基于语义索引精度增强的可视媒体处理方法的灵活性和适应性，又提出了一个基于外部相关性平滑的方法，该方法通过利用外部构建的概念相关性矩阵，对加权非负矩阵分解过程进行约束，在问题优化的过程中充分考虑概念的相关性，很好解决了概念外部相关性在优化过程中难以量化的问题。该方法与全局增强算法在加权非负矩阵分解过程中有机结合，更加提高了本发明方法改善可视媒体语义索引的灵活性和对语义索引精度增强的效果。

具体实施方式

本发明提出的基于语义索引精度增强的可视媒体处理方法，包括以下步骤：

(1)对初始可视媒体中包含的物体和场景进行语义索引，得到初始可视媒体语义索引的探测置信度值，根据探测置信度值，构建一个矩阵C，矩阵C中的行对应于可视媒体中的一个样本c_i，1≤i≤N，矩阵C中的列对应一个物体或场景v_j，1≤j≤M，矩阵C中的任意一个元素c_ij表示样本c_i包含的物体或场景v_j的探测置信度值，其中，N表示样本的个数，M表示物体或场景的个数；

(2)设定一个探测置信度阈值，将上述矩阵C中的探测置信度值与设定的探测置信度阈值进行比较，若矩阵C中的探测置信度值大于或等于探测置信度阈值，则保留该探测置信度值，若矩阵C中的探测置信度值小于探测置信度阈值，则将该探测置信度值置为0，并将该比较更新后的矩阵记为C″，矩阵C″的每个元素记为c″_ij，1≤i≤N，1≤j≤M；

(3)利用基于外部相关性平滑的加权非负矩阵分解方法，对上述比较更新后的矩阵C″进行全局精度增强，具体过程如下：

采用以下方法对上述比较更新后的矩阵C″进行加权非负矩阵分解，得到C′，具体包括以下步骤：

(3-1)构建两个初始非负矩阵L_N×d及R_d×M，其中d≤min(M，N)；

(3-2)构建一个权重矩阵W，W＝(w_ij)_N×M，其中w_ij∈[0，1]，1≤i≤N，1≤j≤M，根据上述置信度阈值，对权重矩阵W中的各元素w_ij进行赋值，若矩阵C中的置信度值高于或等于上述置信度阈值，则元素w_ij赋以值(03，1.0]，若矩阵C中的置信度值低于上述置信度阈值，则元素w_ij赋以值[0，0.5]；

(3-3)构建一个平滑函数S如下：

其中，Correl是概念相关性矩阵，概念相关性矩阵中的每个元素Correl(v_i，v_j)代表两个物体或场景v_i和v_j的相关性量化，对角矩阵D的对角元素D_ii＝∑_jCorrel(v_i，v_j)，且L_Correl＝D-Correl表示概念相关性矩阵Correl的拉普拉斯(Laplacian)矩阵，tr表示拉普拉斯矩阵的迹；

(3-4)根据上述步骤(3-1)的两个非负矩阵L_N×d和R_d×M、步骤(3-2)的权重矩阵W和步骤(3-3)的平滑函数S，构建一个费效函数F：

其中，L及R分别代表上述非负矩阵L_N×d及R_d×M，该费效函数满足约束L≥0及R≥0，

其中，

表示Frobenius范数，参数λ的取值范围为(0，10]，二次正规化因子用于防止优化的过程中产生过拟合，参数β用于控制概念相关性在优化过程中的平滑力度，取值范围为[10，200]；

(3-5)利用梯度下降法最小化上述费效函数F，得到优化后的非负矩阵L_N×d及R_d×M，进而得到一个矩阵，记为

R_d×M和L_N×d的迭代优化过程采用梯度下降法，迭代收敛后的R_d×M和I_′N×d即为优化后的非负矩阵R_d×M和L_N×d；

(3-6)将上述步骤(3-5)的矩阵与上述步骤(1)的矩阵C进行加权平均，得到一个矩阵，记为C′：

其中，α的取值范围为(0，1)；

(4)利用相似度传播方法，对上述步骤(3)得到的矩阵C′进行局部精度增强，具体过程如下：

(4-1)采用皮尔森相关系数，计算可视媒体中不同样本c_i和c_j之间的相似度P_i，j：

其中，c_i和c_j在矩阵C′中的值为第i行和第j行的行向量，行向量c′_i＝(c′_ik)_1≤k≤M，c′_j＝(c′_jk)_1≤k≤M，

和

分别为c′_i和c′_j对应各行的平均值；

采用高斯形式，对上述相似度P_i，j进行归一化处理，得到归一化后的相似度P′_i，j：

其中，δ为样本间距离的尺度参数，取值范围为(0，10]；

(4-2)根据上述样本间归一化后的相似度P′_i，j，选定可视媒体中的任意一个样本c_i(1≤i≤N)，从除c_i以外的其他样本c_j，1≤j≤N且j≠i中选择与样本c_i最近邻的前K个样本，并构建一个c_i与K个最近邻样本之间的相似度矩阵G：

G＝(P′_i，j)_(K+1)×(K+1)

其中，矩阵G中的每个元素为相应两个样本间的相似度，矩阵G的前K行及前K列为样本c_i的K个最近邻样本，矩阵G的最后第K+1行和最后第K+1列为样本c_i；

(4-3)对上述矩阵G进行列归一化处理，构建概率矩阵T，概率矩阵T中的每个元素为：

表示矩阵G第j列所有元素按行的求和；

(4-4)将矩阵C′中第i个样本的K个最近邻样本在矩阵C′中的行号记为n_i，1≤i≤K，

为矩阵C′中的第n_i个行向量，将所有K+1个行向量层叠在一起，构成一个矩阵C_n，C_n＝(c′_n1；c′_n2；…；c′_nK；c′_i)，通过下面的传播方法对矩阵C_n中的第K+1行的向量值c′_i进行更新迭代：

(4-5)进行多次更新迭代后，得到一个矩阵C_n，矩阵C_n中的第K+1行的向量值c′_i即为对第i个样本通过相似度传播进行局部精度增强后的可视媒体语义索引结果；

(4-6)遍历矩阵C′中所有样本c_i，1≤i≤N，重复上述步骤(4-4)和步骤(4-5)，实现基于语义索引精度增强的可视媒体处理。

Claims (1)

1.一种基于语义索引精度增强的可视媒体处理方法，其特征在于该方法包括以下步骤：

(1)对初始可视媒体中包含的物体和场景进行语义索引，得到初始可视媒体语义索引的探测置信度值，根据探测置信度值，构建一个矩阵C，矩阵C中的行对应于可视媒体中的一个样本c_i，1≤i≤N，矩阵C中的列对应一个物体或场景v_j，1≤j≤M，矩阵C中的任意一个元素c_ij表示样本c_i包含的物体或场景v_j的探测置信度值，其中，N表示样本的个数，M表示物体或场景的个数；

(2)设定一个探测置信度阈值，将上述矩阵C中的探测置信度值与设定的探测置信度阈值进行比较，若矩阵C中的探测置信度值大于或等于探测置信度阈值，则保留该探测置信度值，若矩阵C中的探测置信度值小于探测置信度阈值，则将该探测置信度值置为0，并将该比较更新后的矩阵记为C″，矩阵C″的每个元素记为c″_ij，1≤i≤N，1≤j≤M；

(3)利用基于外部相关性平滑的加权非负矩阵分解方法，对上述比较更新后的矩阵C″进行全局精度增强，具体过程如下：

采用以下方法对上述比较更新后的矩阵C″进行加权非负矩阵分解，得到C′，具体包括以下步骤：

(3-1)构建两个初始非负矩阵L_N×d及R_d×M，其中d≤min(M，N)；

(3-2)构建一个权重矩阵W，W＝(w_ij)_N×M，其中w_ij∈[0，1]，1≤i≤N，1≤j≤M，根据上述置信度阈值，对权重矩阵W中的各元素w_ij进行赋值，若矩阵C中的置信度值高于或等于上述置信度阈值，则元素w_ij赋以值(0.5，1.0]，若矩阵C中的置信度值低于上述置信度阈值，则元素w_ij赋以值[0，0.5]；

(3-3)构建一个平滑函数S如下：

其中，Correl是概念相关性矩阵，概念相关性矩阵中的每个元素Correl(v_i，v_j)代表两个物体或场景v_i和v_j的相关性量化，对角矩阵D的对角元素D_ii＝∑_jCorrel(v_i，v_j)，且L_Correl＝D-Correl表示概念相关性矩阵Correl的拉普拉斯(Laplacian)矩阵，tr表示拉普拉斯矩阵的迹；

(3-4)根据上述步骤(3-1)的两个非负矩阵L_N×d和R_d×M、步骤(3-2)的权重矩阵W和步骤(3-3)的平滑函数S，构建一个费效函数F：

其中，L及R分别代表上述非负矩阵L_N×d及R_d×M，该费效函数满足约束L≥0及R≥0，

其中，

表示Frobenius范数，参数λ的取值范围为(0，10]，二次正规化因子用于防止优化的过程中产生过拟合，参数β用于控制概念相关性在优化过程中的平滑力度，取值范围为[10，200]；

(3-5)利用梯度下降法最小化上述费效函数F，得到优化后的非负矩阵L_N×d及R_d×M，进而得到一个矩阵，记为

R_d×M和L_N×d的迭代优化过程采用梯度下降法，迭代收敛后的R_d×M和L_N×d即为优化后的非负矩阵R_d×M和L_N×d；

(3-6)将上述步骤(3-5)的矩阵

与上述步骤(1)的矩阵C进行加权平均，得到一个矩阵，记为C′：

其中，α的取值范围为(0，1)；

(4)利用相似度传播方法，对上述步骤(3)得到的矩阵C′进行局部精度增强，具体过程如下：

(4-1)采用皮尔森相关系数，计算可视媒体中不同样本c_i和c_j之间的相似度P_i，j：

其中，c_i和c_j在矩阵C′中的值为第i行和第j行的行向量，行向量c′_i＝(c′_ik)_1≤k≤M，c′_j＝(c′_jk)_1≤k≤M，

和

分别为c′_i和c′_j对应各行的平均值；

采用高斯形式，对上述相似度P_i，j进行归一化处理，得到归一化后的相似度P′_i，j：

其中，δ为样本间距离的尺度参数，取值范围为(0，10]；

(4-2)根据上述样本间归一化后的相似度P′_i，j，选定可视媒体中的任意一个样本c_i(1≤i≤N)，从除c_i以外的其他样本c_j，1≤j≤N且j≠i中选择与样本c_i最近邻的前K个样本，并构建一个c_i与K个最近邻样本之间的相似度矩阵G：

G＝(P′_i，j)_(K+1)×(K+1)

其中，矩阵G中的每个元素为相应两个样本间的相似度，矩阵G的前K行及前K列为样本c_i的K个最近邻样本，矩阵G的最后第K+1行和最后第K+1列为样本c_i；

(4-3)对上述矩阵G进行列归一化处理，构建概率矩阵T，概率矩阵T中的每个元素为：

表示矩阵G第j列所有元素按行的求和；

(4-4)将矩阵C′中第i个样本的K个最近邻样本在矩阵C′中的行号记为n_i，1≤i≤K，

为矩阵C′中的第n_i个行向量，将所有K+1个行向量层叠在一起，构成一个矩阵C_n，C_n＝(c′_n1；c′_n2；…；c′_nK；c′_i)，通过下面的传播方法对矩阵C_n中的第K+1行的向量值c′_i进行更新迭代：

(4-5)进行多次更新迭代后，得到一个矩阵C_n，矩阵C_n中的第K+1行的向量值c′_i即为对第i个样本通过相似度传播进行局部精度增强后的可视媒体语义索引结果；

(4-6)遍历矩阵C′中所有样本c_i，1≤i≤N，重复上述步骤(4-4)和步骤(4-5)，实现基于语义索引精度增强的可视媒体处理。