CN111160387A - 一种基于多视角字典学习的图模型 - Google Patents

Abstract

本发明公开了一种基于多视角字典学习的图模型，使用主成分分析和线性判别分析对原始图数据进行数据降维及预处理，去除数据中的冗余特征的同时保留了数据的高判别性；接着利用多视角字典学习方法学习数据中蕴含的本质特征，并训练得到一个综合字典、一个分析字典、与样本相对应的稀疏编码以及一个SVM线性分类器；紧接着将样本的稀疏编码输入SVM分类器，分类器处理之后按多视角原理产生多个不同视角下的预测标签；预测出的多视角标签利用投票机制进行综合，产生最终的样本标签并用于模型准确率的计算；本发明具有信息利用率高、决策更高效、专用性强等优点。

Description

一种基于多视角字典学习的图模型

技术领域

本发明涉及图挖掘及字典学习技术领域，具体涉及一种基于多视角字典学习的图模型。

背景技术

近年来，深度学习的发展取得了重大突破，并广泛应用于语言识别、目标检测、机器翻译等领域，并展现出其强大的特征提取能力。深度学习已经在欧几里德数据中，如图片、视频和语音，取得了很大的成功，因为此类数据具有一些良好的性质，如平移不变形、局部连通性和图像数据的语义合成性，但是从非欧几里德域生成的数据，如图(Graph)数据和流形(Manifold)数据，却不具有上述良好的性质，且往往结构十分复杂，传统意义的卷积等方法无法直接应用于此类数据上。图数据大量存在于我们的生活中，如社交网络图、化学分子结构图、论文机器引文关系图等，其中蕴含巨大的潜在价值，需要有效的分析。近年来已经出现越来越多的图模型和算法，这极大地弥补了图数据研究领域的空缺。

字典学习(Dictionary Learning，DL)和稀疏表示(Sparse Representation，SR)在学术界正式称谓应该是稀疏字典学习(Sparse Dictionary Learning，SDL)；该算法理论主要包含两个阶段：字典构建阶段(Dictionary Generate)和利用字典求解样本稀疏编码的阶段(Sparse coding with a precomputed dictionary)。字典学习被广泛用于图像去噪、超分辨率、压缩感知等领域，但是到目前为止，几乎没有或者很少有将多视角技术应用于字典学习，以及将字典学习应用于图数据的研究。这对该算法来说，是应用上的空缺及功能上的欠缺；同时，现有技术存在如信息利用率不高、功能上的欠缺、计算资源消耗高和训练周期长等缺点与不足。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于PCA与LDA降维、字典学习、多视角、SVM分类、交叉验证、投票机制等多视角字典学习的图模型。

本发明的目的通过下述技术方案实现：

一种基于多视角字典学习的图模型，包括数据预处理模块、稀疏编码学习模块、综合字典学习模块、分析字典学习模块、SVM分类器学习模块、损失函数模块、主函数模块和测试模块，其中：

所述数据预处理模块，主要的工作是对原始图数据进行降维、数据类型转换与封装；使用主成分分析(PCA)和线性判别分析(LDA)算法对原始图数据进行降维，该降维过程分两步进行；首先使用PCA算法对矩阵形式的图数据的主要特征进行提取，提取出来的主要特征按贡献度由大到小重新排序并组成新的数据矩阵，再由LDA算法对该数据进行降维，达到预先设定的特征维度；紧接着对数据进行类型转换，最后对数据进行封装，以供后期训练使用；

所述稀疏编码学习模块，主要的工作是完成稀疏编码的求解过程，；首先定义稀疏编码为张量(Tensor)类型的变量，然后根据字典学习的前向关系计算模块的输出，即Out＝B*S，其中B为综合字典，S为稀疏编码，Out为稀疏学习字典模块的输出；

所述综合字典学习模块，主要的工作是实现合字典的构建过程；预先根据经验设定综合字典的原子数(item)，原子数的大小决定综合字典属于过完备字典、完备字典或欠完备字典其中的某一种，这里选择成为过完备字典，接着使用预设定的原子数定义综合字典为张量类型的变量，再根据公式(Out＝B*S)，计算模块的输出，其中B为综合字典，S为稀疏编码，Out为本模块的输出；

所述分析字典学习模块，主要的工作是根据输入样本数据求解其稀疏编码；先定义分析字典为张量类型的变量，再根据公式(S＝P*X)，计算输入样本数据的稀疏编码，其中X为输入样本数据，P为分析字典，S为样本X对应的近似稀疏编码；

所述SVM分类器学习模块，主要的工作是对稀疏编码进行分类；首先，根据任务需要定义合适的SVM分类器参数，然后利用前一步得到的分析字典，结合输入样本，按照公式(y＝W^T*P*X+b)计算分类器的输出，其中W为分类器的权重向量，b为分类器偏移向量，y为本模块的输出，其包含多个视角下的多个标签，是一个向量形式的标签；

所述损失函数模块，主要的工作就是根据各学习模块的输出计算误差损失函数；根据公式分别计算各学习模块的损失函数，所述公式如下：

所述主函数模块，主要工作就是综合调用前面各个模块完成模型的训练、验证与保存工作；首先选择Adam为优化算法，接着调用各学习模块进行模型的前向计算，再调用损失函数模块计算各学习模块的损失函数，然后使用PyTorch的自动求导机制进行梯度计算，并利用Adam优化算法对模型参数进行梯度更新，最后将训练好的模型保存在文件中，以供测试模块使用；

所述测试模块，主要的任务就是根据SVM分类器预测的标签与真实标签，计算模型的准确率；首先将训练好的模型参数文件中读取出来并加载到模型中，接着利用模型中的分析字典P获取测试样本的稀疏编码，并将编码送入已经训练好的SVM分类器来预测相对应的标签值，此时的标签为多个视角下的标签向量，然后利用投票机制综合这些多视角下的多个标签并得出最终的预测标签y1，将最终预测标签y1与真实的标签进行比较运算得出模型的准确率。

本发明与现有技术相比具有以下的有益效果：

本发明使用PyTorch_Geometric框架加载图数据集，效率更高，使用更方便；使用PCA与LDA算法进行降维，处理效率高，数据判别性强；使用多视角原理结合字典学习，信息利用率更高，分类效果更佳；使用SVM分类器，结合多视角原理，泛化能力更强；对特定领域的数据集可定制专用的分类器，专用性强；基于投票机制的结果预测使得决策过程更科学，准确率更高。

附图说明

图1为本发明的结构示意图；

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明一种基于多视角字典学习的图模型，其使用主成分分析(PrincipalComponent Analysis)和线性判别分析(Linear Discrimination Analysis)对原始图数据进行数据降维及预处理，去除数据中的冗余特征的同时保留了数据的高判别性；接着利用多视角字典学习方法学习数据中蕴含的本质特征，并训练得到一个综合字典(SynthesisDictionary)、一个分析字典(Analysis Dictionary)、与样本相对应的稀疏编码(SparseCode)以及一个SVM线性分类器；紧接着将样本的稀疏编码输入SVM分类器，分类器处理之后按多视角原理产生多个不同视角下的预测标签；预测出的多视角标签利用投票机制进行综合，产生最终的样本标签并用于模型准确率的计算；训练完成后，可将模型保存到本地文件夹，需要使用时仅需加载模型参数即可对新的未知数据进行预测；其具有信息利用率高、决策更高效、专用性强等优点。

本发明所设计的图模型采用了PCA与LDA降维、字典学习、多视角、SVM分类、交叉验证、投票机制等技术，一共分为八个模块，分别为数据预处理模块、稀疏编码学习模块、综合字典学习模块、分析字典学习模块、SVM分类器学习模块、损失函数模块、主函数模块及测试模块。数据预处理模块主要对原始图数据进行预处理，包括数据降维、数据类型转换、数据封装等过程；稀疏编码学习模块主要完成稀疏编码的计算过程，包括稀疏编码的定义与前向计算等步骤；综合字典学习模块主要实现合字典的构建过程，包括综合字典的定义与求解运算等阶段；分析字典学习模块主要执行分析字典的推理过程，包括分析字典的定义与推理计算等操作；SVM分类器学习模块主要承担SVM分类器的预测过程，包括分类器的定义、条件约束、与预测等工作；损失函数模块主要涉及目标函数的计算过程，包括目标函数定义、约束处理与误差计算等步骤；主函数模块主要对上述各模块进行综合调用与逻辑连接，包括优化算法的选择、数据加载、模型训练与测试等工作；测试模块，顾名思义，主要执行模型的预测与准确率计算等任务。

分模块的处理流程使得各部分的功能既相对独立又紧密联系，方便在调试过程中，单独调试各个模块，而不会相互影响，这使得调试和维护变得非常简单和方便。

具体来说，如图1所示，一种基于多视角字典学习的图模型，包括数据预处理模块、稀疏编码学习模块、综合字典学习模块、分析字典学习模块、SVM分类器学习模块、损失函数模块、主函数模块和测试模块，其中：

所述数据预处理模块，主要的工作是对原始图数据进行降维、数据类型转换与封装；使用主成分分析(PCA)和线性判别分析(LDA)算法对原始图数据进行降维，该降维过程分两步进行；首先使用PCA算法对矩阵形式的图数据的主要特征进行提取，提取出来的主要特征按贡献度由大到小重新排序并组成新的数据矩阵，再由LDA算法对该数据进行降维，达到预先设定的特征维度；紧接着对数据进行类型转换，最后对数据进行封装，以供后期训练使用；

所述稀疏编码学习模块，主要的工作是完成稀疏编码的求解过程，；首先定义稀疏编码为张量(Tensor)类型的变量，然后根据字典学习的前向关系计算模块的输出，即Out＝B*S，其中B为综合字典，S为稀疏编码，Out为稀疏学习字典模块的输出；

所述综合字典学习模块，主要的工作是实现合字典的构建过程；预先根据经验设定综合字典的原子数(item)，原子数的大小决定综合字典属于过完备字典、完备字典或欠完备字典其中的某一种，这里选择成为过完备字典，接着使用预设定的原子数定义综合字典为张量类型的变量，再根据公式(Out＝B*S)，计算模块的输出，其中B为综合字典，S为稀疏编码，Out为本模块的输出；

所述分析字典学习模块，主要的工作是根据输入样本数据求解其稀疏编码；先定义分析字典为张量类型的变量，再根据公式(S＝P*X)，计算输入样本数据的稀疏编码，其中X为输入样本数据，P为分析字典，S为样本X对应的近似稀疏编码；

所述SVM分类器学习模块，主要的工作是对稀疏编码进行分类；首先，根据任务需要定义合适的SVM分类器参数，然后利用前一步得到的分析字典，结合输入样本，按照公式(y＝W^T*P*X+b)计算分类器的输出，其中W为分类器的权重向量，b为分类器偏移向量，y为本模块的输出，其包含多个视角下的多个标签，是一个向量形式的标签；

所述损失函数模块，主要的工作就是根据各学习模块的输出计算误差损失函数；根据公式分别计算各学习模块的损失函数，所述公式如下：

所述主函数模块，主要工作就是综合调用前面各个模块完成模型的训练、验证与保存工作；首先选择Adam为优化算法，接着调用各学习模块进行模型的前向计算，再调用损失函数模块计算各学习模块的损失函数，然后使用PyTorch的自动求导机制进行梯度计算，并利用Adam优化算法对模型参数进行梯度更新，最后将训练好的模型保存在文件中，以供测试模块使用；

所述测试模块，主要的任务就是根据SVM分类器预测的标签与真实标签，计算模型的准确率；首先将训练好的模型参数文件中读取出来并加载到模型中，接着利用模型中的分析字典P获取测试样本的稀疏编码，并将编码送入已经训练好的SVM分类器来预测相对应的标签值，此时的标签为多个视角下的标签向量，然后利用投票机制综合这些多视角下的多个标签并得出最终的预测标签y1，将最终预测标签y1与真实的标签进行比较运算得出模型的准确率。

本发明使用PyTorch_Geometric框架加载图数据集，效率更高，使用更方便；使用PCA与LDA算法进行降维，处理效率高，数据判别性强；使用多视角原理结合字典学习，信息利用率更高，分类效果更佳；使用SVM分类器，结合多视角原理，泛化能力更强；对特定领域的数据集可定制专用的分类器，专用性强；基于投票机制的结果预测使得决策过程更科学，准确率更高。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于多视角字典学习的图模型，其特征在于，包括数据预处理模块、稀疏编码学习模块、综合字典学习模块、分析字典学习模块、SVM分类器学习模块、损失函数模块、主函数模块和测试模块，其中：

所述数据预处理模块，主要的工作是对原始图数据进行降维、数据类型转换与封装；使用主成分分析(PCA)和线性判别分析(LDA)算法对原始图数据进行降维，该降维过程分两步进行；首先使用PCA算法对矩阵形式的图数据的主要特征进行提取，提取出来的主要特征按贡献度由大到小重新排序并组成新的数据矩阵，再由LDA算法对该数据进行降维，达到预先设定的特征维度；紧接着对数据进行类型转换，最后对数据进行封装，以供后期训练使用；

所述稀疏编码学习模块，主要的工作是完成稀疏编码的求解过程，；首先定义稀疏编码为张量(Tensor)类型的变量，然后根据字典学习的前向关系计算模块的输出，即Out＝B*S，其中B为综合字典，S为稀疏编码，Out为稀疏学习字典模块的输出；

所述综合字典学习模块，主要的工作是实现合字典的构建过程；预先根据经验设定综合字典的原子数(item)，原子数的大小决定综合字典属于过完备字典、完备字典或欠完备字典其中的某一种，这里选择成为过完备字典，接着使用预设定的原子数定义综合字典为张量类型的变量，再根据公式(Out＝B*S)，计算模块的输出，其中B为综合字典，S为稀疏编码，Out为本模块的输出；

所述分析字典学习模块，主要的工作是根据输入样本数据求解其稀疏编码；先定义分析字典为张量类型的变量，再根据公式(S＝P*X)，计算输入样本数据的稀疏编码，其中X为输入样本数据，P为分析字典，S为样本X对应的近似稀疏编码；

所述SVM分类器学习模块，主要的工作是对稀疏编码进行分类；首先，根据任务需要定义合适的SVM分类器参数，然后利用前一步得到的分析字典，结合输入样本，按照公式(y＝W^T*P*X+b)计算分类器的输出，其中W为分类器的权重向量，b为分类器偏移向量，y为本模块的输出，其包含多个视角下的多个标签，是一个向量形式的标签；

所述损失函数模块，主要的工作就是根据各学习模块的输出计算误差损失函数；根据公式分别计算各学习模块的损失函数，所述公式如下：

所述主函数模块，主要工作就是综合调用前面各个模块完成模型的训练、验证与保存工作；首先选择Adam为优化算法，接着调用各学习模块进行模型的前向计算，再调用损失函数模块计算各学习模块的损失函数，然后使用PyTorch的自动求导机制进行梯度计算，并利用Adam优化算法对模型参数进行梯度更新，最后将训练好的模型保存在文件中，以供测试模块使用；

所述测试模块，主要的任务就是根据SVM分类器预测的标签与真实标签，计算模型的准确率；首先将训练好的模型参数文件中读取出来并加载到模型中，接着利用模型中的分析字典P获取测试样本的稀疏编码，并将编码送入已经训练好的SVM分类器来预测相对应的标签值，此时的标签为多个视角下的标签向量，然后利用投票机制综合这些多视角下的多个标签并得出最终的预测标签y1，将最终预测标签y1与真实的标签进行比较运算得出模型的准确率。

Images