CN115204372A - 一种基于项游走图神经网络的前提选择方法及系统 - Google Patents

一种基于项游走图神经网络的前提选择方法及系统 Download PDF

Info

Publication number
CN115204372A
CN115204372A CN202210862153.1A CN202210862153A CN115204372A CN 115204372 A CN115204372 A CN 115204372A CN 202210862153 A CN202210862153 A CN 202210862153A CN 115204372 A CN115204372 A CN 115204372A
Authority
CN
China
Prior art keywords
precondition
neural network
graph
model
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210862153.1A
Other languages
English (en)
Other versions
CN115204372B (zh
Inventor
刘清华
朱绪胜
陈代鑫
周力
缑建杰
陈俊佑
蔡怀阳
曾静文
马晨辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aircraft Industrial Group Co Ltd filed Critical Chengdu Aircraft Industrial Group Co Ltd
Priority to CN202210862153.1A priority Critical patent/CN115204372B/zh
Publication of CN115204372A publication Critical patent/CN115204372A/zh
Application granted granted Critical
Publication of CN115204372B publication Critical patent/CN115204372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及软件可信性自动验证技术领域，公开了一种基于项游走图神经网络的前提选择方法，包括：数据集的建立；字符型逻辑公式表示为结构化的有向无环图；基于图的项游走模式的拓展；基于本发明提出的图项游走模式，设计项游走图神经网络，用于把逻辑公式图编码为对应的图特征实值向量；基于本发明提出的项游走图神经网络，设计前选择方法，输出为前提公式对结论公式在ATP自动证明中的实值有用性得分；在限定迭代次数下对本发明提出的端到端的基于项游走图神经网络的前提选择模型进行训练、验证和测试。本发明还公开了一种基于项游走图神经网络的前提选择系统。

Description

一种基于项游走图神经网络的前提选择方法及系统
技术领域
本发明涉及软件可信性自动验证技术领域，具体地说，是一种基于项游走图神经网络的前提选择方法及系统，用于帮助作为软件验证工具后台自动验证插件的ATP有效地解决来实际工业场景下大规模的形式化问题。
背景技术
大量科学上、工业上的问题均涉及扩及推理，但因其抽象性、复杂性、以及规模性，无法有效地利用人工进行逻辑推理。因此，需要借助人工智能的手段之一——自动推理。自动推理中应用最广泛的研究分支当属自动定理证明。即，将形式化后的问题作为计算机程序的输入，并试图利用程序自动地从问题的前提中推理出结论。这样的程序被称为自动定理证明器。
在软件验证领域中，广泛应用于软件开发过程的软件验证工具SCADE (SafetyCritical Application Development Environment)的后台使用了自动定理证明器插件作为其自动推理的工具。在工业领域中，IBM、因特尔(Inter)等公司也利用自动定理证明器对硬件的可靠性问题进行验证，如飞行控制系统的芯片安全性验证、AMD浮点数溢出验证等。
迄今为止，一大批优秀的自动定理证明器不断问世。虽然自动定理证明器的性能逐年提升，随着自动定理证明器的应用范围不断扩大，旨在推理小规模数学问题的自动定理证明器必须面对规模越来越大的实际问题。问题规模过大，会导致其形式化后的前提数量过多，从而导致自动定理证明器在推理过程中的搜索空间呈指数型增长。这将对自动定理证明器的性能产生致命性的打击。实验表明，在实际问题中，仅有极少的前提在问题结论的自动推理中发挥作用。
然而，当前的自动定理证明器缺乏对前提进行选择的能力，从而导致自动定理证明器在无法有效地推理大规模问题，甚至影响自动定理证明器在软件可信性自动验证领域的应用范围。基于此，本发明提出了一种基于项游走图神经网络的前提选择方法及系统，以实现自动定理证明器能够有效地推理大规模实际问题这一目的。
发明内容
本发明的目的在于提供一种基于项游走图神经网络的前提选择方法及系统，实现自动定理证明器能够有效地推理大规模实际问题这一目的。
本发明通过下述技术方案实现：一种基于项游走图神经网络的前提选择方法，包括以下步骤：
步骤S1，基于MPTP2078问题库建立用于训练、验证和测试模型的数据集；
步骤S2，根据数据集中逻辑公式的递归的特性，将字符型逻辑公式进行有向无环图DAG表示；
步骤S3、将项游走模式从解析树拓展到有向无环图DAG上；
步骤S4、设计项游走图神经网络，所述项游走图神经网络中的输入为逻辑公式对应的有向无环图DAG，输出为逻辑公式对应的图特征实值向量；
步骤S5、设计前提选择模型，所述前提选择模型的输入为步骤S4输出的图向量特征实值向量对，输出为二元分类器预测的前提公式对结论公式在ATP 自动证明中的实值有用性得分；
步骤S6、基于步骤S5设计用于模型训练的损失函数；
步骤S7、判断当前迭代次数是否大于限定迭代次数：若是，则进入步骤S11；若否，则进入步骤S8；
步骤S8、利用步骤S1中的数据集对步骤S5中的前提选择模型进行训练，基于步骤S6计算真实值与步骤S5输出的误差，通过反向传播算法将误差传播回模型的所有神经元中，最后通过梯度下降算法修正和更新前提选择模型中的所有参数，最后对训练后的前提选择模型进行保存；
步骤S9、将步骤S8中训练后的模型在步骤S1中的数据集上进行验证；
步骤S10、当前迭代次数加1，并返回步骤S7；
步骤S11、在已保存的前提选择模型中选择在步骤S9中执行最小损失的模型作为最优模型，并在步骤S1中测试数据集上对其精度、召回率、准确度以及F1指标进行评估，最后结束。
本发明包括：数据集的建立；字符型逻辑公式表示为结构化的有向无环图；基于图的项游走模式的拓展；基于本发明提出的图项游走模式，设计项游走图神经网络，用于把逻辑公式图编码为对应的图特征实值向量；基于本发明提出的项游走图神经网络，设计前选择方法，输出为前提公式对结论公式在ATP 自动证明中的实值有用性得分；在限定迭代次数下对本发明提出的端到端的基于项游走图神经网络的前提选择模型进行训练、验证和测试。本发明帮助作为软件验证工具后台自动验证插件的ATP有效地解决来实际工业场景下大规模的形式化问题，且具有普遍性。
为了更好地实现本发明，进一步地，所述步骤S1中数据集的建立过程包括：
数据集中每一个例子是一个三元组，所述三元组包括结论、前提和标签；
前提是给定结论的候选前提；
标签是二元分类中的类别，所述类别为前提有用或无用；
标签为1的样本为正样本，标签为0的样本为负样本；
数据集中每一个结论对应的正样本中的前提来自参与其任一自动证明中的前提，对应的负样本中的前提是不参与其任意自动证明的前提且该前提在与结论的K近邻相似度排序中靠前；数据集中正样本和负样本的数量相同，且通过80％、10％、10％的划分将数据集随机地划分为训练集、验证集以及测试集。
为了更好地实现本发明，进一步地，所述步骤S2中将字符型逻辑公式进行有向无环图表示的过程包括：
在字符型逻辑公式的一阶逻辑中，给定变元符号集、函数符号集和谓词集；
一阶逻辑表达式为一阶逻辑项、一阶逻辑原子或一阶逻辑公式；
根据数据集中逻辑公式的递归的特性将一阶逻辑表达式递归定义表示为结构化的有向无环图DAG。
为了更好地实现本发明，进一步地，所述步骤S3中将项游走模式从解析树拓展到有向无环图上的过程包括：
将在解析树上被证实与逻辑公式合一性相关且可用于评估逻辑公式相似性的项游走模式拓展到了逻辑公式对应的有向无环图上。
为了更好地实现本发明，进一步地，所述步骤S4中项游走图神经网络的包括：
所述项游走图神经网络包括图节点向量初始化阶段、节点信息聚集阶段、节点信息传播阶段以及图聚合阶段。
为了更好地实现本发明，进一步地，所述步骤S5中二元分类器预测的前提公式对结论公式在ATP自动证明中的实值有用性得分的过程包括：
二元分类器先通过分类函数Fclass对前提在结论证明中的有用性进行预测，再通过softmax进行归一化，获取前提公式对结论公式在ATP自动证明中的实值有用和无用的概率；
所述分类函数Fclass被设计为多层感知机。
为了更好地实现本发明，进一步地，本发明还提供了一种基于项游走图神经网络的前提选择系统，包括数据集建立模块、逻辑公式图表示模块、项游走神经网络设计模块、二元分类器设计模块、迭代次数判断处理模块、和模型训练、验证以及测试模块，其中：
所述数据集建立模块，用于建立用于训练、验证和测试模型的数据集；
所述逻辑公式图表示模块，用于将字符型逻辑公式表示为结构化的有向无环图DAG；
所述项游走神经网络设计模块，用于针对被拓展到逻辑公式图上的项游走模式将逻辑公式编码为对应的图特征实值向量；
所述二元分类器设计模块，用于输出前提对结论是否有用的概率，其中，二元分类器使用的分类函数Fclass同样被设计为多层感知机；
所述迭代次数判断处理模块，用于判断当前迭代次数是否大于限定迭代次数，在当前迭代次数大于限定迭代次数时，不再继续训练和验证模型；在当前迭代次数小于等于限定迭代次数时，继续训练和验证模型；
所述模型训练、验证以及测试模块，用于在Adam优化器、 ReduceLROnPlateau策略和设置的参数下对模型进行训练，模型在每个训练迭代完成后均会在验证集上进行评估并保存，最大迭代次数后，若模型在验证集的评估没有进一步的提高，则在已保存的模型中选择在验证集上执行最小损失的模型作为最优模型，并在测试集上对其进行评估。
本发明与现有技术相比，具有以下优点及有益效果：
(1)本发明设计了一种字符型逻辑公式的有向无环图表示方法；
(2)本发明在逻辑公式对应的有向无环图上设计了能够捕获更多逻辑信息的项游走模式；
(3)本发明设计了一种以项游走模式聚合图神经网络中图节点信息的项游走图神经网络，该网络能对将逻辑公式对的DAG编码为实值特征向量，且无需依赖于需要领域专家精心设计的手工特征，进而提升智能系统的智能化；
(4)本发明设计了端到端基于项游走神经网络的前提选择模型，模型能够高效地预测问题中的前提是否对参与结论在ATP中的自动证明；
(5)本发明能够帮助作为软件验证工具后台自动验证插件的ATP有效地解决来实际工业场景下大规模的形式化问题。
附图说明
本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。
图1为本发明提供的一种基于项游走图神经网络的前提选择方法的流程示意图。
图2为本发明提供的基于项游走图神经网络的前提选择模型的框架图。
图3为本发明提供的基于不同参数项游走图神经网络的前提选择模型的性能评估结果图。
图4为本发明提供的不同图神经网络模型的对比性能评估结果图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本实施例的一种基于项游走图神经网络的前提选择方法，如图1所示，本发明包括以下步骤：S1、基于MPTP2078问题库建立用于训练、验证和测试模型的数据集；
S2、根据数据集中逻辑公式的递归的特性，将字符型逻辑公式表示为结构化的有向无环图DAG；
S3、为了捕获更多的逻辑信息，将在解析树上被证实与逻辑公式合一性相关且可用于评估逻辑公式相似性的项游走模式拓展到了逻辑公式对应的DAG 上；
S4、基于步骤S3，设计项游走图神经网络：输入为逻辑公式对应的DAG；输出为逻辑公式对应的图特征实值向量；
S5、基于步骤S4设计前提选择模型：输入为S4输出的表示结论公式和前提公式的图向量特征实值向量对；输出为模型中二元分类器预测的前提公式对结论公式在ATP自动证明中的实值有用性得分；
S6、基于步骤S5设计用于模型训练的损失函数；
S7、判断当前迭代次数是否大于限定迭代次数：若是，则进入步骤S11；若否，则进入步骤S8；
S8、利用步骤S1中的训练数据集对S5中的模型进行训练：基于步骤S6 计算真实值与步骤S5输出的误差，通过反向传播算法将误差传播回模型的所有神经元中，最后通过梯度下降算法修正和更新模型中的所有参数，最后对训练后的模型进行保存
S9、步骤S8训练后的模型在步骤S1中验证数据集上进行验证；
S10、当前迭代次数加1，并返回步骤S7；
S11、在已保存的模型中选择在步骤S9中执行最佳(最小损失)的模型作为最优模型，并在步骤S1中测试数据集上对其精度、召回率、准确度以及F1 指标进行评估，最后结束。
本发明通过数据集的建立；字符型逻辑公式表示为结构化的有向无环图；基于图的项游走模式的拓展；基于本发明提出的图项游走模式，设计项游走图神经网络，用于把逻辑公式图编码为对应的图特征实值向量；基于本发明提出的项游走图神经网络，设计前选择方法，输出为前提公式对结论公式在ATP 自动证明中的实值有用性得分；在限定迭代次数下对本发明提出的端到端的基于项游走图神经网络的前提选择模型进行训练、验证和测试。
本发明帮助作为软件验证工具后台自动验证插件的ATP有效地解决来实际工业场景下大规模的形式化问题，且具有普遍性。
实施例2：
本实施例在实施例1的基础上做进一步优化，数据集建立的具体过程为：
数据集中每一个例子是一个三元组(结论，前提，标签)。其中，前提是给定结论的候选前提，标签是二元分类中的类别(前提有用或无用)。标签为1 的样本为正样本(+)。标签为0的样本为负样本(-)。对于数据集中每一个结论：对应的正样本中的前提来自参与其任一自动证明中的前提；对应的负样本中的前提是不参与其任意自动证明的前提且该前提在与结论的K近邻相似度排序中靠前。数据集中正样本和负样本的数量相同，且通过80％、10％、10％的划分将数据集随机地划分为训练集、验证集以及测试集。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1或2的基础上做进一步优化，对字符型逻辑公式进行图表示的具体过程为：
在一阶逻辑中，给定一个变元符号集
Figure RE-GDA0003847444670000091
一个函数符号集
Figure RE-GDA0003847444670000092
一个谓词集
Figure RE-GDA0003847444670000093
一阶逻辑项是一个变量项
Figure RE-GDA0003847444670000094
或者形如f(t1,t2,…,tn)的函数项，其中
Figure RE-GDA0003847444670000095
是n (n≥0)元函数符且t1，t2，……，tn是项。一阶逻辑原子形如p(t1,t2,…,tn)，其 中
Figure RE-GDA0003847444670000096
是n(n≥1)元谓词符且t1，t2，……，tn是项。一阶逻辑公式是由一 阶逻辑联结词
Figure RE-GDA0003847444670000097
量词
Figure RE-GDA0003847444670000098
和原子联结而成。一阶逻辑表 达式s(项、原子或公式)可被正式地递归定义为有向无环图Gs＝(Vs,Es)：① 如果s是一个变元项或常元项(零元函数项)，则Vs＝{s}，
Figure RE-GDA0003847444670000099
②如果 s＝f(s1,s2,…,sn)，其中
Figure RE-GDA00038474446700000910
且s1，s2，……，sn为子表达式，在此情 况下，
Figure RE-GDA00038474446700000911
其中H(si)表示表达 式si的最外层符号，如果s中包含相同的子表达式，则在其对应的Gs上合并相同 的子图；③如果
Figure RE-GDA00038474446700000912
其中
Figure RE-GDA00038474446700000913
且
Figure RE-GDA00038474446700000914
是包含变元x的子表达式，在此情况下，
Figure RE-GDA00038474446700000915
随后，在Gs上合并所有由量 词φ约束的变元x。此外，为了保持公式在重命名操作下的不变性，图中所有的 变元节点的名称均被统一的符号*替换。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上做进一步优化，将将项游走模式从解析树拓展到DAG上的具体过程为：
给定一个公式有向图G＝(V,E)，任意节点v∈V可能会位于项游走三元组的上部、中部或下部。即，v可能出现在三元组(v,u,w)、(u,v,w)或(u,w,v)中。正式地，令
Figure BDA0003756423740000101
包含G中节点 v位于上部的所有项游走三元组；
Figure BDA0003756423740000102
Figure BDA0003756423740000103
包含G中节点v位于中部的所有项游走三元组；
Figure BDA0003756423740000104
包含G中节点v位于下部的所有项游走三元组。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项基础上做进一步优化，如图2所示，设计的项游走图神经网络具体结构为：
完整的项游走图神经网络包含四个部分：图节点向量初始化、节点信息聚集、节点信息传播以及图聚合。
在节点向量初始化阶段，模型通过初始嵌入函数Fv将任意初始节点v的初始特征向量xv映射为初始节点状态向量
Figure BDA0003756423740000105
Figure BDA0003756423740000106
其中，
Figure BDA0003756423740000107
且
Figure BDA0003756423740000108
是输出的状态向量的维度。
在节点信息聚合阶段，分别设计不同的函数Ft、Fm以及Fb，分别针对
Figure BDA0003756423740000109
Figure BDA00037564237400001010
以及
Figure BDA00037564237400001011
对节点v进行信息聚集。模型不断地以项游走的模式聚集节点信息。项游走神经网络设计模块，用于针对被拓展到逻辑公式图上的项游走模式将逻辑公式编码为对应的实值特征向量，其中，每个图节点的初始向量是维度为dv的独热向量，Fv被实现为嵌入网络，用于将dv维的初始独热向量嵌入为
Figure BDA00037564237400001012
维的节点初始状态向量，Ft、Fm、Fb以及Fa分别被设计为由线性转化器和非线性激化函数拼接而成的多层感知机。
在第k次迭代中，节点v来自
Figure BDA00037564237400001013
的信息
Figure BDA00037564237400001014
为：
Figure BDA0003756423740000111
其中，[；]表示向量间的拼接；
Figure BDA0003756423740000112
表示
Figure BDA0003756423740000113
中三元组的数量；
Figure BDA0003756423740000114
是在第k次迭代中用于聚集来自
Figure BDA0003756423740000115
中所有三元组信息的函数。
节点v来自
Figure BDA0003756423740000116
的信息
Figure BDA0003756423740000117
为：
Figure BDA0003756423740000118
其中，
Figure BDA0003756423740000119
表示
Figure BDA00037564237400001110
中三元组的数量；
Figure BDA00037564237400001111
是在第k次迭代中用于聚集来自
Figure BDA00037564237400001112
中所有三元组信息的聚集函数。
节点v来自
Figure BDA00037564237400001113
的信息
Figure BDA00037564237400001114
为：
Figure BDA00037564237400001115
其中，
Figure BDA00037564237400001116
表示
Figure BDA00037564237400001117
中三元组的数量；
Figure BDA00037564237400001118
是在第k次迭代中用于聚集来自
Figure BDA00037564237400001119
中所有三元组信息的聚集函数。
在节点信息传播阶段，节点v来自包含其所有项游走三元组集
Figure BDA00037564237400001120
Figure BDA00037564237400001121
的总信息
Figure BDA00037564237400001122
可汇总为：
Figure BDA00037564237400001123
模型利用以上信息对节点的嵌入向量进行更新：
Figure BDA00037564237400001124
其中，
Figure BDA00037564237400001125
是节点v在第k次迭代的状态向量；
Figure BDA00037564237400001126
是用于更新节点状态向量的信息传播函数。
经过K次迭代后，TW-GNN在图聚合阶段对图中所有节点的最终状态向量进行池化。最后的生成的公式图向量表示hg为：
Figure BDA00037564237400001127
其中，
Figure BDA00037564237400001128
且AvgPool表示对所有节点的最终状态向量进行平均池化。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例6：
本实施例在上述实施例1-5任一项基础上做进一步优化，步骤S5设计二元分类器具体结构为：
分类器通过分类函数Fclass对前提在结论证明中的有用性进行预测：
z＝Fclass([hprem；hconj])
其中，hprem和hconj分别表示项游走图神经网络输出的图实值特征向量； z∈R2是候选前提对给定结论证明有用与否的对应得分。
通过softmax进行归一化，前提在该结论中有用和无用的概率
Figure BDA0003756423740000121
为：
Figure BDA0003756423740000122
其中，
Figure BDA0003756423740000123
是
Figure BDA0003756423740000124
的第i个元素；zi为z的第i个元素。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
实施例7：
本实施例在上述实施例1-6任一项基础上做进一步优化，本实施例提供了一种基于项游走图神经网络的前提选择洗头，包括数据集建立模块、逻辑公式图表示模块、项游走神经网络设计模块、二元分类器设计模块、迭代次数判断处理模块、以及模型训练、验证以及测试模块；
数据集建立模块，用于建立用于训练、验证和测试模型的数据集；
逻辑公式图表示模块，用于将字符型逻辑公式表示为结构化的有向无环图 DAG；
项游走神经网络设计模块，用于针对被拓展到逻辑公式图上的项游走模式将逻辑公式编码为对应的实值特征向量，其中，每个图节点的初始向量是维度为dv的独热向量，Fv被实现为嵌入网络，用于将dv维的初始独热向量嵌入为
Figure BDA0003756423740000125
维的节点初始状态向量，Ft、Fm、Fb以及Fa分别被设计为由线性转化器和非线性激化函数拼接而成的多层感知机；
二元分类器设计模块，用于输出前提对结论是否有用的概率，其中，Fclass同样被设计为多层感知机；
迭代次数判断处理模块，用于判断当前迭代次数是否大于限定迭代次数，在当前迭代次数大于限定迭代次数时，不再继续训练和验证模型；在当前迭代次数小于等于限定迭代次数时，继续训练和验证模型；
模型训练、验证以及测试模块，用于在Adam优化器、ReduceLROnPlateau 策略和设置的参数下对模型进行训练，模型在每个训练迭代完成后均会在验证集上进行评估并保存，最大迭代次数后，若模型在验证集的评估没有进一步的提高，则在已保存的模型中选择在验证集上执行最佳(最小损失)的模型作为最优模型，并在测试集上对其进行评估。
本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。
实施例8：
本实施例在上述实施例1-7任一项基础上做进一步优化，本发明在 MPTP2078问题库上进行了对比实验。实验所有设计的代码均使用Python实现。在模型搭建过程中，实验使用Pytorch库进行深度学习算法的实现，并使用Pytorch_Geometric库处理数据和实现实验中的对比图神经网络模型。实验使用默认设置的Adam优化器对模型进行训练，并使用Pytorch中的 ReduceLROnPlateau策略自动地调整学习率。
如图3所示，本实施例设计了9种基础模型。当节点向量维度为512且项游走图神经网络的迭代次数为2时，模型的分类准确率最佳(0.8863)。增加节点的特征大小能够在一定程度上提高前提选择模型的分类性能。为了评估项游走神经网络在前提选择任务中的优越性，本发明将其与当前流行的图神经网络进行比较。为了保证对比结果的有效性，实验只改变前提选择模型中涉及图神经网络的部分，即只将项游走神经网络替换为其他图神经网络而不改变前提选择模型的其他部分。
本实施例的其他部分与上述实施例1-7任一项相同，故不再赘述。
实施例9：
本实施例在上述实施例1-8任一项基础上做进一步优化，如图4所示，所提出的项游走图神经网络在前提选择任务中的分类准确率上明显优于目前其他流行的图神经网络模型。就准确率而言，项游走图神经网络(TW-GNN)在相同的测试集上比表现最优的GraphSAGE至少提高了2％的分类准确率。这说明以项游走模式为基础的图神经网络模型具有更强表征一阶逻辑公式的能力，且公式的逻辑属性对前提选择任务是至关重要的。除此之外，项游走图神经网络以三元组的形式对节点的状态向量进行更新。因此，在能够在每次迭代中保留更多的逻辑属性且捕获更广泛的结构信息，从而能够更快地捕获全局结构。
端到端的基于项游走神经网络的前提选择模型，能够高效地预测问题中的前提是否对参与结论在ATP中的自动证明，且能够帮助作为软件验证工具后台自动验证插件的ATP有效地解决来实际工业场景下大规模的形式化问题。
本实施例的其他部分与上述实施例1-8任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于项游走图神经网络的前提选择方法，其特征在于，包括以下步骤：
步骤S1，基于MPTP2078问题库建立用于训练、验证和测试模型的数据集；
步骤S2，根据数据集中逻辑公式的递归的特性，将字符型逻辑公式进行有向无环图DAG表示；
步骤S3、将项游走模式从解析树拓展到有向无环图DAG上；
步骤S4、设计项游走图神经网络，所述项游走图神经网络中的输入为逻辑公式对应的有向无环图DAG，输出为逻辑公式对应的图特征实值向量；
步骤S5、设计前提选择模型，所述前提选择模型的输入为步骤S4输出的图向量特征实值向量对，输出为二元分类器预测的前提公式对结论公式在ATP自动证明中的实值有用性得分；
步骤S6、基于步骤S5设计用于模型训练的损失函数；
步骤S7、判断当前迭代次数是否大于限定迭代次数：若是，则进入步骤S11；若否，则进入步骤S8；
步骤S8、利用步骤S1中的数据集对步骤S5中的前提选择模型进行训练，基于步骤S6计算真实值与步骤S5输出的误差，通过反向传播算法将误差传播回模型的所有神经元中，最后通过梯度下降算法修正和更新前提选择模型中的所有参数，最后对训练后的前提选择模型进行保存；
步骤S9、将步骤S8中训练后的模型在步骤S1中的数据集上进行验证；
步骤S10、当前迭代次数加1，并返回步骤S7；
步骤S11、在已保存的前提选择模型中选择在步骤S9中执行最小损失的模型作为最优模型，并在步骤S1中测试数据集上对其精度、召回率、准确度以及F1指标进行评估，最后结束。
2.根据权利要求1所述的一种基于项游走图神经网络的前提选择方法，其特征在于，所述步骤S1中数据集的建立过程包括：
数据集中每一个例子是一个三元组，所述三元组包括结论、前提和标签；
前提是给定结论的候选前提；
标签是二元分类中的类别，所述类别为前提有用或无用；
标签为1的样本为正样本，标签为0的样本为负样本；
数据集中每一个结论对应的正样本中的前提来自参与其任一自动证明中的前提，对应的负样本中的前提是不参与其任意自动证明的前提且该前提在与结论的K近邻相似度排序中靠前；数据集中正样本和负样本的数量相同，且通过80%、10%、10%的划分将数据集随机地划分为训练集、验证集以及测试集。
3.根据权利要求1所述的一种基于项游走图神经网络的前提选择方法，其特征在于，所述步骤S2中将字符型逻辑公式进行有向无环图表示的过程包括：
在字符型逻辑公式的一阶逻辑中，给定变元符号集、函数符号集和谓词集；
一阶逻辑表达式为一阶逻辑项、一阶逻辑原子或一阶逻辑公式；
根据数据集中逻辑公式的递归的特性将一阶逻辑表达式递归定义表示为结构化的有向无环图DAG。
4.根据权利要求1所述的一种基于项游走图神经网络的前提选择方法，其特征在于，所述步骤S3中将项游走模式从解析树拓展到有向无环图上的过程包括：
将在解析树上被证实与逻辑公式合一性相关且可用于评估逻辑公式相似性的项游走模式拓展到了逻辑公式对应的有向无环图上。
5.根据权利要求1所述的一种基于项游走图神经网络的前提选择方法，其特征在于，所述步骤S4中项游走图神经网络的包括：
所述项游走图神经网络包括图节点向量初始化阶段、节点信息聚集阶段、节点信息传播阶段以及图聚合阶段。
6.根据权利要求1所述的一种基于项游走图神经网络的前提选择方法，其特征在于，所述步骤S5中二元分类器预测的前提公式对结论公式在ATP自动证明中的实值有用性得分的过程包括：
二元分类器先通过分类函数
Figure DEST_PATH_IMAGE001
对前提在结论证明中的有用性进行预测，再通过softmax进行归一化，获取前提公式对结论公式在ATP自动证明中的实值有用和无用的概率；
所述分类函数
Figure 482595DEST_PATH_IMAGE001
被设计为多层感知机。
7.一种基于项游走图神经网络的前提选择系统，其特征在于，包括数据集建立模块、逻辑公式图表示模块、项游走神经网络设计模块、二元分类器设计模块、迭代次数判断处理模块、和模型训练、验证以及测试模块，其中：
所述数据集建立模块，用于建立用于训练、验证和测试模型的数据集；
所述逻辑公式图表示模块，用于将字符型逻辑公式表示为结构化的有向无环图DAG ；
所述项游走神经网络设计模块，用于针对被拓展到逻辑公式图上的项游走模式将逻辑公式编码为对应的图特征实值向量；
所述二元分类器设计模块，用于输出前提对结论是否有用的概率，其中，二元分类器使用的分类函数
Figure 425274DEST_PATH_IMAGE001
同样被设计为多层感知机；
所述迭代次数判断处理模块，用于判断当前迭代次数是否大于限定迭代次数，在当前迭代次数大于限定迭代次数时，不再继续训练和验证模型；在当前迭代次数小于等于限定迭代次数时，继续训练和验证模型；
所述模型训练、验证以及测试模块，用于在Adam优化器、ReduceLROnPlateau策略和设置的参数下对模型进行训练，模型在每个训练迭代完成后均会在验证集上进行评估并保存，最大迭代次数后，若模型在验证集的评估没有进一步的提高，则在已保存的模型中选择在验证集上执行最小损失的模型作为最优模型，并在测试集上对其进行评估。
CN202210862153.1A 2022-07-20 2022-07-20 一种基于项游走图神经网络的前提选择方法及系统 Active CN115204372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862153.1A CN115204372B (zh) 2022-07-20 2022-07-20 一种基于项游走图神经网络的前提选择方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210862153.1A CN115204372B (zh) 2022-07-20 2022-07-20 一种基于项游走图神经网络的前提选择方法及系统

Publications (2)

Publication Number Publication Date
CN115204372A true CN115204372A (zh) 2022-10-18
CN115204372B CN115204372B (zh) 2023-10-10

Family

ID=83584108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210862153.1A Active CN115204372B (zh) 2022-07-20 2022-07-20 一种基于项游走图神经网络的前提选择方法及系统

Country Status (1)

Country Link
CN (1) CN115204372B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997474A (zh) * 2016-12-29 2017-08-01 南京邮电大学 一种基于深度学习的图节点多标签分类方法
CN112085161A (zh) * 2020-08-20 2020-12-15 清华大学 一种基于随机信息传递的图神经网络方法
CN113822419A (zh) * 2021-09-26 2021-12-21 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法
CN114356703A (zh) * 2021-12-27 2022-04-15 中国民航信息网络股份有限公司 一种根因分析方法及装置
CN114528596A (zh) * 2020-11-21 2022-05-24 南京大学 一种基于深度学习的有向无环图区块链可扩展性增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997474A (zh) * 2016-12-29 2017-08-01 南京邮电大学 一种基于深度学习的图节点多标签分类方法
CN112085161A (zh) * 2020-08-20 2020-12-15 清华大学 一种基于随机信息传递的图神经网络方法
CN114528596A (zh) * 2020-11-21 2022-05-24 南京大学 一种基于深度学习的有向无环图区块链可扩展性增强方法
CN113822419A (zh) * 2021-09-26 2021-12-21 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法
CN114356703A (zh) * 2021-12-27 2022-04-15 中国民航信息网络股份有限公司 一种根因分析方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IBRAHIM等: ""An Experimental Study of Formula Embeddings for Automated Theorem Proving in First-Order Logic"", 《ARXIV》, pages 1 - 8 *

Also Published As

Publication number Publication date
CN115204372B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
Lu et al. Learning to pre-train graph neural networks
CN110889546B (zh) 一种基于注意力机制的交通流量模型训练方法
WO2022083624A1 (zh) 一种模型的获取方法及设备
US20200167659A1 (en) Device and method for training neural network
CN111985245A (zh) 基于注意力循环门控图卷积网络的关系提取方法及系统
CN112905801B (zh) 基于事件图谱的行程预测方法、系统、设备及存储介质
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN112434171A (zh) 一种基于强化学习的知识图谱推理补全方法及系统
CN114373101A (zh) 基于进化策略的神经网络架构搜索的图像分类方法
Zhang et al. Adaptive spatio-temporal graph convolutional neural network for remaining useful life estimation
CN112766507A (zh) 基于嵌入式和候选子图剪枝的复杂问题知识库问答方法
CN115203507A (zh) 一种面向文书领域的基于预训练模型的事件抽取方法
CN114494783A (zh) 一种基于动态图神经网络的预训练方法
Yao et al. Convolutional geometric matrix completion
CN117349494A (zh) 空间图卷积神经网络的图分类方法、系统、介质及设备
CN115204372A (zh) 一种基于项游走图神经网络的前提选择方法及系统
CN115238874A (zh) 一种量化因子的搜索方法、装置、计算机设备及存储介质
CN112307914B (zh) 一种基于文本信息指导的开放域图像内容识别方法
CN114818682A (zh) 基于自适应实体路径感知的文档级实体关系抽取方法
CN116805384A (zh) 自动搜索方法、自动搜索的性能预测模型训练方法及装置
Madbouly et al. Interval type-2 fuzzy logic using genetic algorithm to reduce redundant association rules
CN113298233A (zh) 一种基于代理模型的渐进式深度集成架构搜索方法
CN113051353A (zh) 一种基于注意力机制的知识图谱路径可达性预测方法
CN111882124A (zh) 一种基于生成对抗模仿学习的同质平台发展效应预测方法
Vai et al. Representing knowledge by neural networks for qualitative analysis and reasoning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant