CN117853039A - 制度条款相关性判断方法及装置 - Google Patents

Abstract

本发明公开了一种制度条款相关性判断方法及装置，该方法包括：收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注；根据所述上下级制度条款对、以及标注信息生成训练数据集；利用所述训练数据集训练基于大模型的制度条款相关性判断模型；利用所述制度条款相关性判断模型确定上下级制度条款的相关性。利用本发明方案，可以提高上下级制度条款相关性判断结果的准确性，为审计工作提供有效的技术支撑，提升审计工作效率。

Description

制度条款相关性判断方法及装置

技术领域

本发明涉及信息处理技术领域，具体涉及一种制度条款相关性判断方法及装置。

背景技术

公司制度是对公司经营管理事项进行计划、组织、协调、指挥、控制的专门文书，对公司的授权、管理和监督具有重要意义。上级公司和下级公司都有自己针对公司情况制定的制度。上级制度是组织或机构中处于较高层次的管理和指导制度，包括对下级组织或个体的领导、指导、决策等方面的规定。下级制度是组织中处于较低层次的管理和执行制度，涉及对下级组织或个体的责任、任务、执行流程等方面的规定。下级制度在设计时应符合上级制度要求，具备全面性、有效性和统一性。然而，在上级单位对下级单位开展的审计项目中，可能会发现一些问题。例如，下级单位可能在下级制度中放宽了上级制度要求，导致业务管理不合规；下级单位可能因为内部控制体系不完善，未能有效按照上级制度要求管理业务；下级单位可能错误解读或误解上级制度要求，导致实际操作中存在不合规情况。

为了确保公司的经营管理符合规范要求，通常需要进行审计过程，对上下级制度的合规性和一致性进行审查，发现是否存在上述问题。通常，为了找到审计线索，需要先找相关的上下级条款，但是一篇制度当中，会存在很多的条款，上下级条款的一一比对，量级会非常庞大，所以需要先找到相关性高的上下级制度条款。

现有技术中，对于上下级制度条款相关性判断通常采用基于分词、规则匹配的方式，或者是通过深度学习，学习上下级语义关系来判断。

基于规则的方式判断句子相关性需要事先定义好特定的规则和逻辑，但这些规则往往基于人工定义的规则集，并不能充分覆盖所有可能的语义相似性情况，导致判断结果的有限性。而且自然语言具有多义性、语义上下文相关性和语义关联等复杂性质，规则难以充分捕捉到这些复杂性，因此无法准确判断句子的相关性。

基于深度学习比如BERT模型进行句子相关性判断需要大量的标注数据进行训练，这要求有足够数量和质量的相关性标注数据集。然而，标注这样的数据集是一项昂贵和耗时的任务。并且训练好的BERT模型在特定的任务上表现出色，但在不同领域或不同类型的数据上的迁移能力有限，需要针对特定领域或任务进行模型微调或重新训练。

发明内容

本发明提供一种制度条款相关性判断方法及装置，以提高上下级制度条款相关性判断结果的准确性，为审计工作提供有效的技术支撑，提升审计工作效率。

为此，本发明提供如下技术方案：

一种制度条款相关性判断方法，所述方法包括：

收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注；

根据所述上下级制度条款对、以及标注信息生成训练数据集；

利用所述训练数据集训练基于大模型的制度条款相关性判断模型；

利用所述制度条款相关性判断模型确定上下级制度条款的相关性。

可选地，所述方法还包括：

确定与审计项目对应的提示词；

所述根据所述上下级制度条款对、以及标注信息生成训练数据集包括：

根据所述提示词、所述上下级制度条款对、标注信息生成训练数据集。

可选地，所述大模型包括：ChatGLM2-6B模型。

可选地，所述利用所述训练数据集训练基于大模型的制度条款相关性判断模型包括：将所述训练数据集中数据输入ChatGLM2-6B模型进行训练，并使用P-Tuning v2方式对模型进行微调。

可选地，所述方法还包括：

利用测试数据集对所述制度条款相关性判断模型进行评估；

如果未达到设定的评估指标，则继续对所述制度条款相关性判断模型进行训练。

可选地，所述评估指标包括以下任意一项或多项：准确率、召回率、F1值。

一种制度条款相关性判断装置，所述装置包括：

数据获取模块，用于收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注；

数据集生成模块，用于根据所述上下级制度条款对、以及标注信息生成训练数据集；

模型训练模块，用于利用所述训练数据集训练基于大模型的制度条款相关性判断模型；

相关性判断模块，用于利用所述制度条款相关性判断模型确定上下级制度条款的相关性。

可选地，所述装置还包括：

设置模块，用于确定与审计项目对应的提示词；

所述数据集生成模块根据所述提示词、所述上下级制度条款对、标注信息生成训练数据集。

可选地，所述模型训练模块，具体用于将所述训练数据集中数据输入ChatGLM2-6B模型进行训练，并使用P-Tuning v2方式对模型进行微调。

可选地，所述装置还包括：评估模块，用于利用测试数据集对所述制度条款相关性判断模型进行评估，在确定未达到设定的评估指标的情况下，触发所述模型训练模块继续对所述制度条款相关性判断模型进行训练。

本发明提供的制度条款相关性判断方法及装置，利用能力更强的大模型，结合业务场景，训练基于大模型的制度条款相关性判断模型，从而可以更加准确地提升审计制度条款相关性判断结果的准确性。

进一步地，利用ChatGLM2-6B大模型自身强大的理解能力，在训练标注时只需要少量的标注数据，减轻了审计人员对海量条款标注的工作，不仅使审计制度条款相关性判断更加准确，而且大大提高了审计工作效率。

附图说明

图1是本发明提供的制度条款相关性判断方法的一种流程图；

图2是本发明提供的制度条款相关性判断装置的一种结构示意图；

图3是本发明提供的制度条款相关性判断装置的另一种结构示意图；

图4是本发明提供的制度条款相关性判断装置的另一种结构示意图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，是本发明提供的制度条款相关性判断方法的一种流程图，包括以下步骤：

步骤101，收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注。

在具体应用中，可以收集几千条上下级制度条款，由专业人员标注上下级制度条款的相关性，进一步地，还可对标注信息进行复核，以确保数据标注规范的一致性和标注结果的准确性。

上下级制度及相关性标注信息举例如下表1所示。

表1

步骤102，根据所述上下级制度条款对、以及标注信息生成训练数据集。

具体地，可以将上下级制度条款进行拼接作为输入信息，将标注信息作为输出信息，每一条输入信息和输出信息作为一个训练数据样本，生成训练数据集。

步骤103，利用所述训练数据集训练基于大模型的制度条款相关性判断模型。

在本发明实施例中，可以利用现有的AI（Artificial Intelligence，人工智能）大模型，在大模型的基础上，利用上述步骤102中生成的训练数据集进行特定领域的训练，对模型参数进行优化，使AI大模型适应该特定领域的应用。

随着ChatGPT（Chat Generative Pre-trained Transformer）等生成式模型的兴起，大模型能够理解和处理更复杂的语义关系，可以捕捉句子之间的细微差异和隐含的语义信息，从而更准确地判断句子的相关性。为此，本发明制度条款相关性判断方法中，可以选用ChatGPT这类大模型。

比如，在一种非限制性实施例中，选用ChatGLM-6B模型，训练基于ChatGLM-6B的制度条款相关性判断模型。

ChatGLM-6B模型是一个开源的、支持中英双语问答的对话语言模型，基于GLM（General Language Model，通用语言模型）架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。

ChatGLM-6B使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。

为了使模型经过训练更适应审计领域，还可以确定与审计项目对应的提示词（Prompt），根据所述提示词、所述上下级制度条款对、标注信息生成训练数据集，即将所述提示词、上下级制度条款进行拼接作为输入信息，将标注信息作为输出信息，每一条输入信息和输出信息作为一个训练数据样本，生成训练数据集。

Prompt是指用户在发起对话时输入的初始消息，作为与模型进行交互的起点。用户输入的Prompt可以是一个问题、一句话、一段话，也可以是一个完整的对话历史。模型会基于该Prompt生成一个回复，并随后不断地和用户进行交互，生成连续的对话。一个好的Prompt不仅可以提供具体和清晰的问题或请求，更能够帮助大模型生成相关和有价值的回答。

Prompt可以是由人工引入的额外词汇，也可以是引入模型嵌入层的AI生成的数字。比如，在本发明实施例中，Prompt可以是经过几轮实验之后人工确定的，每一次不同的Prompt训练完模型之后，都会拿一批测试数据去人工评估结果，看哪一种Prompt的提问回答更贴近业务真实的效果，从而选出合适的Prompt。

训练数据集中的每个训练数据样本包括输入信息和输出信息，并处理成ChatGLM2-6B大模型输入问答的形式。

比如，输入信息和输出信息如下表2所示 ：

表2

输入	我想让你充当制度审计（审查）员，我会给你上下级制度两段话，你只需要回答两句话是相关或者不相关，“第一段话上级制度是：“xxx”，第二段话下级制度是：xxx”
		输出	相关/不相关

利用训练数据集中的训练数据样本训练基于ChatGLM2-6B的制度条款相关性判断模型。通过长时间的模型训练、参数的不断优化，让大模型学习上下级条款的相关性。

在模型训练时，比如可以设置如下表3中的参数：

表3

当然，上述表3中各参数的取值只是一种示例性说明，对其本发明实施例并不做具体限定，可以根据实际需要选取合适的参数值。

随着大模型的参数日益增大，大到消费级计算硬件已经难以对大模型全部参数进行微调，每一次全参微调更新参数规模与预训练模型的大小一致，这对下游进行独立任务开发和部署微调模型变得越来越昂贵和艰难。

为此，在模型训练过程中，需要将所述训练数据集中的数据输入ChatGLM2-6B模型进行训练，并使用P-Tuning v2（Prompt-tuning，提示调整）方式对模型进行微调。

P-Tuning 是一种基于预训练模型的微调方法，它的核心思想是在预训练模型的基础上，通过对特定任务进行微调，提高模型在该任务上的性能。

P-Tuning 的原理是通过在预训练模型中加入任务特定的标记，再通过对这些标记进行微调，从而提高模型的性能。P-Tuning是调整输入提示（input prompt）而非修改模型参数，这意味着预训练模型保持不变，只有输入提示被修改以适应下游的任务。通过设计和优化一组提示词，可以使预训练模型执行特定任务。

在P-Tuning中，连续提示被插入到输入序列的embedding里，除了语言模型的输入层之外，其他层的prompt embddding都来自于上一层。这样的设计存在两个问题：

第一、约束了要优化的参数量。由于模型的input text的长度是一定的，一般是512，那么prompt的长度就不能过于长。

第二、当模型层数很深时，tuning时模型的稳定性难以保证；模型层数越深，在第一层输入的prompt对后面的影响是难以预估的，这会影响模型的稳定性。

P-Tuning v2的改进在于，将只在第一层插入连续提示修改为在许多层都插入连续提示，而不仅仅是输入层，层与层之间的连续提示是相互独立的。这样一来，在模型tuning时，可训练的参数就增多了，P-Tuning v2在应对复杂的自然语言理解任务和小型模型方面，相比原始P-Tuning具有更出色的效能。

步骤104，利用所述制度条款相关性判断模型确定上下级制度条款的相关性。

进一步地，为了保证训练得到的制度条款相关性判断模型的性能，还可以利用测试数据集对所述制度条款相关性判断模型进行评估；如果未达到设定的评估指标，则继续对所述制度条款相关性判断模型进行训练，直至达到设定的评估指标。

比如，在上述步骤102中生成训练数据集，从中划分出一部分样本数据作为测试集。利用测试集中的样本数据对训练得到的制度条款相关性判断模型进行测试。具体地，将各样本数据输入该模型，分别统计评估结果正确和错误的数量，根据统计结果计算以下任意一项或多项：准确率、召回率、F1值。其中，F1值 = 准确率 ×召回率 × 2 / (准确率 +召回率)。

根据上述一项或多项可以确定模型的性能是否达到应用需求。如果未达到，可以继续对其进行训练，从而保证模型的性能。

本发明提供的制度条款相关性判断方法，利用能力更强的大模型，结合业务场景，训练基于AI（Artificial Intelligence，人工智能）大模型的制度条款相关性判断模型，从而可以更加准确地提升审计制度条款相关性判断结果的准确性。

进一步地，利用ChatGLM2-6B大模型自身强大的理解能力，在训练标注时只需要少量的标注数据，减轻了审计人员对海量条款标注的工作，不仅使审计制度条款相关性判断更加准确，而且大大提高了审计工作效率。

利用本发明方案，可以准确判断上下级制度条款是否存在相关性，从而可以过滤掉大部分不相关的制度条款，减少后续制度比对线索输出的计算量，提升公司制度管理水平，为业务合规发展提供技术保障。

相应地，本发明还提供一种制度条款相关性判断装置，如图2所示，是该装置的一种结构示意图。

该制度条款相关性判断装置200包括以下各模块：

数据获取模块201，用于收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注；

数据集生成模块202，用于根据所述上下级制度条款对、以及标注信息生成训练数据集；

模型训练模块203，用于利用所述训练数据集训练基于大模型的制度条款相关性判断模型；

相关性判断模块，用于利用所述制度条款相关性判断模型确定上下级制度条款的相关性。

在一种非限制性实施例中，所述大模型包括：ChatGLM2-6B模型。

相应地，如图3所示，制度条款相关性判断装置200还可包括：设置模块205，用于确定与审计项目对应的提示词。

相应地，该实施例中，数据集生成模块202可以根据所述提示词、所述上下级制度条款对、标注信息生成训练数据集。

相应地，模型训练模块203将所述训练数据集中数据输入ChatGLM2-6B模型进行训练，并使用P-Tuning v2方式对模型进行微调。

如图4所示，是本发明提供的制度条款相关性判断装置的另一种结构示意图。

该实施例中，所述制度条款相关性判断装置200还进一步包括：评估模块206，用于利用测试数据集对所述制度条款相关性判断模型进行评估，在确定未达到设定的评估指标的情况下，触发所述模型训练模块203继续对所述制度条款相关性判断模型进行训练。

关于上述本发明制度条款相关性判断装置中各模块及单元的其它说明可参见前面本发明方法实施例中的相应描述，在此不再赘述。

本发明提供的制度条款相关性判断装置，利用能力更强的大模型，结合业务场景，训练基于AI大模型的制度条款相关性判断模型，从而可以更加准确地提升审计制度条款相关性判断结果的准确性。

上下级制度条款相关性判断是企业的一项重要内部审计工作，利用本发明方案，可以全面提升制度在上下级条款比对相关性判断时的工作质量，提升审计工作效率。

本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图1中所示方法的部分或全部步骤。所述存储介质可以包括只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、磁盘或光盘等。存储介质还可以包括非挥发性存储器（non-volatile）或者非瞬态（non-transitory）存储器等。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块和单元可以是或者也可以不是物理上分开的，即可以位于一个网络单元上，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种制度条款相关性判断方法，其特征在于，所述方法包括：

收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注；

根据所述上下级制度条款对、以及标注信息生成训练数据集；

利用所述训练数据集训练基于大模型的制度条款相关性判断模型；

利用所述制度条款相关性判断模型确定上下级制度条款的相关性。

2.根据权利要求1所述的制度条款相关性判断方法，其特征在于，所述方法还包括：

确定与审计项目对应的提示词；

所述根据所述上下级制度条款对、以及标注信息生成训练数据集包括：

根据所述提示词、所述上下级制度条款对、标注信息生成训练数据集。

3.根据权利要求1所述的制度条款相关性判断方法，其特征在于，所述大模型包括：ChatGLM2-6B模型。

4.根据权利要求3所述的制度条款相关性判断方法，其特征在于，所述利用所述训练数据集训练基于大模型的制度条款相关性判断模型包括：

将所述训练数据集中数据输入ChatGLM2-6B模型进行训练，并使用P-Tuning v2方式对模型进行微调。

5.根据权利要求1至4任一项所述的制度条款相关性判断方法，其特征在于，所述方法还包括：

利用测试数据集对所述制度条款相关性判断模型进行评估；

如果未达到设定的评估指标，则继续对所述制度条款相关性判断模型进行训练。

6.根据权利要求5所述的制度条款相关性判断方法，其特征在于，所述评估指标包括以下任意一项或多项：准确率、召回率、F1值。

7.一种制度条款相关性判断装置，其特征在于，所述装置包括：

数据获取模块，用于收集上下级制度条款对，并对所述上下级制度条款对进行相关性标注；

数据集生成模块，用于根据所述上下级制度条款对、以及标注信息生成训练数据集；

模型训练模块，用于利用所述训练数据集训练基于大模型的制度条款相关性判断模型；

相关性判断模块，用于利用所述制度条款相关性判断模型确定上下级制度条款的相关性。

8.根据权利要求7所述的制度条款相关性判断装置，其特征在于，所述装置还包括：

设置模块，用于确定与审计项目对应的提示词；

所述数据集生成模块根据所述提示词、所述上下级制度条款对、标注信息生成训练数据集。

9.根据权利要求7所述的制度条款相关性判断装置，其特征在于，

所述模型训练模块，具体用于将所述训练数据集中数据输入ChatGLM2-6B模型进行训练，并使用P-Tuning v2方式对模型进行微调。

10.根据权利要求7至9任一项所述的制度条款相关性判断装置，其特征在于，所述装置还包括：

评估模块，用于利用测试数据集对所述制度条款相关性判断模型进行评估，在确定未达到设定的评估指标的情况下，触发所述模型训练模块继续对所述制度条款相关性判断模型进行训练。