CN116775879A - 大语言模型的微调训练方法、合同风险评审方法及系统 - Google Patents

大语言模型的微调训练方法、合同风险评审方法及系统 Download PDF

Info

Publication number
CN116775879A
CN116775879A CN202310784229.8A CN202310784229A CN116775879A CN 116775879 A CN116775879 A CN 116775879A CN 202310784229 A CN202310784229 A CN 202310784229A CN 116775879 A CN116775879 A CN 116775879A
Authority
CN
China
Prior art keywords
review
contract
template
initial
regulations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310784229.8A
Other languages
English (en)
Inventor
曹金磊
王佳楠
陈江义
毛俊杰
汪茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Supcon Technology Co Ltd
Original Assignee
Zhejiang Supcon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Supcon Technology Co Ltd filed Critical Zhejiang Supcon Technology Co Ltd
Priority to CN202310784229.8A priority Critical patent/CN116775879A/zh
Publication of CN116775879A publication Critical patent/CN116775879A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Technology Law (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及大语言模型的微调训练方法、合同风险评审方法及系统，所述大语言模型用于对合同文件进行合同风险评审；所述微调训练方法包括：S10、获取历史评审数据并进行预处理，得到训练数据集；所述历史评审数据包括历史合同文件、与所述历史合同文件关联的历史评审结果；所述训练数据集包括：基于所述历史合同文件中提取的初始条例生成的训练query、基于所述初始条例的历史评审结果生成的训练answer；S20、基于所述训练数据集对所述大语言模型进行微调训练，得到微调训练后的大语言模型。本发明的方法能够提升合同风险评审精度和效率。

Description

大语言模型的微调训练方法、合同风险评审方法及系统
技术领域
本发明涉及合同风险评审技术领域，尤其涉及大语言模型的微调训练方法、合同风险评审方法及系统。
背景技术
合同是民事主体之间设立、变更、终止民事法律关系的协议。在合同流程的各个阶段，合同的相关方往往需要对合同进行阅读评审以确定合同中的条款符合相关方的意愿且符合法律和行业规定，以规避潜在的法律风险。
传统的合同风险评审方法是将合同文件内容显示出来供管理员审阅，其操作方式通常是采用人工评审合同的内容，这种方式增加了管理员的劳动强度，长期的审阅容易导致人员疲劳，出现错误。由于审核的工作量巨大，合同评审工作的效率低下，而且工作质量也受到了人员的专业素质以及经验阅历的影响。
一些现有技术提供的产品通过使用人工智能来解决上述问题，其一般使用传统的机器学习和深度学习算法，利用NLP(Natural Language Processing，自然语言处理)作为技术手段，对人工的合同风险评审起到一定的辅助作用，但是由于其效率不高，精准度低，反馈结果呆板，因而饱受用户诟病。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种大语言模型的微调训练方法、合同风险评审方法及系统，其解决了现有技术中，合同评审工作效率和精准度较低的技术问题。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种大语言模型(Large Language Model，LLM)的微调训练方法，所述大语言模型用于对合同文件进行合同风险评审；所述微调训练方法包括：
S10、获取历史评审数据并进行预处理，得到训练数据集；
所述历史评审数据包括历史合同文件、与所述历史合同文件关联的历史评审结果；
所述训练数据集包括：基于所述历史合同文件中提取的初始条例生成的训练query、基于所述初始条例的历史评审结果生成的训练answer；
S20、基于所述训练数据集对所述大语言模型进行微调训练，得到微调训练后的大语言模型。
可选地，所述S10包括：
S101、获取历史评审数据；
S102、对所述历史评审数据中的历史合同文件进行段落分割处理，得到多个初始段落作为初始条例；
S103、使用统计模型对所述初始条例进行特征提取处理，得到与所述初始条例关联的初始条例向量；
S104、基于所述初始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量，将所述模板条例向量关联的模板条例对应的评审类别，作为所述初始条例的评审类别；
其中，所述合同模板条例库包括多个模板条例，以及每个模板条例关联的模板条例向量和评审类别；所述合同模板条例库基于预先的构建过程得到；
所述评审类别包括：需要进行合同风险评审的待评审类、不需要进行合同风险评审的非评审类；
S105、筛选所有待评审类的初始条例，基于该初始条例，根据预先定义的prompt(提示词)模板生成训练query，并基于该初始条例对应的历史评审结果，生成该训练query关联的训练answer；
S106、集合所有的训练query和关联的训练answer，作为训练数据集。
可选地，在S104中，所述构建过程包括：
S104-1、获取标准合同模板数据；所述标准合同模板数据包括多个标准模板合同文件；
S104-2、对所述标准模板合同文件进行段落分割处理，得到多个模板段落作为模板条例；
S104-3、根据预先定义的合同风险评审策略确定所述模板条例的评审类别；以及，使用统计模型对所述模板条例进行特征提取处理，得到该模板条例关联的模板条例向量。
可选地，在S104中，所述余弦距离基于余弦距离公式计算得到；所述余弦距离公式为：
其中，表示初始条例向量和模板条例向量的余弦距离，/>表示初始条例向量，/>表示模板条例向量，/>表示初始条例向量的2-范数，/>表示模板条例向量的2-范数。
可选地，所述统计模型为：完成训练的、具有适配模型参数的TF-IDF(TermFrequency-Inverse Document Frequency，词频-逆向文档频率)模型。
可选地，所述历史评审结果包括：风险级别、具体评审内容；
其中，所述具体评审内容为历史评审结果中管理员提交的历史评价文本中的内容。
可选地，所述预定义的prompt模板为：
{query：当前任务为合同评审实例，请根据[初始条例]条款，回答对应的情况，要求结果包括风险级别和具体评审内容}；
其中，所述初始条例为对应的初始段落原文。
可选地，所述大语言模型为完成预训练的ChatGPT(Chat Generative Pre-trained Transformer，OpenAI机构研发的聊天机器人程序)模型或ChatGLM(Chat GeneralLanguage Model，智谱AI研发的一个生成式对话模型)模型。
第二方面，本发明实施例提供一种合同风险评审方法，用于基于第一方面所述的微调训练后的大语言模型进行评审，所述评审方法包括：
T10、获取待评审的合同文件；
T20、对所述待评审的合同文件进行段落分割处理，得到多个原始条例；
T30、使用统计模型对所述原始条例进行特征提取处理，得到与所述原始条例关联的原始条例向量；
T40、基于所述原始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量；将所述模板条例向量关联的模板条例对应的评审类别，作为所述原始条例的评审类别；
所述评审类别包括：需要进行合同风险评审的待评审类、不需要进行合同风险评审的非评审类；
T50、对于待评审类的原始条例，基于该原始条例，根据预先定义的prompt模板生成query，将所述query输入微调训练后的大语言模型，得到评审结果。
第三方面，本发明实施例提供一种合同风险评审系统，包括：
业务员端，用于接收业务员上传的待评审的合同文件；
合同管理平台，用于获取所述待评审的合同文件并进行初次合同风险评审，得到初次评审结果；
管理员端，用于从合同管理平台获取所述待评审的合同文件和初次评审结果并展示，以使管理员对所述待评审的合同文件进行二次合同风险评审；
其中，所述合同风险评审模块基于第二方面所述的合同风险评审方法进行初次风险评审。
(三)有益效果
在本发明实施例提出的微调训练方法，由于使用的训练数据集是基于历史合同文件及其关联的历史评审结果生成的，通过使用该训练数据集对完成预训练的大语言模型进行有监督的微调训练，能够使得微调训练后的大语言模型具有对合同文件中的条例进行评审的能力，从而能够针对合同风险评审场景，为管理员提供精准度更高的评审结果，使得管理员在进行兜底的二次合同风险评审时的工作量大幅下降，从而有效提高合同风险评审工作的效率。
本发明实施例提出的合同风险评审方法和系统，基于上述针对合同风险评审场景下微调训练后的大语言模型，能够对合同文件进行全面自动的评审，防范疏漏和风险，统一评审标准，从而解决人工进行的合同风险评审工作量大、错误难以避免的现状，提升合同风险评审精度，提高合同风险评审效率，并且利用其拟人化的特性，提升管理员的评审体验。
附图说明
图1为实施例中提供的一种大语言模型的微调训练方法的流程示意图；
图2为实施例中提供的步骤S10的流程示意图；
图3为实施例中提供的一种合同风险评审方法的流程示意图；
图4为实施例中提供的一种合同风险评审系统的架构示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本发明实施例提供的大语言模型的微调训练方法、合同风险评审方法及系统，基于大语言模型本身识别精度高和拟人化的特性，针对合同风险评审场景进行微调训练，从而使得微调训练后的大语言模型能够辅助管理员精准高效地进行合同风险评审工作。
本发明实施例提供的合同风险评审系统，基于上述微调训练后的大语言模型，在业务员上传待评审的合同文件后，管理员只需基于初次评审结果进行兜底的二次评审即可。相较于现有的人工评审方法和基于人工智能提供辅助信息的半人工评审方法，本发明的合同风险评审系统具有更高的自动化程度和更少的人工评审工作量，从而使得合同风险评审工作更为精准高效。
为了更好地理解上述技术方案，对本发明实施例中涉及的技术术语解释如下：
大语言模型(Large Language Model，LLM)：一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务。
自然语言处理(Natural Language Processing，NLP)：计算机科学领域与人工智能领域中的一个重要研究方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
有监督训练：又称监督学习，是一个机器学习中的方法，可以由训练数据中学到或建立一个模式(函数/learning model)，并依此模式推测新的实例。训练数据是由输入数据(通常是向量)和预期输出所组成。预期输出可以是一个连续的值(称为回归分析)，也可以是预测的一个分类标签(称作分类)。
Token语言单元：在自然语言处理中，通常会将句子切分成一小块一小块的单元，这些小块单元就被称为“Token”。有时候一个字母可以是一个“Token”，有时候一个单词可以是一个“Token”，在中文中往往一个字代表一个“Token”。无论将什么作为一个"Token"，它们的共同特征是它们都是表达了某种意义的符号。
Prompt设计：Prompt设计是一种人机交互的设计方法，即在一个特定的环境下，为用户提供明确和清晰的提示信息来引导他们完成某个任务或操作。这种设计方法可以适用于各种场景，如软件界面、网站、移动应用等。通过使用有效的提示，可以帮助用户更轻松地完成任务，减少犯错的可能性，提高用户体验。
TD-IDF模型：TD-IDF是一种常用于文本分析、信息检索和文本特征提取的模型，全称为“词频-逆向文档频率”(Term Frequency-Inverse Document Frequency)。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一
本实施例提供一种大语言模型的微调训练方法，所述大语言模型用于对合同文件进行合同风险评审。本实施例的微调训练方法可在任一电子设备上实现，所述电子设备具体可为计算机设备。如图1所示，所述微调训练方法包括：
S10、获取历史评审数据并进行预处理，得到训练数据集。
所述历史评审数据包括：历史合同文件、与所述历史合同文件关联的历史评审结果。
所述训练数据集包括：基于所述历史合同文件中提取的初始条例生成的训练query、基于所述初始条例的历史评审结果生成的训练answer。
较佳地，所述历史合同文件为文档格式的。若初始获得的历史文件合同为扫描纸质合同文件获得的图片格式的历史合同文件，可在执行步骤S10前，使用图片文字转换工具，将所述图片格式的历史合同文件转换为文档格式。
进一步具体的，所述历史评审结果包括：风险级别、具体评审内容。其中，所述具体评审内容为历史评审结果中管理员提交的历史评价文本中的内容。所述风险等级可进一步包括：高风险、中风险、低风险、无风险。此外，为了进一步提高训练数据集中数据的准确度，所述历史评审结果可为最近一次法律条文、内部规定或政策更新后产生的评审结果。
S20、基于所述训练数据集对所述大语言模型进行微调训练，得到微调训练后的大语言模型。
具体地，所述大语言模型为完成预训练的ChatGPT模型或ChatGLM模型。
为了方便理解上述大语言模型，本发明实施例对大语言模型的工作原理说明如下：
此类模型的工作过程类似于“文字接龙”，即基于用户输入和模型的前序输出，不断预测下一个token(语言单元)，进而最终生成出一个文本序列，可参见下例：
以合同风险评审为例，假设待评审的合同文件中的某一待评审的原始条例为“合同价款及付款方式：本合同总金额为160000元，本合同生效后一周内，买方应向卖方支付合同总额80％的预付款”，将上述原始条例转化为“query”：“当前任务为合同评审实例，请根据“合同价款及付款方式：本合同总金额为160000元，本合同生效后一周内，买方应向卖方支付合同总额80％的预付款”条款，回答对应的情况，要求结果包括风险级别和具体的评审内容”，那么其预测的结果为“高风险；预付款80％不合理”，将该结果定义为“answer”。大语言模型模型是基于“query”的内容，按照下述步骤依次预测，生成最终“answer”的：
Query-->高
Query+高-->风
Query+高风-->险
Query+高风险-->；
Query+高风险；-->预
Query+高风险；预-->付
Query+高风险；预付-->款
Query+高风险；预付款-->8
Query+高风险；预付款8-->0
Query+高风险；预付款80-->％
Query+高风险；预付款80％-->不
Query+高风险；预付款80％不-->合
Query+高风险；预付款80％不合-->理
即对大语言模型输入“query”，大语言将会返回对应的“answer”作为评审结果。
在本发明实施例提出的微调训练方法，由于使用的训练数据集是基于历史合同文件及其关联的历史评审结果生成的，通过使用该训练数据集对完成预训练的大语言模型进行有监督的微调训练，能够使得微调训练后的大语言模型具有对合同文件中的条例进行评审的能力，从而能够针对合同风险评审场景，为管理员提供精准度更高的评审结果，使得管理员在进行兜底的二次合同风险评审时的工作量大幅下降，从而有效提高合同风险评审工作的效率。
实施例二
为了更好地理解实施例一中的步骤S10，本实施例基于步骤S10包括的子步骤进行详细说明。如图2所示，步骤S10包括子步骤S101至S106：
S101、获取历史评审数据。
S102、对所述历史评审数据中的历史合同文件进行段落分割处理，得到多个初始段落作为初始条例。所述段落分割处理可基于现有的机器学习模型、深度学习模型实现，或者已知的其他段落分割工具实现。
S103、使用统计模型对所述初始条例进行特征提取处理，得到与所述初始条例关联的初始条例向量。
较佳地，上述所述统计模型为：完成训练的、具有适配模型参数的TF-IDF模型。
此外，上述统计模型还可为平权统计模型、one-hot编码向量化模型、word2vec模型等。
S104、基于所述初始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量，将所述模板条例向量关联的模板条例对应的评审类别，作为所述初始条例的评审类别。
其中，所述合同模板条例库包括多个模板条例，以及每个模板条例关联的模板条例向量和评审类别；所述合同模板条例库基于预先的构建过程得到。
所述评审类别包括：需要进行合同风险评审的待评审类、不需要进行合同风险评审的非评审类。
具体地，上述余弦距离基于余弦距离公式计算得到；所述余弦距离公式为：
其中，表示初始条例向量和模板条例向量的余弦距离，/>表示初始条例向量，/>表示模板条例向量，/>表示初始条例向量的2-范数，/>表示模板条例向量的2-范数。
S105、筛选所有待评审类的初始条例，基于该初始条例，根据预先定义的prompt模板生成训练query，并基于该初始条例对应的历史评审结果，生成该训练query关联的训练answer。
具体地，所述预定义的prompt模板为：
{query：当前任务为合同评审实例，请根据[初始条例]条款，回答对应的情况，要求结果包括风险级别和具体评审内容}；
其中，所述初始条例为对应的初始段落原文。
S106、集合所有的训练query和关联的训练answer，作为训练数据集。
在本实施例的一种较佳的实施方案中，在S104中，所述构建过程包括子步骤S104-1至S104-3：
S104-1、获取标准合同模板数据；所述标准合同模板数据包括多个标准模板合同文件。
S104-2、对所述标准模板合同文件进行段落分割处理，得到多个模板段落作为模板条例。
S104-3、根据预先定义的合同风险评审策略确定所述模板条例的评审类别；以及，使用统计模型对所述模板条例进行特征提取处理，得到该模板条例关联的模板条例向量。
其中，上述预先定义的合同风险评审策略可根据实际需求进行设定，例如，其可预先根据历史合同文件中每个类似的初始条例是否有对应的历史评审结果来确定。对于一条具体的模板条例，查找其所有类似的初始条例，判断所有类似的初始条例中是否存在对应的历史评审结果，若存在，则判定该模板条例的评审类别为待评审类。又例如，上述预先定义的合同风险评审策略可通过配置文件实现，所述配置文件包括多条模板条例，以及每条模板条例对应的评审类别。
为了更好地理解上述S10子步骤的具体内容，本实施例还基于具体的实例进行说明如下：
例如，一份历史合同文件包括以下内容：
1、企业简介：某企业是……(该企业的介绍内容)；
2、合同价款及付款方式：本合同总金额为160000元，本合同生效后一周内，买方应向卖方支付合同总额80％的预付款。
第2条对应的历史评审结果为：“高风险；预付款80％不合理”。其中，“高风险”为风险等级，“预付款80％不合理”为具体评审内容。
则本实施例中基于步骤S101至S103对历史合同文件进行段落分割处理和特征提取处理，可以得到关于“企业简介”的第一初始条例及关联的第一初始条例向量、关于“合同价款及付款方式”的第二初始条例及关联的第二初始条例向量。
基于本实施例中的步骤S104，基于第一初始条例向量查找合同模板条例库，得到与第一初始条例向量的余弦距离最近的第一模板条例向量，也即合同模板条例库中与第一初始条例的内容最为接近的模板条例向量。第一模板条例向量关联的评审类型为非评审类，则确定第一初始条例的评审类型也为非评审类。同理，基于第二初始条例向量查找合同模板条例库，得到与第二初始条例向量的余弦距离最近的第二模板条例向量，第二模板条例向量关联的评审类型为待评审类，则确定第二初始条例的评审类型也为待评审类。
基于本实施例中的步骤S105，对于评审类型为待评审类的第二初始条例，基于第二初始条例，根据预先定义的prompt模板生成的训练query为：{query:当前任务为合同评审实例，请根据“合同价款及付款方式：本合同总金额为160000元，本合同生效后一周内，买方应向卖方支付合同总额80％的预付款”条款，回答对应的情况，要求结果包括风险级别和具体的评审内容}。基于第二初始条例对应的历史评审结果“高风险；预付款80％不合理”，生成的训练answer为：{Answer：高风险；预付款80％不合理}。上述训练query和训练answer共同构成一条训练数据。
重复执行步骤S105，即可得到该历史合同文件中所有待评审类的初始条例对应的训练数据。
基于步骤S106即可集合所有的训练数据，形成训练数据集。
实施例三
本实施例提供一种合同风险评审方法，用于基于实施例一或二中所述的微调训练后的大语言模型进行评审。如图3所示，所述评审方法具体包括以下步骤：
T10、获取待评审的合同文件。
T20、对所述待评审的合同文件进行段落分割处理，得到多个原始条例。
T30、使用统计模型对所述原始条例进行特征提取处理，得到与所述原始条例关联的原始条例向量。
T40、基于所述原始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量；将所述模板条例向量关联的模板条例对应的评审类别，作为所述原始条例的评审类别。
其中，所述合同模板条例库包括多个模板条例，以及每个模板条例关联的模板条例向量和评审类别；所述合同模板条例库基于预先的构建过程得到。
所述评审类别包括：需要进行合同风险评审的待评审类、不需要进行合同风险评审的非评审类。
T50、对于待评审类的原始条例，基于该原始条例，根据预先定义的prompt模板生成query，将所述query输入微调训练后的大语言模型，得到评审结果。
此外，如图4所示，本发明实施例还提供一种合同风险评审系统，包括：
业务员端，用于接收业务员上传的待评审的合同文件。
合同管理平台，用于获取所述待评审的合同文件，并调用合同风险评审模块对所述待评审的合同文件进行初次合同风险评审，得到初次评审结果。
管理员端，用于从合同管理平台获取所述待评审的合同文件和初次评审结果并展示，以使管理员对所述待评审的合同文件进行二次合同风险评审。
其中，所述合同风险评审模块基于上述的合同风险评审方法进行初次风险评审。
进一步具体地，所述合同风险评审模块包括：
分割处理模块，用于对所述待评审的合同文件进行段落分割处理，得到多个原始条例。
特征提取模块，用于基于统计模型对所述原始条例进行特征提取处理，得到与所述原始条例关联的原始条例向量。进一步具体地，所述分割处理模块为基于完成训练的、具有适配模型参数的TF-IDF模型的模块。
特征匹配模块，用于基于所述原始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量；将所述模板条例向量关联的模板条例对应的评审类别，作为所述原始条例的评审类别。其中，所述合同模板条例库包括多个模板条例，以及每个模板条例关联的模板条例向量和评审类别；所述合同模板条例库基于预先的构建过程得到。所述评审类别包括：需要进行合同风险评审的待评审条例、不需要进行合同风险评审的非评审条例。
初次合同风险评审模块，用于基于所述待评审条例，根据预设的promot模板生成query，将所述query输入微调训练后的大语言模型，得到评审结果。
本发明实施例提出的合同风险评审方法和系统，基于实施例一或二中针对合同风险评审场景下微调训练后的大语言模型，能够对合同文件进行全面自动的评审，防范疏漏和风险，统一评审标准，从而解决人工进行的合同风险评审工作量大、错误难以避免的现状，提升合同风险评审精度，提高合同风险评审效率，并且利用其拟人化的特性，提升管理员的评审体验。
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种大语言模型的微调训练方法，其特征在于，所述大语言模型用于对合同文件进行合同风险评审；所述微调训练方法包括：
S10、获取历史评审数据并进行预处理，得到训练数据集；
所述历史评审数据包括历史合同文件、与所述历史合同文件关联的历史评审结果；
所述训练数据集包括：基于所述历史合同文件中提取的初始条例生成的训练query、基于所述初始条例的历史评审结果生成的训练answer；
S20、基于所述训练数据集对所述大语言模型进行微调训练，得到微调训练后的大语言模型。
2.根据权利要求1所述的微调训练方法，其特征在于，所述S10包括：
S101、获取历史评审数据；
S102、对所述历史评审数据中的历史合同文件进行段落分割处理，得到多个初始段落作为初始条例；
S103、使用统计模型对所述初始条例进行特征提取处理，得到与所述初始条例关联的初始条例向量；
S104、基于所述初始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量，将所述模板条例向量关联的模板条例对应的评审类别，作为所述初始条例的评审类别；
其中，所述合同模板条例库包括多个模板条例，以及每个模板条例关联的模板条例向量和评审类别；所述合同模板条例库基于预先的构建过程得到；
所述评审类别包括：需要进行合同风险评审的待评审类、不需要进行合同风险评审的非评审类；
S105、筛选所有待评审类的初始条例，基于该初始条例，根据预先定义的prompt模板生成训练query，并基于该初始条例对应的历史评审结果，生成该训练query关联的训练answer；
S106、集合所有的训练query和关联的训练answer，作为训练数据集。
3.根据权利要求2所述的微调训练方法，其特征在于，在S104中，所述构建过程包括：
S104-1、获取标准合同模板数据；所述标准合同模板数据包括多个标准模板合同文件；
S104-2、对所述标准模板合同文件进行段落分割处理，得到多个模板段落作为模板条例；
S104-3、根据预先定义的合同风险评审策略确定所述模板条例的评审类别；以及，使用统计模型对所述模板条例进行特征提取处理，得到该模板条例关联的模板条例向量。
4.根据权利要求2或3所述的微调训练方法，其特征在于，在S104中，所述余弦距离基于余弦距离公式计算得到；所述余弦距离公式为：
其中，表示初始条例向量和模板条例向量的余弦距离，/>表示初始条例向量，/>表示模板条例向量，/>表示初始条例向量的2-范数，/>表示模板条例向量的2-范数。
5.根据权利要求2或3所述的微调训练方法，其特征在于，所述统计模型为：完成训练的、具有适配模型参数的TF-IDF模型。
6.根据权利要求2或3所述的微调训练方法，其特征在于，所述历史评审结果包括：风险级别、具体评审内容；
其中，所述具体评审内容为历史评审结果中管理员提交的历史评价文本中的内容。
7.根据权利要求6所述的微调训练方法，其特征在于，所述预定义的prompt模板为：
{query：当前任务为合同评审实例，请根据[初始条例]条款，回答对应的情况，要求结果包括风险级别和具体评审内容}；
其中，所述初始条例为对应的初始段落原文。
8.根据权利要求1所述的微调训练方法，其特征在于，所述大语言模型为完成预训练的ChatGPT模型或ChatGLM模型。
9.一种合同风险评审方法，其特征在于，用于基于权利要求1至8任一项所述的微调训练后的大语言模型进行评审，所述评审方法包括：
T10、获取待评审的合同文件；
T20、对所述待评审的合同文件进行段落分割处理，得到多个原始条例；
T30、使用统计模型对所述原始条例进行特征提取处理，得到与所述原始条例关联的原始条例向量；
T40、基于所述原始条例向量查找合同模板条例库，得到与所述初始条例向量的余弦距离最近的模板条例向量；将所述模板条例向量关联的模板条例对应的评审类别，作为所述原始条例的评审类别；
所述评审类别包括：需要进行合同风险评审的待评审类、不需要进行合同风险评审的非评审类；
T50、对于待评审类的原始条例，基于该原始条例，根据预先定义的prompt模板生成query，将所述query输入微调训练后的大语言模型，得到评审结果。
10.一种合同风险评审系统，其特征在于，包括：
业务员端，用于接收业务员上传的待评审的合同文件；
合同管理平台，用于获取所述待评审的合同文件，并调用合同风险评审模块对所述待评审的合同文件进行初次合同风险评审，得到初次评审结果；
管理员端，用于从合同管理平台获取所述待评审的合同文件和初次评审结果并展示，以使管理员对所述待评审的合同文件进行二次合同风险评审；
其中，所述合同风险评审模块基于权利要求9所述的合同风险评审方法进行初次风险评审。
CN202310784229.8A 2023-06-29 2023-06-29 大语言模型的微调训练方法、合同风险评审方法及系统 Pending CN116775879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310784229.8A CN116775879A (zh) 2023-06-29 2023-06-29 大语言模型的微调训练方法、合同风险评审方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310784229.8A CN116775879A (zh) 2023-06-29 2023-06-29 大语言模型的微调训练方法、合同风险评审方法及系统

Publications (1)

Publication Number Publication Date
CN116775879A true CN116775879A (zh) 2023-09-19

Family

ID=87991086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310784229.8A Pending CN116775879A (zh) 2023-06-29 2023-06-29 大语言模型的微调训练方法、合同风险评审方法及系统

Country Status (1)

Country Link
CN (1) CN116775879A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116978511A (zh) * 2023-09-25 2023-10-31 字节星球科技(成都)有限公司 基于大语言模型的用药风险识别方法、装置及存储介质
CN117311726A (zh) * 2023-10-26 2023-12-29 中央财经大学 智能法律合约生成方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116978511A (zh) * 2023-09-25 2023-10-31 字节星球科技(成都)有限公司 基于大语言模型的用药风险识别方法、装置及存储介质
CN116978511B (zh) * 2023-09-25 2023-12-12 字节星球科技(成都)有限公司 基于大语言模型的用药风险识别方法、装置及存储介质
CN117311726A (zh) * 2023-10-26 2023-12-29 中央财经大学 智能法律合约生成方法、装置、电子设备及存储介质
CN117311726B (zh) * 2023-10-26 2024-04-09 中央财经大学 智能法律合约生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
WO2021047186A1 (zh) 咨询对话处理的方法、装置、设备及存储介质
CN116775879A (zh) 大语言模型的微调训练方法、合同风险评审方法及系统
CN111368042A (zh) 智能问答方法、装置、计算机设备及计算机存储介质
CN109299245B (zh) 知识点召回的方法和装置
CN113222149B (zh) 模型训练方法、装置、设备和存储介质
CN107844558A (zh) 一种分类信息的确定方法以及相关装置
CN112765974B (zh) 一种业务辅助方法、电子设备及可读存储介质
US20090019083A1 (en) System and method for adaptive decision making analysis and assessment
JP2019040402A (ja) 特許要件適否予測装置および特許要件適否予測プログラム
CN109947934A (zh) 针对短文本的数据挖掘方法及系统
CN110046264A (zh) 一种面向手机文档的自动分类方法
KR20200139008A (ko) 딥러닝 기술을 활용한 법률서비스 이용자의 의도분석 기반 계약서 추천 및 자동완성 서비스
CN111199469A (zh) 用户还款模型生成方法、装置及电子设备
US20190303424A1 (en) Novel and innovative computer system and method for accurately and consistently automating the coding of timekeeping activities and expenses, and automatically assessing the reasonableness of amounts of time billed for those activities and expenses, through the use of supervised and unsupervised machine learning, as well as lexical, statistical, and multivariate modelling of billing entries
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN117149988A (zh) 基于教育数字化的数据管理处理方法及系统
CN111708810A (zh) 模型优化推荐方法、装置和计算机存储介质
CN116842263A (zh) 一种智能问答式理财顾问模型的训练处理方法及装置
CN116361655A (zh) 模型训练方法、标准问题的预测方法、装置、设备及介质
CN111145053A (zh) 基于人工智能的企业法律顾问管理系统及方法
CN114417010A (zh) 面向实时工作流的知识图谱构建方法、装置和存储介质
CN113571198A (zh) 转化率预测方法、装置、设备及存储介质
CN113870998A (zh) 问诊方法、装置、电子设备和存储介质
CN112860878A (zh) 业务数据推荐方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination