CN117151095A - 一种基于案情的处置预案生成方法 - Google Patents

Abstract

本发明涉及人工智能领域，具体涉及一种基于案情的处置预案生成方法。本方法整合各方数据源,统一数据格式,确保数据质量并考虑法律知识完整性和规则变化应对。之后,选取部分规范化数据用于模型微调。微调所采用的是Lora模型方法,并将微调后的权重与大语言模型合并。最后,对微调模型进行进一步的精调,此时采用QLoRA方法,同样与微调后的大语言模型合并。本发明通过迁移学习的方式使模型对于参数不会过于敏感，同样对于数据集的质量要求不是很高，通过迁移学习使大语言模型可以用于各种不同的任务，也可以用于各个领域，使效率提高。

Description

一种基于案情的处置预案生成方法

技术领域

本发明涉及人工智能领域，具体涉及一种基于案情的处置预案生成方法。

背景技术

案情是指法律案件中的事实情况，包括案件的背景、涉及的法律问题、当事人的诉求等信息。处置预案则是根据案情制定的一种可能的解决方案或行动计划，包括可能的法律步骤、法律论点、证据收集策略等。在复杂的法律环境中，为案情生成处置预案通常需要大量的专业知识和经验。然而，人工智能，特别是机器学习和深度学习技术，以其强大的数据处理和模式识别能力，可以从大量的历史案例中学习和理解法律规则和模式，从而自动为新的案情生成预案，大大提高了法律工作的效率和准确性。

在现有的技术中，人工智能被广泛用于为案情生成预案。例如，TaoZhang等人提出了一种基于生成对抗网络(GAN)的方法，该方法可以根据输入的案情，自动生成相应的处理预案。GAN是一种深度学习模型，由两个子模型组成，一个负责生成数据(生成器)，一个负责判断生成的数据是否真实(判别器)。在法律领域，生成器可以学习如何生成适当的处理预案，而判别器可以学习如何评价处理预案的质量。此外，还有一些研究利用预训练语言模型，如LegalBert，对法律文本进行深度解析，然后基于解析的结果来生成处理预案。

尽管现有的技术已经在为案情生成预案方面取得了一些进展，但仍然存在一些问题：

1.现有技术中模型的训练过程是一个动态的平衡过程，生成器和判别器之间的竞争可能导致训练不稳定。甚至会导致模式塌陷和模式崩溃等问题，其中模式塌陷是只生成有限种类的样本，而无法产生样本的多样性，模式崩溃是判别器学会了欺骗生成器，导致生成器无法产生有意义的样本，最终造成生成的精确度较低。

2、现有技术中模型对样本数据集的质量要求很高，并且对于一些超参数非常敏感，需要每次训练都对超参数进行仔细的调试，多次训练调试后才可以得到相应的模型，造成模型效率较低。

发明内容

为解决上述问题，本发明提供一种基于案情的处置预案生成方法。

该方法包括：

步骤一，收集案情数据，经过数据处理组成输入案情数据集；

步骤二，基于LoRA模型构建权重微调模型修改大语言模型的权重，使大语言模型学习输入案情数据集中的案件信息和对应的处理模式，得到初学案情分析的大语言模型；

步骤三，将待分析的案情数据集输入初学案情分析的大语言模型进行测试，生成初步处置预案；

步骤四，基于QLora模型构建权重精调模型；根据初步处置预案，权重精调模型调整初学案情分析的大语言模型的线性层的权重和偏置优化权重更新初学案情分析的大语言模型的线性层；

步骤五，通过Adam随机梯度下降最小化损失函数训练权重精调模型，得到完成训练的权重精调模型；

步骤六，将完成训练的权重精调模型的权重修改初学案情分析的大语言模型的权重，得到案情处置预案生成模型；

步骤七，将待分析的案情文本输入案情处置预案生成模型中，得到案情相关的处置预案生成结果。

进一步的，步骤二具体包括：

步骤二A，将输入案情数据集中的一个样本的法律文本切分为词，通过数据处理为每个词生成携带每个词的语义信息及每个词在法律文本中的位置信息的词嵌入表示w_i；

步骤二B，基于LoRA模型构建权重微调模型；

步骤二C，基于权重微调模型的自注意力机制和全连接层学校每次词的词嵌入表示w_i对应的上下文特征表示；

步骤二D，将权重微调模型为每个词嵌入表示w_i生成的初始权重矩阵W_i经过线性层A和线性层B的调整，得到对第i个词更新的权重矩阵W′_i；

步骤二E，定义权重微调模型第i个词的学习率x_i；

步骤二F，根据学习率x_i训练权重微调模型；

步骤二G，将完成训练的权重微调模型的注意力头的参数权重与大语言模型结合，得到初学案情分析的大语言模型。

进一步的，步骤二A具体包括：

将每个样本的法律文本通过WordPiece编码分割成subwords或subwords units；

定义每个subwords或subwords units为一个词；

对每个词生成Token嵌入、段落嵌入和位置嵌入，并将三种嵌入相加得到词嵌入表示w_i，i为词的索引。

进一步的，步骤二D具体包括：

定义权重微调模型为每个词嵌入表示w_i生成的初始权重矩阵为W_i，W_i的维度为d×d，d是权重微调模型的隐藏层维度；

将第i个词输入线性层A，线性层A中随机初始化一个r×d的初始矩阵，将初始权重矩阵W_i与A中初始矩阵结合，结合后的矩阵维度降为d×r，r是预设的LoRA的秩；

结合后的矩阵通过线性层B，与B中随机初始化的d×r的初始矩阵结合，结合后的矩阵维度从d×r升至d×d，并得到一个低秩矩阵BA；

将低秩矩阵BA与初始权重矩阵W_i结合得到第i个词更新的权重矩阵W′_i：

W′_i＝W_i+BA。

进一步的，步骤二E具体包括：

权重微调模型第i个词的学习率x_i为：

x_i＝x_i-1W_i-1′×W_i+1′；

其中，W_i-1′代表第i-1个词的更新的权重矩阵，W_i+1′代表第i+1个词的更新的权重矩阵。

进一步的，步骤三具体包括：

将待分析的案情数据集输入初学案情分析的大语言模型进行测试，生成初步处置预案；观察生成预案效果，再依据效果进一步的精调。

进一步的，步骤四具体包括：

基于QLora模型构建权重精调模型；

将案情数据集中的所有数据作为数据空间，将数据空间划分为2^k+1个等距的区间，然后将落在每个区间中的数据值映射到该区间的中位数，得到正态分布的k位分位数量化数据类型：

其中，q_i代表表示为输入的案情文本中第i个词生成组成处置预案的答案时，预测得到的对应字的概率，Q_X代表标准正态分布N(0，1)的分位数函数；

将q_i归一化到[1，1]范围内，将案情数据格式转换为QLora模型接受的格式；

根据初步处置预案对权重精调模型单个线性层优化表达式如下：

Y＝XdoubleDequant(c₁，c₂，W)+XL₁L₂；

其中，W是权重精调模型经过线性层输出的权重，Y代表单个线性层优化输出，L₁代表线性层1，L₂代表线性层2，c₁代表线性层1的层数，c₂代表线性层2的层数；

doubleDequant代表初学案情分析的大语言模型的权重矩阵生成函数，doubleDequent定义如下：

doubleDequant(c₁，c₂，W^k-bit)＝W；

其中，W^k-bit代表初学案情分析的大语言模型量化后的权重矩阵。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本发明基于大语言模型，大语言模型稳定性较高，有着更多的参数和复杂性，使其具有更强大的学习能力。并且能够从更丰富的特征表示中学习，从而提供更准确的预测和更精确的结果。

2、本发明通过采用迁移学习方法，使得模型对参数的敏感度降低，也降低了对数据集质量的要求。通过迁移学习，大语言模型可以被应用于各种不同的任务，同时也可以被应用于各个领域，从而提高效率。

附图说明

图1为本发明实施例提供的Lora文本处理示意图；

图2为本发明实施例提供的基于案情的处置预案生成方法流程图；

图3为本发明实施例提供的案情处置预案生成模型使用示例图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明，在详细说明本发明各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。

为处理多源异构法律数据，本发明首先整合各方数据源，统一数据格式，确保数据质量并考虑法律知识完整性和规则变化应对。之后，选取部分规范化数据用于模型微调。微调所采用的是Lora模型方法，并将微调后的权重与大语言模型合并。最后，对微调模型进行进一步的精调，此时采用QLoRA方法，同样与微调后的大语言模型合并。通过上述步骤，本发明构建了一个基于法律案情自动生成处置方案的案情处置预案生成模型。它可以依据输入的案情信息，自动化生成处置预案。

本发明提供的方法如图2所示，具体步骤如下：

1.多元法律数据汇聚与整合

本发明所处理的数据源丰富多样，主要包括地方公安处的矛盾纠纷调解数据、案情数据、法律文书数据和互联网相关的法律数据。每类数据的书写格式、表达方式与字段组成不尽相同，例如案情数据只有案件的基本信息，没有相应的处置预案结果，本发明通过大语言模型接口为案情数据生成相应的处置预案后，将案情数据的数据形式变为与其他类型数据一致。最终本发明采用不同的方式将所有类型的数据处理为统一的输入案情数据集，使其能够为后续模型训练和学习所接受。

2.通过Lora低秩分解调整大语言模型权重以适应案情分析任务

本发明基于LoRA模型构建一个权重微调模型以修改大语言模型的权重使大语言模型不仅能保留在大规模通用文本上学习到的知识，还能学习到输入案情数据集中的案件信息和对应的处理模式，从而在案情分析任务上表现得更好。

2.1文本编码

输入案情数据集中的每条数据对应一个样本，每个样本的内容为案情基本信息的法律文本。将每个样本的法律文本通过WordPiece编码分割成subwords或subwords units，定义每个subwords或subwords units为一个词，为每个词生成词汇表ID，词汇表ID为对应的词在词汇表中的ID。

2.2构建词向量表示词的语义信息

将每个词的词汇表ID转换为词向量，词向量能捕获词的语义信息。对每个词使用三种不同类型的嵌入：Token嵌入、段落嵌入和位置嵌入。

Token嵌入是基于词汇表ID的基本词向量，它捕获了词的基本语义信息。

段落嵌入表示词在不同段落或句子中的角色。

位置嵌入表示词在法律文本中的位置。

这三种嵌入都是向量形式，将它们相加以得到d维的词嵌入表示w_i，i为词的索引。词嵌入表示w_i中携带了每个词的语义信息及每个词在法律文本中的位置信息。

2.3学习词向量之间的依赖关系

将词嵌入表示w_i输入权重微调模型的编码器Encoder，在每个Encoder层，使用自注意力机制对每个词嵌入表示w_i计算上下文特征表示h_i，上下文特征表示h_i考虑到输入序列中所有词的上下文信息，以及词在输入序列中的位置。自注意力机制可以捕获输入序列中的全局依赖关系，帮助权重微调模型理解输入序列的文本意义。输入序列指样本的法律文书。

上下文特征表示h_i为：

h_i＝Attention(Q_i，K，V)；

其中，Q_i是自注意力机制基于词嵌入表示w_i计算的查询向量，K是自注意力机制为样本的法律文书中所有词计算得到的键向量的集合，V是自注意力机制为样本的法律文书中所有词计算得到的向量的集合，Attention表示自注意力机制。

将这些上下文特征表示h_i传递给全连接层进一步抽象和表示这些依赖关系，对上下文特征表示h_i进行非线性变换。

2.4权重矩阵调整

权重微调模型为第i个词生成的初始权重矩阵为W_i，初始权重矩阵W_i是权重微调模型学习的结果，决定了权重微调模型对第i个词的重视程度，W_i的维度为d×d，d是权重微调模型的隐藏层维度。

为了提取初始权重矩阵W_i中的重要信息，同时减少权重微调模型的复杂性，本发明将输入的第i个词通过一个线性层A处理，线性层A中随机初始化了一个r×d的初始矩阵，将初始权重矩阵W_i与A中初始矩阵结合，结合后的矩阵维度降为d×r，结合后的矩阵再通过另一个线性层B，与B中随机初始化的d×r的初始矩阵结合，维度从d×r升至d×d，得到一个低秩矩阵BA，再将低秩矩阵BA与初始权重矩阵W_i结合得到第i个词更新的权重矩阵W′_i，r是预设的LoRA的秩。

权重微调模型对第i个词更新的权重矩阵W′_i为：

W′_i＝W_i+BA；

更新的权重矩阵W′_i既包含原始的通用知识，又包含案情基本信息解析并生成案情处置预案相关的专业知识。

第i个词的编码表示向量h′_i为：

h′_i＝W_i′w_i。

权重微调模型第i个词的学习率x_i为：

x_i＝x_i-1W_i-1′×W_i+1′；

其中，W_i-1′代表第i-1个词的更新的权重矩阵，W_i+1′代表第i+1个词的更新的权重矩阵。

根据学习率x_i训练权重微调模型。

之后输入的词经过权重微调模型每一层transformers中的多个注意力头处理，每个注意力头都学习产生得到微调的参数权重，将微调的参数权重与大语言模型结合，得到初学案情分析的大语言模型。

权重微调模型对输入数据的处理如图1所示，图中x代表样本的法律文本中所有词的上下文特征表示被transformer切分的d维的特征表示块，大语言模型处理经过处理特征表示块x得到d×d维度的权重矩阵P，通过后得到d维向量v，权重微调模型的线性层A和线性层B通过处理特征表示块X得到d维向量j，d维向量v与d维向量j结合相加得到输出d维向量n，同时n也为下一层transformer层的输入。

3.通过QLoRA精调大语言模型权重以提高案情预案生成的精度和效率

初学案情分析的大语言模型仍然存在如案情文本过长时，无法进行多轮对话、输出会被截断等问题。本发明基于QLora模型构建一个权重精调模型，对初学案情分析的大语言模型进行量化处理，通过优化初学案情分析的大语言模型的线性层，更精确地捕捉数据中的关键特征以提高预测精度；通过选择合适的优化器，更有效地训练，从而生成更准确的处置预案。

3.1数据预处理

本发明基于估计理论N(0，1)分布的2^k+1分位数来实现初学案情分析的大语言模型的量化处理。将输入案情数据集中的所有数据作为数据空间，将数据空间划分为2^k+1个等距的区间，然后将落在每个区间中的数据值映射到该区间的中位数，得到正态分布的k位分位数量化数据类型。

其中，q_i代表表示为输入的案情文本中第i个词生成组成处置预案的答案时，预测得到的对应字的概率，Q_X代表标准正态分布N(0，1)的分位数函数。

为了适应神经网络的激活函数，将q_i归一化到[1，1]范围内，将案情数据格式转换为QLora模型接受的格式。。

3.2线性层优化

将案情数据集输入初学案情分析的大语言模型，生成初步处置预案，并根据初步处置预案调整初学案情分析的大语言模型的权重。本发明通过调整线性层的权重和偏置，提高初学案情分析的大语言模型生成案情处置预案的准确性。根据初步处置预案对单个线性层优化表达式如下：

Y＝XdoubleDequant(c₁，c₂，W)+XL₁L₂；

其中，W是权重精调模型经过线性层输出的权重，Y代表单个线性层优化输出，L₁代表线性层1，L₂代表线性层2，c₁代表线性层1的层数，c₂代表线性层2的层数。

doubleDequant代表初学案情分析的大语言模型的权重矩阵生成函数，doubleDequent定义如下：

doubleDequant(c₁，c₂，W^k-bit)＝W；

其中，W^k-bit代表初学案情分析的大语言模型量化后的权重矩阵。

3.3训练权重精调模型

本发明通过Adam随机梯度下降最小化损失函数来训练权重精调模型，直到权重精调模型损失函数值趋于收敛。

通过Adam随机梯度下降最小化损失函数对模型进行训练为本领域公知常识，本发明不再赘述。

3.4模型融合

通过模型融合，将完成训练的权重精调模型的优点引入到初学案情分析的大语言模型中，得到案情处置预案生成模型，进一步提高预测效果。

将案情文本输入案情处置预案生成模型中，得到案情相关的处置预案预测结果。图3示出了案情处置预案生成模型的使用示例，由图3可知，案情处置预案生成模型支持多轮对话和超长文本输入。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (7)

1.一种基于案情的处置预案生成方法，其特征在于，包括以下步骤：

步骤一，收集案情数据，经过数据处理组成输入案情数据集；

步骤二，基于LoRA模型构建权重微调模型修改大语言模型的权重，使大语言模型学习输入案情数据集中的案件信息和对应的处理模式，得到初学案情分析的大语言模型；

步骤三，将待分析的案情数据集输入初学案情分析的大语言模型进行测试，生成初步处置预案；

步骤四，基于QLora模型构建权重精调模型；根据初步处置预案，权重精调模型调整初学案情分析的大语言模型的线性层的权重和偏置优化权重更新初学案情分析的大语言模型的线性层；

步骤五，通过Adam随机梯度下降最小化损失函数训练权重精调模型，得到完成训练的权重精调模型；

步骤六，将完成训练的权重精调模型的权重修改初学案情分析的大语言模型的权重，得到案情处置预案生成模型；

步骤七，将待分析的案情文本输入案情处置预案生成模型中，得到案情相关的处置预案生成结果。

2.根据权利要求1所述一种基于案情的处置预案生成方法，其特征在于，步骤二具体包括：

步骤二A，将输入案情数据集中的一个样本的法律文本切分为词，通过数据处理为每个词生成携带每个词的语义信息及每个词在法律文本中的位置信息的词嵌入表示w_i；

步骤二B，基于LoRA模型构建权重微调模型；

步骤二C，基于权重微调模型的自注意力机制和全连接层学校每次词的词嵌入表示w_i对应的上下文特征表示；

步骤二D，将权重微调模型为每个词嵌入表示w_i生成的初始权重矩阵W_i经过线性层A和线性层B的调整，得到对第i个词更新的权重矩阵W_i′；

步骤二E，定义权重微调模型第i个词的学习率x_i；

步骤二F，根据学习率x_i训练权重微调模型；

步骤二G，将完成训练的权重微调模型的注意力头的参数权重与大语言模型结合，得到初学案情分析的大语言模型。

3.根据权利要求2所述一种基于案情的处置预案生成方法，其特征在于，步骤二A具体包括：

将每个样本的法律文本通过WordPiece编码分割成subwords或subwords units；

定义每个subwords或subwords units为一个词；

对每个词生成Token嵌入、段落嵌入和位置嵌入，并将三种嵌入相加得到词嵌入表示w_i，i为词的索引。

4.根据权利要求2所述一种基于案情的处置预案生成方法，其特征在于，步骤二D具体包括：

定义权重微调模型为每个词嵌入表示w_i生成的初始权重矩阵为W_i，W_i的维度为d×d，d是权重微调模型的隐藏层维度；

将第i个词输入线性层A，线性层A中随机初始化一个r×d的初始矩阵，将初始权重矩阵W_i与A中初始矩阵结合，结合后的矩阵维度降为d×r，r是预设的LoRA的秩；

结合后的矩阵通过线性层B，与B中随机初始化的d×r的初始矩阵结合，结合后的矩阵维度从d×r升至d×d，并得到一个低秩矩阵BA；

将低秩矩阵BA与初始权重矩阵W_i结合得到第i个词更新的权重矩阵W_i′：

W_i′＝W_i+BA。

5.根据权利要求4所述一种基于案情的处置预案生成方法，其特征在于，步骤二E具体包括：

权重微调模型第i个词的学习率x_i为：

x_i＝x_i-1W_i-1′×W_i+1′；

其中，W_i-1′代表第i-1个词的更新的权重矩阵，W_i+1′代表第i+1个词的更新的权重矩阵。

6.根据权利要求1所述一种基于案情的处置预案生成方法，其特征在于，步骤三具体包括：

将待分析的案情数据集输入初学案情分析的大语言模型进行测试，生成初步处置预案；观察初步处置预案的文本逻辑是否符合语言规律并且内容是否符合法律规定，再根据观察结果对初学案情分析的大语言模型的参数进行调整。

7.根据权利要求1所述一种基于案情的处置预案生成方法，其特征在于，步骤四具体包括：

基于QLora模型构建权重精调模型；

将案情数据集中的所有数据作为数据空间，将数据空间划分为2^k+1个等距的区间，然后将落在每个区间中的数据值映射到该区间的中位数，得到正态分布的k位分位数量化数据类型：

其中，q_i代表表示为输入的案情文本中第i个词生成组成处置预案的答案时，预测得到的对应字的概率，Q_X代表标准正态分布N(0，1)的分位数函数；

将q_i归一化到[1，1]范围内，将案情数据格式转换为QLora模型接受的格式；

根据初步处置预案对权重精调模型单个线性层优化表达式如下：

Y＝XdoubleDequant(c₁，c₂，W)+XL₁L₂；

其中，W是权重精调模型经过线性层输出的权重，Y代表单个线性层优化输出，L₁代表线性层1，L₂代表线性层2，c₁代表线性层1的层数，c₂代表线性层2的层数；

doubleDequant代表初学案情分析的大语言模型的权重矩阵生成函数，doubleDequent定义如下：

doubleDequant(c₁，c₂，W^k-bit)＝W；

其中，W^k-bit代表初学案情分析的大语言模型量化后的权重矩阵。