CN111553443B - 裁判文书处理模型的训练方法、训练装置和电子设备 - Google Patents

裁判文书处理模型的训练方法、训练装置和电子设备 Download PDF

Info

Publication number
CN111553443B
CN111553443B CN202010408720.7A CN202010408720A CN111553443B CN 111553443 B CN111553443 B CN 111553443B CN 202010408720 A CN202010408720 A CN 202010408720A CN 111553443 B CN111553443 B CN 111553443B
Authority
CN
China
Prior art keywords
model
client
referee document
parameters
document processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408720.7A
Other languages
English (en)
Other versions
CN111553443A (zh
Inventor
李东海
郭晓妮
侯晓焱
黄晓宏
刘亚会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayu Yuandian Information Services Co ltd
Original Assignee
Beijing Huayu Yuandian Information Services Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayu Yuandian Information Services Co ltd filed Critical Beijing Huayu Yuandian Information Services Co ltd
Priority to CN202010408720.7A priority Critical patent/CN111553443B/zh
Publication of CN111553443A publication Critical patent/CN111553443A/zh
Application granted granted Critical
Publication of CN111553443B publication Critical patent/CN111553443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了一种裁判文书处理模型的训练方法、训练装置和电子设备。该训练方法包括：将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；从所述第二客户端接收加密的用于计算梯度的中间结果；以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数；将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；以及，基于所述集合参数更新所述裁判文书处理模型。这样，基于联邦学习的方式训练裁判文书处理模型，提高裁判文书处理模型的性能。

Description

裁判文书处理模型的训练方法、训练装置和电子设备
技术领域
本申请涉及裁判文书处理，更具体地涉及一种裁判文书处理模型的训练方法、训练装置和电子设备。
背景技术
裁判文书是信息尤其高度完整的法律文书，随着裁判文书公开的过程，大量的敏感信息存在被公开的风险，如涉及国家机密、未成年人犯罪等方面的内容；涉及被害人、证人、侦查人员等主体的个人信息；涉及相关自然人的通讯方式、银行账号等个人隐私信息。以上信息需要经过必要的技术手段进行敏感信息提取并屏蔽处理后才能进行公开。
目前，由于裁判文书数据的敏感性，针对裁判文书敏感信息处理的方式主要有两种。第一种，拥有技术的公司派驻人员在法院内部的内网环境下进行研究；第二种，部分技术公司在获得少量裁判文书样本的基础上进行提取和屏蔽技术研究。然而，这两种方式或多或少存在一定的缺陷。
具体来说，以上第一种方式，技术公司只能基于所研究法院的裁判文书样本集数据进行研究，这相对于裁判文书中包含的敏感信息的多样化表述、数据量和丰富度远远不够。以上第二种方式，考虑到数据敏感性，技术公司根本无法获得大量的裁判文书数据。
也就是，上述两种方式，因受到技术局限和数据样本量的局限，均无法实现较好的效果。在现实中，大量裁判文书中包含着敏感信息被暴露于互联网上，还有大量裁判文书因为无法准确屏蔽敏感信息而无法上网，影响公开率。
因此，需要一种优化的用于裁判文书处理的技术方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种裁判文书处理模型的训练方法、训练装置和电子设备，其基于联邦学习的方式训练裁判文书处理模型，以在不改变现有的裁判文书数据集分布的前提下，获得用于训练裁判文书处理模型的充足样本量，以提高裁判文书处理模型的性能。
根据本申请的一方面，提供了一种裁判文书处理模型的训练方法，应用于第一客户端，其包括：
将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；
从所述第二客户端接收加密的用于计算梯度的中间结果；
以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数；
将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；
从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；以及
基于所述集合参数更新所述裁判文书处理模型。
在上述裁判文书处理模型的训练方法中，以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型以获得用于模型更新的本地参数，包括：以所述中间结果对位于所述第一客户端的裁判文书处理模型进行梯度计算，以获得加密的梯度计算结果；以及，以所述第一裁判文书数据集的标签数据对位于所述第一客户端的裁判文书处理模型进行损失计算，以获得损失计算结果。
在上述裁判文书处理模型的训练方法中，在将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐之前，还包括：以所述第一裁判文书数据集训练位于所述第一客户端的裁判文书处理模型，以获得所述裁判文书处理模型的初始模型参数。
在上述裁判文书处理模型的训练方法中，所述集合参数通过位于所述服务器的参数聚合模型聚合来自多个客户端的损失计算结果和梯度计算结果获得。
在上述裁判文书处理模型的训练方法中，将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端，包括：以服务器提供的公钥对所述本地参数进行加密。
在上述裁判文书处理模型的训练方法中，所述加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
在上述裁判文书处理模型的训练方法中，所述裁判文书处理模型用于识别裁判文书中的敏感信息。
根据本申请另一方面，还提供一种裁判文书处理模型的训练方法，应用于服务器端，其包括：
接收来自多个客户端的用于模型更新的本地参数；
以参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数；以及
传输所述集合参数至所述多个客户端，其中，所述集合参数用于更新位于各个客户端的裁判文书处理模型。
在上述裁判文书处理模型的训练方法中，在接收来自多个客户端的用于模型更新的本地参数之前，进一步包括传输用于加密的公钥至所述多个客户端，所述多个客户端基于所述公钥对用于模型更新的本地参数进行加密。
在上述裁判文书处理模型的训练方法中，在传输所述集合参数至所述多个客户端之前，还包括：基于与所述公钥匹配的私钥对所述集合参数进行解密。
在上述裁判文书处理模型的训练方法中，所述公钥私钥加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
在上述裁判文书处理模型的训练方法中，所述参数聚合模型的训练过程，包括：接收所述多个客户端中第一子集的用于模型更新的本地参数；接收所述多个客户端中第二子集的用于模型更新的本地参数；以所述第一子集的用于模型更新的本地参数训练所述参数聚合模型；以及，以所述第二子集的用于模型更新的本地参数进一步训练经由所述第一子集的用于模型更新的本地参数训练后的所述参数聚合模型。
在上述裁判文书处理模型的训练方法中，所述第一子集的用于模型更新的本地参数对所述参数聚合模型的影响权重与所述第二子集的用于模型更新的本地参数对所述参数聚合模型的影响权重相一致。
根据申请再一方面，还提供一种裁判文书处理模型的训练装置，应用于第一客户端，其包括：
对齐单元，用于将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；
第一接收单元，用于接收来自所述第二客户端的加密的用于计算梯度的中间结果；
模型更新参数获取单元，用于以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数；
第一传输单元，用于将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；
所述第一接收单元，进一步用于从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；以及
更新单元，用于基于所述集合参数更新所述裁判文书处理模型。
根据本申请又一方面，还提供一种裁判文书处理模型的训练装置，应用于服务器端，其包括：
第二接收单元，用于接收来自多个客户端的用于模型更新的本地参数；
集合参数获取单元，用于以参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数；以及
第二传输单元，用于传输所述集合参数至所述多个客户端，其中，所述集合参数用于更新位于各个客户端的裁判文书处理模型。
根据本申请的又一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的训练方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的训练方法。
根据本申请实施例的裁判文书处理模型的训练方法、训练装置和电子设备，其基于联邦学习的方式训练裁判文书处理模型，以在不改变现有的裁判文书数据集分布的前提下，获得用于训练裁判文书处理模型的充足样本量，以提高裁判文书处理模型的性能。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的裁判文书处理模型的联邦学习的示意图。
图2图示了根据本申请实施例的联邦学习的另一示意图。
图3图示了根据本申请实施例的应用于客户端的裁判文书处理模型的训练方法的流程图。
图4图示了根据本申请实施例的应用于服务器端的裁判文书处理模型的训练方法的流程图。
图5图示了根据本申请实施例的位于所述服务器端的参数聚合模型的训练过程的示意图。
图6图示了根据本申请实施例的应用于客户端的训练装置的框图。
图7图示了根据本申请实施例的应用于服务器端的训练装置的框图。
图8图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如前所述，现有的用于裁判文书敏感信息处理的技术方案，因受到数据样本量的局限，均无法实现较好的效果。也就是，在训练用于裁判文书敏感信息处理的机器学习模型时，无法提供足够的训练样本、测试样本，并且，样本的丰富度不够，导致训练出来的机器学习模型性能较差。
传统应对训练样本量不足的方式是整合各个数据方的数据，然后，在法律领域尤其是裁判文书处理领域，其涉及到隐私和数据安全等现实问题，因此，通常难以实施。
针对上述问题，本申请的基本构思是基于联邦学习的方式训练裁判文书处理模型，以在不改变现有的裁判文书数据集分布的前提下，获得用于训练裁判文书处理模型的充足样本量，以提高裁判文书处理模型的性能。
联邦学习是指当多个数据拥有方(例如，企业)F_i,i＝1…N想要联合他们各自的数据D_i训练机器模型时，能够允许各数据方在不用给出己方数据的情况下也可进行模型训练并得到模型M_FED的计算过程，并能够保证模型M_FED的效果V_FED与模型M_SUM的效果V_SUM间的差距足够小,即：|V_FED-V_SUM|<δ，这里，δ是任意小的一个正量值。
联邦学习联邦学习可以分为横向联邦学习、纵向联邦学习与联邦迁移学习。在两个数据集的用户特征重叠较多而用户重叠较少的情况下，把数据集按照横向(即，按照用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练，该方法称为横向联邦学习。在两个数据集的用户重叠较多而用户特征重叠较少的情况下，把数据集按照纵向(即，特征维度)切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练，该方法称为纵向联邦学习。在两个数据集的用户与用户特征重叠都较少的情况下，可以不对数据进行切分，而选择利用迁移学习来克服数据或标签不足的情况，该方法称为联邦迁移学习。
在本申请实施例中，因为各地法院的业务很相似，裁判文书中包括敏感信息特征数据重叠较多，因此，在本申请实施例中可选择横向联邦学习的训练模式，以根据各数据方标注的裁判文书敏感信息标签数据，进行训练，从而构建联合模型。
基于此，本申请提供一种裁判文书处理模型的训练方法，其包括：将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；从所述第二客户端接收加密的用于计算梯度的中间结果；以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数；将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；以及，基于所述集合参数更新所述裁判文书处理模型。这样，基于联邦学习的方式训练位于各个客户端的裁判文书处理模型，以在不改变现有的裁判文书数据集分布的前提下，获得用于训练裁判文书处理模型的充足样本量，以提高位于各个客户端的所述裁判文书处理模型的性能。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
本申请实施例的裁判文书处理模型的联邦学习过程，包括自治的部分和联合的部分。在自治部分中，两个或两个以上的参与方在各自客户端安装初始化的模型，每个参与方拥有相同的裁判文书处理模型，并可以使用各自客户端的裁判文书样本集训练训练模型。由于各参与方拥有不同的裁判文书样本集，最终客户端所训练的裁判文书处理模型也拥有不同的初始模型参数。这里，初始模型参数表示在各客户端未参加联合学习时基于各自客户端所拥有的裁判文书样本集训练获得模型参数。
在联合部分中，不同的模型参数将被上传至服务器端(例如，云端)，其中，服务器端将完成模型参数的聚合和更新，并将更新好的参数返回参与方的客户端上，各个客户端开始下一次的迭代。以上的过程会一直重复，直到整个训练过程的收敛。
以下以两个数据拥有方(即，第一参与方和第二参与方)的场景为示例来说明联邦学习的系统架构和学习过程，其中，第一参与方和第二参与方想联合训练用于裁判文书敏感信息处理的裁判文书处理模型，所述第一参与方在其第一客户端上具有裁判文书处理模型和第一裁判文书数据集，所述第二参与方在其客户端上具有裁判文书处理模型和第二裁判文书数据集。应可以理解，参与方的数量并不为本申请所局限，也就是，该系统架构可扩展包括更多数量的参与方的场景。
图1图示了根据本申请实施例的裁判文书处理模型的联邦学习的示意图。图2图示了根据本申请实施例的联邦学习的另一示意图。如图1和图2所示，所述联邦学习的过程，包括两个部分：加密样本对齐和加密模型训练。
在第一部分加密样本对齐中，由于第一参与方和第二参与方的裁判文书数据的对象群体并非完全重合，系统利用基于加密的数据样本对齐技术，在第一参与方和第二参与方不公开各自数据的前提下确定双方的共有用户数据(即，共有的裁判文书数据)，并且，不暴露不互相重叠的裁判文书数据，以便于联合这些裁判文书数据进行建模。
在第二部分加密模型训练中，在确定共有的裁判文书数据的对象群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，在一些实施方案中，需借助第三方协作者，例如，服务器端，进行加密训练。
如图1和图2所示，该训练过程基本包括四步：
第一步：协作者将公钥发送给第一客户端和第二客户端，该公钥用于对训练过程中需要交换的数据进行加密；
第二步：第一客户端和第二客户端之间以加密形式交互用于计算梯度的中间结果，例如，步长等。
第三步：第一客户端和第二客户端分别基于加密的梯度值进行计算，以获得梯度计算结果。并且，所述第一客户端和所述第二客户端还可以根据其标签数据(即，所述第一裁判文书数据集的敏感信息标签和所述第二裁判文书数据集的敏感信息标签)计算损失，以获得损失计算结果。进而，将所述梯度计算结果和所述损失计算结果，发送给服务器端。
第四步：服务器端汇总梯度计算结果和损失计算结果以获得用于更新模型的集合参数(这里，所述集合参数为总梯度值)。接着，服务器端基于与公钥匹配的私钥对所述集合参数进行解密；然后，将解密后的集合参数发送至第一客户端和第二客户端；进而，第一客户端和第二客户端基于所述集合参数更新各自裁判文书处理模型的参数。
迭代上述步骤直至损失函数收敛，这样就完成了整个训练过程。
应可以理解，在加密样本对齐及模型训练过程中，位于第一客户端的第一裁判文书数据集和位于第二客户端的第二裁判文书数据集均一直保留在本地，并且，训练过程中数据交互也不会导致数据隐私泄密。
在本申请实施例中，采用加密的技术为公钥私钥加密技术，其可选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种，对此，并不为本申请所局限。公开的钥匙系统的优势是两个用户能够安全的沟通而不需交换秘密钥匙。例如，假设一个送信者需要传送一个信息给一个收信者，而信息的秘密性是必要的，送信者以收信者的公开的钥匙来加密，而仅有收信者的私有的钥匙能够对此信息解密。公开的钥匙密码学是非常适合于提供认证，完整和不能否认的服务，所有的这些服务即是数字签名。应可以理解，在本申请其他示例中，还可以采用其他加密技术，对此，并不为本申请所局限。
相应地，根据本申请实施例的一方面，提供了一种应用于第一客户端的裁判文书处理模型的训练方法，如图3所示。如图3所示，根据本申请实施例的应用于客户端的裁判文书处理模型的训练方法，包括：S310，将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；S320，从所述第二客户端接收加密的用于计算梯度的中间结果；S330，以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数；S340，将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；S350，从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；以及，S360，基于所述集合参数更新所述裁判文书处理模型。
在根据本申请实施例的应用于客户端的训练方法中，在一个示例中，以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型以获得用于模型更新的本地参数，包括：以所述中间结果对位于所述第一客户端的裁判文书处理模型进行梯度计算，以获得加密的梯度计算结果；以及，以所述第一裁判文书数据集的标签数据对位于所述第一客户端的裁判文书处理模型进行损失计算，以获得损失计算结果。
在根据本申请实施例的应用于客户端的训练方法中，在一个示例中，在将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐之前，还包括：以所述第一裁判文书数据集训练位于所述第一客户端的裁判文书处理模型，以获得所述裁判文书处理模型的初始模型参数。
在根据本申请实施例的应用于客户端的训练方法中，在一个示例中所述集合参数通过位于所述服务器的参数聚合模型聚合来自多个客户端的损失计算结果和梯度计算结果获得。
在根据本申请实施例的应用于客户端的训练方法中，在一个示例中，将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端，包括：以服务器提供的公钥对所述本地参数进行加密。
在根据本申请实施例的应用于客户端的训练方法中，在一个示例中，所述加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
相应地，根据本申请的另一方面，还提供一种应用于服务器端的裁判文书处理模型的训练方法，如图4所示。如图4所示，根据本申请实施例的应用于服务器端的裁判文书处理模型的训练方法，包括：S410，接收来自多个客户端的用于模型更新的本地参数；S420，以参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数；以及，S430，传输所述集合参数至所述多个客户端，其中，所述集合参数用于更新位于各个客户端的裁判文书处理模型。
在根据本申请实施例的应用于服务器端的训练方法中，在一个示例中，在接收来自多个客户端的用于模型更新的本地参数之前，进一步包括传输用于加密的公钥至所述多个客户端，所述多个客户端基于所述公钥对用于模型更新的本地参数进行加密。
在根据本申请实施例的应用于服务器端的训练方法中，在一个示例中，在传输所述集合参数至所述多个客户端之前，还包括：基于与所述公钥匹配的私钥对所述集合参数进行解密。
在根据本申请实施例的应用于服务器端的训练方法中，在一个示例中，所述公钥私钥加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
值得一提的是，在应用所述参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数前，需先对所述参数聚合模型进行训练。应可以理解，在训练过程中，如果多个客户端同时与服务器端进行通讯，成本太高。因此，在本申请实施例中，在所述参数聚合模型的训练过程中，结合了深度神经网络浅层网络和深层网络的特性，异步处理浅层及深层模型参数以降低单轮通讯量。
为了更高效地利用历史参数以改善中央波形的精读和收敛速度，可采用时效加权聚合策略，即，在聚合操作时，当前轮及时更新的客户端参数与数轮以前的老旧更新对所述参数聚合模型具有相同的影响。也就是说，在某一轮通讯中，并非所有客户端而是仅属于参与子集内的客户端与服务器端保持通讯。
相应地，在根据本申请实施例的应用于服务器端的训练方法中，在一个示例中，如图5所示，所述参数聚合模型的训练过程，包括：接收所述多个客户端中第一子集的用于模型更新的本地参数；接收所述多个客户端中第二子集的用于模型更新的本地参数；以所述第一子集的用于模型更新的本地参数训练所述参数聚合模型；以及，以所述第二子集的用于模型更新的本地参数进一步训练经由所述第一子集的用于模型更新的本地参数训练后的所述参数聚合模型。特别地所述第一子集的用于模型更新的本地参数对所述参数聚合模型的影响权重与所述第二子集的用于模型更新的本地参数对所述参数聚合模型的影响权重相一致。
这里，所述客户端所组成的集合中的第一子集和第二子集，仅是说明：在某一轮通讯中，并非所有客户端而是仅属于参与子集内的客户端与服务器端进行通讯，应可以理解，在具体实施中，所有的客户端还可以被划分为更多数量的子集，对此，并不为本申请所局限。
综上，基于本申请实施例的根裁判文书处理模型的训练方法被阐明，其基于联邦学习的方式训练裁判文书处理模型，以在不改变现有的裁判文书数据集分布的前提下，获得用于训练裁判文书处理模型的充足样本量，以提高裁判文书处理模型的性能。
示例性装置
图6图示了应用于客户端的裁判文书处理模型的训练装置的示意图。
如图6所示，所述训练装置600，包括：对齐单元610，用于将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；第一接收单元620，用于接收来自所述第二客户端的加密的用于计算梯度的中间结果；模型更新参数获取单元630，用于以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数；第一传输单元640，用于将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端，所述第一接收单元620，进一步用于从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；以及，更新单元650，用于基于所述集合参数更新所述裁判文书处理模型。
在一个示例中，在上述应用于客户端的训练装置600中，所述模型更新参数获取单元630，进一步用于以所述中间结果对位于所述第一客户端的裁判文书处理模型进行梯度计算，以获得加密的梯度计算结果；以及，以所述第一裁判文书数据集的标签数据对位于所述第一客户端的裁判文书处理模型进行损失计算，以获得损失计算结果。
在一个示例中，在上述应用于客户端的训练装置600中，所述模型更新参数获取单元630，进一步用于在将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐之前，以所述第一裁判文书数据集训练位于所述第一客户端的裁判文书处理模型，以获得所述裁判文书处理模型的初始模型参数。
在一个示例中，在上述应用于客户端的训练装置600中，所述集合参数通过位于所述服务器的参数聚合模型聚合来自多个客户端的损失计算结果和梯度计算结果获得。
在一个示例中，在上述应用于客户端的训练装置600中，所述第一传输单元640，进一步用于以服务器提供的公钥对所述本地参数进行加密。
在一个示例中，在上述应用于客户端的训练装置600中，所述加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
在一个示例中，在上述应用于客户端的训练装置600中，所述裁判文书处理模型用于识别裁判文书中的敏感信息。
这里，本领域技术人员可以理解，上述应用于客户端的训练装置600中的各个单元和模块的具体功能和操作已经在上面参考图1至图4的裁判文书处理模型的训练方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的应用于客户端的训练装置600可以实现在各种终端设备中，例如大屏智能设备，或者独立于大屏智能设备的计算机等。在一个示例中，根据本申请实施例的应用于客户端的训练装置600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该应用于客户端的训练装置600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该应用于客户端的训练装置600同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该应用于客户端的训练装置600与该终端设备也可以是分立的设备，并且该应用于客户端的训练装置600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性装置
图7图示了应用于服务器端的裁判文书处理模型的训练装置的示意图。
如图7所示，所述训练装置700，应用于服务器端，包括：第二接收单元710，用于接收来自多个客户端的用于模型更新的本地参数；集合参数获取单元720，用于以参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数；以及，第二传输单元730，用于传输所述集合参数至所述多个客户端，其中，所述集合参数用于更新位于各个客户端的裁判文书处理模型。
在一个示例中，在上述应用于服务器端的训练装置700中，所述第二传输单元730，进一步用于传输用于加密的公钥至所述多个客户端，所述多个客户端基于所述公钥对用于模型更新的本地参数进行加密。
在一个示例中，在上述应用于服务器端的训练装置700中，所述第二传输单元730，进一步用于在传输所述集合参数至所述多个客户端之前，基于与所述公钥匹配的私钥对所述集合参数进行解密。
在一个示例中，在上述应用于服务器端的训练装置700中，所述公钥私钥加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
在一个示例中，在上述应用于服务器端的训练装置700中，所述训练装置进一步包括训练单元740，用于对所述参数聚合模型进行训练。具体来说，该训练过程，包括：接收所述多个客户端中第一子集的用于模型更新的本地参数；接收所述多个客户端中第二子集的用于模型更新的本地参数；以所述第一子集的用于模型更新的本地参数训练所述参数聚合模型；以及，以所述第二子集的用于模型更新的本地参数进一步训练经由所述第一子集的用于模型更新的本地参数训练后的所述参数聚合模型。
在一个示例中，在上述应用于服务器端的训练装置700中，所述第一子集的用于模型更新的本地参数对所述参数聚合模型的影响权重与所述第二子集的用于模型更新的本地参数对所述参数聚合模型的影响权重相一致。
这里，本领域技术人员可以理解，上述应用于服务器端的训练装置700中的各个单元和模块的具体功能和操作已经在上面参考图1至图5的裁判模型的训练方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的应用于服务器端的训练装置700可以实现在各种终端设备中，例如大屏智能设备，或者独立于大屏智能设备的计算机等。在一个示例中，根据本申请实施例的应用于服务器端的训练装置700可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该应用于服务器端的训练装置700可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该应用于服务器端的训练装置700同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该应用于服务器端的训练装置700与该终端设备也可以是分立的设备，并且该应用于服务器端的训练装置700可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图8来描述根据本申请实施例的电子设备。
图8图示了根据本申请实施例的电子设备的框图。
如图8所示，电子设备10包括一个或多个处理器11和存储器12。
处理器13可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的裁判文书处理模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如设备信息等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括提取的敏感信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的裁判文书处理模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的裁判文书处理模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种裁判文书处理模型的训练方法，应用于第一客户端，其特征在于，包括：
将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；
从所述第二客户端接收加密的用于计算梯度的中间结果；
以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数，包括：以所述中间结果对位于所述第一客户端的裁判文书处理模型进行梯度计算，以获得加密的梯度计算结果；以及以所述第一裁判文书数据集的标签数据对位于所述第一客户端的裁判文书处理模型进行损失计算，以获得损失计算结果；
将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；
从所述服务器端接收基于多个客户端的本地参数汇总的集合参数,其中，所述集合参数通过位于所述服务器的参数聚合模型聚合来自多个客户端的损失计算结果和梯度计算结果获得；以及
基于所述集合参数更新所述裁判文书处理模型。
2.根据权利要求1所述的训练方法，其中，在将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐之前，还包括：
以所述第一裁判文书数据集训练位于所述第一客户端的裁判文书处理模型，以获得所述裁判文书处理模型的初始模型参数。
3.根据权利要求1所述的训练方法，其中，将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端，包括：
以服务器提供的公钥对所述本地参数进行加密。
4.根据权利要求1-3任一所述的训练方法，其中，加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
5.根据权利要求1-3任一所述的训练方法，其中，所述裁判文书处理模型用于识别裁判文书中的敏感信息。
6.一种裁判文书处理模型的训练方法，应用于服务器端，其特征在于，包括：
接收来自多个客户端的用于模型更新的本地参数；
以参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数；以及
传输所述集合参数至所述多个客户端，其中，所述集合参数用于更新位于各个客户端的裁判文书处理模型;
其中，所述参数聚合模型的训练过程，包括：
接收所述多个客户端中第一子集的用于模型更新的本地参数；
接收所述多个客户端中第二子集的用于模型更新的本地参数；
以所述第一子集的用于模型更新的本地参数训练所述参数聚合模型；以及
以所述第二子集的用于模型更新的本地参数进一步训练经由所述第一子集的用于模型更新的本地参数训练后的所述参数聚合模型;
所述第一子集的用于模型更新的本地参数对所述参数聚合模型的影响权重与所述第二子集的用于模型更新的本地参数对所述参数聚合模型的影响权重相一致。
7.根据权利要求6所述的训练方法，其中，在接收来自多个客户端的用于模型更新的本地参数之前，进一步包括:
传输用于加密的公钥至所述多个客户端，所述多个客户端基于所述公钥对用于模型更新的本地参数进行加密。
8.根据权利要求7所述的训练方法，其中，在传输所述集合参数至所述多个客户端之前，还包括：
基于与所述公钥匹配的私钥对所述集合参数进行解密。
9.根据权利要求7至8任一所述的训练方法，其中，加密技术选自RSA加密、Gramer-Shoup、Elgamal和椭圆曲线加密中任意一种。
10.一种裁判文书处理模型的训练装置，应用于第一客户端，其特征在于，包括：
对齐单元，用于将位于所述第一客户端的加密的第一裁判文书数据集与位于第二客户端的加密的第二裁判文书数据集对齐；
第一接收单元，用于从所述第二客户端接收加密的用于计算梯度的中间结果；
模型更新参数获取单元，用于以所述第一裁判文书数据集和所述中间结果训练位于所述第一客户端的裁判文书处理模型，以获得用于模型更新的本地参数，包括：以所述中间结果对位于所述第一客户端的裁判文书处理模型进行梯度计算，以获得加密的梯度计算结果；以及以所述第一裁判文书数据集的标签数据对位于所述第一客户端的裁判文书处理模型进行损失计算，以获得损失计算结果；
第一传输单元，用于将所述本地参数以服务器端提供的密钥进行加密并发送到服务器端；
所述第一接收单元，进一步用于从所述服务器端接收基于多个客户端的本地参数汇总的集合参数；其中，所述集合参数通过位于所述服务器的参数聚合模型聚合来自多个客户端的损失计算结果和梯度计算结果获得；以及
更新单元，用于基于所述集合参数更新所述裁判文书处理模型。
11.一种裁判文书处理模型的训练装置，应用于服务器端，其特征在于，包括：
第二接收单元，用于接收来自多个客户端的用于模型更新的本地参数；
集合参数获取单元，用于以参数聚合模型聚合所述多个客户端的用于模型更新的本地参数，以获得集合参数；以及
第二传输单元，用于传输所述集合参数至所述多个客户端，其中，所述集合参数用于更新位于各个客户端的裁判文书处理模型；
其中，所述参数聚合模型的训练过程，包括：
接收所述多个客户端中第一子集的用于模型更新的本地参数；
接收所述多个客户端中第二子集的用于模型更新的本地参数；
以所述第一子集的用于模型更新的本地参数训练所述参数聚合模型；以及
以所述第二子集的用于模型更新的本地参数进一步训练经由所述第一子集的用于模型更新的本地参数训练后的所述参数聚合模型;
所述第一子集的用于模型更新的本地参数对所述参数聚合模型的影响权重与所述第二子集的用于模型更新的本地参数对所述参数聚合模型的影响权重相一致。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在所述处理器运行时使得所述处理器执行如权利要求1-5任一项或者如权利要求6-9任一项所述的训练方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1-5任一项或者如权利要求6-9任一项所述的训练方法。
CN202010408720.7A 2020-05-14 2020-05-14 裁判文书处理模型的训练方法、训练装置和电子设备 Active CN111553443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408720.7A CN111553443B (zh) 2020-05-14 2020-05-14 裁判文书处理模型的训练方法、训练装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408720.7A CN111553443B (zh) 2020-05-14 2020-05-14 裁判文书处理模型的训练方法、训练装置和电子设备

Publications (2)

Publication Number Publication Date
CN111553443A CN111553443A (zh) 2020-08-18
CN111553443B true CN111553443B (zh) 2021-12-21

Family

ID=72001628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408720.7A Active CN111553443B (zh) 2020-05-14 2020-05-14 裁判文书处理模型的训练方法、训练装置和电子设备

Country Status (1)

Country Link
CN (1) CN111553443B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112039702B (zh) * 2020-08-31 2022-04-12 中诚信征信有限公司 基于联邦学习和相互学习的模型参数训练方法及装置
CN112201342B (zh) * 2020-09-27 2024-04-26 博雅正链(北京)科技有限公司 基于联邦学习的医疗辅助诊断方法、装置、设备及存储介质
CN112199709A (zh) * 2020-10-28 2021-01-08 支付宝(杭州)信息技术有限公司 基于多方的隐私数据联合训练模型的方法和装置
CN112949760B (zh) * 2021-03-30 2024-05-10 平安科技（深圳）有限公司 基于联邦学习的模型精度控制方法、装置及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650045B2 (en) * 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
CN108334500B (zh) * 2018-03-05 2022-02-22 上海思贤信息技术股份有限公司 一种基于机器学习算法的裁判文书标注方法及装置
US10956835B2 (en) * 2018-07-20 2021-03-23 Sas Institute Inc. Analytic system for gradient boosting tree compression
CN109189825B (zh) * 2018-08-10 2022-03-15 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
CN110245510B (zh) * 2019-06-19 2021-12-07 北京百度网讯科技有限公司 用于预测信息的方法和装置
CN110309923B (zh) * 2019-07-03 2024-04-26 深圳前海微众银行股份有限公司 横向联邦学习方法、装置、设备及计算机存储介质
CN111008709A (zh) * 2020-03-10 2020-04-14 支付宝(杭州)信息技术有限公司 联邦学习、资料风险评估方法、装置和系统

Also Published As

Publication number Publication date
CN111553443A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553443B (zh) 裁判文书处理模型的训练方法、训练装置和电子设备
CN111989893B (zh) 用于生成和链接零知识证明的方法、系统和计算机可读装置
CN110189192B (zh) 一种信息推荐模型的生成方法及装置
CN113159327B (zh) 基于联邦学习系统的模型训练方法、装置、电子设备
US20230108682A1 (en) Data processing method and apparatus, device, and computer-readable storage medium
EP3598336B1 (en) Information processing device and information processing method
CA2840171C (en) System and method for user enrollment in a secure biometric verification system
CN111666460A (zh) 基于隐私保护的用户画像生成方法、装置及存储介质
CN103825744A (zh) 非现场个人数字证书申请方法及系统
CN109560935B (zh) 基于公共非对称密钥池的抗量子计算的签章方法和签章系统
CN112347500A (zh) 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN101030852B (zh) 含有人体信息的高度安全的加密解密方法
Zhu et al. Secure Online Examination with Biometric Authentication and Blockchain‐Based Framework
CN104168117B (zh) 一种语音数字签名方法
Tian et al. Data integrity auditing for secure cloud storage using user behavior prediction
CN103281180B (zh) 一种网络服务中保护用户访问隐私的票据生成方法
CN104253687B (zh) 降低验证效率方法、生成验证码方法、相关系统及服务器
CN114500093A (zh) 报文信息的安全交互方法及系统
Fălămaş et al. Assessment of two privacy preserving authentication methods using secure multiparty computation based on secret sharing
Corona-Bermúdez et al. Cryptographic services based on elementary and chaotic cellular automata
WO2022095694A1 (zh) 一种基于数字证书的区块链节点共享方法及其相关产品
Yu et al. An extended chaotic map-based authentication and key agreement scheme for multi-server environment
Kihara et al. Security and performance of single sign-on based on one-time pad algorithm
CN107911220B (zh) 一种签名方法、签名装置及终端设备
WO2022121183A1 (zh) 文本模型的训练方法、识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant