CN112434337A - 分布式训练生成模型的方法、系统及介质 - Google Patents

分布式训练生成模型的方法、系统及介质 Download PDF

Info

Publication number
CN112434337A
CN112434337A CN202011368592.4A CN202011368592A CN112434337A CN 112434337 A CN112434337 A CN 112434337A CN 202011368592 A CN202011368592 A CN 202011368592A CN 112434337 A CN112434337 A CN 112434337A
Authority
CN
China
Prior art keywords
model
parameters
main server
model parameters
server model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011368592.4A
Other languages
English (en)
Inventor
蔡晓华
杨光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Netis Technologies Co ltd
Original Assignee
Shanghai Netis Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Netis Technologies Co ltd filed Critical Shanghai Netis Technologies Co ltd
Priority to CN202011368592.4A priority Critical patent/CN112434337A/zh
Publication of CN112434337A publication Critical patent/CN112434337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种分布式训练生成模型的方法、系统及介质，包括：步骤1：通过预设网络和该网络的真实数据，训练生成模型，并得到模型参数；步骤2：将模型参数传输到域外的主服务器模型中；步骤3：根据模型参数，对主服务器模型进行增量学习，得到主服务器模型的模型参数；步骤4：将其他网络的模型参数传输到主服务器模型中，对主服务器模型进行增量学习，并对主服务器模型的模型参数进行调整，得到最终的主服务器模型；步骤5：将主服务器模型的模型参数传输到各网络中，完成各网络之间信息的交互。本发明通过多网络分别训练生成模型，生成并非真实存在的数据，可避免泄露真实数据，保障了信息的安全。

Description

分布式训练生成模型的方法、系统及介质
技术领域
本发明涉及模型生成和学习技术领域，具体地，涉及一种分布式训练生成模型的方法、系统及介质。
背景技术
现有的在多个网络的各自服务器上训练的模型多数是用真实数据训练的分类模型，尽管跨域传输的是模型参数，亦不能免除真实数据泄露之担忧。
专利文献(申请号：CN201911416544.5)公开了一种模型训练方法、装置、服务器及存储介质，该方法包括：接收客户端发送的训练请求；分配目标数量个图形处理器，创建客户端对应的容器；利用客户端对应的分布式存储卷获取从分布式存储系统获取模型的训练参考信息，将模型的训练参考信息加载到客户端对应的容器中；基于模型的训练参考信息，生成训练环境数据；利用生成的训练环境数据和目标数量个图形处理器，对模型进行训练，利用客户端对应的分布式存储卷将生成的训练环境数据存储在分布式存储系统中。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种分布式训练生成模型的方法、系统及介质。
根据本发明提供的分布式训练生成模型的方法，包括：
步骤1：通过预设网络和该网络的真实数据，训练生成模型，并得到模型参数；
步骤2：将模型参数传输到域外的主服务器模型中；
步骤3：根据模型参数，对主服务器模型进行增量学习，得到主服务器模型的模型参数；
步骤4：将其他网络的模型参数传输到主服务器模型中，对主服务器模型进行增量学习，并对主服务器模型的模型参数进行调整，得到最终的主服务器模型；
步骤5：将主服务器模型的模型参数传输到各网络中，完成各网络之间信息的交互。
优选的，在模型参数传输前对模型参数进行保存，传输方式包括在线网络传输和通过存储介质进行复制然后线下传输。
优选的，各网络之间通过主服务器模型进行参数共享，共享的参数是通过主服务器模型对各网络的模型参数进行调整后的参数。
根据本发明提供的分布式训练生成模型的系统，包括：
模块M1：通过预设网络和该网络的真实数据，训练生成模型，并得到模型参数；
模块M2：将模型参数传输到域外的主服务器模型中；
模块M3：根据模型参数，对主服务器模型进行增量学习，得到主服务器模型的模型参数；
模块M4：将其他网络的模型参数传输到主服务器模型中，对主服务器模型进行增量学习，并对主服务器模型的模型参数进行调整，得到最终的主服务器模型；
模块M5：将主服务器模型的模型参数传输到各网络中，完成各网络之间信息的交互。
优选的，在模型参数传输前对模型参数进行保存，传输方式包括在线网络传输和通过存储介质进行复制然后线下传输。
优选的，各网络之间通过主服务器模型进行参数共享，共享的参数是通过主服务器模型对各网络的模型参数进行调整后的参数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明通过在多个相互隔离的网络分别训练一套生成语言模型，用于生成并非真实存在的新语言数据，和域外服务器共享的模型参数是用于生成并非真实存在的新语言数据的模型参数，可无真实数据泄露之虞。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
参考图1，本发明包括A、B、C、Master等网络，具体部署可以基于常见的神经网络的框架，如：tensorflow、pytorch等，根据本发明提供的一种分布式训练生成模型的系统，包括：
网络1：A、B、C等，表示多个对等的网络。这些网络的各自服务器上均有运行一套相同的机器学习训练程序，根据各自不同的数据训练各自的模型。
网络2：Master网络的服务器没有真实数据，但有一个模型。该模型根据从A处得到的参数作增量学习，并于某时刻将增量学习后的模型参数传输给B、C等网络的服务器。
其中，对于网络1，具体来说包括以下部分：
部分1.1：训练程序。此程序用于训练一套生成模型，该模型可用以生成并非是真实数据的新数据。本发明旨在说明在A、B、C等多个网络中分别训练的上述生成模型，可以实现模型参数共享传输。
部分1.2：生成模型。部分1.1中提到的生成并非是真实数据的新数据，具体是指通过生成模型对真实数据进行训练，学会真实数据的表达，从而可以用来生成并非真实存在的新数据。
部分1.3：模型参数共享传输。部分1.1中提到的模型参数共享传输，具体是指在训练过程中的某个时间点，A、B、C等中某个网络的生成模型的参数向这些网络外的某个服务器进行共享传输，并在某个随后的时间点，该服务器向A、B、C等网络的服务器进行生成模型参数的传输。
参考图1，根据本发明提供的分布式训练生成模型的方法，包括如下步骤：
步骤1：训练生成模型。A网络的服务器使用A网络的真实数据训练生成模型(参考部分1.2)，于某时刻向网络外的Master服务器传输该模型的参数。这里A仅仅是代号，表示第一个训练的网络，也可以是B、C等。
步骤2：向域外传输生成模型参数。A将生成模型数据传输到Master，A首先要保存模型参数，然后通过可靠的传输方式发送模型参数。传输可以是在线的网络传输，也可以是使用存储介质(例如磁盘、U盘、CD等)进行复制然后线下传输。
步骤3：增量学习。Master服务器没有真实数据，但有一个模型。该模型根据从A处得到的参数作增量学习。增量学习以Master的模型参数为基础，向A的模型参数作一定的调整；
步骤4：传输增量学习后的模型参数。Master于某时刻将增量学习后的模型参数传输给B、C等网络的服务器，传输方式同步骤2，只是方向相反；
步骤5：增量学习。B、C等网络的服务器中的模型根据从Master处得到的参数作增量学习，随后使用B、C等网络的真实数据继续训练生成模型(参考部分1.2)，增量学习以B、C等网络的模型参数为基础，向Master的模型参数作一定的调整；
步骤6：向域外传输生成模型参数，同步骤2，B、C等网络于某时刻向网络外的Master服务器传输该模型的参数；
步骤7：增量学习，同步骤3；
步骤8：传输增量学习后的模型参数，同步骤4，只是本次模型参数会同时传输给A、B、C等所有网络；
步骤9：增量学习，同步骤5，使用真实数据的增量学习；
循环步骤6到步骤9。
具体应用环境1：
金融机构的客户真实数据由于隐私保护，在金融机构间不会共享。同时，金融机构内部使用大量的模型来辅助判断和决策。而模型的诸多性能都需要尽可能多且新的数据，这又需要各家机构共享数据。因此，本发明可应用于金融机构间非真实数据的联合学习。具体是在金融机构内网服务器上，通过对自家的真实数据进行学习，训练生成模型，该模型可用于生成非真实的数据，比如客户的交易记录。训练完成后，生成模型的参数会被传输到网络外的Master网络服务器上，Master网络服务器的生成模型进行增量训练，并将训练后的模型参数传输给其他金融机构的网络服务器，随后这些机构的网络服务器的生成模型进行增量训练，不断循环。如此，金融机构都不用担心自家的客户真实数据被外界知晓，同时通过共享非真实数据，自家模型也能具备广泛性和时效性。
具体应用环境2：
医疗机构的患者真实数据由于隐私保护，在医疗机构间不会共享。同时，医疗机构需要机器学习模型来辅助检测和诊断。而模型的诸多性能受限于自家样本的稀缺和偏差，这又需要各家机构共享数据。因此，本发明可应用于医疗机构间非真实数据的联合学习。具体是在医疗机构内网服务器上，通过对自家的真实数据进行学习，训练生成模型，该模型可用于生成非真实的数据，比如患者的检查图像。训练完成后，生成模型的参数会被传输到网络外的Master网络服务器上，Master网络服务器的生成模型进行增量训练，并将训练后的模型参数传输给其他医疗机构的网络服务器，随后这些机构的网络服务器的生成模型进行增量训练，不断循环。如此，医疗机构都不用担心自家的患者真实数据被外界知晓，同时通过共享非真实数据，自家模型也能具备广泛性和鲁棒性。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种分布式训练生成模型的方法，其特征在于，包括：
步骤1：通过预设网络和该网络的真实数据，训练生成模型，并得到模型参数；
步骤2：将模型参数传输到域外的主服务器模型中；
步骤3：根据模型参数，对主服务器模型进行增量学习，得到主服务器模型的模型参数；
步骤4：将其他网络的模型参数传输到主服务器模型中，对主服务器模型进行增量学习，并对主服务器模型的模型参数进行调整，得到最终的主服务器模型；
步骤5：将主服务器模型的模型参数传输到各网络中，完成各网络之间信息的交互。
2.根据权利要求1所述的分布式训练生成模型的方法，其特征在于，在模型参数传输前对模型参数进行保存，传输方式包括在线网络传输和通过存储介质进行复制然后线下传输。
3.根据权利要求1所述的分布式训练生成模型的方法，其特征在于，各网络之间通过主服务器模型进行参数共享，共享的参数是通过主服务器模型对各网络的模型参数进行调整后的参数。
4.一种分布式训练生成模型的系统，其特征在于，包括：
模块M1：通过预设网络和该网络的真实数据，训练生成模型，并得到模型参数；
模块M2：将模型参数传输到域外的主服务器模型中；
模块M3：根据模型参数，对主服务器模型进行增量学习，得到主服务器模型的模型参数；
模块M4：将其他网络的模型参数传输到主服务器模型中，对主服务器模型进行增量学习，并对主服务器模型的模型参数进行调整，得到最终的主服务器模型；
模块M5：将主服务器模型的模型参数传输到各网络中，完成各网络之间信息的交互。
5.根据权利要求4所述的分布式训练生成模型的系统，其特征在于，在模型参数传输前对模型参数进行保存，传输方式包括在线网络传输和通过存储介质进行复制然后线下传输。
6.根据权利要求4所述的分布式训练生成模型的系统，其特征在于，各网络之间通过主服务器模型进行参数共享，共享的参数是通过主服务器模型对各网络的模型参数进行调整后的参数。
7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
CN202011368592.4A 2020-11-30 2020-11-30 分布式训练生成模型的方法、系统及介质 Pending CN112434337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011368592.4A CN112434337A (zh) 2020-11-30 2020-11-30 分布式训练生成模型的方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011368592.4A CN112434337A (zh) 2020-11-30 2020-11-30 分布式训练生成模型的方法、系统及介质

Publications (1)

Publication Number Publication Date
CN112434337A true CN112434337A (zh) 2021-03-02

Family

ID=74698048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011368592.4A Pending CN112434337A (zh) 2020-11-30 2020-11-30 分布式训练生成模型的方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112434337A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753997A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN111800411A (zh) * 2020-07-02 2020-10-20 支付宝(杭州)信息技术有限公司 保护隐私的业务预测模型联合更新方法及装置
CN111970277A (zh) * 2020-08-18 2020-11-20 中国工商银行股份有限公司 基于联邦学习的流量识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753997A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN111800411A (zh) * 2020-07-02 2020-10-20 支付宝(杭州)信息技术有限公司 保护隐私的业务预测模型联合更新方法及装置
CN111970277A (zh) * 2020-08-18 2020-11-20 中国工商银行股份有限公司 基于联邦学习的流量识别方法及装置

Similar Documents

Publication Publication Date Title
Ouyang et al. Integration of artificial intelligence performance prediction and learning analytics to improve student learning in online engineering course
US20210232558A1 (en) Data isolation in a blockchain network
Kőrösi et al. MOOC performance prediction by deep learning from raw clickstream data
Madison Commons at the intersection of peer production, citizen science, and big data: galaxy zoo
EP3921743A1 (en) Computing system providing blockchain-facilitated semantic interoperability between multiple disparate systems of record (sors) and related methods
Homer Best practices in system dynamics modeling, revisited: a practitioner's view
CN110942202A (zh) 应急演练推演方法、计算机存储介质及电子设备
Hua et al. Research on 3D medical image surface reconstruction based on data mining and machine learning
Krajcer Artificial intelligence for education, proctoring, and credentialing in cardiovascular medicine
Yu et al. Pacs: A dataset for physical audiovisual commonsense reasoning
Krancher et al. Knowledge in software-maintenance outsourcing projects: Beyond integration of business and technical knowledge
Bobek et al. KnAC: an approach for enhancing cluster analysis with background knowledge and explanations
Nance et al. The methodology roles in the realization of a model development environment
CN112434337A (zh) 分布式训练生成模型的方法、系统及介质
US20230162487A1 (en) System and method for deep learning techniques utilizing continuous federated learning with a distributed data generative model
CN113807157A (zh) 基于联邦学习训练神经网络模型的方法、装置和系统
Idaszak et al. HydroShare–A Case Study of the Application of Modern Software Engineering to a Large Distributed Federally-Funded Scientific Software Development Project
Svenonius et al. Surveillance from a post-communist perspective
KR101941549B1 (ko) 엔터프라이즈 프로토콜 관리
Wittman OneSAF as an in-stride mission command asset
CN116384921A (zh) 运维事件的执行方法、装置、存储介质以及电子设备
Wang et al. Interaction between theta phase and spike timing-dependent plasticity simulates theta-induced memory effects
Masson et al. Modulation of additive and interactive effects by trial history revisited
Bettoni et al. Application of HL7 FHIR in a microservice architecture for patient navigation on registration and appointments
Bruno Commentary/Integrating AI and deep learning within design practice processes: XKool technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210302

RJ01 Rejection of invention patent application after publication