CN111104731A - 一种用于联邦学习的图形化模型全生命周期建模方法 - Google Patents
一种用于联邦学习的图形化模型全生命周期建模方法 Download PDFInfo
- Publication number
- CN111104731A CN111104731A CN201911134600.6A CN201911134600A CN111104731A CN 111104731 A CN111104731 A CN 111104731A CN 201911134600 A CN201911134600 A CN 201911134600A CN 111104731 A CN111104731 A CN 111104731A
- Authority
- CN
- China
- Prior art keywords
- model
- federal
- data
- modeling
- federal learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012423 maintenance Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种用于联邦学习的图形化模型全生命周期建模方法，包括：建模前对数据样本进行分析，确定联邦学习方案；根据联合分析运算结果，拟定建模策略；采用拖拉拽方式，利用联邦特征工程手段对数据进行处理；联邦模型训练过程：双方分别构建模型后，交换计算得到的中间态模型和损失函数；对联邦模型进行预测使用；对联邦模型的运行过程进行监控，得到模型监控统计指标，实现对联邦模型的维护迭代。本发明通过图形化增加联邦学习建模各步骤中的人员可参与优化点、降低人员参与优化难度，并提供后期模型应用维护的途径，提升联邦学习技术的应用场景和易用性。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种用于联邦学习的图形化模型全生命周期建模方法。
背景技术
联邦学习是一种很好的连接数据孤岛得出优质模型的方式。目前联邦学习的成熟技术不多，已有技术主要致力于解决建模过程中的同态、半同态加解密问题。然而由于参与联邦的多方数据需要互相保密，由此所涉及到的联邦样本基础统计信息交换、联邦建模策略拟定、联邦特征工程、联邦模型训练、联邦模型的预测使用、联邦模型的维护迭代等都是联邦成员能使用优质模型的关键。其中每一步又涉及到加密、信息交换、加工运算、策略拟定、得出结论的过程。
目前已有技术对与这些步骤或拆分不足，使得很多步骤只能使用框架默认设定而不能人工参与优化模型；或模型构建过程中某些步骤如分箱调整无法实现人工干预；或对模型训练过程约束过多，导致无法人工调整优化使得模型效果不佳；或模型训练框架较成熟的sk-learn等传统建模框架训练效果差异过大；或可实现的模型类型限制于LR、BOOST模型；或采用“调试后台”类的交互方式，需要使用者不仅有专业的风控建模能力，还需要对其中用到的各类软件框架非常熟悉，能够读懂晦涩的调试日志；或模型后期应用、维护困难。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种用于联邦学习的图形化模型全生命周期建模方法。
为了实现上述目的，本发明的实施例提供一种用于联邦学习的图形化模型全生命周期建模方法，包括如下步骤：
步骤S1，建模前对数据样本进行分析，确定联邦学习方案，参与方上传原始数据到建模平台的本地客户端后进行同态加密，加密完成后，其他参与方通过平台请求与该参与方数据进行联合分析运算，其中，其他参与方仅能得到联合分析运算结果，而不会直接获取参与方上传的原始数据；所述联合分析运算结果以图表形式通过可视化界面呈现；
步骤S2，根据联合分析运算结果，拟定建模策略，包括对数据进行的处理、加工、衍生、算法选择的过程；
步骤S3，采用拖拉拽方式，利用联邦特征工程手段对数据进行处理，包括：在运算时，目标变量Y标签的所属方先获取对方同态加密后的X维度，进行第一次信息交换；然后进行数据运算，将运算结果返回对方进行分析调试，进行第二次信息交换如此往复；
步骤S4，联邦模型训练过程：双方分别构建模型后，交换计算得到的中间态模型和损失函数，如此往复迭代；
步骤S5，构建完成联邦模型后，对所述联邦模型进行预测使用，其中，在预测使用过程中，参与方获知自己提供的数据变量的含义和权重，但无法获知其他参与方提供数据的含义，仅可获知其他参与方提供数据的权重；
步骤S6，对所述联邦模型的运行过程进行监控，得到模型监控统计指标，实现对联邦模型的维护迭代。
进一步，在所述步骤S1中，所述联邦学习方案包括：横向联邦、纵向联邦还是迁移联邦学习。
进一步，同态加密为对参与方上传的原始数据进行加密，无需解密即可实现对加密后的数据进行分析运算，获取分析运算结果，最后对分析运算结果进行解密；参与方和建模平台均允许在无法获知其他参与方的原始数据的基础上，对加密后的数据进行运算，以对应对方数据进行模型优化。
进一步，在所述步骤S2中，所述联合分析运算结果包括：原始Y标签有效样本数量、横向联邦学习样本交集、纵向联邦学习总样本量、样本维度。
进一步，在所述步骤S3中，所述联邦特征工程手段包括：编码、分箱、特征组合、特征离散化、特征运算、时间切片、偏移量增维、PCA降维、IV特征筛选、算法特征筛选。
进一步，在步骤S4中，第一参与方将根据第一数据集计算所得的模型和损失函数给到第二参与方，第二参与方根据第二数据集调整模型并得到新的损失函数，再由第一参与方进一步优化，如此迭代反复，进行交换分析。
进一步，在所述步骤S6中，获取模型监控统计指标，包括：
参与方的双方在本地通过平台客户端进行同态加密，将同态加密后的数据双方进行数据交换，然后各自对交换后的加密数据进行计算统计计算，得出模型监控统计指标。
进一步，所述模型监控统计指标，包括：群体稳定性指标PSI、洛伦兹曲线KS、曲线下面积AUC，曲线下面积AUC被定义为接受者操作特征曲线ROC曲线下与坐标轴围成的面积，接受者操作特性曲线是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率P(y/N)为横坐标，以击中概率P(y/SN)为纵坐标，画得的各点的连线。
根据本发明实施例的用于联邦学习的图形化模型全生命周期建模方法，通过图形化的建模平台实现联邦学习的功能，在保障联邦参与方信息安全的前提下，使得联邦学习可以应用于LR、BOOST以及其他的模型，同时通过图形化增加联邦学习建模各步骤中的人员可参与优化点、降低人员参与优化难度，并提供后期模型应用维护的途径，提升联邦学习技术的应用场景和易用性。
本发明可以使得两个企业以更低的学习门槛进行联邦学习建模，并对模型长期的使用、维护、迭代进行管理，使得模型长期可追踪，反向推动联邦成员对模型质量维护的积极性。通过图形化拖拉拽形式的平台，传统数据分析师不需要精通软件工程师的领域，即可快速建立联邦学习，进一步促进大数据行业打破数据孤岛，保障数据隐私，构建良好的数据科学发展体系。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的用于联邦学习的图形化模型全生命周期建模方法的流程图；
图2为根据本发明实施例的企业与联合模型之间的交互流程图；
图3为根据本发明实施例的用于联邦学习的图形化模型全生命周期建模方法的工作流程图；
图4为根据本发明实施例的样本统计信息交换的配置界面图；
图5为根据本发明实施例的联邦特征工程计算的配置界面图；
图6为根据本发明实施例的分箱详情的配置界面图；
图7为根据本发明实施例的联邦模型训练的配置界面图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种用于联邦学习的图形化模型全生命周期建模方法，可以通过可视化、图形化、拖拉拽的形式实现联邦学习的模型全生命周期的建模平台。本发明通过拖拉拽的交互形式进行联邦学习建模，增加分箱等细节调试手段，并在保护隐私的前提下为联邦学习构建的模型后期使用提供持续的监控的设计方案。
如图1和图3所示，本发明实施例的用于联邦学习的图形化模型全生命周期建模方法，包括如下步骤：
步骤S1，建模前对数据样本进行分析，确定联邦学习方案。
在本发明的实施例中，联邦学习方案包括：横向联邦、纵向联邦还是迁移联邦学习等。
样本统计信息交换：参与方上传原始数据到建模平台的本地客户端后进行同态加密。同态加密为对参与方上传的原始数据进行加密，无需解密即可实现对加密后的数据进行分析运算，获取分析运算结果，最后对分析运算结果进行解密。即，其他参与方不会直接得到密文数据，而是根据不同的分析步骤直接从平台获取分析结果。
在本步骤中，对于参与方A所提供的变量a，A可以看到变量a在整体样本的分布分析及其含义。对于A所不具备的变量b，A仅可看到变量b的分布分析，但不知其含义。
参与方和建模平台均允许在无法获知其他参与方的原始数据的基础上，对加密后的数据进行运算，以对应对方数据进行模型优化。
加密完成后，其他参与方通过平台请求与该参与方数据进行联合分析运算。其中，其他参与方仅能得到联合分析运算结果，而不会直接获取参与方上传的原始数据；联合分析运算结果以图表形式通过可视化界面呈现。即，通过平台可视化界面看到两方数据的分析报告，如样本重合度、变量分布情况等信息。具体需要统计分析生成哪些报表，可以通过平台拖拉拽组件进行配置，如图4所示。
步骤S2，根据联合分析运算结果，拟定建模策略，包括对数据进行的处理、加工、衍生、算法选择的过程。
在本步骤中，联合分析运算结果包括：原始Y标签有效样本数量、横向联邦学习样本交集、纵向联邦学习总样本量、样本维度等。
步骤S3，采用拖拉拽方式，利用联邦特征工程手段对数据进行处理，包括：在运算时，目标变量Y标签的所属方先获取对方同态加密后的X维度，进行第一次信息交换；然后进行数据运算，将运算结果返回对方进行分析调试，进行第二次信息交换如此往复。
在本发明的实施例中，联邦特征工程手段包括：编码、分箱、特征组合、特征离散化、特征运算、时间切片、偏移量增维、PCA降维、IV特征筛选、算法特征筛选等。
需要说明的是，部分特征工程与Y标签紧密挂钩。在运算时，Y标签的所属方先获取对方同态加密后的X维度，进行IV值等计算，后将计算结果返回对方进行分析调试，如此往复。如图5所示，通过平台拖拉拽组件进行配置选择计算方式。
部分如分箱等调整，还可以通过界面看到其统计信息，进行细致的手工调整，如图6所示。
步骤S4，联邦模型训练过程：双方分别构建模型后，交换计算得到的中间态模型和损失函数，如此往复迭代。
联邦模型训练过程根据每种算法略有不同，其核心逻辑是不交换完整数据，双方分别构建模型后，交换其中间态模型和损失函数。具体来说，第一参与方A将根据第一数据集a计算所得的模型和损失函数给到第二参与方B，第二参与方B根据第二数据集b调整模型并得到新的损失函数，再由第一参与方进一步优化，如此迭代反复，进行交换分析。
例如LR模型使用梯度下降法进行模型迭代时，即可将梯度、模型预测概率一同交换分析，直到双方数据都显示模型损失函数满足收敛条件即建模完成。如图7所示,通过平台拖拉拽组件进行配置使用哪种模型进行训练。
步骤S5，构建完成联邦模型后，对联邦模型进行预测使用.
联邦模型构建完成后，参与联邦提供数据的多方都可以使用。在预测使用过程中，参与方获知自己提供的数据变量的含义和权重，但无法获知其他参与方提供数据的含义，仅可获知其他参与方提供数据的权重。
即，企业A无法得知数据b贡献的变量的具体含义，但可以知道该变量的权重，同样，企业B无法得知数据a贡献的变量的具体含义，但可以知道该变量的权重，并且企业A、B都可以使用建模平台进行模型预测。
步骤S6，对联邦模型的运行过程进行监控，得到模型监控统计指标，实现对联邦模型的维护迭代。
联邦模型的维护迭代：联邦模型的维护主要是持续监控，以及迭代的触发。通常来说，监控分为准确度监控和稳定性监控。准确度和稳定性监控需要获取企业A、B两方的调用信息，而双方又要保有数据隐私。因此，参与方的双方在本地通过平台客户端进行同态加密，将同态加密后的数据双方进行数据交换，然后各自对交换后的加密数据进行计算统计计算，得出模型监控统计指标。同样的，企业A仅可获得数据a相关的指标统计情况和变量解释，但仅可以看到企业B所提供的数据b的统计情况而不能看到解释。
在本发明的实施例中，模型监控统计指标，包括：群体稳定性指标PSI、洛伦兹曲线KS、曲线下面积AUC等。曲线下面积AUC被定义为接受者操作特征曲线ROC曲线下与坐标轴围成的面积，接受者操作特性曲线是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率P(y/N)为横坐标，以击中概率P(y/SN)为纵坐标，画得的各点的连线。
如图2所示，应用时企业A和企业B的数据都是各自的隐私数据资产，不能对外泄露。协作者C作为一个中间服务者，提供一套独立部署的硬件设备环境，搭载建模平台供企业A和企业B使用。使用时，企业A和企业B通过联邦学习建模平台的客户端，在本地进行同态加密，加密后上传到协作者C。同态加密加密后可以隐去原始数据中的信息，且无需解密，可以直接对加密后的数据进行运算，最后将运算完成的数据进行解密。由此，企业A、企业B、协作者C都不能获取其他参与方的原始数据，但是可以利用对方的数据优化模型。
根据本发明实施例的用于联邦学习的图形化模型全生命周期建模方法，通过图形化的建模平台实现联邦学习的功能，在保障联邦参与方信息安全的前提下，使得联邦学习可以应用于LR、BOOST以及其他的模型，同时通过图形化增加联邦学习建模各步骤中的人员可参与优化点、降低人员参与优化难度，并提供后期模型应用维护的途径，提升联邦学习技术的应用场景和易用性。
本发明可以使得两个企业以更低的学习门槛进行联邦学习建模，并对模型长期的使用、维护、迭代进行管理，使得模型长期可追踪，反向推动联邦成员对模型质量维护的积极性。通过图形化拖拉拽形式的平台，传统数据分析师不需要精通软件工程师的领域，即可快速建立联邦学习，进一步促进大数据行业打破数据孤岛，保障数据隐私，构建良好的数据科学发展体系。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
Claims (8)
1.一种用于联邦学习的图形化模型全生命周期建模方法，其特征在于，包括如下步骤：
步骤S1，建模前对数据样本进行分析，确定联邦学习方案，参与方上传原始数据到建模平台的本地客户端后进行同态加密，加密完成后，其他参与方通过平台请求与该参与方数据进行联合分析运算，其中，其他参与方仅能得到联合分析运算结果，而不会直接获取参与方上传的原始数据；所述联合分析运算结果以图表形式通过可视化界面呈现；
步骤S2，根据联合分析运算结果，拟定建模策略，包括对数据进行的处理、加工、衍生、算法选择的过程；
步骤S3，采用拖拉拽方式，利用联邦特征工程手段对数据进行处理，包括：在运算时，目标变量Y标签的所属方先获取对方同态加密后的X维度，进行第一次信息交换；然后进行数据运算，将运算结果返回对方进行分析调试，进行第二次信息交换如此往复；
步骤S4，联邦模型训练过程：双方分别构建模型后，交换计算得到的中间态模型和损失函数，如此往复迭代；
步骤S5，构建完成联邦模型后，对所述联邦模型进行预测使用，其中，在预测使用过程中，参与方获知自己提供的数据变量的含义和权重，但无法获知其他参与方提供数据的含义，仅可获知其他参与方提供数据的权重；
步骤S6，对所述联邦模型的运行过程进行监控，得到模型监控统计指标，实现对联邦模型的维护迭代。
2.如权利要求1所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，在所述步骤S1中，所述联邦学习方案包括：横向联邦、纵向联邦还是迁移联邦学习。
3.如权利要求1所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，所述同态加密为对参与方上传的原始数据进行加密，无需解密即可实现对加密后的数据进行分析运算，获取分析运算结果，最后对分析运算结果进行解密；参与方和建模平台均允许在无法获知其他参与方的原始数据的基础上，对加密后的数据进行运算，以对应对方数据进行模型优化。
4.如权利要求1所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，在所述步骤S2中，所述联合分析运算结果包括：原始Y标签有效样本数量、横向联邦学习样本交集、纵向联邦学习总样本量、样本维度。
5.如权利要求1所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，在所述步骤S3中，所述联邦特征工程手段包括：编码、分箱、特征组合、特征离散化、特征运算、时间切片、偏移量增维、PCA降维、IV特征筛选、算法特征筛选。
6.如权利要求1所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，在步骤S4中，第一参与方将根据第一数据集计算所得的模型和损失函数给到第二参与方，第二参与方根据第二数据集调整模型并得到新的损失函数，再由第一参与方进一步优化，如此迭代反复，进行交换分析。
7.如权利要求1所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，在所述步骤S6中，获取模型监控统计指标，包括：
参与方的双方在本地通过平台客户端进行同态加密，将同态加密后的数据双方进行数据交换，然后各自对交换后的加密数据进行计算统计计算，得出模型监控统计指标。
8.如权利要求7所述的用于联邦学习的图形化模型全生命周期建模方法，其特征在于，所述模型监控统计指标，包括：群体稳定性指标PSI、洛伦兹曲线KS、曲线下面积AUC，曲线下面积AUC被定义为接受者操作特征曲线ROC曲线下与坐标轴围成的面积，接受者操作特性曲线是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率P为横坐标，以击中概率P为纵坐标，画得的各点的连线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911134600.6A CN111104731B (zh) | 2019-11-19 | 2019-11-19 | 一种用于联邦学习的图形化模型全生命周期建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911134600.6A CN111104731B (zh) | 2019-11-19 | 2019-11-19 | 一种用于联邦学习的图形化模型全生命周期建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111104731A true CN111104731A (zh) | 2020-05-05 |
| CN111104731B CN111104731B (zh) | 2023-09-15 |
Family
ID=70420652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911134600.6A Active CN111104731B (zh) | 2019-11-19 | 2019-11-19 | 一种用于联邦学习的图形化模型全生命周期建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104731B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990857A (zh) * | 2019-12-11 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 保护隐私安全的多方联合进行特征评估的方法及装置 |
| CN111753319A (zh) * | 2020-06-22 | 2020-10-09 | 上海富数科技有限公司 | 基于联邦学习实现数据探索性分析处理的方法 |
| CN111784001A (zh) * | 2020-09-07 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、设备及计算机可读存储介质 |
| CN111796811A (zh) * | 2020-07-08 | 2020-10-20 | 上海富数科技有限公司 | 联邦学习中实现支持断点调试的流控制引擎系统 |
| CN112101528A (zh) * | 2020-09-17 | 2020-12-18 | 上海交通大学 | 基于反向传播的终端贡献度量方法 |
| CN112163896A (zh) * | 2020-10-19 | 2021-01-01 | 科技谷（厦门）信息技术有限公司 | 一种联邦学习系统 |
| CN112231746A (zh) * | 2020-09-10 | 2021-01-15 | 杭州锘崴信息科技有限公司 | 联合数据分析方法、装置、系统及计算机可读存储介质 |
| CN112231768A (zh) * | 2020-10-27 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112231308A (zh) * | 2020-10-14 | 2021-01-15 | 深圳前海微众银行股份有限公司 | 横向联邦建模样本数据的去重方法、装置、设备及介质 |
| CN112508199A (zh) * | 2020-11-30 | 2021-03-16 | 同盾控股有限公司 | 针对跨特征联邦学习的特征选择方法、装置及相关设备 |
| CN112529101A (zh) * | 2020-12-24 | 2021-03-19 | 深圳前海微众银行股份有限公司 | 分类模型的训练方法、装置、电子设备及存储介质 |
| CN112685026A (zh) * | 2020-12-25 | 2021-04-20 | 厦门渊亭信息科技有限公司 | 一种基于多语言的可视化建模平台和方法 |
| WO2021114616A1 (zh) * | 2020-05-14 | 2021-06-17 | 平安科技（深圳）有限公司 | 联邦学习模型训练方法及相关设备 |
| CN113034042A (zh) * | 2021-04-19 | 2021-06-25 | 上海数禾信息科技有限公司 | 用于风控模型构建的数据处理方法和装置 |
| CN113157516A (zh) * | 2020-12-11 | 2021-07-23 | 四川新网银行股份有限公司 | 一种准实时计算的模型监控系统及方法 |
| CN113449319A (zh) * | 2021-06-23 | 2021-09-28 | 华东师范大学 | 一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法 |
| CN113486378A (zh) * | 2021-07-22 | 2021-10-08 | 杭州煋辰数智科技有限公司 | 基于联邦学习实现数据集构建处理的系统及其生成方法 |
| CN113807415A (zh) * | 2021-08-30 | 2021-12-17 | 中国再保险(集团)股份有限公司 | 联邦特征选择方法、装置、计算机设备和存储介质 |
| WO2022073320A1 (en) * | 2020-10-09 | 2022-04-14 | Huawei Cloud Computing Technologies Co., Ltd. | Methods and systems for decentralized federated learning |
| CN114707430A (zh) * | 2022-06-02 | 2022-07-05 | 青岛鑫晟汇科技有限公司 | 一种基于多用户加密的联邦学习可视化系统与方法 |
| CN114818972A (zh) * | 2022-05-19 | 2022-07-29 | 北京瑞莱智慧科技有限公司 | 一种模型构建方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
| CN109167695A (zh) * | 2018-10-26 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的联盟网络构建方法、设备及可读存储介质 |
| US20190012592A1 (en) * | 2017-07-07 | 2019-01-10 | Pointr Data Inc. | Secure federated neural networks |
| CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
| CN109711529A (zh) * | 2018-11-13 | 2019-05-03 | 中山大学 | 一种基于值迭代网络的跨领域联邦学习模型及方法 |
| CN109948804A (zh) * | 2019-03-15 | 2019-06-28 | 北京清瞳时代科技有限公司 | 跨平台拖拽式深度学习建模与训练方法及装置 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN110414688A (zh) * | 2019-07-29 | 2019-11-05 | 卓尔智联(武汉)研究院有限公司 | 信息分析方法、装置、服务器及存储介质 |
| CN110443067A (zh) * | 2019-07-30 | 2019-11-12 | 卓尔智联(武汉)研究院有限公司 | 基于隐私保护的联邦建模装置、方法及可读存储介质 |
-
2019
- 2019-11-19 CN CN201911134600.6A patent/CN111104731B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
| US20190012592A1 (en) * | 2017-07-07 | 2019-01-10 | Pointr Data Inc. | Secure federated neural networks |
| CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
| CN109167695A (zh) * | 2018-10-26 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的联盟网络构建方法、设备及可读存储介质 |
| CN109711529A (zh) * | 2018-11-13 | 2019-05-03 | 中山大学 | 一种基于值迭代网络的跨领域联邦学习模型及方法 |
| CN109948804A (zh) * | 2019-03-15 | 2019-06-28 | 北京清瞳时代科技有限公司 | 跨平台拖拽式深度学习建模与训练方法及装置 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN110414688A (zh) * | 2019-07-29 | 2019-11-05 | 卓尔智联(武汉)研究院有限公司 | 信息分析方法、装置、服务器及存储介质 |
| CN110443067A (zh) * | 2019-07-30 | 2019-11-12 | 卓尔智联(武汉)研究院有限公司 | 基于隐私保护的联邦建模装置、方法及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 窦佐超;汪诚弘;邓杰仁;郑灏;谢康;沈百荣;王爽;: "生物医疗大数据隐私与安全保护的应对策略与技术", 中华医学图书情报杂志, no. 11, pages 11 - 15 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990857A (zh) * | 2019-12-11 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 保护隐私安全的多方联合进行特征评估的方法及装置 |
| CN110990857B (zh) * | 2019-12-11 | 2021-04-06 | 支付宝(杭州)信息技术有限公司 | 保护隐私安全的多方联合进行特征评估的方法及装置 |
| WO2021114616A1 (zh) * | 2020-05-14 | 2021-06-17 | 平安科技（深圳）有限公司 | 联邦学习模型训练方法及相关设备 |
| CN111753319A (zh) * | 2020-06-22 | 2020-10-09 | 上海富数科技有限公司 | 基于联邦学习实现数据探索性分析处理的方法 |
| CN111796811A (zh) * | 2020-07-08 | 2020-10-20 | 上海富数科技有限公司 | 联邦学习中实现支持断点调试的流控制引擎系统 |
| CN111796811B (zh) * | 2020-07-08 | 2021-07-30 | 上海富数科技有限公司 | 联邦学习中实现支持断点调试的流控制引擎系统 |
| CN111784001A (zh) * | 2020-09-07 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、设备及计算机可读存储介质 |
| CN112231746B (zh) * | 2020-09-10 | 2024-02-02 | 杭州锘崴信息科技有限公司 | 联合数据分析方法、装置、系统及计算机可读存储介质 |
| CN112231746A (zh) * | 2020-09-10 | 2021-01-15 | 杭州锘崴信息科技有限公司 | 联合数据分析方法、装置、系统及计算机可读存储介质 |
| CN112101528B (zh) * | 2020-09-17 | 2023-10-24 | 上海交通大学 | 基于反向传播的终端贡献度量方法 |
| CN112101528A (zh) * | 2020-09-17 | 2020-12-18 | 上海交通大学 | 基于反向传播的终端贡献度量方法 |
| WO2022073320A1 (en) * | 2020-10-09 | 2022-04-14 | Huawei Cloud Computing Technologies Co., Ltd. | Methods and systems for decentralized federated learning |
| CN112231308B (zh) * | 2020-10-14 | 2024-05-03 | 深圳前海微众银行股份有限公司 | 横向联邦建模样本数据的去重方法、装置、设备及介质 |
| CN112231308A (zh) * | 2020-10-14 | 2021-01-15 | 深圳前海微众银行股份有限公司 | 横向联邦建模样本数据的去重方法、装置、设备及介质 |
| CN112163896A (zh) * | 2020-10-19 | 2021-01-01 | 科技谷（厦门）信息技术有限公司 | 一种联邦学习系统 |
| CN112163896B (zh) * | 2020-10-19 | 2022-05-06 | 科技谷（厦门）信息技术有限公司 | 一种联邦学习系统 |
| CN112231768A (zh) * | 2020-10-27 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112508199A (zh) * | 2020-11-30 | 2021-03-16 | 同盾控股有限公司 | 针对跨特征联邦学习的特征选择方法、装置及相关设备 |
| CN113157516B (zh) * | 2020-12-11 | 2023-06-23 | 四川新网银行股份有限公司 | 一种准实时计算的模型监测系统及方法 |
| CN113157516A (zh) * | 2020-12-11 | 2021-07-23 | 四川新网银行股份有限公司 | 一种准实时计算的模型监控系统及方法 |
| CN112529101B (zh) * | 2020-12-24 | 2024-05-14 | 深圳前海微众银行股份有限公司 | 分类模型的训练方法、装置、电子设备及存储介质 |
| CN112529101A (zh) * | 2020-12-24 | 2021-03-19 | 深圳前海微众银行股份有限公司 | 分类模型的训练方法、装置、电子设备及存储介质 |
| CN112685026A (zh) * | 2020-12-25 | 2021-04-20 | 厦门渊亭信息科技有限公司 | 一种基于多语言的可视化建模平台和方法 |
| CN113034042A (zh) * | 2021-04-19 | 2021-06-25 | 上海数禾信息科技有限公司 | 用于风控模型构建的数据处理方法和装置 |
| CN113034042B (zh) * | 2021-04-19 | 2024-04-26 | 上海数禾信息科技有限公司 | 用于风控模型构建的数据处理方法和装置 |
| CN113449319B (zh) * | 2021-06-23 | 2022-08-19 | 华东师范大学 | 一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法 |
| CN113449319A (zh) * | 2021-06-23 | 2021-09-28 | 华东师范大学 | 一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法 |
| CN113486378A (zh) * | 2021-07-22 | 2021-10-08 | 杭州煋辰数智科技有限公司 | 基于联邦学习实现数据集构建处理的系统及其生成方法 |
| CN113807415A (zh) * | 2021-08-30 | 2021-12-17 | 中国再保险(集团)股份有限公司 | 联邦特征选择方法、装置、计算机设备和存储介质 |
| CN114818972A (zh) * | 2022-05-19 | 2022-07-29 | 北京瑞莱智慧科技有限公司 | 一种模型构建方法、装置及存储介质 |
| CN114707430A (zh) * | 2022-06-02 | 2022-07-05 | 青岛鑫晟汇科技有限公司 | 一种基于多用户加密的联邦学习可视化系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111104731B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104731A (zh) | 一种用于联邦学习的图形化模型全生命周期建模方法 | |
| Zhang et al. | Dual attention-based federated learning for wireless traffic prediction | |
| WO2021249086A1 (zh) | 多方联合决策树构建方法、设备及可读存储介质 | |
| CN115775010B (zh) | 基于横向联邦学习的电力数据共享方法 | |
| CN110084377A (zh) | 用于构建决策树的方法和装置 | |
| CN109711556B (zh) | 机巡数据处理方法、装置、网级服务器和省级服务器 | |
| CN113191484A (zh) | 基于深度强化学习的联邦学习客户端智能选取方法及系统 | |
| CN104113596A (zh) | 一种私有云的云监控系统及方法 | |
| CN112418523B (zh) | 一种基于数字孪生的售后设备预测性维护协同系统 | |
| CN112380572B (zh) | 一种多方数据协同场景下的隐私保护量化评估方法和系统 | |
| CN113515760A (zh) | 横向联邦学习方法、装置、计算机设备和存储介质 | |
| CN113112032A (zh) | 基于联邦学习的航班延误预测系统及方法 | |
| CN113065046A (zh) | 一种产品缺陷检测设备和方法 | |
| CN112232519A (zh) | 一种基于联邦学习的联合建模方法 | |
| CN112232518A (zh) | 一种轻量级分布式联邦学习系统及方法 | |
| CN113988310A (zh) | 深度学习模型选择方法、装置、计算机设备和介质 | |
| CN116708009A (zh) | 一种基于联邦学习的网络入侵检测方法 | |
| CN109903008B (zh) | 一种地铁施工建设工程进度可视化管控系统及管控方法 | |
| CN110400075A (zh) | 一种智慧工地质量安全管理系统 | |
| CN114780308A (zh) | 一种基于5g和卫星通信技术的变压器故障远程智能诊断系统 | |
| CN108228900B (zh) | 基于分层结构的电力设备多光谱数据中心模型建立方法 | |
| CN116629834A (zh) | 一种基于元宇宙的运维平台 | |
| CN107273060A (zh) | 数据分布式存储的方法和装置 | |
| CN115660293B (zh) | 基于数字孪生的复杂机电产品全生命周期综合评价方法 | |
| Nour et al. | Anomaly detection using unsupervised learning in lte mobile network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231229 Address after: 100000 room 116, building 3, Shuangqiao (Shuangqiao dairy factory), Chaoyang District, Beijing Patentee after: Beijing Xiaoxiang innovation Artificial Intelligence Technology Co.,Ltd. Address before: 100142 437, Zone 1, Floor 4, No. 160, West Fourth Ring Road North, Haidian District, Beijing Patentee before: BEIJING GEO POLYMERIZATION TECHNOLOGY Co.,Ltd. |