CN112395341B - 一种基于联邦云合作网络的联邦学习管理方法及系统 - Google Patents
一种基于联邦云合作网络的联邦学习管理方法及系统 Download PDFInfo
- Publication number
- CN112395341B CN112395341B CN202011294788.3A CN202011294788A CN112395341B CN 112395341 B CN112395341 B CN 112395341B CN 202011294788 A CN202011294788 A CN 202011294788A CN 112395341 B CN112395341 B CN 112395341B
- Authority
- CN
- China
- Prior art keywords
- federal
- site
- cloud
- client
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 95
- 230000007246 mechanism Effects 0.000 claims abstract description 52
- 230000006855 networking Effects 0.000 claims abstract description 31
- 230000008520 organization Effects 0.000 claims description 93
- 238000000034 method Methods 0.000 claims description 19
- 238000012790 confirmation Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000002079 cooperative effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于联邦云合作网络的联邦学习管理方法及系统，该方法包括云管理端获取应用方站点的数据请求，将应用方站点的数据请求发送给数据源站点所属机构的客户端，在接收到数据源站点所属机构的客户端的确认信息后，对应用方站点和数据源站点进行鉴权，在确定鉴权通过后，向应用方站点所属机构的客户端和数据源站点所属机构的客户端发送联邦云合作通知，以使应用方站点与数据源站点进行联邦学习数据合作。通过部署在联邦云合作网络中的云管理端和多个客户端来管理和维护联邦云合作网络中的各机构中的站点之间的联邦学习数据合作，可以提高各机构的联邦学习数据合作的效率，降低各机构的组网成本。
Description
技术领域
本发明涉及金融科技(Fintech)领域，尤其涉及一种基于联邦云合作网络的联邦学习管理方法及系统。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融领域的数据处理技术中，联邦学习中一个重要的问题。
联邦学习成功地解决了数据孤岛问题，保证各个参与方在满足隐私保护和安全合规的前提下进行数据合作，但在实际应用中，合作机构之间需要共同搭建一个联邦学习网络体系，但由于不同机构存在组织管理关系差异、数据治理状况差异，所以针对不同机构或机构内部的数据协同合作，现有的方案无法满足各方定制化的要求，将会导致自行组网成本高、数据合作低效、各方体验不流畅等问题。
发明内容
本发明提供了一种基于联邦云合作网络的联邦学习管理方法及系统，可以提高合作机构的数据合作效率，降低合作机构的组网成本。
第一方面，本发明提供了一种基于联邦云合作网络的联邦学习管理方法，包括：
云管理端获取应用方站点的数据请求，所述数据请求包括请求联邦合作的数据源站点的标识信息；所述应用方站点的数据请求是所述应用方站点所属机构的客户端发送的；
所述云管理端根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端，以使所述数据源站点所属机构的客户端确认是否同意所述应用方站点的数据请求；
所述云管理端在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知，以使所述应用方站点与所述数据源站点进行联邦学习数据合作。
上述技术方案中，通过云管理端对应用方站点的数据请求进行管理，并在确定数据源站点同意数据请求后，对各站点进行鉴权后同意各站点的联邦学习数据合作。可以使得位于同一联邦云合作网络中的各结构可以相互合作，提高了各机构的联邦学习数据合作的效率，降低各机构的组网成本。
可选的，所述云管理端向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之前，还包括；
所述云管理端确定所述应用方站点和所述数据源站点是否加入所述联邦云合作网络中且所述应用方站点和所述数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
可选的，所述方法还包括：
所述云管理端在确定鉴权不通过后，向未加入所述联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对所述未加入所述联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。
可选的，所述云管理端部署于集中式组网的联邦云合作网络中的管理中心中或所述云管理端部署于点对点式组网的联邦云合作网络中的任一机构中。
可选的，所述云管理端在向应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之后，还包括：
所述云管理端获取所述联邦云合作网络中各机构的客户端上报的应用方站点与数据源站点进行联邦学习数据合作的联邦合作信息；所述联邦合作信息是各机构的客户端对各自管理的站点进行联邦建模任务进行统计后确定的；
所述云管理端根据所述联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。
可选的，所述联邦合作统计包括以下信息之一或任意组合：
联邦建模任务的当日活跃数据统计、历史累计活跃数据统计、不同类型任务的数据统计。
第二方面，本发明实施例提供一种基于联邦云合作网络的联邦学习管理系统，包括：云管理端和部署于所述联邦云合作网络中各机构中管理各机构的站点的客户端；
应用方站点所属的机构的客户端获取所述应用方站点的数据请求，所述数据请求包括请求联邦合作的数据源站点的标识信息；
所述应用方站点所属的机构的客户端将所述应用方站点的数据请求发送给所述云管理端；
所述云管理端根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端；
所述数据源站点所属机构的客户端在确认同意所述应用方站点的数据请求后，向所述云管理端发送确认信息；
所述云管理端在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知；
所述应用方站点与所述数据源站点在接收到所述联邦云合作通知后进行联邦学习数据合作。
可选的，所述云管理端向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之前，还用于确定所述应用方站点和所述数据源站点是否加入所述联邦云合作网络中且所述应用方站点和所述数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
可选的，所述云管理端在确定鉴权不通过后，向未加入所述联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对所述未加入所述联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。
可选的，所述云管理端部署于集中式组网的联邦云合作网络中的管理中心中或所述云管理端部署于点对点式组网的联邦云合作网络中的任一机构中。
可选的，所述联邦云合作网络中各机构的客户端统计各自管理的站点进行联邦建模任务的数据，确定出联邦合作信息；
所述各机构的客户端将所述联邦合作信息发送给所述云管理端；
所述云管理端根据所述联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。
可选的，所述联邦合作统计包括以下信息之一或任意组合：
联邦建模任务的当日活跃数据统计、历史累计活跃数据统计、不同类型任务的数据统计。
第三方面，本发明实施例提供了一种基于联邦云合作网络的联邦学习管理装置，包括：
获取单元，用于获取应用方站点的数据请求，所述数据请求包括请求联邦合作的数据源站点的标识信息；所述应用方站点的数据请求是所述应用方站点所属机构的客户端发送的；
发送单元，用于根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端，以使所述数据源站点所属机构的客户端确认是否同意所述应用方站点的数据请求；
处理单元，用于在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知，以使所述应用方站点与所述数据源站点进行联邦学习数据合作。
可选的，所述处理单元还用于：
向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之前，确定所述应用方站点和所述数据源站点是否加入所述联邦云合作网络中且所述应用方站点和所述数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
可选的，所述处理单元还用于：
在确定鉴权不通过后，向未加入所述联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对所述未加入所述联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。
可选的，所述云管理端部署于集中式组网的联邦云合作网络中的管理中心中或所述云管理端部署于点对点式组网的联邦云合作网络中的任一机构中。
可选的，所述处理单元还用于：
在向应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之后，获取所述联邦云合作网络中各机构的客户端上报的应用方站点与数据源站点进行联邦学习数据合作的联邦合作信息；所述联邦合作信息是各机构的客户端对各自管理的站点进行联邦建模任务进行统计后确定的；
根据所述联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。
可选的，所述联邦合作统计包括以下信息之一或任意组合：
联邦建模任务的当日活跃数据统计、历史累计活跃数据统计、不同类型任务的数据统计。
第四方面，本发明实施例提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于联邦云合作网络的联邦学习管理方法。
第五方面，本发明实施例提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于联邦云合作网络的联邦学习管理方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于联邦云合作网络的联邦学习管理系统的结构示意图；
图2为本发明实施例提供的一种组网方式的示意图；
图3为本发明实施例提供的一种组网方式的示意图；
图4为本发明实施例提供的一种基于联邦云合作网络的联邦学习管理方法的流程示意图；
图5为本发明实施例提供的一种联邦建模合作的示意图；
图6为本发明实施例提供的一种联邦建模合作的示意图；
图7为本发明实施例提供的一种基于联邦云合作网络的联邦学习管理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于联邦云合作网络的联邦学习管理系统。如图1所示，该系统可以为云管理端(Cloud Manager)100和多个客户端(FATE(Federated AITechnology Enabler，联邦AI技术赋能)Manager)200。该多个客户端200部署于联邦云合作网络中各机构中，用于管理各机构的站点。
其中，云管理端用于管理所述客户端管理端和所述客户端管理的站点；管理各站点间的联邦学习数据合作关系和各站点的权限。客户端用于管理和维护所在机构的站点，负责站点的自动化部署和升级，在云管理端的控制下管理站点间的联邦学习数据合作关系和各站点的权限。
在本发明实施例中，联邦云合作网络可以为云服务网络。
具体的，可以通过下述流程来管理联邦学习：
首先，应用方站点所属的机构的客户端获取所述应用方站点的数据请求，该数据请求包括请求联邦合作的数据源站点的标识信息。例如该标识信息可以为站点的序列号，名称等能够作为唯一标识的信息。以便于云管理端查询对应的数据源站点。该应用方站点所属的机构的客户端将应用方站点的数据请求发送给云管理端。
云管理端在接收到上述应用方站点的数据请求之后，就可以根据数据源站点的标识信息，将应用方站点的数据请求发送给数据源站点所属机构的客户端。这时，数据源站点所属机构的客户端在确认同意应用方站点的数据请求后，向云管理端发送确认信息。云管理端在接收到数据源站点所属机构的客户端的确认信息后，对应用方站点和数据源站点进行鉴权。并在确定鉴权通过后，向应用方站点所属机构的客户端和数据源站点所属机构的客户端发送联邦云合作通知。
最后应用方站点与数据源站点在接收到联邦云合作通知后进行联邦学习数据合作。
在本发明实施例中，该联邦学习数据合作可以包括联邦学习数据求交和联邦学习模型训练等合作。联邦学习数据求交是指对请求的联邦学习数据取交集，这个是联邦学习的一个步骤之一，一般取完交集之后开始进行联邦学习模型训练。
其中，在向应用方站点所属机构的客户端和数据源站点所属机构的客户端发送联邦云合作通知之前，云客户端还需要对应用方站点和数据源站点进行鉴权时，主要是确定应用方站点和数据源站点是否加入联邦云合作网络中且应用方站点和数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
若确定鉴权不通过，则云客户端需要向未加入联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对未加入联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。该预设时间可以依据经验设置。
此外，云管理端还可以对联邦云合作网络中的联邦学习数据合作进行监控，统计联邦学习数据合作的数量，具体的，联邦云合作网络中各机构的客户端统计各自管理的站点进行联邦建模任务的数据，确定出联邦合作信息，然后将该联邦合作信息发送给云管理端。云管理端在接收到该联邦合作信息之后，可以根据该联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。其中，该联邦合作统计包括以下信息之一或任意组合：联邦建模任务的当日活跃数据统计、历史累计活跃数据统计、不同类型任务的数据统计。
需要说明的是，上述云管理端部署于集中式组网的联邦云合作网络中的管理中心中或部署于点对点式组网的联邦云合作网络中的任一机构中。如图2所示，该联邦云合作网络的组网方式为集中式组网，云管理端部署于管理中心中。如图3所示，该联邦云合作网络的组网方式为点对点式组网，云管理端可以部署于机构A中，也可以部署于其它任意机构中。
图4示例性的示出了一种基于联邦云合作网络的联邦学习管理方法的流程，该流程可以由基于联邦云合作网络的联邦学习管理装置执行，该装置可以位于上述云客户端中，也可是上述云客户端。
如图4所示，该流程具体步骤包括：
步骤401，云管理端获取应用方站点的数据请求。
该应用方站点的数据请求是应用方站点所属机构的客户端发送的。
步骤402，所述云管理端根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端。
将应用方站点的数据请求发送给数据源站点所属机构的客户端之后，该数据源站点所属机构的客户端可以确认是否同意所述应用方站点的数据请求。
步骤403，所述云管理端在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知。
其中，在发送联邦云合作通知之前，云管理端需要对应用方站点和数据源站点进行鉴权，具体鉴权的过程包括确定应用方站点和数据源站点是否加入联邦云合作网络中且应用方站点和数据源站点是否完成身份验证，若是，则云管理端确定鉴权通过，否则云管理端确定鉴权不通过。
若确定鉴权不通过，则云管理端向未加入联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对未加入联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。
应用方站点所属机构的客户端和数据源站点所属机构的客户端在接收到联邦云合作通知后，就可以进行联邦学习数据合作。
此外，云管理端还可以获取联邦云合作网络中各机构的客户端上报的应用方站点与数据源站点进行联邦学习数据合作的联邦合作信息，该联邦合作信息是各机构的客户端对各自管理的站点进行联邦建模任务进行统计后确定的。
然后根据联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。
为了更好的解释本发明实施例中的联邦学习管理的流程，下面将在具体的场景下来描述上述过程。
如图5所示的集中式组网方式的联邦云合作网络的架构，其中，机构A、机构B、机构C、机构D...等分别来自不同的机构或企业，作为联邦学习的数据源方形成一个庞大的数据源中心(在联邦学习中各方数据依然留在各方本地)。每个数据源机构可能有若干个站点，每个站点都是独立的数据源，每个数据源站点只需要将各自的数据集分享到数据源中心(数据不出数据源站点本地，仅分享数据集介绍、关键词等基本信息)，供应用方来选择，从而进行联邦合作。无需将数据进行分享，数据源中心无法得到真正的数据，保证了数据的安全性。管理中心部署了云管理端，具有维护和管理整个合作网络的职责。机构1、机构2、机构3、机构4...等作为联邦学习的应用方参与到联邦合作组织中，他们参与联邦合作组织的目的是为了从数据源中心中寻找合适的数据源进行联邦学习数据合作(在联邦学习中各方数据依然留在各方本地)。每个应用方也可能有若干个站点，每个站点都是独立的应用方，每个应用方站点都可以从数据源中心里选择合适的一个或多个数据源站点并发起联邦合作。
如图5所示，具体的联邦合作建模流程包括：
①、机构1的站点1-1通过管理中心向数据源中心的机构A和机构C申请站点A01及站点C02的数据集。
②、数据集申请成功后，在开始联邦建模前，管理中心将会为站点1-1、站点A01和站点C02进行网络鉴权和各站点的身份确权。
③、确权后，站点1-1、站点A01和站点C02三个站点可以开始联邦学习数据合作，例如联邦学习数据求交、联邦学习模型训练等。
④、联邦建模过程中，记录联邦合作统计数据。
本发明实施例可以应用在金融风控业务中，某金融公司由于数据匮乏，加入FATECloud后从联邦合作组织中选择合适的数据源机构进行联合风控建模，来提升信贷风控效果，实现信贷业务的增长。
图6示出了一种点对点式组网方式的联邦云合作网络的架构，合作机构间形成数据合作联盟，各机构间拥有独立数据源或作为应用方，基于联盟的联邦学习数据合作。其中，机构A、机构B、机构C、机构D...等分别来自不同的机构或企业，作为联邦学习的参与方加入到联邦学习合作联盟中。每个机构都有可能兼任数据源和应用方的角色，每个机构都有若干个独立的数据源站点和若干个独立的应用方站点组成。机构A作为合作联盟的中心节点，兼任着维护和管理整个合作网络的职责，同时机构A也拥有自己的数据源站点和应用方站点参与联邦学习数据合作。每个联邦建模任务的发起都有某个机构中的应用方站点发起，该站点从整个数据合作联盟中寻找一个或多个合适的数据源站点进行合作，该数据源站点既可以来自其他机构中的数据源站点、也可以来自自身机构的数据源站点。
如图6所示，机构A为管理中心，具体的联邦合作建模流程如下：
①、机构B的站点B01通过机构A向机构G和机构C申请站点G01及站点C01的数据集。
②、数据集申请成功后，在开始联邦建模前，管理中心将会为站点B01、站点G01及站点C01进行网络鉴权和各站点的身份确权。
③、确权后，站点B01、站点G01及站点C01三个站点可以开始联邦学习数据合作，例如联邦学习数据求交、联邦学习模型训练等。
④、联邦建模过程中，记录联邦合作统计数据。
本发明实施例可以应用在集团企业中，例如某个集团企业，各业务子公司数据独立，各业务子公司即提供数据源站点参与其他业务子公司的联邦建模，或者自身业务增长需求，作为应用方站点来选择指定的业务子公司进行合作，比如实现交叉营销等等。
在上述步骤中，联邦云合作网络将会自动监控各个机构与各个站点间的联邦合作情况，并统计联邦合作。联邦云合作网络的监控包括所有合作机构与站点的监控工作，包括管理中心的云管理端的监控和各机构的客户端的监控：
1)管理中心的云管理端的监控：
当日活跃数据统计(当日参与联邦建模的活跃站点数以及联邦建模任务个数)、历史累计活跃数据统计(选择某段时间查看该段时间内的活跃站点数及联邦建模任务个数)、机构与机构间的联邦合作统计(累计联邦建模任务个数)、站点与站点之间的联邦合作统计(累计联邦建模任务个数、以及不同类型建模任务的个数)。
2)各机构的客户端的监控：
每个机构/站点与合作机构/站点之间的联邦合作统计的监控：本机构所有站点当日活跃数据统计(累计建模任务个数)、历史累计活跃数据统计(选择某段时间查看该段时间内的活跃站点数及联邦建模任务个数)、本机构与其他机构间的联邦合作统计(累计联邦建模任务个数)、本机构站点与其他机构站点之间的联邦合作统计(累计联邦建模任务个数、以及不同类型建模任务的个数)。
本发明实施例提供了用于联邦学习的组网方式，支持安全的多方联邦建模的组网解决方案，能够让多方合作机构在统一的联邦网络中进行连续有效地联邦建模。
本发明提供了中心化和点对点的联邦学习的组网方式，以及两种组网方式下如何开展联邦建模工作，适用于不同机构/企业开展不同业务的场景，非常灵活。
随时可扩容：中心化组网方式—支持任意添加数据源或应用方机构或站点，只要完成网络鉴权和身份鉴权等相关操作，就可以不限量地扩大数据源中心，构建一个更加庞大的、多样性的、不断完备的数据源聚集中心；点对点组网方式——只要约定的联盟机构，同样可以根据实际需要来进行扩容，让联邦合作组织更加丰富。
在约定的联邦学习组网模式下，各方遵循统一的网络规则，就可以快速搭建联邦学习建模的合作，保证建模过程中高效、低成本的运作。
联邦学习数据合作网络实时监控联邦合作情况，并呈现活跃机构、站点等，便于分析业务，和拓展业务合作等。
本发明实施例表明，云管理端获取应用方站点的数据请求，数据请求包括请求联邦合作的数据源站点的标识信息，应用方站点的数据请求是应用方站点所属机构的客户端发送的，根据数据源站点的标识信息，将应用方站点的数据请求发送给数据源站点所属机构的客户端，以使数据源站点所属机构的客户端确认是否同意应用方站点的数据请求，在接收到数据源站点所属机构的客户端的确认信息后，对应用方站点和数据源站点进行鉴权，在确定鉴权通过后，向应用方站点所属机构的客户端和数据源站点所属机构的客户端发送联邦云合作通知，以使应用方站点与数据源站点进行联邦学习数据合作。通过部署在联邦学习数据合作网络中的云管理端和多个客户端来管理和维护联邦学习数据合作网络中的各机构中的站点之间的联邦合作，可以提高合作机构的数据合作效率，降低合作机构的组网成本。
基于相同的技术构思，图7示例性的示出了一种基于联邦云合作网络的联邦学习管理装置，该装置可以执行上述基于联邦云合作网络的联邦学习管理的流程。
如图7所示，该装置包括：
获取单元701，用于获取应用方站点的数据请求，所述数据请求包括请求联邦合作的数据源站点的标识信息；所述应用方站点的数据请求是所述应用方站点所属机构的客户端发送的；
发送单元702，用于根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端，以使所述数据源站点所属机构的客户端确认是否同意所述应用方站点的数据请求；
处理单元703，用于在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知，以使所述应用方站点与所述数据源站点进行联邦学习数据合作。
可选的，所述处理单元703还用于：
向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之前，确定所述应用方站点和所述数据源站点是否加入所述联邦云合作网络中且所述应用方站点和所述数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
可选的，所述处理单元703还用于：
在确定鉴权不通过后，向未加入所述联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对所述未加入所述联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。
可选的，所述云管理端部署于集中式组网的联邦云合作网络中的管理中心中或所述云管理端部署于点对点式组网的联邦云合作网络中的任一机构中。
可选的，所述处理单元703还用于：
在向应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之后，获取所述联邦云合作网络中各机构的客户端上报的应用方站点与数据源站点进行联邦学习数据合作的联邦合作信息；所述联邦合作信息是各机构的客户端对各自管理的站点进行联邦建模任务进行统计后确定的；
根据所述联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。
可选的，所述联邦合作统计包括以下信息之一或任意组合：
联邦建模任务的当日活跃数据统计、历史累计活跃数据统计、不同类型任务的数据统计。
基于相同的技术构思，本发明实施例提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于联邦云合作网络的联邦学习管理方法。
基于相同的技术构思，本发明实施例提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于联邦云合作网络的联邦学习管理方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于联邦云合作网络的联邦学习管理方法，其特征在于，包括：
云管理端获取应用方站点的数据请求，所述数据请求包括请求联邦合作的数据源站点的标识信息；所述应用方站点的数据请求是所述应用方站点所属机构的客户端发送的；
所述云管理端根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端，以使所述数据源站点所属机构的客户端确认是否同意所述应用方站点的数据请求；
所述云管理端在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知，以使所述应用方站点与所述数据源站点进行联邦学习数据合作。
2.如权利要求1所述的方法，其特征在于，所述云管理端向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之前，还包括；
所述云管理端确定所述应用方站点和所述数据源站点是否加入所述联邦云合作网络中且所述应用方站点和所述数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
所述云管理端在确定鉴权不通过后，向未加入所述联邦云合作网络的站点和/或身份验证未通过的站点发送鉴权不通过的消息，并间隔预设时间对所述未加入所述联邦云合作网络的站点和/或身份验证未通过的站点鉴权一次，直到鉴权通过为止。
4.如权利要求1所述的方法，其特征在于，所述云管理端部署于集中式组网的联邦云合作网络中的管理中心中或所述云管理端部署于点对点式组网的联邦云合作网络中的任一机构中。
5.如权利要求1至4任一项所述的方法，其特征在于，所述云管理端在向应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之后，还包括：
所述云管理端获取所述联邦云合作网络中各机构的客户端上报的应用方站点与数据源站点进行联邦学习数据合作的联邦合作信息；所述联邦合作信息是各机构的客户端对各自管理的站点进行联邦建模任务进行统计后确定的；
所述云管理端根据所述联邦合作信息统计出各机构之间以及各站点之间的联邦合作统计，并以图例的形式进行显示。
6.如权利要求5所述的方法，其特征在于，所述联邦合作统计包括以下信息之一或任意组合：
联邦建模任务的当日活跃数据统计、历史累计活跃数据统计、不同类型任务的数据统计。
7.一种基于联邦云合作网络的联邦学习管理系统，其特征在于，包括：云管理端和部署于所述联邦云合作网络中各机构中管理各机构的站点的客户端；
应用方站点所属的机构的客户端获取所述应用方站点的数据请求，所述数据请求包括请求联邦合作的数据源站点的标识信息；
所述应用方站点所属的机构的客户端将所述应用方站点的数据请求发送给所述云管理端；
所述云管理端根据所述数据源站点的标识信息，将所述应用方站点的数据请求发送给所述数据源站点所属机构的客户端；
所述数据源站点所属机构的客户端在确认同意所述应用方站点的数据请求后，向所述云管理端发送确认信息；
所述云管理端在接收到所述数据源站点所属机构的客户端的确认信息后，向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知；
所述应用方站点与所述数据源站点在接收到所述联邦云合作通知后进行联邦学习数据合作。
8.如权利要求7所述的系统，其特征在于，所述云管理端向所述应用方站点所属机构的客户端和所述数据源站点所属机构的客户端发送联邦云合作通知之前，还用于确定所述应用方站点和所述数据源站点是否加入所述联邦云合作网络中且所述应用方站点和所述数据源站点是否完成身份验证，若是，则确定鉴权通过，否则确定鉴权不通过。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至6任一项所述的方法。
10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011294788.3A CN112395341B (zh) | 2020-11-18 | 2020-11-18 | 一种基于联邦云合作网络的联邦学习管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011294788.3A CN112395341B (zh) | 2020-11-18 | 2020-11-18 | 一种基于联邦云合作网络的联邦学习管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112395341A CN112395341A (zh) | 2021-02-23 |
| CN112395341B true CN112395341B (zh) | 2023-10-27 |
Family
ID=74607355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011294788.3A Active CN112395341B (zh) | 2020-11-18 | 2020-11-18 | 一种基于联邦云合作网络的联邦学习管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112395341B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779613B (zh) * | 2021-11-05 | 2022-02-08 | 深圳致星科技有限公司 | 用于联邦学习的安全数据网络的数据管理方法及装置 |
| CN115865705A (zh) * | 2022-11-29 | 2023-03-28 | 广发银行股份有限公司 | 基于监管机构的多方联邦学习系统、方法、设备及介质 |
| CN117688136B (zh) * | 2024-01-30 | 2024-04-30 | 广州敏行数字科技有限公司 | 一种基于人工智能的组合检索优化方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020032715A (ko) * | 2000-10-26 | 2002-05-04 | 강현석 | 다수 공급자가 연방체를 구성하여 상품을 판매하는에프투씨 전자상거래 시스템 및 그 방법 |
| CN109167695A (zh) * | 2018-10-26 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的联盟网络构建方法、设备及可读存储介质 |
| CN110709938A (zh) * | 2017-06-28 | 2020-01-17 | 通用电气公司 | 用于生成患者数字孪生的方法和系统 |
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN111919417A (zh) * | 2018-01-31 | 2020-11-10 | 易享信息技术有限公司 | 在基于云的计算环境中用共识管理为分布式分类账技术实现超级社区和社区侧链的系统、方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190163790A1 (en) * | 2017-11-29 | 2019-05-30 | Intuit Inc. | System and method for generating aggregated statistics over sets of user data while enforcing data governance policy |
-
2020
- 2020-11-18 CN CN202011294788.3A patent/CN112395341B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020032715A (ko) * | 2000-10-26 | 2002-05-04 | 강현석 | 다수 공급자가 연방체를 구성하여 상품을 판매하는에프투씨 전자상거래 시스템 및 그 방법 |
| CN110709938A (zh) * | 2017-06-28 | 2020-01-17 | 通用电气公司 | 用于生成患者数字孪生的方法和系统 |
| CN111919417A (zh) * | 2018-01-31 | 2020-11-10 | 易享信息技术有限公司 | 在基于云的计算环境中用共识管理为分布式分类账技术实现超级社区和社区侧链的系统、方法和装置 |
| CN109167695A (zh) * | 2018-10-26 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的联盟网络构建方法、设备及可读存储介质 |
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 面向边缘人工智能计算的区块链技术综述;方俊杰;雷凯;;应用科学学报(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112395341A (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112395341B (zh) | 一种基于联邦云合作网络的联邦学习管理方法及系统 | |
| CN108776929A (zh) | 基于区块链数据库的账单处理方法、系统和可读存储介质 | |
| CN107896157B (zh) | 黑名单数据交换方法及应用服务器 | |
| CN109639413A (zh) | 一种基于移动自组网的区块链系统 | |
| CN111027936A (zh) | 一种联盟网络中基于智能合约的工作流实现方法、设备及介质 | |
| CN110599181A (zh) | 基于区块链的数据处理方法、装置和设备及存储介质 | |
| CN105809062A (zh) | 一种合约构建、执行方法及装置 | |
| CN107657522B (zh) | 一种建筑工地劳资管理方法 | |
| CN109754145B (zh) | 基于任务的项目管理方法、装置、系统和存储介质 | |
| CN109299333B (zh) | 区块链网络账本成员管理方法、装置、设备及存储介质 | |
| US10636025B2 (en) | Payment processing conditioned on multi-party geolocation constraints | |
| CN110071897A (zh) | 一种基于移动端的区块链系统 | |
| CN108109221A (zh) | 一种基于智能终端的移动打卡系统 | |
| CN107733739A (zh) | 可视化集中管理可信策略和报告的系统与方法 | |
| CN110910089A (zh) | 一种智慧社区工单处理方法及装置、服务器、系统 | |
| CN111415160B (zh) | 基于区块链的销账业务处理方法、系统及各相关节点 | |
| US20130054458A1 (en) | Money Transfer Utilizing a Social Network Environment | |
| CN115190122B (zh) | 基于区块链的行程关联方法、装置、设备及存储介质 | |
| KR102069888B1 (ko) | 학술행사 관련정보 제공 및 출결 상황 모니터링 장치 | |
| CN111754658B (zh) | 培训管理方法、装置和电子设备 | |
| CN103973485B (zh) | 基于固定端口的运维管理系统及方法 | |
| KR20220112578A (ko) | 커뮤니티 구성원을 위한 온라인 플랫폼 제공방법 및 이를 위한 서버 | |
| CN110851453B (zh) | 一种项目通讯录动态的生成方法 | |
| JP2017016257A (ja) | 情報処理システム、端末装置、およびプログラム | |
| CN109583818A (zh) | 一种基于区块链技术的物流平台精准金融服务系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |