CN111553470B - 适用于联邦学习的信息交互系统及方法 - Google Patents
适用于联邦学习的信息交互系统及方法 Download PDFInfo
- Publication number
- CN111553470B CN111553470B CN202010662338.9A CN202010662338A CN111553470B CN 111553470 B CN111553470 B CN 111553470B CN 202010662338 A CN202010662338 A CN 202010662338A CN 111553470 B CN111553470 B CN 111553470B
- Authority
- CN
- China
- Prior art keywords
- node
- participant
- attribute
- nodes
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 150
- 238000012512 characterization method Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 14
- 230000008520 organization Effects 0.000 description 9
- 238000005295 random walk Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种适用于联邦学习的信息交互系统及方法，该系统包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络中包含若干个节点；各个参与方将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。本发明可以在保障各参与方信息安全的情况下实现信息交互。
Description
技术领域
本发明属于大数据技术领域，具体的，本发明涉及一种适用于联邦学习的信息交互系统及方法。
背景技术
企业间的合作已经司空见惯，跨领域的项目合作也存在着巨大的潜力，可以很好地弥补各方的不足。例如，社交企业（用户基本信息）与电商（购物、浏览记录）合作。鉴于多方的数据互补的潜力以及用户隐私保护、数据安全要求，联邦学习应运而生。联邦学习是指在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。除图像、文本形式外，信息也常以网络形式数据给出。目前，对于基于深度学习的网络建模的主流方案有基于随机游走，其典型的代表是deepwalk。按照节点的连接关系，通过随机地在节点间进行游走，采样出一个节点序列，再用word2vec编码各个节点。然而，由于网络中各个节点相互连接，节点即可以作为分析的样本，同时也是相关节点的特征。而主流的联邦学习一般是针对样本扩充的横向联邦学习和针对特征扩展的纵向联邦学习。从信息丢失角度而言，在随机游走的方式中，节点是以基本单元的形式参与模型训练的，而节点自身也具有一些固有属性，如：文本描述、标签、图片等，这些信息在建模过程中将会丢失。从信息的跨图传播效率而言，信息通过交点集合进行跨图传递，限于这种传递的频率较低，信息的广播速度受到极大限制，必须活跃图训练完毕后，才会有下一个子图被激活，整个训练过程是串行化递进的，当参与的数据提供方较多时，问题将更加严重。因此，如何解决现有技术中随机游走的串行化编码方式存在的节点自身信息易缺失、交互频率低、计算效率低的技术问题是本申请人研究的重点项目，本研究由国家重点研发计划资助，课题编号：2019YFB1404605。
发明内容
为了解决现有技术中随机游走的串行化编码方式存在的节点自身信息易缺失、交互频率低，计算结果的准确性有待提高和计算效率低下的技术问题，本发明公开的实施例提供了一种适用于联邦学习的信息交互系统及方法，通过并行化编码方式可以更充分利用节点自身属性信息，以及提高交互频率，提高数据处理的计算效率。
本发明的第一目的是解决现有技术中随机游走的串行化编码方式存在交互频率低，计算效率低下的技术问题，为此，本申请的实施例所采用的技术方案如下：
一种适用于联邦学习的信息交互系统，包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络中包含若干个节点；其中，
各个参与方并行地将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；
所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；
各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。
上述方案中，各参与方并行地进行各自的节点编码，通过将节点用定长向量表征后进行图神经网络模型训练，且训练过程中及时上传梯度信息，有效地实现了多参与方之间的信息交互，并行方式极大地提高了交互效率，进而提高了计算效率；而且各参与方上传的仅是梯度信息，且是通过协调方来协调修正，各参与方各自的数据不会外泄，保障了各方的信息安全。
本发明的第二目的是解决现有技术中随机游走的串行化编码方式存在节点自身信息容易缺失，继而会导致计算结果不准确的技术问题，为此，本申请的实施例所采用的技术方案如下：
所述各个参与方在将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量时，首先将每个节点所具有的属性划分为可编码属性和标签属性，所述可编码属性为若干个；然后将节点中所述可编码属性编码为定长向量，得到每个节点的可编码属性的表征向量；最后对各个可编码属性的表征向量进行聚合，得到该节点的表征向量，且每个节点的特征向量的长度一致。
上述方案中，对节点进行编码时，引入节点的可编码属性信息，丰富了节点的信息表达，使得各个图网络的表达更加客观，进而提高计算结果的准确性。
各个参与方将节点中所述可编码属性编码为定长向量时，通过预先训练好的属性编码器对可编码属性进行编码，编码为表征向量。
上述方案中，通过预先训练好的属性编码器对可编码属性进行编码，不仅可以满足自身使用需要，而且也可将预先训练好的属性编码器分享给其他用户使用，可以实现共享共用，其他用户就可以避免再训练，进一步提高了信息交互的效率，同时也降低了硬件消耗。
以节点为单位，协调方定期或定量统计该节点的梯度变化，并采用均值的方式，将各个参与方上报的梯度信息进行修正，并广播给各个参与方。
上述方案中，协调方采用均值方式修正各个参与方上报的梯度信息，既实现了各参与方信息交互的目的，又简化了计算算法，节省了计算消耗，提高了计算效率。
另一方面，基于相同的发明构思，基于信息交互系统的角度，本发明实施例提供了一种适用于联邦学习的信息交互方法，适用于信息交互系统，所述信息交互系统包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络中包含若干个节点；所述适用于联邦学习的信息交互方法包括以下步骤：
各个参与方将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；
所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；
各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。
所述各个参与方在将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量的步骤，包括：
将每个节点所具有的属性划分为可编码属性和标签属性，所述可编码属性为若干个；
将节点中所述可编码属性编码为定长向量，得到每个节点的可编码属性的表征向量；
对各个可编码属性的表征向量进行聚合，得到该节点的表征向量，且每个节点的特征向量的长度一致。
所述各个参与方将节点中所述可编码属性编码为定长向量的步骤中，通过预先训练好的属性编码器对可编码属性进行编码，编码为表征向量。
所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正的步骤，包括：协调方定期或定量统计梯度的变化，并采用均值的方式，将各个参与方上报的梯度信息进行修正。
再一方面，基于相同的发明构思，基于参与方的角度，本发明还提供了一种适用于联邦学习的信息交互方法，适用于信息交互系统，所述信息交互系统包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络中包含若干个节点；所述适用于联邦学习的信息交互方法包括以下步骤：
参与方基于自身的图网络，针对于每一个节点进行属性划分，将属性分成可编码属性和标签属性；其中，所述可编码属性为若干个；
针对于每个节点，将每个可编码属性编码为表征向量；
针对于每个节点，将所有可编码属性的表征向量进行聚合，得到节点的表征向量；
利用得到的各个节点的表征向量，采用图神经网络模型进行标签属性学习，并在学习过程中向协调方上传梯度信息，以便于协调方对所述梯度信息进行修正；
基于所述修正后的梯度信息更新节点的表征向量，并基于更新后的节点的表征向量继续训练，直至训练结束。
与现有技术相比，本公开的实施例具有以下有益效果：
1）通过梯度信息的及时更新，大幅提高了多个图网络之间的交互频率，使得信息能够及时扩散到其他子图网络中。
2）本发明利用深度学习，首先把企业/个人的基本信息、交易的详细信息编码到网络的节点表征中，再通过各自的标签，联合进行模型训练，得到包含了多个数据信息的统一节点表征，充分地整合了节点固有属性信息，极大地丰富了节点的表征含义。
3）由于各终端的网络模型分别在各自的自有数据上进行训练，不涉及真实数据的交互，继而不存在数据的外泄，保障了数据的安全性。
4）各参与方上传的是梯度信息，梯度信息本身不对应具体的信息，难以解读，因此无需加密，继而省去了加密的流程，同时也节省了计算消耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一个实施例的信息交互系统的构架图；
图2是本发明的一个实施例的两个图网络示意图；
图3a、图3b、图3c、图3d、图3e分别为本发明的一个实施例中节点A、节点B、节点L、节点Q、节点R的属性展示图；
图4为本发明的一个实施例的中基于系统角度的信息交互方法的流程图。
图5为实施例基于参与方角度的信息交互方法的流程图。
图6为采用BERT模型对自我介绍属性进行编码的示意图。
图7为采用imageNet预训练好的VGG16网络对图片属性进行编码的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在工业界，数据常常是以孤岛形式存在的，不同行业、不同企业、甚至企业内的不同部门之间，往往都各自拥有着自己的数据集，数据的存在方式也不统一。但是企业间的合作已经司空见惯，跨领域的项目合作也存在着巨大的潜力，可以很好地弥补各方的不足。例如：社交企业（用户基本信息）与电商（购物、浏览记录）合作。而且除图像、文本形式外，信息也常以网络形式数据给出，例如企业的社交网络。借助这些网络，可以很好地从关联关系角度分析节点，或者分析整个网络的异常情况。因此，借助于联邦学习，在保障隐私的情况下可以实现不同机构间的信息交流，相互学习。
如图1所示，本实施例中提供的适用于联邦学习的信息交互系统，包括若干个（因为要实现信息交互，所以至少是两个）参与方和一个协调方，各个参与方为一个数据拥有方，拥有自己的数据，数据以网络图谱（图网络）形式存储，各参与方之间通过建立联邦学习模型，彼此学习。在编码学习过程中，各参与方需要将各自的梯度信息上传至协调方，协调方可以是服务器或者是终端设备，协调方再将修正后的梯度信息反馈至各个参与方，各个参与方再基于修正后的梯度信息进行继续训练。
参与方就是指参与信息交互的对象，可以是机构的终端或服务器，所述机构包括企业、银行、高校等各种组织，因此本文中的参与方、终端应理解为同一主体。终端可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备，甚至可以是车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)等。
其中，每个参与方各自所持有的样本数据为图网络数据，且每个参与方持有的样本数据为各自的业务系统运行产生的数据，其可以用一个网络来表示（图1中所示的子图网络）。网络中每一个节点彼此独立存在，同时又相互耦合。
参阅图1和图2，下面以信息交互系统包含两个参与方为例进行说明，即第一参与方第二参与方，第一参与方拥有第一图网络A，第二参与方拥有第二图网络B。图网络中的圈表示节点，线为边，代表关联关系。其中，第一图网络A和第二图网络B的样本数据维度不同，特征维度有部分重叠。第一图网络A为第一参与方运行产生的图网络，包括H、I、J、K、L、M、N、O、P、Q以及R等相互耦接的节点，第二图网络B为第二参与方运行产生的图网络，包括A、B、C、D、E、F、G、H、I、J、K以及L等相互耦接的节点，且第一图网络A和第二图网络B存在特征交集，即节点H、I、J、K、L。
图网络中，节点和边都可以拥有自己的属性，并且属性还可能具备多种类型。例如图3a-e中，分别展示的是节点A、B、L、Q、R的属性。在图3a-e中，方框表示节点，圈是节点的各种属性，一个圈表示一种属性。
图4为本发明实施例提供的一种适用于联邦学习的信息交互方法的流程示意图，该信息交互方法基于图1中所示的信息交互系统而实现。具体地，请参阅图4，信息交互方法包括以下步骤：
S10，各个参与方将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量，进行图神经网络模型的训练，且训练过程中向协调方上传梯度信息。
各个参与方并行执行本步骤，此处的并行可以有两种理解，一种理解是逻辑上的并行，另一种理解是逻辑和时间上的并行，时间上的并行可以使得信息交互更及时，进一步节省信息交互的时间，因此优选逻辑和时间上的并行。另外，容易理解的是，时间上的并行也并非要求时间上的绝对一致，因为基于通信的延迟等多方面原因，各参与方执行本步骤的时间允许有差异的，也就是说，时间上的并行是一个相对概念，而不是绝对概念。
此处还需要注意的是，模型分类训练的过程中，会出现预测误差（标签预测错误），预测误差反向传播，得到编码模型中的各层参数的偏导，以及关于编码模型的输入（输入是指各节点的表征向量）的偏导，此处，参与方向协调方上传的仅是关于输入的偏导（或简称输入偏导），不含本地图神经网络模型的参数偏导。
图网络中的每个节点的梯度可能是不相同的，上传梯度信息时，是以节点为对象，将本图网络中每个节点的梯度都要上传。例如，每个节点配置有对应的id，实现时将节点的id和梯度值对应上传。
S20，协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方。
本步骤中，作为一种实施方式，协调方定期或定量（视数据总量、计划的训练规模、网络等因素，可以适时灵活制定）统计梯度，并采用均值的方式，将多个参与方上报的梯度信息进行修正。更具体地，以节点为单位，统计具备该节点的所有参与方的梯度之和，然后求平均值。例如，有三个参与方，对节点A的梯度分别为4、5、6，那么，聚合后的A节点梯度为（4+5+6）/3=5，再将修正后的梯度分发给各参与方，例如，以广播的形式分发出去，以便于参与方应用修正后的梯度信息更新其自身的图神经网络模型。
此处需要说明的是，可能对于某节点，只有一个图网络才具备，而其他参与方都不具备，基于定期或定量统计的原理，也可能出现该节点的梯度信息已经上传过多次，所以修正后的梯度信息则是该节点多次上传的值的均值。
如果某一方还没有执行一次计算，即，没有上传梯度信息，就收获了来自协调方的梯度更新，这显然是不合适的，因此更新不能太频繁。以定期发布梯度更新信息为例，假设协调方上一次发布信息是10点，它每个小时广播一次统计结果，那么，就统计这期间的各个节点的表征的梯度累积，均值后，再广播出去。这样，各参与方都可以在此时间段内自由计算，不受其他参与方的约束，在保障信息交互的情况下也提高计算效率。协调方而每次广播之后，就要清空各个节点的梯度累积。
协调方修正梯度信息的过程即是各参与方实现信息交互的过程。针对于同一个节点，协调方会将所有参与方上传的梯度信息进行综合考虑，例如取均值的方式对梯度信息进行修正，这样就使得修正后的梯度信息融入了其他参与方的特性，即实现了信息交互。但是各参与方上传的仅仅是梯度信息，而不是真实数据，因此在实现信息交互的同时也不会导致数据外泄，保障了参与方各自数据的隐私安全。
S30，各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。
上述方法中，一方面，通过梯度信息的及时更新，大幅提高了多个图网络之间的交互频率，使得信息能够及时扩散到其他子图网络中，不仅实现了信息交互，而且提高了交互效率。另一方面，各参与方的网络模型分别在各自的自有数据上进行训练，不涉及真实数据的交互，继而不存在数据的外泄，保障了数据的安全性。而且梯度信息本身不对应具体的信息，难以解读，因此无需加密，继而省去了加密的流程，同时也节省了计算消耗。
图4是信息交互方法基于系统角度的大致流程图，下面将结合图5，基于参与方的角度再更细致地阐述下信息交互方法的各个步骤，即每个参与方都执行的步骤。
请参阅图5，更细化地，本发明信息交互方法包括以下步骤：
S100，参与方基于自己的图网络，对节点的属性进行划分，将属性分成可编码属性和标签属性两类，所谓的属性就是节点所拥有的描述数据，例如表格数据、图片数据、文本数据等。其中，可编码属性即是指可以被编码的属性，例如表格化的节点固有特征（年龄、性别等）、对企业经营范围的介绍、专利的编码等，都属于可编码属性。标签属性是指被视作为分类目标的属性。标签属性一般是枚举值，例如企业的行业。容易理解的，对于不同的分类任务，标签属性是不同的。 本发明中的可编码属性和标签属性是相对概念，即一个节点中的所有属性，要么是标签属性，要么是可编码属性。
针对于同一个图网络中的所有节点，每个节点都有标签属性和可编码属性，标签属性相同，但是可编码属性可能不同。例如图3a、图3b，在第一图网络A中，a1为标签属性，节点A中的可编码属性包括a2和ap，而节点B中的可编码属性包括a3和ak，而节点L中的可编码属性为a4和ap。针对于同一个图网络中的所有节点，每个节点中所包含的可编码属性的数量也可能不同。例如图3c、图3d，在第二图网络B中，ap为标签属性，节点Q中所包含的可编码属性有3个，分别为a7、a6和ac，而节点R中所包含的可编码属性为2个，分别为a7和a4。
在一些实施例中，可能多个（本文中的多个均是指两个或两个以上）参与方的图网络中会使用到相同的节点属性作为标签属性，此时，多个参与方则需要共用同一套标签集，例如，所有的参与方都约定使用国家标准行业，而不是各自制订一套，以避免模型识别错误。例如，相同行业在不同参与方的图网络中标签相同，而不是在一个参与方的图网络中可能标签为农业，而在另一个参与方的图网络中可能标签为工业。另外，同等的标签（例如：都是农业），在各个参与方的图网络中标签ID（比如ID都是1）也相同，避免给参与方自身的编码模型带来困惑。
S200，参与方将自身图网络中的每个节点所包含的每个可编码属性编码为表征向量，属性的表征向量也可称为属性向量。
作为一种可实施方式，各个参与方对自身图网络中所有节点的可编码属性进行建模，将其编码为定长向量。
作为另一种可实施方式，也可以把属性编码器以模块的形式，整合到本地网络模型（图神经网络模型）中，为本地网络模型提供属性表征。
本实施例中，优选直接使用训练好的属性编码器，对节点的各个可编码属性（例如文本、语音、图片等）进行编码，并输出定长向量。属性编码器可以通过无监督（如：BERT或者基于海量语料的其他无监督训练方法）训练方法、或其他专门数据集（如：分词数据集、基于ImageNet的图像分类神经网络）的有监督方式进行训练。本用户训练好属性编码器后其他用户如有需要可以直接使用，即实现属性编码器的共享共用，继而其他用户在对节点的可编码属性进行编码时就可以避免再次训练，继而提高编码效率，同时也节省计算消耗。
对所有准备利用的可编码属性（也就是说可编码属性中，如果不是准备利用的那就不编码，只对准备利用的可编码属性进行编码）都需要转化成向量的编码形式。对于不准备利用的可编码属性，例如节点中有企业的名称属性、经营范围属性、企业网址属性，不需要利用网址信息，那么企业网址属性就是“不准备利用的”可编码属性。在编码前，可以对准备利用的可编码属性进行指定。容易理解的，可编码属性是否被利用是基于具体应用目的而言的，可能某些可编码属性在本次应用中不准备利用，但是在下一次应用中可能准备利用，因此并不是在每次编码前都需要指定准备利用的可编码属性。
需要理解的是，可编码属性可能是多个，对于不同的可编码属性，所采用的属性编码器可能不同，也就是说，本步骤在对节点的可编码属性进行编码以得到表征向量时，可能会使用到多个属性编码器。
例如，个人简历中有自我介绍一栏，对于该属性，采用预训练好的BERT模型编码。用[CLS]对应的向量来代表整个文本的编码向量，[SEP]表示句子分隔符。那么多个句子可以输入给BERT模型，如图6所示。Token embedding直接是词向量（预训练模型中已经自带词到词向量的转换）。Segment embedding可以视作句子的id经过one-hot编码。Positionembedding 位置id经过不同周期的正余弦的转化，得到的位置向量。经过BERT的多层transformer结构后，提取[CLS]对应的向量作为整个自我介绍属性的表征向量。
又例如，对于节点中的图片属性，如个人的大头贴。把图片通过经过imageNet预训练好的VGG16网络，提取其最后一个隐层的编码向量，作为图片的表征向量。如图7所示，在imageNet中，需要进行千分类，这里，只使用4096维向量作为图片的表征向量。
此处需要注意的是，为了实现各个节点的表征向量长度一致，且简化运算以提高计算效率，在将属性编码为表征向量（或称为属性向量）时，可以限定各个属性向量的长度一致。
S300，所有节点用定长向量（即指定长度的向量，称为表征向量）表征，得到每个节点的表征向量。节点的表征向量的长度，不仅是同一图网络中各个节点的表征向量长度一致，而且是各个参与方之间图网络中节点的表征向量长度一致。
例如按照约定的方式，对各个可编码属性的表征向量进行聚合，将结果按位加到节点的表征向量上。例如，将单个节点的所有属性向量按位相加，例如初始化时每个属性向量的权重相同，而随着训练的进行，不同属性向量的权重会根据与标签属性的亲疏关系而发生变化，最终得到同维度的定长向量。即是说，本步骤的目的是针对于各个节点，将节点所包含的可编码属性的表征向量聚合为节点的表征向量，且各个节点的表征向量的长度相同。
例如，假设某一个节点有3个可编码属性，继而对应得到3个属性向量（属性向量即是指可编码属性的表征向量），假设分别为（x1，x2，x3），（y1，y2，y3），z1，z2，z3），那么聚合后得到的表征向量为（
，
，
），a、b、c分别3个属性向量的权重。在初始化时，a、b、c的取值可以相同，但是随着训练的进行，利用标签属性，通过模型自行掂量各个属性向量的重要性，调整权重取值。
需要说明的是，各个节点所包含的属性向量的个数可能不同，因此各个节点的向量维度可能不同，按位相加是针对向量维度相等的情况。而对于向量维度不等的情况，可以先将各个属性向量拼接起来，得到一个超长的大向量，再通过线性变换，变换到指定的维度大小，进而实现各个节点的表征向量的长度相同。
例如，个人节点包含的可编码属性有：年龄、性别、大头贴、自我介绍，其中年龄和性别以表格形式存在。利用在ImageNet上预训练好的属性编码器模型编码大头贴图像，得到定长图向量，用BERT/sent2vec得到自我介绍的定长文本向量。然后，拼接这几个定长向量及表格属性（表格属性不需要编码为属性向量），再通过一个线性变换模块转化成各参与方统一的定长向量，即，节点的表征向量。即线性变换模块生成一个矩阵，原向量*矩阵=新向量，新向量即为长度统一后得到的向量。
这个线性变换模块是各参与方本地图神经网络模型的一部分，由于各参与方拥有和使用的可编码属性可能不同，底层的特征维度（即可编码属性的数量）可能也不一致，所以，有这个本地化的线性转换模块，可以将各自的属性特征转化为同等长度的节点向量。而在误差反向传递时，因为是等权重加和的，梯度可以直接进一步传递到线性变换的矩阵参数上，一并更新。
另外，对于交集上的节点，可能在不同的子网络中具有不同的属性，例如，某节点在图网络1中有a、b两个属性，在图网络2中有b、c、d三个属性。针对于交集节点在不同子网络中表征不同的情况，在训练之前，按照节点id作为单位，在计算得到该节点在不同图网络中的表征向量后，求取表征向量的均值，并以该均值作为该节点的表征向量。
S400，利用步骤S300得到的节点表征向量，采用GCN（图卷积神经网络）或GAT（图注意力）模型（或者也可以采用其他图神经网络模型，消息传递的图神经网络模型），进行标签属性学习，并在学习过程中向协调方上传梯度信息。
本步骤中，与单方的图神经网络模型训练不同，各参与方在训练图神经网络模型时，并不是每次预测完样本，就立刻应用梯度信息进行更新，而是将得到的梯度信息上传到公共的协调方处。
本步骤中，采用GCN或GAT等模型进行标签属性学习的过程中，大致的流程如下：
S401，网络初始化：随机初始化图神经网络模型参数，如给各连接权重赋一个区间为[-1,1]内的随机数，设定误差函数e，设定标签预测准确度。
S402，随机选取：随机选取训练样本，一条样本= 模型输入+期望的模型输出，模型输入即是指各节点的表征向量。
S403，求偏导：利用网络模型期望输出和实际输出，计算网络模型中的各层参数的偏导，以及关于网络模型的输入的偏导。
S404，将关于图神经网络模型的输入偏导上传至协调方，以便于协调方对图神经网络模型的输入偏导进行修正。
S405，参与方接收协调方反馈的修正后的输入偏导，更新节点的表征向量；节点的表征都是浮点向量，修正后的输入偏导即是向量中各个向量元素的调整信息，直接应用这个信息，对向量元素做调整。
容易理解的是，如前所述，若协调方定期或定量统计及修正各个节点的输入偏导，那么在此期间各个图网络是自由训练的，在此过程中，图网络则是直接以计算所得的梯度信息更新节点的表征向量，而只有在获取到修正后的输入偏导时才是以修正后的输入偏导进行更新。
S406，计算节点的表征向量更新后的图神经网络模型的全局误差，并判断标签预测精度是否达到设定阈值，若达到则训练结束，否则返回步骤S402，循环执行步骤S402-S406，直至标签预测准确度达到设定阈值。
下面，列举两个具体应用。
例如，在机构A与机构B合作评估某企业的偿债能力时，本发明信息交互方法就发挥了显著的作用。机构A维护着全量的企业投资网络数据及企业基本信息，并定期执行更新。机构B则拥有部分企业的资金流水记录。机构A的全量数据可以为合作方提供企业的背景信息，企业的资金流水则能很好地说明企业运作状况。但是庞大的全量数据不易于传输，合作方的资金流水又是其私有数据，不可外泄。利用深度学习，在机构A拥有的投资网络上建模，将网络里的个人/企业信息注入到节点的表征向量中；在机构B拥有的交易网络上建模，我网络里的交易的详细信息编码到网络的节点表征中，再通过各自的标签，联合进行模型训练，得到包含了多个数据信息的统一节点表征，为企业偿债能力评估提供更客观的数据支持。
又例如，在机构A为机构C提供技术支持的案例中，机构C拥有某领域各种产品的详细参数，及应用场景信息，并具有各类相关的查询问句积累。而机构A通过对公开数据的采集，收集了大量通用领域的信息，如：人名、地名等信息，形成通用知识图谱。通过本方案提供的方法，整合了通用图谱和专业知识图谱，为下游任务提供了更有力的支持。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种适用于联邦学习的信息交互系统，其特征在于，包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络数据为各自业务系统运行产生的数据，图网络中包含若干个节点，且各个图网络之间具有相同的至少一个节点；其中，
各个参与方并行地将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量及各自的标签属性，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；
所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；
各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。
2.根据权利要求1所述的适用于联邦学习的信息交互系统，其特征在于，所述各个参与方在将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量时，首先将每个节点所具有的属性划分为可编码属性和标签属性，所述可编码属性为若干个；然后将节点中所述可编码属性编码为定长向量，得到每个节点的可编码属性的表征向量；最后对各个可编码属性的表征向量进行聚合，得到该节点的表征向量，且每个节点的特征向量的长度一致。
3.根据权利要求2所述的适用于联邦学习的信息交互系统，其特征在于，各个参与方将节点中所述可编码属性编码为定长向量时，通过预先训练好的属性编码器对可编码属性进行编码，编码为表征向量。
4.根据权利要求2所述的适用于联邦学习的信息交互系统，其特征在于，以节点为单位，协调方定期或定量统计该节点的梯度变化，并采用均值的方式，将各个参与方上报的梯度信息进行修正，并广播给各个参与方。
5.一种适用于联邦学习的信息交互方法，其特征在于，适用于信息交互系统，所述信息交互系统包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络数据为各自业务系统运行产生的数据，图网络中包含若干个节点，且各个图网络之间具有相同的至少一个节点；所述适用于联邦学习的信息交互方法包括以下步骤：
各个参与方将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量，并基于节点的表征向量及各自的标签属性，进行图神经网络模型的训练，且训练过程中向所述协调方上传梯度信息；
所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正，并将修正后的梯度信息下发给各个参与方；
各个参与方接收协调方反馈的修正后的梯度信息，并基于协调方修正后的梯度信息更新节点的表征向量。
6.根据权利要求5所述的适用于联邦学习的信息交互方法，其特征在于，所述各个参与方在将自身图网络中的所有节点用定长向量表征，得到每个节点的表征向量的步骤，包括：
将每个节点所具有的属性划分为可编码属性和标签属性，所述可编码属性为若干个；
将节点中所述可编码属性编码为定长向量，得到每个节点的可编码属性的表征向量；
对各个可编码属性的表征向量进行聚合，得到该节点的表征向量，且每个节点的特征向量的长度一致。
7.根据权利要求6所述的适用于联邦学习的信息交互方法，其特征在于，所述各个参与方将节点中所述可编码属性编码为定长向量的步骤中，通过预先训练好的属性编码器对可编码属性进行编码，编码为表征向量。
8.根据权利要求5所述的适用于联邦学习的信息交互方法，其特征在于，所述协调方根据所有参与方上传的梯度信息，对各个参与方上传的梯度信息进行修正的步骤，包括：协调方定期或定量统计梯度的变化，并采用均值的方式，将各个参与方上报的梯度信息进行修正。
9.一种适用于联邦学习的信息交互方法，其特征在于，适用于信息交互系统，所述信息交互系统包括至少两个参与方和一个协调方，每个参与方具有一个图网络，图网络数据为各自业务系统运行产生的数据，图网络中包含若干个节点，且各个图网络之间具有相同的至少一个节点；所述适用于联邦学习的信息交互方法包括以下步骤：
参与方基于自身的图网络，针对于每一个节点进行属性划分，将属性分成可编码属性和标签属性；其中，所述可编码属性为若干个；
针对于每个节点，将每个可编码属性编码为表征向量；
针对于每个节点，将所有可编码属性的表征向量进行聚合，得到节点的表征向量；
利用得到的各个节点的表征向量，采用图神经网络模型进行标签属性学习，并在学习过程中向协调方上传梯度信息，以便于协调方对所述梯度信息进行修正；
基于所述修正后的梯度信息更新节点的表征向量，并基于更新后的节点的表征向量继续训练，直至训练结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010662338.9A CN111553470B (zh) | 2020-07-10 | 2020-07-10 | 适用于联邦学习的信息交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010662338.9A CN111553470B (zh) | 2020-07-10 | 2020-07-10 | 适用于联邦学习的信息交互系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553470A CN111553470A (zh) | 2020-08-18 |
| CN111553470B true CN111553470B (zh) | 2020-10-27 |
Family
ID=72008845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010662338.9A Active CN111553470B (zh) | 2020-07-10 | 2020-07-10 | 适用于联邦学习的信息交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553470B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11494700B2 (en) * | 2020-09-16 | 2022-11-08 | International Business Machines Corporation | Semantic learning in a federated learning system |
| CN112200263B (zh) * | 2020-10-22 | 2022-09-16 | 国网山东省电力公司电力科学研究院 | 一种应用于配电物联网的自组织联邦聚类方法 |
| CN112149171B (zh) * | 2020-10-27 | 2021-07-09 | 腾讯科技（深圳）有限公司 | 联邦神经网络模型的训练方法、装置、设备及存储介质 |
| CN112613559B (zh) * | 2020-12-23 | 2023-04-07 | 电子科技大学 | 基于相互学习的图卷积神经网络节点分类方法、存储介质和终端 |
| CN112865116B (zh) * | 2021-01-11 | 2022-04-12 | 广西大学 | 一种平行联邦图神经网络的十三区图无功优化方法 |
| CN114841374B (zh) * | 2021-01-14 | 2024-09-27 | 新智数字科技有限公司 | 一种基于随机贪心算法的横向联邦梯度提升树优化方法 |
| CN113158223B (zh) * | 2021-01-27 | 2024-08-27 | 深圳前海微众银行股份有限公司 | 基于状态转移核优化的数据处理方法、装置、设备及介质 |
| CN113052333A (zh) * | 2021-04-02 | 2021-06-29 | 中国科学院计算技术研究所 | 基于联邦学习进行数据分析的方法及系统 |
| CN113240524B (zh) * | 2021-05-10 | 2024-05-14 | 深圳前海微众银行股份有限公司 | 联邦学习系统中账户的异常检测方法、装置及电子设备 |
| CN113468382B (zh) * | 2021-07-01 | 2024-04-02 | 同盾控股有限公司 | 基于知识联邦的多方环路检测方法、装置及相关设备 |
| CN113297396B (zh) * | 2021-07-21 | 2022-05-20 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习的模型参数更新方法、装置及设备 |
| CN114492647B (zh) * | 2022-01-28 | 2024-06-21 | 中国银联股份有限公司 | 基于分布式图嵌入的联邦图聚类方法、装置及可读存储介质 |
| CN114330759B (zh) * | 2022-03-08 | 2022-08-02 | 富算科技(上海)有限公司 | 一种纵向联邦学习模型的训练方法及系统 |
| CN117454185B (zh) * | 2023-12-22 | 2024-03-12 | 深圳市移卡科技有限公司 | 联邦模型训练方法、装置、计算机设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647765A (zh) * | 2019-09-19 | 2020-01-03 | 济南大学 | 协同学习框架下基于知识迁移的隐私保护方法及系统 |
| CN111062493A (zh) * | 2019-12-20 | 2020-04-24 | 深圳前海微众银行股份有限公司 | 基于公共数据的纵向联邦方法、装置、设备及介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017201506A1 (en) * | 2016-05-20 | 2017-11-23 | Google Llc | Training neural networks using synthetic gradients |
| WO2019219846A1 (en) * | 2018-05-17 | 2019-11-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
| EP3794511A1 (en) * | 2018-05-18 | 2021-03-24 | BenevolentAI Technology Limited | Graph neutral networks with attention |
| CN110633806B (zh) * | 2019-10-21 | 2024-04-26 | 深圳前海微众银行股份有限公司 | 纵向联邦学习系统优化方法、装置、设备及可读存储介质 |
| CN110782044A (zh) * | 2019-10-29 | 2020-02-11 | 支付宝(杭州)信息技术有限公司 | 多方联合训练图神经网络的方法及装置 |
| CN111177433B (zh) * | 2019-12-31 | 2021-07-20 | 北京百度网讯科技有限公司 | 用于并行处理信息的方法和装置 |
| CN110929870B (zh) * | 2020-02-17 | 2020-06-12 | 支付宝(杭州)信息技术有限公司 | 图神经网络模型训练方法、装置及系统 |
| CN111178515A (zh) * | 2020-04-10 | 2020-05-19 | 成都数联铭品科技有限公司 | 图神经网络的节点编码方法及节点编码终端、电子设备 |
-
2020
- 2020-07-10 CN CN202010662338.9A patent/CN111553470B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647765A (zh) * | 2019-09-19 | 2020-01-03 | 济南大学 | 协同学习框架下基于知识迁移的隐私保护方法及系统 |
| CN111062493A (zh) * | 2019-12-20 | 2020-04-24 | 深圳前海微众银行股份有限公司 | 基于公共数据的纵向联邦方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| Bayesian Nonparametric Federated Learning of Neural Networks;Mikhail Yurochkin 等;《Proceedings of the 36th International Conference on Machine》;20190528;1-15 * |
| 基于联邦学习和卷积神经网络的入侵检测方法;王蓉 等;《信息网络安全》;20200410(第4期);47-54 * |
| 面向数据共享交换的联邦学习技术发展综述;王亚珅;《无人系统技术》;20191130;第2卷(第6期);58-62 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553470A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553470B (zh) | 适用于联邦学习的信息交互系统及方法 | |
| CN112085159B (zh) | 一种用户标签数据预测系统、方法、装置及电子设备 | |
| CN113469373B (zh) | 基于联邦学习的模型训练方法、系统、设备及存储介质 | |
| CN113221183B (zh) | 实现隐私保护的多方协同更新模型的方法、装置及系统 | |
| CN112308157B (zh) | 一种面向决策树的横向联邦学习方法 | |
| CN113505882B (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
| CN111026944B (zh) | 一种信息处理的方法、装置、介质和电子设备 | |
| CN114186694B (zh) | 一种高效安全，低通信的纵向联邦学习方法 | |
| Gnecco et al. | Extremal random forests | |
| CN113051239A (zh) | 数据共享方法、应用其的模型的使用方法及相关设备 | |
| Chandra et al. | Small area estimation for zero-inflated data | |
| CN115392492A (zh) | 面向实体抽取的联邦学习优化方法、系统、设备及终端 | |
| CN114676838A (zh) | 联合更新模型的方法及装置 | |
| Diao et al. | Gradient assisted learning | |
| CN116485527A (zh) | 一种金融信用风险分析方法及装置 | |
| US11923074B2 (en) | Professional network-based identification of influential thought leaders and measurement of their influence via deep learning | |
| CN111291196B (zh) | 知识图谱的完善方法及装置、数据处理方法及装置 | |
| Ma et al. | [Retracted] The Construction of Big Data Computational Intelligence System for E‐Government in Cloud Computing Environment and Its Development Impact | |
| CN113343681A (zh) | 企业金融服务推送方法及装置 | |
| Tang et al. | Discovering urban functional zones from biased and sparse points of interests and sparse human activities | |
| CN114298961A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Livermore et al. | Organizational Social Media Use and Community Social Capital: Disparities by Poverty and Racial Composition | |
| CN111563191A (zh) | 基于图网络的数据处理系统 | |
| Kong et al. | Risk control management of new rural cooperative financial organizations based on mobile edge computing | |
| CN118153666B (zh) | 一种个性化联邦知识蒸馏模型构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Information interaction system and method for federated learning Effective date of registration: 20210305 Granted publication date: 20201027 Pledgee: Agricultural Bank of China Limited Chengdu Shudu sub branch Pledgor: CHENGDU BUSINESS BIG DATA TECHNOLOGY Co.,Ltd. Registration number: Y2021980001476 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240428 Granted publication date: 20201027 |
|
| PP01 | Preservation of patent right |