CN108616590A - 十亿规模网络嵌入的迭代随机投影算法及装置 - Google Patents

十亿规模网络嵌入的迭代随机投影算法及装置 Download PDF

Info

Publication number
CN108616590A
CN108616590A CN201810388245.4A CN201810388245A CN108616590A CN 108616590 A CN108616590 A CN 108616590A CN 201810388245 A CN201810388245 A CN 201810388245A CN 108616590 A CN108616590 A CN 108616590A
Authority
CN
China
Prior art keywords
iteration
network
algorithm
accidental projection
startup disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810388245.4A
Other languages
English (en)
Other versions
CN108616590B (zh
Inventor
朱文武
张子威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810388245.4A priority Critical patent/CN108616590B/zh
Publication of CN108616590A publication Critical patent/CN108616590A/zh
Priority to PCT/CN2018/114386 priority patent/WO2019205571A1/zh
Application granted granted Critical
Publication of CN108616590B publication Critical patent/CN108616590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种十亿规模网络嵌入的迭代随机投影算法及装置，其中，方法包括：对目标网络生成随机投影矩阵，其中，目标网络为点和边为十亿及以上规模的网络；根据投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量；根据每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，对嵌入结果进行更新。该方法能够证明迭代投机随影可以支持分布式计算，并给出了迭代随机投影在动态网络下的更新算法，具有降低网络嵌入算法的计算复杂度及支持超大规模动态网络的网络嵌入的优点。

Description

十亿规模网络嵌入的迭代随机投影算法及装置
技术领域
本发明涉及大规模网络嵌入技术领域，特别涉及一种十亿规模网络嵌入的迭代随机投影算法及装置。
背景技术
现有的网络嵌入方法只针对节点和边为几千量级，或最多为百万级的网络，而无法处理超大规模网络，即点和边为十亿规模以上的网络。此外，因为较高的通信代价，它们都无法很好支持分布式计算。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种十亿规模网络嵌入的迭代随机投影算法，。
本发明的另一个目的在于提出一种十亿规模网络嵌入的迭代随机投影装置。
为达到上述目的，本发明一方面实施例提出了一种十亿规模网络嵌入的迭代随机投影算法，包括以下步骤：对目标网络进行随机投影，以生成随机投影矩阵，其中，所述目标网络为点和边为十亿及以上规模的网络；根据所述投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量；以及根据所述每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，对嵌入结果进行更新。
本发明实施例的十亿规模网络嵌入的迭代随机投影算法，能够证明迭代投机随影可以支持分布式计算，并给出了迭代随机投影在动态网络下的更新算法，具有降低网络嵌入算法的计算复杂度及支持超大规模动态网络的网络嵌入的优点。
另外，根据本发明上述实施例的十亿规模网络嵌入的迭代随机投影算法还可以具有以下附加的技术特征：
进一步地，在本发明的实施例中，所述对嵌入结果进行更新，进一步包括：通过所述迭代随机投影算法的更新算法更新所述嵌入结果。
进一步地，在本发明的实施例中，其特征在于，所述迭代随机投影算法为：通过迭代正交高斯随机投影，保持网络嵌入中的半正定高阶相似度，以解决网络数据稀疏性对网络嵌入的影响；分布式的不同服务器独立计算投影的不同维度，以作为网络嵌入的分量。
进一步地，在本发明的实施例中，其特征在于，所述更新算法为：当所述网络动态更新时，通过计算所述网络嵌入的增量部分，快速更新嵌入结果，并保证嵌入向量相对算法重启没有累积误差。
为达到上述目的，本发明另一方面实施例提出了一种十亿规模网络嵌入的迭代随机投影装置。
本发明实施例的十亿规模网络嵌入的迭代随机投影装置，包括：生成模块，用于对目标网络进行随机投影，以生成随机投影矩阵，其中，所述目标网络为点和边为十亿及以上规模的网络；计算模块，用于根据所述投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量；以及更新模块，根据所述每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，根据所述最终网络嵌入结果对嵌入结果进行更新。
本发明实施例的十亿规模网络嵌入的迭代随机投影装置，通过
另外，根据本发明上述实施例的十亿规模网络嵌入的迭代随机投影装置还可以具有以下附加的技术特征：
进一步地，在本发明的实施例中，所述对嵌入结果进行更新，进一步包括：通过所述迭代随机投影算法的更新算法更新所述嵌入结果。
进一步地，在本发明的实施例中，其特征在于，所述迭代随机投影算法为：通过迭代正交高斯随机投影，保持网络嵌入中的半正定高阶相似度，以解决网络数据稀疏性对网络嵌入的影响；分布式的不同服务器独立计算投影的不同维度，以作为网络嵌入的分量。
进一步地，在本发明的实施例中，其特征在于，所述更新算法为：当所述网络动态更新时，通过计算所述网络嵌入的增量部分，快速更新嵌入结果，并保证嵌入向量相对算法重启没有累积误差。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的十亿规模网络嵌入的迭代随机投影算法流程图；
图2为根据本发明一个实施例的十亿规模网络嵌入的迭代随机投影装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的十亿规模网络嵌入的迭代随机投影算法及装置，首先将参照附图描述根据本发明实施例提出的十亿规模网络嵌入的迭代随机投影算法。
图1为根据本发明一个实施例的十亿规模网络嵌入的迭代随机投影算法流程图
如图1所示，该十亿规模网络嵌入的迭代随机投影算法，包括以下步骤：
在步骤S101中，对目标网络生成随机投影矩阵，其中，目标网络为点和边为十亿及以上规模的网络。
在步骤S102中，根据投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量。
在本发明的一个实施例中，通过迭代正交高斯随机投影，保持网络嵌入中的半正定高阶相似度，以解决网络数据稀疏性对网络嵌入的影响；分布式的不同服务器独立计算投影的不同维度，以作为网络嵌入的分量。
在步骤S103中，根据每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，对嵌入结果进行更新。
在本发明的一个实施例中，当网络动态更新时，通过计算网络嵌入的增量部分，快速更新嵌入结果，并保证嵌入向量相对算法重启没有累积误差。
本发明实施例的十亿规模网络嵌入的迭代随机投影算法，能够证明迭代投机随影可以支持分布式计算，并给出了迭代随机投影在动态网络下的更新算法，具有降低网络嵌入算法的计算复杂度及支持超大规模动态网络的网络嵌入的优点
其次参照附图描述根据本发明实施例提出的十亿规模网络嵌入的迭代随机投影装置。
图2为根据本发明一个实施例的十亿规模网络嵌入的迭代随机投影装置的结构示意图，如图2所示，该十亿规模网络嵌入的迭代随机投影装置10包括：生成模块100，用于对目标网络生成随机投影矩阵，其中，目标网络为点和边为十亿及以上规模的网络；计算模块200，用于根据投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量；更新模块300，根据每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，对嵌入结果进行更新。
进一步地，在本发明的实施例中，所述根据所述最终网络嵌入结果对嵌入结果进行更新，进一步包括：通过所述迭代随机投影算法的更新算法更新所述嵌入结果。
进一步地，在本发明的实施例中，所述迭代随机投影算法为：通过迭代正交高斯随机投影，保持网络嵌入中的半正定高阶相似度，以解决网络数据稀疏性对网络嵌入的影响；分布式的不同服务器独立计算投影的不同维度，以作为网络嵌入的分量。
进一步地，在本发明的实施例中，所述更新算法为：当网络动态更新时，通过计算网络嵌入的增量部分，快速更新嵌入结果，并保证嵌入向量相对算法重启没有累积误差。
需要说明的是，前述对十亿规模网络嵌入的迭代随机投影方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的十亿规模网络嵌入的迭代随机投影装置，能够证明迭代投机随影可以支持分布式计算，并给出了迭代随机投影在动态网络下的更新算法，具有降低网络嵌入算法的计算复杂度及支持超大规模动态网络的网络嵌入的优点。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种十亿规模网络嵌入的迭代随机投影算法，其特征在于，包括以下步骤：
对目标网络生成随机投影矩阵，其中，所述目标网络为点和边为十亿及以上规模的网络；
根据所述投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量；以及
根据所述每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，对嵌入结果进行更新。
2.根据权利要求1所述的十亿规模网络嵌入的迭代随机投影算法，其特征在于，所述对嵌入结果进行更新，进一步包括：
通过所述迭代随机投影算法的更新算法更新所述嵌入结果。
3.根据权利要求2所述的十亿规模网络嵌入的迭代随机投影算法，其特征在于，所述迭代随机投影算法为：通过迭代正交高斯随机投影，保持网络嵌入中的半正定高阶相似度，以解决网络数据稀疏性对网络嵌入的影响；分布式的不同服务器独立计算投影的不同维度，以作为网络嵌入的分量。
4.根据权利要求3所述的十亿规模网络嵌入的迭代随机投影算法，其特征在于，所述更新算法为：当所述网络动态更新时，通过计算所述网络嵌入的增量部分，快速更新嵌入结果，并保证嵌入向量相对算法重启没有累积误差。
5.一种十亿规模网络嵌入的迭代随机投影装置，其特征在于，包括：
生成模块，用于对目标网络生成随机投影矩阵，其中，所述目标网络为点和边为十亿及以上规模的网络；
计算模块，用于根据所述投影矩阵将数据分布式至不同服务器，以使每台服务器通过迭代随机投影算法得到网络嵌入的分量；以及
更新模块，根据所述每台服务器迭代得到的分量获得最终网络嵌入结果，并在网络动态更新时，对嵌入结果进行更新。
6.根据权利要求5所述的十亿规模网络嵌入的迭代随机投影装置，其特征在于，所述对嵌入结果进行更新，进一步包括：
通过所述迭代随机投影算法的更新算法更新所述嵌入结果。
7.根据权利要求6所述的十亿规模网络嵌入的迭代随机投影算法，其特征在于，所述迭代随机投影算法为：通过迭代正交高斯随机投影，保持网络嵌入中的半正定高阶相似度，以解决网络数据稀疏性对网络嵌入的影响；分布式的不同服务器独立计算投影的不同维度，以作为网络嵌入的分量。
8.根据权利要求7所述的十亿规模网络嵌入的迭代随机投影算法，其特征在于，所述更新算法为：当所述网络动态更新时，通过计算所述网络嵌入的增量部分，快速更新嵌入结果，并保证嵌入向量相对算法重启没有累积误差。
CN201810388245.4A 2018-04-26 2018-04-26 十亿规模网络嵌入的迭代随机投影算法及装置 Active CN108616590B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810388245.4A CN108616590B (zh) 2018-04-26 2018-04-26 十亿规模网络嵌入的迭代随机投影算法及装置
PCT/CN2018/114386 WO2019205571A1 (zh) 2018-04-26 2018-11-07 十亿规模网络嵌入的迭代随机投影算法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810388245.4A CN108616590B (zh) 2018-04-26 2018-04-26 十亿规模网络嵌入的迭代随机投影算法及装置

Publications (2)

Publication Number Publication Date
CN108616590A true CN108616590A (zh) 2018-10-02
CN108616590B CN108616590B (zh) 2020-07-31

Family

ID=63661069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810388245.4A Active CN108616590B (zh) 2018-04-26 2018-04-26 十亿规模网络嵌入的迭代随机投影算法及装置

Country Status (2)

Country Link
CN (1) CN108616590B (zh)
WO (1) WO2019205571A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205571A1 (zh) * 2018-04-26 2019-10-31 清华大学 十亿规模网络嵌入的迭代随机投影算法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2060981C (en) * 1991-04-22 1995-08-08 Harmen Van As Collision-free insertion and removal of circuit-switched channels in a packet-switched transmission structure
US6804779B1 (en) * 2000-01-10 2004-10-12 Sun Microsystems, Inc. Hierarchical watermarking of content that is distributed via a network
CN101226557A (zh) * 2008-02-22 2008-07-23 中国科学院软件研究所 一种高效的关联主题模型数据处理方法及其系统
JP2011113449A (ja) * 2009-11-30 2011-06-09 Internatl Business Mach Corp <Ibm> アプリケーション生成システム、方法及びプログラム
CN102629374A (zh) * 2012-02-29 2012-08-08 西南交通大学 基于子空间投影和邻域嵌入的图像超分辨率重建方法
CN102930049A (zh) * 2012-11-16 2013-02-13 沈阳美行科技有限公司 一种支持增量更新的嵌入式用户兴趣点数据编译方法
CN103327095A (zh) * 2013-06-20 2013-09-25 电子科技大学 一种可扩展的数据中心网络架构及实现方法
EP2797257A1 (en) * 2013-04-22 2014-10-29 Alcatel Lucent Method for providing network topology information in a communication network
CN107637024A (zh) * 2015-07-30 2018-01-26 华为技术有限公司 连接性感知的虚拟网络嵌入
CN107818176A (zh) * 2017-11-21 2018-03-20 清华大学 面向大规模图挖掘的分布式网络表示学习方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890703B (zh) * 2012-07-20 2016-05-18 浙江工业大学 一种网络异质多维标度方法
EP2713556A1 (en) * 2012-09-28 2014-04-02 NTT DoCoMo, Inc. Mapping a network topology request to a physical network
CN107633263A (zh) * 2017-08-30 2018-01-26 清华大学 基于边的网络图嵌入方法
CN108616590B (zh) * 2018-04-26 2020-07-31 清华大学 十亿规模网络嵌入的迭代随机投影算法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2060981C (en) * 1991-04-22 1995-08-08 Harmen Van As Collision-free insertion and removal of circuit-switched channels in a packet-switched transmission structure
US6804779B1 (en) * 2000-01-10 2004-10-12 Sun Microsystems, Inc. Hierarchical watermarking of content that is distributed via a network
CN101226557A (zh) * 2008-02-22 2008-07-23 中国科学院软件研究所 一种高效的关联主题模型数据处理方法及其系统
JP2011113449A (ja) * 2009-11-30 2011-06-09 Internatl Business Mach Corp <Ibm> アプリケーション生成システム、方法及びプログラム
CN102629374A (zh) * 2012-02-29 2012-08-08 西南交通大学 基于子空间投影和邻域嵌入的图像超分辨率重建方法
CN102930049A (zh) * 2012-11-16 2013-02-13 沈阳美行科技有限公司 一种支持增量更新的嵌入式用户兴趣点数据编译方法
EP2797257A1 (en) * 2013-04-22 2014-10-29 Alcatel Lucent Method for providing network topology information in a communication network
CN103327095A (zh) * 2013-06-20 2013-09-25 电子科技大学 一种可扩展的数据中心网络架构及实现方法
CN107637024A (zh) * 2015-07-30 2018-01-26 华为技术有限公司 连接性感知的虚拟网络嵌入
CN107818176A (zh) * 2017-11-21 2018-03-20 清华大学 面向大规模图挖掘的分布式网络表示学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN TANG: "LINE:Large-scale Information Network Embedding", 《24TH INTERNATIONAL WORLD WIDE WEB CONFERENCE》 *
及歆荣: "面向WSN的稀疏核学习机分布式训练方法", 《北京邮电大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205571A1 (zh) * 2018-04-26 2019-10-31 清华大学 十亿规模网络嵌入的迭代随机投影算法及装置

Also Published As

Publication number Publication date
CN108616590B (zh) 2020-07-31
WO2019205571A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
WO2018103622A1 (zh) 信息投放控制方法、装置及存储介质
US20140059163A1 (en) Distributed request processing
CN110365765B (zh) 一种缓存服务器的带宽调度方法及装置
EP3438819B1 (en) Global usage tracking and quota enforcement in a distributed computing system
EP3671516A1 (en) Hierarchical weighted consensus for permissioned blockchains
CN110830581B (zh) 提升区块链响应速度的方法、区块链应用系统及相关设备
Carra et al. Memory partitioning in memcached: An experimental performance analysis
US9477648B1 (en) Optimized web application user experience
CA3115170A1 (en) Server-side persistent device identification for fraud prevention systems
US8868525B2 (en) Distributed information synchronization
CN104516965A (zh) 一种角色属性数据存储及动态更新的方法及系统
CN108616590A (zh) 十亿规模网络嵌入的迭代随机投影算法及装置
CN110505306A (zh) 一种可指定位数的数据id生成方法
CN102576346A (zh) 对等网络的虚拟环境的兴趣管理
CN109767256A (zh) 一种抽奖活动概率的控制方法及装置
US20170285951A1 (en) Packed row representation for efficient network serialization with direct column indexing in a network switch
Li et al. An efficient local search algorithm for minimum weighted vertex cover on massive graphs
KR20220112831A (ko) 비밀 공유를 사용하는 피드백 컨트롤러
CN116303343A (zh) 数据分片方法、装置、电子设备及存储介质
CN109885320A (zh) 一种配置信息的更新方法、装置及电子设备
CN116915791A (zh) 区块链交易冲突检测的方法、排序节点及背书节点
KR20150111027A (ko) 광고 제공 장치 및 방법
Zhao et al. CAPred: A prediction model for timely QoS
CN111125580A (zh) 网络资源获取方法、装置、电子设备及存储介质
US9832200B2 (en) Multi-tiered protection platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant