CN111291870B - 一种图深度学习中高维稀疏特征的处理方法和系统 - Google Patents

Abstract

本说明书实施例公开了一种图深度学习中高维稀疏特征的处理方法及系统。所述方法包括：获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；遍历所述子图，从所述子图的节点获取非零特征；从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。

Description

一种图深度学习中高维稀疏特征的处理方法和系统

技术领域

本说明书涉及信息技术领域，特别涉及一种图深度学习中高维稀疏特征的处理方法和系统。

背景技术

图数据广泛存在于公司的各个业务中，图深度学习是处理图数据的有效工具。图深度学习的一个关键步骤是将图数据中的节点特征映射到低维向量，每一维特征需要用到一组映射参数。映射参数和其他模型参数一同存储在参数机器中。在每一步模型训练中，训练机器从参数机器端读取参数，进入模型，得到参数的梯度值，并将梯度值返回参数机器端用于参数的更新。由于业务的特性，图数据中的节点特征可能有几千万维甚至上亿维，相对应的就有几千万维甚至上亿组映射参数，每一步模型训练都需要将这些参数从参数机器读回训练机器，需要大量的网络通信，导致绝大部分时间都花在参数的网络传输上，影响模型训练效果。

因此，期望一种图深度学习中高维稀疏特征的处理方法和系统。

发明内容

本说明书实施例之一提供一种图深度学习中高维稀疏特征的处理方法。所述方法包括：获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；遍历所述子图，从所述子图的节点获取非零特征；从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。

本说明书实施例之一提供一种图深度学习中高维稀疏特征的处理系统，所述系统包括：第一获取模块用于获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；第二获取模块用于遍历所述子图，从所述子图的节点获取非零特征；传输模块用于从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；以及训练模块用于训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。

本说明书实施例之一提供一种图深度学习中高维稀疏特征的处理装置，其中，所述装置包括至少一个处理器和至少一个存储设备；所述至少一个存储设备用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1~5中任一项所述的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的图深度学习中高维稀疏特征的处理系统的模块图；

图2是根据本说明书一些实施例所示的图深度学习中高维稀疏特征的处理方法的示例性流程图；

图3A是根据本说明书一些实施例所示的子图的示例性示意图；

图3B是根据本说明书一些实施例所示的子图的示例性示意图；以及

图4是根据本说明书一些实施例所示的查询映射表的示例性示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的图深度学习中高维稀疏特征的处理系统的模块图。

如图所示，一种图深度学习中高维稀疏特征的处理系统可以包括第一获取模块110、第二获取模块120、传输模块130以及训练模块140。

第一获取模块110可以用于获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图。关于获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图的详细描述可以参见图2，在此不再赘述。

第二获取模块120可以用于遍历所述子图，从所述子图的节点获取非零特征。关于遍历所述子图，从所述子图的节点获取非零特征的详细描述可以参见图2，在此不再赘述。

传输模块130可以用于从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数。关于从参数机器中获取与所述非零特征对应的映射参数的详细描述可以参见图2，在此不再赘述。

训练模块140可以用于训练所述神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。关于训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型的详细描述可以参见图2，在此不再赘述。

应当理解，图1所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合（例如，固件）来实现。

需要注意的是，以上对于图深度学习中高维稀疏特征的处理系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图1中披露的第一获取模块110、第二获取模块120、传输模块130和训练模块140可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，传输模块130、训练模块140可以是两个模块，也可以是一个模块同时具有传输和训练功能。诸如此类的变形，均在本说明书的保护范围之内。

图2是根据本说明书一些实施例所示的图深度学习中高维稀疏特征的处理方法的示例性流程图。

如图所示，一种图深度学习中高维稀疏特征的处理方法可以包括：

步骤210，获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图。具体的，该步骤可以由第一获取模块110执行。

样本可以指需要观测或调查的用户的一部分个体。以社交网络为例，社交网络中的每个用户都具有各种维度的属性信息，例如年龄、星座、爱好、历史消费等。网络中的用户与用户之间可能会存在联系，例如某个用户A，网络中有些用户是A的朋友，他们之间产生过通信、转账、推荐等行为。A的朋友中包含B，B也有一些朋友，例如C、D…。可以将A、B、C、D等所有用户的属性信息以及他们之间存在的联系映射为一个图，每个用户作为一个样本对应图中的一个节点，样本的属性信息作为节点特征，根据用户与用户之间的联系构建各个节点的边。一些实施例中，图数据可以为图结构的数据模型中的数据，例如上述社交网络的示例中构成图的节点特征、节点之间的关联信息等数据。

在一些实施例中，图中的节点可以与其他节点之间通过边来链接，也可以是孤立的节点。以图中的某一个节点为中心，由该节点以及通过边与该节点直接或间接连接的部分或全部节点构成一个子图。

在一些实施例中，选取的样本需要带有标签。例如：使用有监督的学习方法训练一个风险识别模型，用于判断用户是否会存在违约风险，则用来做训练样本的数据需要被标注存在风险或者不存在风险。

在一些实施例中，需要确定图数据中与所述至少一个样本对应的子图。具体的，确定所述图数据中与所述样本对应的第一节点；根据第一节点在图数据中的链接关系以及采样参数，获取以第一节点为中心的子图。

在一些实施例中，采样参数可以包括采样范围、采样方式等参数。在一些实施例中，可以以一度邻居的方式采样子图，一度邻居可以指采样范围为样本对应的节点，以及与样本对应的节点直接关联的节点构成子图。具体的，遍历所述图数据中以第一节点为顶点的多个边，获取与多个所述边链接的多个第二节点；由所述第一节点和多个所述第二节点构成所述子图。例如：如图3A所示，上述社交网络的示例中，以用户A为样本，在图数据中确定与A对应的第一节点A，用户B是A的朋友，因此B在图数据中对应的节点为一个第二节点，由节点A与节点B，以及其他A的朋友在图数据中对应的第二节点构成子图。

在一些实施例中，可以以二度邻居的方式采样子图，二度邻居可以指采样范围为样本对应的节点、与样本对应的节点直接关联的节点以及与样本对应的节点间接关联的节点构成子图。具体的，遍历所述图数据中以第一节点为顶点的多个第一边，获取与多个所述第一边链接的多个第二节点；分别遍历以多个所述第二节点为顶点的多个第二边，获取与所述第二边链接的多个第三节点。例如：如图3B所示，上述社交网络的示例中，以用户A为样本，在图数据中确定与A对应的第一节点A，用户B是A的朋友，因此B在图数据中对应的节点为一个第二节点，用户A的其他朋友在图数据中对应的节点也为第二节点。用户B的朋友C、D以及其他朋友在图数据中对应的节点称为第三节点。由节点A、节点B、其他的第二节点、节点C、节点D以及其他的第三节点构成子图。

在一些实施例中，样本也可以为多个，例如2个、3个、4个等，相应的子图也可以为多个。不受本说明书的表述所限。

步骤220，遍历所述子图，从所述子图的节点获取非零特征。具体的，该步骤可以由第二获取模块120执行。

在一些实施例中，在用于模型训练之前，图数据中原始的节点特征需要进行向量化和归一化等预处理。在一些实施例中，对于离散的类型种类的特征，例如名字、星座等，可以通过独热编码（One Hot Encoding）将原始特征用向量表示。经过独热编码后，该特征有多少取值，就用多少维二进制表示该特征。因为独热编码的特性，每个状态对应一位，并且任意时间只有一位有效，因此这类特征数据可以表示为稀疏矩阵。在一些实施例中，对于连续的原始特征，例如转账金额、年龄等，需要进行分箱处理，使其离散化后使用独热编码表示为向量形式。在一些实施例中，还可以使用其他方式对离散特征进行编码，不受本说明书的表述所限。

由上述可知，图数据中的节点特征使用高维向量表示。而在机器学习的过程中，需要将原来高维空间中的数据映射到低维度的空间中。降维的原因在于：高维空间中，包含冗余信息和噪音信息，在实际应用中会增加模型计算的复杂度，并且通过降维算法可以找到数据内部的本质结构特征。在一些实施例中，降维需要用到映射参数，映射参数可以将节点特征的高维向量映射到低维向量，每一个节点特征对应一组映射参数。例如：在模型里，使用独热编码表示的“姓名”这个特征，可以用于表示所有人的名字，假设有1亿个可能的姓名，那么“姓名”就是一个1亿维的特征向量。具体的，用户A的姓名，可以是一个1亿维的特征，其中只有一位为1，其余均为0。用于模型计算的时候，需要“姓名”这个特征转换为16维的低维向量，“姓名”特征中的每一位非零值对应一组16维的映射参数，1亿维的“姓名”特征对应的映射参数就有1亿组。在一些实施例中，可以通过查询映射参数组成的映射表，获取用户A的姓名的高维特征（例如，1亿维）对应的低维特征（例如，16维）。例如：如图4所示，用户A的姓名特征中第5位的值为1，假设映射表中按照特征中“1”所在的位置来存储映射参数，那么第5组映射参数就是用户A的姓名对应的映射参数。在一些实施例中，映射参数通过深度学习训练得到。

图数据中有大量的节点特征，因此需要有大量的与高维特征对应的映射参数。在一些实施例中，如果同时有多台训练机器使用同样的参数进行模型训练，为了保证每一台机器使用的参数是相同的，将映射参数和神经网络模型的参数存储在单独的参数机器上，参数机器可以为模型训练过程中存放模型参数的机器。每一轮训练，都需要从参数机器上获取与高维节点特征对应的映射参数。因为映射参数的数据量很大，因此传输参数的过程耗时很多，甚至超过了机器训练的时间。在一些实现方案中，使用乘法来实现节点特征的降维过程，例如：Name(N)*MAP(N*D），将姓名（Name）由N维（例如1亿维）的高维特征映射到D维（例如：16维）的低维特征，需要把所有的映射参数（共计N组D维）都读取到训练机器里。在本说明书的一些实施例中，图数据中的节点特征大部分为0，如果使用查询映射表的方式进行降维，因为值为0的特征其对应的映射参数也为0，因此如果所有节点特征对应的映射参数全部传输的话，会造成很大一部分通信时间的浪费。在一些实施例中，为了减少通信时间，提高模型的训练效率，只传输非零特征对应的映射参数。例如：步骤210中获取的子图，有上亿个节点特征，但其中非零的节点特征只有100个，那么只传输这100个非零节点对应的100组映射参数。

在一些实施例中，遍历步骤210中获取的子图，从该子图中获取非零特征。例如：在上述社交网络示例中，以用户A为样本获取的子图中，存在上亿维度的节点特征，但其中非零的节点特征只有几百个。只从子图中获取几百个非零的节点特征。

步骤230，从参数机器中获取与所述非零特征对应的映射参数。具体的，该步骤可以由传输模块130执行。

在一些实施例中，从参数机器获取步骤220中获取的非零特征对应的映射参数。获取方式包括但不限于：网络传输、控制台推送、硬盘拷贝等。因为只传输非零特征对应的映射参数，因此可以节约大量的传输时间，明显提升了模型训练的效率。

步骤240，基于所述非零特征和所述映射参数，训练所述神经网络模型，得到训练好的神经网络模型。具体的，该步骤可以由训练模块140执行。

在一些实施例中，可以基于步骤230中获取的映射参数和步骤220中获取的非零特征，训练神经网络模型。神经网络模型的参数，例如权重矩阵W、偏置量b等，相比映射参数，这部分参数的数量很小，所以直接从参数机器读回。神经网络模型可以被训练为多种用途的模型，例如风险识别模型、推荐模型等。

在一些实施例中，需要对映射参数进行优化，在优化映射参数的过程中，会生成映射参数对应的多个梯度。在一些实施例中，在神经网络模型的训练过程中，会生成神经网络模型的参数对应的多个梯度。梯度用于优化参数，例如使用梯度下降、梯度上升等方式优化参数。在一些实施例中，训练机器将生成的映射参数对应的多个梯度和神经网络模型的参数对应的多个梯度发送到参数机器，参数机器根据多个梯度值更新非零特征对应的映射参数和神经网络模型的相关参数。

本说明书实施例可能带来的有益效果包括但不限于：利用节点特征的稀疏性，只读取和更新非零特征对应的映射参数，减少了大量不必要的的网络通信。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，合并步骤210和步骤220为一个步骤，获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图，遍历所述子图，从所述子图的节点获取非零特征。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (11)

1.一种减少网络通信的神经网络模型训练方法，所述方法包括：

获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；

遍历所述子图，从所述子图的节点获取非零特征；

从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；

基于所述非零特征和所述映射参数，训练神经网络模型，得到训练好的神经网络模型；

所述样本为社交网络中的用户信息。

2.根据权利要求1所述的方法，其中，所述确定图数据中与所述至少一个样本对应的子图包括：

确定所述图数据中与所述样本对应的第一节点；

根据所述第一节点在所述图数据中的链接关系以及采样参数，获取以所述第一节点为中心的所述子图。

3.根据权利要求2所述的方法，其中，所述基于所述非零特征和所述映射参数，训练所述神经网络模型，得到训练好的神经网络模型包括：

对所述映射参数进行优化，生成所述映射参数对应的梯度；

使用查询参数映射表的方式将所述非零特征对应的高维向量降维为低维向量后输入神经网络模型，对所述神经网络模型进行训练，生成所述神经网络模型的参数对应的梯度；

将所述映射参数对应的梯度和所述神经网路模型的参数对应的梯度发送给所述参数机器；

所述参数机器根据所述映射参数对应的梯度更新所述映射参数，根据所述神经网络模型的参数对应的梯度更新所述神经网络模型的参数。

4.根据权利要求3所述的方法，其中，所述根据所述第一节点在所述图数据中的链接关系以及采样参数，获取以所述第一节点为中心的子图包括：

遍历所述图数据中以第一节点为顶点的多个边，获取与多个所述边链接的多个第二节点；

由所述第一节点和多个所述第二节点构成所述子图。

5.根据权利要求3所述的方法，其中，所述根据所述第一节点在所述图数据中的链接关系以及采样参数，获取以所述第一节点为中心的子图包括：

遍历所述图数据中以第一节点为顶点的多个第一边，获取与多个所述第一边链接的多个第二节点；

分别遍历以多个所述第二节点为顶点的多个第二边，获取与所述第二边链接的多个第三节点；

由所述第一节点、多个所述第二节点和多个所述第三节点构成所述子图。

6.一种减少网络通信的神经网络模型训练系统，所述系统包括：

第一获取模块，用于获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；

第二获取模块，用于遍历所述子图，从所述子图的节点获取非零特征；

传输模块，用于从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；以及

训练模块，用于基于所述非零特征和所述映射参数，训练神经网络模型，得到训练好的神经网络模型；

所述样本为社交网络中的用户信息。

7.根据权利要求6所述的系统，其中，所述确定图数据中与所述至少一个样本对应的子图包括：

确定所述图数据中与所述样本对应的第一节点；

根据所述第一节点在所述图数据中的链接关系以及采样参数，获取以所述第一节点为中心的所述子图。

8.根据权利要求7所述的系统，其中，所述基于所述非零特征和所述映射参数，训练所述神经网络模型，得到训练好的神经网络模型包括：

对所述映射参数进行优化，生成所述映射参数对应的梯度；

使用查询参数映射表的方式将所述非零特征对应的高维向量降维为低维向量后输入神经网络模型，对所述神经网络模型进行训练，生成所述神经网络模型的参数对应的梯度；

将所述映射参数对应的梯度和所述神经网路模型的参数对应的梯度发送给所述参数机器；

所述参数机器根据所述映射参数对应的梯度更新所述映射参数，根据所述神经网络模型的参数对应的梯度更新所述神经网络模型的参数。

9.根据权利要求8所述的系统，其中，所述根据所述第一节点在所述图数据中的链接关系以及采样参数，获取以所述第一节点为中心的子图包括：

遍历所述图数据中以第一节点为顶点的多个边，获取与多个所述边链接的多个第二节点；

由所述第一节点和多个所述第二节点构成所述子图。

10.根据权利要求8所述的系统，其中，所述根据所述第一节点在所述图数据中的链接关系以及采样参数，获取以所述第一节点为中心的子图包括：

遍历所述图数据中以第一节点为顶点的多个第一边，获取与多个所述第一边链接的多个第二节点；

分别遍历以多个所述第二节点为顶点的多个第二边，获取与所述第二边链接的多个第三节点；

由所述第一节点、多个所述第二节点和多个所述第三节点构成所述子图。

11.一种图深度学习中高维稀疏特征的处理装置，其中，所述装置包括至少一个处理器和至少一个存储设备；

所述至少一个存储设备用于存储计算机指令；

所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1~5中任一项所述的方法。

Images