CN113988264A - 获得用于执行流量预测业务的图神经网络的方法及装置 - Google Patents

获得用于执行流量预测业务的图神经网络的方法及装置 Download PDF

Info

Publication number
CN113988264A
CN113988264A CN202111271139.6A CN202111271139A CN113988264A CN 113988264 A CN113988264 A CN 113988264A CN 202111271139 A CN202111271139 A CN 202111271139A CN 113988264 A CN113988264 A CN 113988264A
Authority
CN
China
Prior art keywords
constraint
nodes
node
traffic
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111271139.6A
Other languages
English (en)
Inventor
余冰
余航
李建国
李婷
刘向阳
董彬
朱占星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202111271139.6A priority Critical patent/CN113988264A/zh
Publication of CN113988264A publication Critical patent/CN113988264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书实施例中提供了一种获得用于执行流量预测业务的图神经网络的方法及装置。该方法包括：获取图结构中N个节点的流量数据序列，流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合包含N个节点各自在对应时段的节点流量；确定N个节点各自的节点流量满足的约束条件；根据约束条件确定损失函数；根据流量数据序列和损失函数训练得到用于执行流量预测业务第一时空图神经网络。

Description

获得用于执行流量预测业务的图神经网络的方法及装置
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及获得用于执行流量预测业务的图神经网络的方法及装置。
背景技术
随着人工智能(artificial intelligence，AI)技术的发展以及大数据的积累，用于执行流量预测业务的时空图神经网络，已经逐渐被更加广泛应用于网络流量预测以及交通流量预测等相关于流量预测的业务场景中。
希望有一种新的技术方案，以期有利于更加准确的完成流量预测业务。
发明内容
本说明书一个或多个实施例中提供了一种获得用于执行流量预测业务的图神经网络的方法。
第一方面，提供了一种获得用于执行流量预测业务的时空图神经网络的方法，包括：获取图结构中N个节点的流量数据序列，所述流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合包含N个节点各自在对应时段的节点流量；确定N个节点各自的节点流量满足的约束条件；根据所述约束条件确定损失函数；根据所述流量数据序列和所述损失函数训练第一时空图神经网络，其中训练后的所述第一时空图神经网络用于执行所述流量预测业务。
在一种可能的实施方式中，确定N个节点各自的节点流量满足的约束条件，包括：从N个节点中确定W个约束节点，W大于1；根据W个约束节点各自在相同时段的节点流量确定所述约束条件。
在一种可能的实施方式中，从N个节点中确定W个约束节点，包括：对于N个节点中任意的第i个节点，将除所述第i个节点以外的N-1个节点在任意当前时段的节点流量作为输入数据，将所述第i个节点在该当前时段的节点流量作为标签数据，训练所述第i个节点对应的第一约束网络；将所述N-1个节点在当前时段的节点流量输入训练后的所述第一约束网络，使其输出所述第i个节点在该当前时段的第一预测流量；根据所述第i个节点在各个时段的节点流量和第一预测流量，确定所述第i个节点是否为约束节点。
在一种可能的实施方式中，根据W个约束节点各自在相同时段的节点流量确定所述约束条件，包括：对于W个约束节点中任意的第j个节点，将除第j个约束节点以外的W-1个约束节点在任意当前时段的节点流量作为输入数据，将所述第j个约束节点在该当前时段的节点流量作为标签数据，训练所述第j个节点对应的第二约束网络；基于训练后的所述第二约束网络确定所述约束条件。
在一种可能的实施方式中，基于训练后的所述第二约束网络确定所述约束条件，具体包括：基于训练后的第二约束网络确定所述第j个约束节点对应的约束子函数，所述约束子函数中的W个变量表征W个约束节点在相同时段的W个节点流量；对W个约束节点分别对应的约束子函数进行合并，获得作为所述约束条件的约束函数。
在一种可能的实施方式中，所述约束条件是函数值为0的约束函数，所述约束函数中的W个变量表征W个约束节点在相同时段的W个节点流量。
在一种可能的实施方式中，所述第一时空图神经网络包括第一隐藏层。所述流量数据序列被输入所述第一时空图神经网络时，所述第一隐藏层针对任意当前时段的流量数据集合输出用于表征N个节点的节点流量的N维特征向量。所述损失函数包含第一损失项，所述第一损失项用于指示W维特征向量与所述约束函数的匹配程度，所述W维特征向量从所述N维特征向量中获取，并且与所述W个约束节点相对应。
在一种可能的实施方式中，所述约束函数为线性函数。所述第一损失项通过基于所述约束函数确定的目标矩阵与各个时段的所述W维特征向量的乘积计算得到。
在一种可能的实施方式中，所述约束函数为非线性函数。所述第一损失项基于所述第一隐藏层的均值向量计算得到，所述均值向量基于各个时段的所述W维特征向量计算得到。
在一种可能的实施方式中，所述方法还包括：根据所述约束条件和所述流量数据序列生成对应的扰动数据序列。所述根据所述流量数据序列和所述损失函数训练第一时空图神经网络，具体包括：根据所述流量数据序列、所述扰动数据序列和所述损失函数训练第一时空图神经网络。
在一种可能的实施方式中，所述损失函数包含第二损失项，所述第二损失项用于指示，所述扰动数据序列被输入所述第一时空图神经网络时，所述第一时空图神经网络输出的N个节点在第T+1个时段的第三预测流量与所述约束条件的匹配程度。
在一种可能的实施方式中，所述方法还包括：基于所述约束条件构建转化层，所述转化层用于提升所述第一时空图神经网络针对N个节点在目标时段的预测流量与所述约束条件的匹配程度；在所述第一时空图神经网络基础上连接所述转化层，以获得第二时空图神经网络，所述第二时空图神经网络用于执行所述流量预测业务。
在一种可能的实施方式中，所述转化层配置为，获得所述第一时空图神经网络输出的N个节点各自在目标时段的第四预测流量，对其进行处理并输出N个节点的第五预测流量，其中N个节点的第四预测流量与所述约束条件的匹配程度，小于N个节点的第五预测流量与所述约束条件的匹配程度。
在一种可能的实施方式中，N个节点对应N个网络页面或N个网络设备，所述节点流量为网络页面或网络设备的访问量。或者，N个节点对应N个车站，所述节点流量为经过车站的车流量。
第二方面，提供了一种获得用于执行流量预测业务的图神经网络的装置，包括：
数据获取单元，配置为获取图结构中N个节点的流量数据序列，所述流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合包含N个节点各自在对应时段的节点流量；
条件确定单元，配置为确定N个节点各自的节点流量满足的约束条件；
损失确定单元，配置为根据所述约束条件确定损失函数；
训练处理单元，配置为根据所述流量数据序列和所述损失函数训练第一时空图神经网络，其中训练后的所述第一时空图神经网络用于执行所述流量预测业务。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，当所述计算机程序/指令在计算设备中执行时，计算设备执行如第一方面中任一项所述的方法。
第四方面，提供了一种计算设备，其包括存储器和处理器，所述存储器中存储有计算机程序/指令，所述处理器执行所述计算机程序/指令时，实现如第一方面中任一项所述的方法。
通过本说明书一个或多个实施例中提供的方法及装置，获得用于执行流量预测业务的时空图神经网络的过程中，充分考虑流量预测业务涉及的图结构中的N个节点各自在相同时段的节点流量间的相关性，基于训练后的时空图神经网络执行流量预测业务时，训练后的时空图神经网络则可结合N个节点各自在相同时段的节点流量间的相关性，更加准确的预测N个节点在未来的一个或多个时段的流量。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为示例性提供的流量预测业务涉及的图结构的示意图；
图2为一种获得用于执行流量预测业务的图神经网络的方法的流程图；
图3为确定图结构中的节点是否为约束节点的示意图；
图4为另一种获得用于执行流量预测业务的图神经网络的方法的流程图；
图5为一种获得用于执行流量预测业务的图神经网络的装置的示意图。
具体实施方式
下面结合附图，对本说明书所提供的各个非限制性实施例进行详细描述。
图1为示例性提供的流量预测业务涉及的图结构的示意图。如图1所示，流量预测业务涉及的图结构可能包括例如存在图1所示连接关系的节点1～节点7，节点1～节点7在不同的时段可能具有随时间变化的节点流量。通常可以利用节点1～节点7在在过去的各个相同时段的节点流量组成流量数据集合，将与过去的多个时段相对应的多个流量数据集合组成流量数据序列；然后利用通过前述方式获得的若干流量数据序列，训练得到用于执行流量预测业务的图神经网络，例如利用训练后的图神经网络预测节点1～节点7在未来的单个或多个时段的节点流量。其中获得用于执行流量预测业务的图神经网络的方法，可能对其在推断模式下是否能够准确的执行流量预测业务造成影响。
本说明书实施例中提供的一种获得执行流量预测业务的图神经网络的方法及装置。获得用于执行流量预测业务的图神经网络的过程中，充分考虑流量预测业务涉及的图结构中的N个节点各自在相同时段的节点流量间的相关性，基于训练后的图神经网络执行流量预测业务时，训练后的图神经网络则可结合N个节点各自在相同时段的节点流量间的相关性，更加准确的预测N个节点在未来的一个或多个时段的流量。
下面结合图1详细描述本说明书实施例中提供的获得用于执行流量预测业务的图神经网络的方法。如图2所示，该方法至少可以包括如下步骤201至步骤207。
首先，在步骤201，获取图结构中N个节点的流量数据序列。其中，流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合中包含该N个节点各自在对应时段的节点流量。
图结构中的N个节点可以对应N个网络页面或N个网络设备，节点流量则为网络页面或网络设备的访问量。或者，图结构中的N个节点可以对应N个车站，节点流量为经过车站的车流量。N个节点还可以对应其它业务场景中的实体，节点流量可以为其它形式的流量数据，例如为水路管网中某个指定的观测位置的水流量等等。
具体可以结合实际业务场景获取一个或多个流量数据序列。举例来说，结合图1所示的图结构，对于应用程序“支付宝”提供的“花呗”业务，可以基于经验或者统计的历史数据选取该业务所涉及的访问量相对较高的7个网络页面，该7个网络页面对应的作为流量预测业务涉及的图结构中的7个节点。接着可以设置观测时间为M天，在时间维度上按照预设步长将每一天均划分为T个时段，并且连续在M天内分别采集该7个网络页面各自在T个时段的T个访问量。对于任意的第m天内的任意的第t个时段，采集到的7个网络页面中任意的第i个网络页面在该第t个时段的访问量，可以表述为第i个网络页面在该第t个时段的节点流量。接着可以利用7个网络页面在第m天的第t个时段的节点流量组成属于第m天的第t个流量数据集合，然后按照时间顺序依次排列属于第m天的T个流量数据集合，可形成第m天所对应的流量数据序列。通过对M天内观测的访问量均进行前述处理，即可获得将用于训练时空图神经网络的M个流量数据序列。
步骤203，确定N个节点各自的节点流量满足的约束条件。
在一种可能的实施方式中，用户可能基于经验直接提供N个节点各自在相同时段的节点流量满足的约束条件，即步骤203中可能直接获取由用户设置的约束条件。
在一种可能的实施方式中，可以首先从N个节点中确定不小于1的W个约束节点，然后根据W个约束节点各自在相同时段的节点流量确定前述的约束条件。
用户可能基于经验识别N个节点中的W个约束节点，即可以直接根据用户基于其经验而进行的配置实现从N个节点中确定W个约束节点。或者，至少可以通过如图3所示的以下各个方法步骤实现确定N个节点中的每个节点是否为约束节点，从而实现从N个节点中确定不小于1的W个约束节点。
步骤301，对于N个节点中任意的第i个节点，将除第i个节点以外的N-1个节点各自在任意当前时段的节点流量作为输入数据，将第i个节点在第t个时段的节点流量作为标签数据，训练第i个节点对应的第一约束网络。
步骤303，将除第i个节点以外的N-1个节点在第t个时段的节点流量输入训练后的第一约束网络，使其输出该第i个节点在第t个时段的第一预测流量。
步骤305，根据第i个节点在相同时段的节点流量和第一预测流量，确定该第i个节点是否为约束节点。
其中训练第i个节点对应的第一约束网络时所使用的损失函数，可以包括但不限于如下公式1所示的损失函数。
Figure BDA0003328015110000061
Lpred(i)表征N个节点中任意的第i个节点对应的第一约束网络的损失，
Figure BDA0003328015110000062
表征由第i个节点在第m个流量数据序列对应的T个时段的T个节点流量组成的向量，xm表征由第i个节点在第m个流量数据序列对应的T个时段的T个第一预测流量组成的向量。
基于前述的N-1个节点在第t个时段的节点流量，预测的第i个节点在第t个时段的第一预测流量的准确性与Lpred(i)负相关。与之相应的是，Lpred(i)越小则说明第i个节点与前述的N-1个节点在相同时段的节点流量在空间维护上的相关性越小。因此步骤305中具体可以基于N个节点在各个时段的节点流量和第一预测流量，以及前述公式1计算Lpred(i)，进而基于Lpred(i)的大小来确定该第i个节点是否为约束节点。
在一个示例中，可以在Lpred(i)小于预设阈值时，将第i个节点确定为约束节点。
在一个示例中，可以在Lpred(i)小于预设阈值时，将第i个节点确定为候选节点。然后对被确定的每个候选节点，根据该候选节点对应的训练后的第一约束网络和用于训练该第一约束网络的每个流量数据集合，计算该候选节点在不同时段的第一预测流量分别对应的偏导数的平均偏导数，进而基于该候选节点对应的平均偏导数，确定该候选节点是否为约束节点。例如，将平均偏导数大于预设阈值的候选节点确定为约束节点，或者按照由大到小的顺序选择平均偏导数相对较大的W个候选节点作为W个约束节点。
通过前述示例的过程完成从N个节点中确定出W个约束节点后，具体可以针对W个约束节点中任意的第j个节点，将除第j个约束节点以外的W-1个约束节点在任意当前时段的节点流量作为输入数据，将第j个约束节点在该当前时段的节点流量作为标签数据，训练第j个节点对应的第二约束网络，然后基于训练后的第二约束网络确定约束条件。
在一个示例中，可以首先基于训练后的第二约束网络确定该第j个约束节点对应的约束子函数，该约束子函数中的W个变量表征W个约束节点在相同时段的W个节点流量；接着对W个约束节点分别对应的约束子函数进行合并处理，获得作为约束条件的约束函数。
更具体地，除第j个约束节点以外的其余W-1个约束节点在第t个时段的节点流量被输入第j个约束节点对应的训练后的第二约束网络时，该第二约束网络对应输出的第j个约束节点在第t个时段的第二预测流量，该第二预测流量等于或者近似于第j个约束节点在第t个时段的节点流量。因此针对第j个节点对应的第二约束网络获得并输出该第j个节点在第t个时段的第二预测流量x′t，j的过程，可以表述为x′t，j＝g(xt，1，...，xt，w)，其中xt，1表征W个约束节点中的第1个约束节点在第t个时段的节点流量，xt，w表征W个约束节点中的第W个约束节点在第t个时段的节点流量。与之相应的，可以对第j个约束节点对应的训练后的第二约束网络的权重矩阵进行转化，获得变形矩阵Aj并且确保Ajx’t＝0，其中x′t是x′t，j与其余W-1个节点在第t个时段的节点流量组成的W维向量。此处需要特别说明的是，由于x’t，j等于或者近似于第j个节点在第t个时段的节点流量xt，j，因此x′t可以用于表征W个约束节点在第t个时段的W个节点流量组成的W维向量，即可以认为第j个约束节点需要满足函数关系Ajxt＝0，其中xt表征W个约束节点在第t个时段的W个节点流量组成的W维向量，从而将Ajxt＝0确定为第j个约束节点对应/满足的约束子函数。
需要特别说明的是，作为约束条件的约束函数还可能通过其它方式获得，例如在部分业务场景中可能将单个约束节点对应/满足的约束子函数Ajxt＝0直接作为约束函数。
约束函数可能为线性函数或者非线性函数。例如对W个约束节点各自对应/满足的约束子函数进行合并处理时，可能获得约束函数Axt＝0，其中A为进行合并处理时形成的目标矩阵；或者，在无法对W个约束节点各自对应/满足的约束子函数进行合并处理的情况下，直接利用W个约束节点各自对应/满足的约束子函数组成非线性的约束函数f(xt)＝0。
回到图2，在步骤205，根据约束条件确定用于训练第一时空图神经网络损失函数。
在步骤207，根据流量数据序列和损失函数训练第一时空图神经网络。
第一时空图神经网络可以包括但不限于时空图卷积网络或者动态图卷积循环网络。第一时空图神经网络可以包括输入层、若干隐藏层和输出层。训练第一时空图神经网络的过程中，第m个流量数据序列被输入第一时空图神经网络时，对于第m个流量数据序列中的第t个流量数据集合，该若干隐藏层中任意的并且具有C个处理通道的第一隐藏层可以针对该第t个流量数据集合输出C个N维特征向量；单个N维特征向量中的第i个元素对应N个节点中的第i个节点，用于表征该第i个节点在第t个时段的节点流量。
用于训练第一时空图神经网络的损失函数中可以包括对应隐藏层的第一损失项LR，第一损失项用于指示W维特征向量与约束函数的匹配程度，W维特征向量从隐藏层输出的N维特征向量中获取，并且与W个约束节点相对应。更具体地说，第一损失项中包括用于表征多个W维特征向量的多个变量，其中多个W维特征向量与各个隐藏层累计输出的全部N维特征向量一一对应；单个W维特征向量中的第j个元素为，从其对应的N维特征向量中获取的并且与W个约束节点中的第j个约束节点相对应的元素。
当约束函数为线性函数时，第一损失项可以通过基于约束函数确定的目标矩阵与各个时段的W维特征向量的乘积计算得到。示例性的，将第一时空图神经网络包含的隐藏层的数量记为P，将单个隐藏层包含的通道数记为C，将获取的流量数据序列的总量记为M，当约束函数为线性函数时，基于该约束函数确定的第一损失项LR如下公式2所示。
Figure BDA0003328015110000081
其中A为前述的约束函数中的目标矩阵，Zm，c，t，p用于表征M个流量数据序列中的第m个流量数据序列被输入第一时空图神经网络时，第p个隐藏层中的第c个处理通道针对第m个流量数据序列中的第t个流量数据集合输出的N维特征向量所对应的W维特征向量。
当约束函数为非线性函数，第一损失项可以通过与若干隐藏层相对应的若干均值向量计算得到，其中第p个隐藏层所对应的均值向量基于第p个隐藏层输出的各个N维特征向量所分别对应的W维特征向量计算得到。示例性的，当约束函数为非线性函数时，基于该约束函数确定的第一损失项LR如下公式3所示。
Figure BDA0003328015110000082
其中Zp表征该第p个隐藏层所对应的均值向量，对应法则f为前述的约束函数f(xt)中的对应法则f。
需要说明的是，第一损失项LR的值越大则表明W维特征向量与约束函数的匹配程度越小，反之则表明W维特征向量与约束函数的匹配程度越大。通过在训练第一时空图神经网络的过程中最小化LR，可以实现对隐藏层输出的N维特征向量中，用于表征各个节点的节点流量的元素能够在满足约束条件的基础上，更加准确的表征相应约束节点的节点流量，从而有利于准确预测各节点在未来的某个目标时段内的节点流量。
直接获取的用于训练第一时空图神经网络的流量数据序列的数量可能相对较少。与之相应的，如图4所示，该方法中还可以包括步骤401，根据约束条件和流量数据序列生成对应的扰动数据序列。换而言之，需要确保基于流量数据序列生成的扰动数据序列中，单个流量数据集合中的N个节点流量与前述的约束条件具有较高匹配程度，例如与前述的约束函数具有较高的匹配程度。更具体地说，对于扰动数据序列中的单个流量数据集合而言，该流量数据集合中的W个约束节点的节点流量组成的向量xt被代入前述约束函数中的f(xt)时，计算得到的f(xt)的值，应当等于或者趋近于0，具体例如小于某个预设阈值。
与之相应的，前述步骤207具体可以包括步骤2071，根据流量数据序列、扰动数据序列和损失函数训练第一时空图神经网络。
在一种可能的实施方式中，基于如图4所示的实施例，用于训练第一时空图神经网络的损失函数可以包括第二损失项，其用于指示：扰动数据序列被输入第一时空图神经网络时，第一时空图神经网络输出的N个节点各自在第T+1个时段的第三预测流量与约束条件的匹配程度。示例性的，基于约束条件确定的第二损失项LA如下公式(4)所示。
Figure BDA0003328015110000091
其中y′q，t表征Q个扰动数据序列中任意的第q个扰动数据序列被输入第一时空图神经网络时，该第一时空图神经网络对应输出的预测结果，该预测结果包括N个节点在第T+1个时段的第三预测流量，对应关系f为前述约束函数中的对应关系。
需要说明的是，第一损失项LA的值越大则表明y′q，t与约束函数的匹配程度越小，反之则表明y′q，t与约束函数的匹配程度越大。通过在训练第一时空图神经网络的过程中最小化LA，可以确保y′q，t能够更加准确的表征相应约束节点在第T+1个时段的节点流量，从而有利于准确预测各节点在未来的某个目标时段内的节点流量。
需要说明的是，用于训练第一时空图神经网络的损失函数，除了可以包括前述的第一损失项LR和/或第二损失项LA以外，还可以包括第三损失项LB。第三损失项LB可以基于每个流量数据序列和/或扰动数据序列分别对应的标签数据，以及第一时空图神经网络针对每个流量数据序列和/或扰动数据序列分别输出的预测结果，按照指定的计算规则计算得到。
通过前述各个实施例中提供的方法完成训练第一时空图神经网络后，还可以基于约束条件构建转化层，其中该转化层用于提升第一时空图神经网络针对N个节点在目标时段的预测流量与约束条件的匹配程度；然后在第一时空图神经网络基础上连接转化层，以获得用于执行流量预测业务的第二时空图神经网络。如此，第二时空图神经网络相对于训练后的第一时空图神经网络，能够更加准确的预测N个节点在目标时段的节点流量。
具体地，转化层可以配置为获得训练后的第一时空图神经网络输出的N个节点在目标时段的第四预测流量，对其进行处理并输出N个节点的第五预测流量，其中N个节点的第四预测流量与约束条件的匹配程度，小于N个节点的第五预测流量与约束条件的匹配程度。
举例来说，将训练后的第一时空图神经网络在推断模式下输出的预测结果表述为
Figure BDA0003328015110000092
即将第一时空图神经网络输出的N个节点在某个目标时段的第四预测流量记为
Figure BDA0003328015110000093
将N个节点在某个目标时段的真实的流量数据集合记yT+1；将转化层针对
Figure BDA0003328015110000094
进行处理以获得的N个节点的第五预测流量记为
Figure BDA0003328015110000095
我们期望N个节点的第四预测流量与约束条件的匹配程度，小于N个节点的第五预测流量与约束条件的匹配程度，那么需要
Figure BDA0003328015110000096
满足条件
Figure BDA0003328015110000097
当约束函数为线性函数Axt＝0时，转化层可以将
Figure BDA0003328015110000098
直接投影到满足约束的超平面以获得
Figure BDA0003328015110000099
换而言之，转化层可以通过如下公式(5)计算得到
Figure BDA00033280151100000910
Figure BDA00033280151100000911
当约束函数为非线性函数f(xt)＝0时，把
Figure BDA00033280151100000912
直接投影到满足约束的超平面的过程没有闭式解。那么假设f(yT+1)＝0并且
Figure BDA0003328015110000101
是雅可比矩阵，
Figure BDA0003328015110000102
关于
Figure BDA0003328015110000103
的一阶的泰勒展开式可以则写成
Figure BDA0003328015110000104
该前述的泰勒展开式置0时可以获得
Figure BDA0003328015110000105
转化层可以通过多次重复的执行前述处理过程，从而获得能够满足条件
Figure BDA0003328015110000106
的
Figure BDA0003328015110000107
发明人在“花呗”业务和“借呗”业务的数据集上进行测试。“花呗”业务的数据集标记为Flow Dataset 1，Flow Dataset 1涉及“花呗”业务相关的23个访问量相对较高的网络页面；在时间维度上我们收集了24天数据并且每天数据划分为5分钟的时段，切分18天数据用于训练，3天数据用于验证，以及3天数据用于测试。“借呗”业务的数据集标记为FlowDataset 2，Flow Dataset 2涉及“借呗”业务相关的30个访问量相对较高的网络页面；在时间维度上我们收集了21天数据并且每天数据划分为5分钟的时段，切分15天数据用于训练，3天数据用于验证，以及3天数据用于测试。
发明人具体测试了6个基线模型，例如“历史平均(HA)”、“支持向量回归(SVR)”、“前馈神经网络(FNN)”、“全连接-长短期记忆网络(FC-LSTM)”、“时空图卷积网络(STGCN)”以及“动态卷积循环网络(AGCRN)”。同时测试采用本说明书实施例中提供的方法获得的第二时空图神经网络，具体以该第二时空图神经网络包括加入约束后的时空图卷积网络(CSTGCN)和加入约束后的动态卷积循环网络(CAGCRN)为例。
在平均绝对误差(MAE)和均方根误差(RMSE)上的表现性能如下表1所示。
Figure BDA0003328015110000108
表1
通过上述表1示例的测试结果可见，对于采用本说明书实施例中提供的方法获得的CSTGCN和CAGCRN，其考虑了不同网络页面在相同时段的节点流量满足的约束条件，在MAE和RMSE上的表现性能明显优于其它6个基线模型。
与前述方法实施例基于相同的构思，本说明书实施例中还提供了一种获得用于执行流量预测业务的图神经网络的装置。如图5所示，该装置可以包括：数据获取单元501，配置为获取图结构中N个节点的流量数据序列，所述流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合包含N个节点各自在对应时段的节点流量；条件确定单元503，配置为确定N个节点各自的节点流量满足的约束条件；损失确定单元505，配置为根据所述约束条件确定损失函数；训练处理单元507，配置为根据所述流量数据序列和所述损失函数训练第一时空图神经网络，其中训练后的所述第一时空图神经网络用于执行所述流量预测业务。
在一种可能的实施方式中，条件确定单元503，配置为从N个节点中确定W个约束节点，W大于1；根据W个约束节点各自在相同时段的节点流量确定所述约束条件。
在一种可能的实施方式中，条件确定单元503，配置为：对于N个节点中任意的第i个节点，将除所述第i个节点以外的N-1个节点在任意当前时段的节点流量作为输入数据，将所述第i个节点在该当前时段的节点流量作为标签数据，训练所述第i个节点对应的第一约束网络；将所述N-1个节点在当前时段的节点流量输入训练后的所述第一约束网络，使其输出所述第i个节点在该当前时段的第一预测流量；根据所述第i个节点在各个时段的节点流量和第一预测流量，确定所述第i个节点是否为约束节点。
在一种可能的实施方式中，条件确定单元配置为：对于W个约束节点中任意的第j个节点，将除第j个约束节点以外的W-1个约束节点在任意当前时段的节点流量作为输入数据，将所述第j个约束节点在该当前时段的节点流量作为标签数据，训练所述第j个节点对应的第二约束网络；基于训练后的所述第二约束网络确定所述约束条件。
在一种可能的实施方式中，条件确定单元503具体配置为：基于训练后的第二约束网络确定所述第j个约束节点对应的约束子函数，所述约束子函数中的W个变量表征W个约束节点在相同时段的W个节点流量；对W个约束节点分别对应的约束子函数进行合并，获得作为所述约束条件的约束函数。
在一种可能的实施方式中，所述约束条件是函数值为0的约束函数，所述约束函数中的W个变量表征W个约束节点在相同时段的W个节点流量。
在一种可能的实施方式中，所述第一时空图神经网络包括第一隐藏层。所述流量数据序列被输入所述第一时空图神经网络时，所述第一隐藏层针对任意当前时段的流量数据集合输出用于表征N个节点的节点流量的N维特征向量。所述损失函数包含第一损失项，所述第一损失项用于指示W维特征向量与所述约束函数的匹配程度，所述W维特征向量从所述N维特征向量中获取，并且与所述W个约束节点相对应。
在一种可能的实施方式中，所述约束函数为线性函数。所述第一损失项通过基于所述约束函数确定的目标矩阵与各个时段的所述W维特征向量的乘积计算得到。
在一种可能的实施方式中，所述约束函数为非线性函数。所述第一损失项基于所述第一隐藏层的均值向量计算得到，所述均值向量基于各个时段的所述W维特征向量计算得到。
在一种可能的实施方式中，所述装置还包括：扰动处理单元，配置为根据所述约束条件和所述流量数据序列生成对应的扰动数据序列。所述训练处理单元507，具体配置为根据所述流量数据序列、所述扰动数据序列和所述损失函数训练第一时空图神经网络。
在一种可能的实施方式中，所述损失函数包含第二损失项，所述第二损失项用于指示，所述扰动数据序列被输入所述第一时空图神经网络时，所述第一时空图神经网络输出的N个节点在第T+1个时段的第三预测流量与所述约束条件的匹配程度。
在一种可能的实施方式中，所述装置还包括配置处理单元，用于基于所述约束条件构建转化层，所述转化层用于提升所述第一时空图神经网络针对N个节点在目标时段的预测流量与所述约束条件的匹配程度；在所述第一时空图神经网络基础上连接所述转化层，以获得第二时空图神经网络，所述第二时空图神经网络用于执行所述流量预测业务。
在一种可能的实施方式中，所述转化层配置为，获得所述第一时空图神经网络输出的N个节点各自在目标时段的第四预测流量，对其进行处理并输出N个节点的第五预测流量，其中N个节点的第四预测流量与所述约束条件的匹配程度，小于N个节点的第五预测流量与所述约束条件的匹配程度。
在一种可能的实施方式中，N个节点对应N个网络页面或N个网络设备，所述节点流量为网络页面或网络设备的访问量。或者，N个节点对应N个车站，所述节点流量为经过车站的车流量。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能所对应的计算机程序存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令/代码进行传输，以便这些功能所对应的计算机程序被计算机执行时，通过计算机实现本说明书任意一个实施例中所述的方法。
本说明书实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，当所述计算机程序/指令在计算设备中执行时，计算设备执行本说明书任意一个实施例中提供的获得用于执行流量预测业务的时空图神经网络的方法。
本说明书实施例中还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书任意一个实施例中提供的获得用于执行流量预测业务的时空图神经网络的方法的流程图方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例中相同、相似的部分互相参见即可，每个实施例中重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (17)

1.一种获得用于执行流量预测业务的图神经网络的方法，包括：
获取图结构中N个节点的流量数据序列，所述流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合包含N个节点各自在对应时段的节点流量；
确定N个节点各自的节点流量满足的约束条件；
根据所述约束条件确定损失函数；
根据所述流量数据序列和所述损失函数训练第一时空图神经网络，其中训练后的所述第一时空图神经网络用于执行所述流量预测业务。
2.根据权利要求1所述的方法，其中，确定N个节点各自的节点流量满足的约束条件，包括：
从N个节点中确定W个约束节点，W大于1；
根据W个约束节点各自在相同时段的节点流量确定所述约束条件。
3.根据权利要求2所述的方法，其中，从N个节点中确定W个约束节点，包括：
对于N个节点中任意的第i个节点，将除所述第i个节点以外的N-1个节点在任意当前时段的节点流量作为输入数据，将所述第i个节点在该当前时段的节点流量作为标签数据，训练所述第i个节点对应的第一约束网络；
将所述N-1个节点在当前时段的节点流量输入训练后的所述第一约束网络，使其输出所述第i个节点在该当前时段的第一预测流量；
根据所述第i个节点在各个时段的节点流量和第一预测流量，确定所述第i个节点是否为约束节点。
4.根据权利要求2所述的方法，其中，根据W个约束节点各自在相同时段的节点流量确定所述约束条件，包括：
对于W个约束节点中任意的第j个节点，将除第j个约束节点以外的W-1个约束节点在任意当前时段的节点流量作为输入数据，将所述第j个约束节点在该当前时段的节点流量作为标签数据，训练所述第j个节点对应的第二约束网络；
基于训练后的所述第二约束网络确定所述约束条件。
5.根据权利要求4所述的方法，其中，基于训练后的所述第二约束网络确定所述约束条件，具体包括：
基于训练后的第二约束网络确定所述第j个约束节点对应的约束子函数，所述约束子函数中的W个变量表征W个约束节点在相同时段的W个节点流量；
对W个约束节点分别对应的约束子函数进行合并，获得作为所述约束条件的约束函数。
6.根据权利要求2所述的方法，其中，所述约束条件是函数值为0的约束函数，所述约束函数中的W个变量表征W个约束节点在相同时段的W个节点流量。
7.根据权利要求6所述的方法，其中，所述第一时空图神经网络包括第一隐藏层；所述流量数据序列被输入所述第一时空图神经网络时，所述第一隐藏层针对任意当前时段的流量数据集合输出用于表征N个节点的节点流量的N维特征向量；
所述损失函数包含第一损失项，所述第一损失项用于指示W维特征向量与所述约束函数的匹配程度，所述W维特征向量从所述N维特征向量中获取，并且与所述W个约束节点相对应。
8.根据权利要求7所述的方法，其中，所述约束函数为线性函数；所述第一损失项通过基于所述约束函数确定的目标矩阵与各个时段的所述W维特征向量的乘积计算得到。
9.根据权利要求7所述的方法，其中，所述约束函数为非线性函数；所述第一损失项基于所述第一隐藏层对应的均值向量计算得到，所述均值向量基于各个时段的所述W维特征向量计算得到。
10.根据权利要求1-9中任一项所述的方法，其中，所述方法还包括：
根据所述约束条件和所述流量数据序列生成对应的扰动数据序列；
根据所述流量数据序列和所述损失函数训练第一时空图神经网络，包括：根据所述流量数据序列、所述扰动数据序列和所述损失函数训练第一时空图神经网络。
11.根据权利要求10所述的方法，其中，所述损失函数包含第二损失项，所述第二损失项用于指示，所述扰动数据序列被输入所述第一时空图神经网络时，所述第一时空图神经网络输出的N个节点在第T+1个时段的第三预测流量与所述约束条件的匹配程度。
12.根据权利要求1-9中任一项所述的方法，所述方法还包括：
基于所述约束条件构建转化层，所述转化层用于提升所述第一时空图神经网络针对N个节点在目标时段的预测流量与所述约束条件的匹配程度；
在所述第一时空图神经网络基础上连接所述转化层，以获得第二时空图神经网络，所述第二时空图神经网络用于执行所述流量预测业务。
13.根据权利要求12所述的方法，其中，所述转化层配置为，获得所述第一时空图神经网络输出的N个节点各自在目标时段的第四预测流量，对其进行处理并输出N个节点的第五预测流量，其中N个节点的第四预测流量与所述约束条件的匹配程度，小于N个节点的第五预测流量与所述约束条件的匹配程度。
14.根据权利要求1-9中任一项所述的方法，其中，N个节点对应N个网络页面或网络设备，所述节点流量为网络页面或网络设备的访问量；或者，N个节点对应N个车站，所述节点流量为经过车站的车流量。
15.一种获得用于执行流量预测业务的图神经网络的装置，包括：
数据获取单元，配置为获取图结构中N个节点的流量数据序列，所述流量数据序列包括与T个时段相对应的T个流量数据集合，单个流量数据集合包含N个节点各自在对应时段的节点流量；
条件确定单元，配置为确定N个节点各自的节点流量满足的约束条件；
损失确定单元，配置为根据所述约束条件确定损失函数；
训练处理单元，配置为根据所述流量数据序列和所述损失函数训练第一时空图神经网络，其中训练后的所述第一时空图神经网络用于执行所述流量预测业务。
16.一种计算机可读存储介质，其上存储有计算机程序/指令，当所述计算机程序/指令在计算设备中执行时，计算设备执行权利要求1-14中任一项所述的方法。
17.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序/指令，所述处理器执行所述计算机程序/指令时，实现权利要求1-14中任一项所述的方法。
CN202111271139.6A 2021-10-29 2021-10-29 获得用于执行流量预测业务的图神经网络的方法及装置 Pending CN113988264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111271139.6A CN113988264A (zh) 2021-10-29 2021-10-29 获得用于执行流量预测业务的图神经网络的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271139.6A CN113988264A (zh) 2021-10-29 2021-10-29 获得用于执行流量预测业务的图神经网络的方法及装置

Publications (1)

Publication Number Publication Date
CN113988264A true CN113988264A (zh) 2022-01-28

Family

ID=79744274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271139.6A Pending CN113988264A (zh) 2021-10-29 2021-10-29 获得用于执行流量预测业务的图神经网络的方法及装置

Country Status (1)

Country Link
CN (1) CN113988264A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818483A (zh) * 2022-04-14 2022-07-29 东南大学溧阳研究院 一种基于图神经网络的机电扰动定位及传播预测方法
WO2023165352A1 (zh) * 2022-03-03 2023-09-07 百果园技术(新加坡)有限公司 一种业务对象的分类方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165352A1 (zh) * 2022-03-03 2023-09-07 百果园技术(新加坡)有限公司 一种业务对象的分类方法、装置、设备及存储介质
CN114818483A (zh) * 2022-04-14 2022-07-29 东南大学溧阳研究院 一种基于图神经网络的机电扰动定位及传播预测方法

Similar Documents

Publication Publication Date Title
Rasul et al. Multivariate probabilistic time series forecasting via conditioned normalizing flows
Chen et al. Learning graph structures with transformer for multivariate time-series anomaly detection in IoT
Deng et al. An adaptive empirical Bayesian method for sparse deep learning
Ma et al. Bayesian learning for dynamic feature extraction with application in soft sensing
Raissi et al. On parameter estimation approaches for predicting disease transmission through optimization, deep learning and statistical inference methods
US20150254554A1 (en) Information processing device and learning method
Guo et al. Hidden Markov models based approaches to long-term prediction for granular time series
CN113988264A (zh) 获得用于执行流量预测业务的图神经网络的方法及装置
Venugopal et al. A comparison of deep-learning methods for analysing and predicting business processes
Xu et al. Online multi-task learning framework for ensemble forecasting
Sui et al. Bayesian contextual bandits for hyper parameter optimization
Mehrasa et al. Point process flows
Hong et al. Active learning with multiple kernels
Paliwal et al. Traffic estimation and prediction via online variational Bayesian subspace filtering
Zou et al. Correcting model misspecification in physics-informed neural networks (PINNs)
Rankovic et al. COSMIC FP method in software development estimation using artificial neural networks based on orthogonal arrays
Kim et al. Probabilistic imputation for time-series classification with missing data
Alali et al. Deep reinforcement learning sensor scheduling for effective monitoring of dynamical systems
Zou et al. Reliability analysis of Digital Instrumentation and Control software system
Zhuang et al. Semi-supervised Variational Autoencoders for Regression: Application to Soft Sensors
Goeva et al. Reconstructing input models via simulation optimization
Chen et al. Temporal autoregressive matrix factorization for high-dimensional time series prediction of OSS
CN113435927B (zh) 用户意愿预测方法、装置、设备和存储介质
Navaneeth et al. Koopman operator for time-dependent reliability analysis
Liu et al. Learning dynamic temporal graphs for oil-production equipment monitoring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination