CN112749005B - 资源数据处理方法、装置、计算机设备和存储介质 - Google Patents
资源数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112749005B CN112749005B CN202010661844.6A CN202010661844A CN112749005B CN 112749005 B CN112749005 B CN 112749005B CN 202010661844 A CN202010661844 A CN 202010661844A CN 112749005 B CN112749005 B CN 112749005B
- Authority
- CN
- China
- Prior art keywords
- resource
- trend
- neighbor
- identifier
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 254
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 72
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 244000062793 Sorghum vulgare Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 235000019713 millet Nutrition 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种资源数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取待处理资源标识对应的自身历史资源状态趋势;将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。采用本方法能够提高资源状态预测的准确性。
Description
技术领域
本申请涉及互联网技术领域,特别是涉及一种资源数据处理方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的发展,出现了各种网络平台,网络平台中包含各种各样的资源,不同的资源在不同的时间段具有不同的资源状态。比如,资源为商品时,商品在不同的时间段具有不同的商品价格,又比如,资源为网页时,网页在不同的时间段具有不同的访问量。目前,对于未来时间段资源状态的预测通常是对资源按照预先设置好的系列规则进行预测,当有大量资源需要预测时,对每个资源按照预先设置好的系列规则进行预测,会大量消耗服务器的内存资源,严重时导致服务器宕机。
发明内容
基于此,有必要针对上述技术问题,提供一种能够节省服务器内存资源,防止服务器宕机的资源数据处理方法、装置、计算机设备和存储介质。
一种资源数据处理方法,所述方法包括:
获取待处理资源标识对应的自身历史资源状态趋势;
将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;
资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
在其中一个实施例中,在获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数之后,包括:
根据预设非线性激活函数计算训练注意力系数对应的非线性激活信息;
将非线性激活信息进行归一化,得到归一化的非线性激活信息,将归一化的非线性激活信息作为目标注意力系数。
一种资源数据处理装置,所述装置包括:
获取模块,用于获取待处理资源标识对应的自身历史资源状态趋势;
预测模块,用于将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
在其中一个实施例中,获取模块,包括:
序列转换单元,用于获取待处理资源标识对应的历史资源状态数值序列,将历史资源状态数值序列进行趋势转换,得到自身历史资源状态趋势,其中,趋势转换包括使用转换模型或者转换算法中的至少一种。
在其中一个实施例中,预测模块,包括:
邻居特征计算单元,用于根据邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的邻居趋势特征;
自身特征计算单元,用于并根据自身历史资源状态趋势与自身注意力系数进行特征计算,得到待处理资源标识对应自身趋势特征;
特征融合单元,用于将邻居趋势特征和自身趋势特征进行融合,得到待处理资源标识对应的第一资源状态预测趋势。
在其中一个实施例中,邻居资源标识与待处理资源标识之间包括至少两个邻居注意力系数,以及待处理资源标识对应有至少两个自身注意力系数;
预测模块,还用于根据至少两个邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的至少两个邻居趋势特征;根据至少两个自身注意力系数和自身历史资源状态趋势进行特征计算,得到待处理资源标识对应的至少两个自身趋势特征;根据至少两个邻居趋势特征和至少两个自身趋势特征,确定至少两个第一资源状态预测趋势;将至少两个第一资源状态预测趋势进行拼接,得到目标资源状态预测趋势。
在其中一个实施例中,资源数据处理装置,还包括:
趋势解码模块,用于将待处理资源标识对应的资源状态预测趋势进行解码,得到待处理资源标识对应的资源状态预测数值序列,将资源状态预测数值序列进行展示。
在其中一个实施例中,资源数据处理装置,还包括:
趋势传递模块,用于根据待处理资源标识对应的第一资源状态预测趋势和邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到邻居资源标识对应的更新资源状态趋势;
第二预测趋势确定模块,用于根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的更新资源状态趋势,以及待处理资源标识对应的第一资源状态预测趋势和自身注意力系数确定待处理资源标识对应的第二资源状态预测趋势。
在其中一个实施例中,趋势传递模块还用于获取邻居资源标识对应的各个目标邻居资源标识,并获取各个目标邻居资源标识对应的目标邻居历史资源状态趋势,各个目标邻居资源标识中包括待处理资源标识,目标邻居历史资源状态趋势中包括第一资源状态预测趋势;获取邻居资源标识与各个目标邻居资源标识之间的目标邻居注意力系数;根据目标邻居注意力系数和对应的目标邻居历史资源状态趋势,以及邻居资源标识对应的邻居历史资源状态趋势和邻居本身注意力系数确定邻居资源标识对应的更新资源状态趋势。
在其中一个实施例中,资源数据处理装置,还包括:
图谱获取模块,用于获取资源知识图谱,资源知识图谱是根据资源标识之间的关联关系建立的;
初始模型得到模块,用于获取资源标识对应的训练历史资源状态趋势,根据资源知识图谱和资源标识对应的训练历史资源状态趋势得到初始化的图注意力网络模型;
训练系数得到模块,用于获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数;
趋势传递模块,用于根据训练注意力系数和训练历史资源状态趋势进行趋势传递,得到训练资源状态预测趋势;
误差计算模块,用于获取资源状态标签趋势,计算训练资源状态预测趋势与对应的资源状态标签趋势的误差信息;
更新模块,用于根据误差信息对初始化的图注意力网络模型进行更新,得到更新后的图注意力网络模型;
模型得到模块,用于当未达到预设训练完成条件时,将更新后的图注意力网络模型作为初始化的图注意力网络模型;并返回获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数的步骤执行,当达到预设训练完成条件时,将达到预设训练完成条件的图注意力网络模型作为资源趋势预测模型。
在其中一个实施例中,图谱获取模块还用于获取资源标识之间的关联信息,根据资源标识之间的关联信息确定资源标识之间的关联关系;根据资源标识和资源标识之间的关联关系生成知识图谱关系信息,根据知识图谱关系信息建立资源知识图谱。
在其中一个实施例中,训练系数得到模块还用于根据预设非线性激活函数计算训练注意力系数对应的非线性激活信息;将非线性激活信息进行归一化,得到归一化的非线性激活信息,将归一化的非线性激活信息作为目标注意力系数。
在其中一个实施例中,资源趋势预测模型包括注意力系数计算网络;
训练系数得到模块还用于获取第一资源标识对应的第一训练历史资源状态趋势和第一初始化注意力权重,并获取第二资源标识对应的第二训练历史资源状态趋势和第二初始化注意力权重;根据第一训练历史资源状态趋势和第一初始化注意力权重进行加权计算,得到第一训练趋势特征,并根据第二训练历史资源状态趋势和第二初始化注意力权重进行加权计算,得到第二训练趋势特征,将第一训练趋势特征和第二训练趋势特征进行拼接,得到拼接训练趋势特征;将拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到第一资源标识与第二资源标识之间的注意力系数。
在其中一个实施例中,资源趋势预测模型中包括注意力系数计算网络;
训练系数得到模块还用于获取目标资源标识对应的目标历史资源状态趋势特征和目标初始化注意力权重;根据目标历史资源状态趋势特征和目标初始化注意力权重进行加权计算,得到目标训练趋势特征,将目标训练趋势特征和目标训练趋势特征进行拼接,得到目标拼接训练趋势特征;将目标拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到目标资源标识对应的自身注意力系数。
在其中一个实施例中,资源标识为网页标识,历史资源状态趋势为历史网页访问量趋势;
资源数据处理装置,还包括:
访问量趋势获取模块,用于获取待处理网页标识对应的自身历史网页访问量趋势;
访问量预测模块,用于将待处理网页标识和自身历史网页访问量趋势输入至网页访问量趋势预测模型中,网页访问量趋势预测模型获取待处理网页标识对应的邻居网页标识,并根据邻居网页标识与待处理网页标识之间的邻居注意力系数、邻居网页标识对应的邻居历史网页访问量趋势,以及自身历史网页访问量趋势和待处理网页标识对应的自身注意力系数确定待处理网页标识对应的网页访问量预测趋势;
访问量得到模块,用于将网页访问量预测趋势进行解码,得到待处理网页标识对应的网页访问量预测序列;
资源分配模块,用于按照网页访问量预测序列对待处理网页标识对应的网页分配服务器资源。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理资源标识对应的自身历史资源状态趋势;
将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;
资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理资源标识对应的自身历史资源状态趋势;
将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;
资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
上述资源数据处理方法、装置、计算机设备和存储介质,通过获取到待处理资源标识对应的自身历史资源状态趋势,使用资源趋势预测模型来预测第一资源状态预测趋势,即使用资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势,从而在需要大量待处理资源需要预测时,使用资源趋势预测模型进行预测,即直接将待处理资源标识和对应的自身历史资源状态趋势输入到资源趋势预测模型中,得到输出的第一资源状态预测趋势,从而不需要使用系列规则进行预测,能够节省服务器内存资源,防止服务器宕机。
附图说明
图1为一个实施例中资源数据处理方法的应用环境图;
图2为一个实施例中资源数据处理方法的流程示意图;
图3为一个具体实施例中资源状态趋势的示意图;
图4为一个实施例中得到第一资源状态预测趋势的流程示意图;
图5为一个具体实施例中得到第一资源状态预测趋势的示意图;
图6为一个实施例中得到目标资源状态预测趋势的流程示意图;
图7为一个实施例中得到第二资源状态预测趋势的流程示意图;
图8为一个实施例中得到更新资源状态趋势的流程示意图;
图9为一个实施例中训练资源趋势预测模型的流程示意图;
图10为一个实施例中得到注意力系数的流程示意图;
图11为一个实施例中得到自身注意力系数的流程示意图;
图12为一个具体实施例中得到资源数据处理方法的流程示意图;
图13为一个具体实施例中训练商品价格趋势预测模型的流程示意图;
图14为图13具体实施例中得到趋势隐变量的流程示意图;
图15为图13具体实施例中商品价格知识图谱的部分示意图;
图16为另一个实施例中资源数据处理方法的流程示意图;
图17为一个实施例中资源数据处理装置的结构框图;
图18为另一个实施例中资源数据处理装置的结构框图;
图19为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的神经网络等技术,具体通过如下实施例进行说明:
本申请提供的资源数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。服务器104获取待处理资源标识对应的自身历史资源状态趋势;服务器104将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。服务器可以将第一资源状态预测趋势返回到终端102进行展示。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种资源数据处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于终端中。本实施例中,包括以下步骤:
步骤202,获取待处理资源标识对应的自身历史资源状态趋势。
其中,资源是指能够通过网络平台获取到的信息,比如,网络平台是网络购物平台时,可以是网络购物平台中的各种商品,网络购物平台的页面等等。比如,网络平台是网络视频平台时,资源可以是各种视频,网络视频平台的页面。比如,网络平台是直播平台时,资源可以是各种直播房间,直播平台的页面等等。
资源标识用于唯一标识资源,可以是资源的名称、资源的编号以及资源的字符串等等。比如,资源是商品时,资源标识可以是商品名称、商品编号等。比如,资源是网页时,资源标识可以是网页地址等等。资源是视频时,资源标识可以是视频的名称,视频的编号等等。资源是直播房间时,资源标识可以是直播房间编号等等。
资源状态是指资源在一段时间内的状态属性,是一个时间序列。该资源状态是不断发生变化的,资源在一个时间点是一个资源状态,在另一个时间段是另一个资源状态。比如,商品在12月每天的价格,得到商品价格状态,比如,网页在11月每天的页面访问量,得到页面访问量状态,比如,视频在12月每天的播放量,得到视频播放量状态,比如,直播房间12月每天的观看人数,得到直播观看人数状态。
资源状态趋势是指资源状态变化的趋势,用于描述资源状态在一段时间内的变化趋势,一般是一个50到200维长度的向量。待处理资源标识是指需要预测资源趋势的资源对应的标识。历史资源状态趋势是指在历史时间资源状态对应的趋势。自身历史资源状态趋势是待处理资源标识对应的历史资源状态趋势。比如,商品价格趋势、页面访问量趋势、视频播放量趋势和直播观看人数趋势等等。
具体地,服务器获取到待处理资源标识对应的自身历史资源状态趋势,其中,可以获取到保存的待处理资源标识对应的历史资源状态,根据历史资源状态的自身历史资源状态趋势。也可以从互联网采集到待处理资源标识对应的历史资源状态,提取历史资源状态对应的自身历史资源状态趋势。也可以直接获取到保存在服务器中的待处理资源标识对应的自身历史资源状态趋势。
在一个实施例中,服务器获取待处理资源标识对应的历史资源状态数值序列,将历史资源状态数值序列进行趋势转换,得到自身历史资源状态趋势,其中,趋势转换包括使用转换模型或者转换算法中的至少一种。
其中,历史资源状态数值序列是指根据历史资源状态得到的数值序列,比如,商品价格序列,页面访问量序列,视频播放量序列和直播观看人数序列等。转换模型是指使用神经网络算法预先训练好的用于将历史资源状态数值序列转换为历史资源状态趋势的模型。其中,神经网络算法可以是卷积神经网络(CNN,Convolutional Neural Networks)算法和长短期记忆网络(LSTM,Long Short-Term Memory)算法。转换算法用于将时间数值序列转换为状态趋势的算法,可以包括傅里叶分析(DFT,Discrete Fourier Transform)算法、小波分析(DWT,Discrete Wavelet Transformation)算法等等。
具体地,服务器获取到待处理资源标识对应的历史资源状态数值序列,可以采集历史一段时间段待处理资源标识对应的历史资源状态,得到历史资源状态数值序列。也可以从服务器中查找到历史一段时间段待处理资源标识对应的历史资源状态,得到历史资源状态数值序列。然后使用转换模型或者转换算法中的至少一种对历史资源状态数值序列进行趋势转换,得到自身历史资源状态趋势。在一个具体的实施例中,如图3所示,为根据虚线的历史资源状态数值序列进行趋势转换,得到实线的自身历史资源状态趋势的示意图,该自身历史资源状态趋势是一个8维的向量。
步骤204,将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势。
其中,资源趋势预测模型用于预测资源的状态趋势,邻居资源标识用于唯一标识待处理资源对应的邻居资源。待处理资源可以对应有多高邻居资源,即待处理资源标识可以多个对应的邻居资源标识。邻居注意力系数用于表征邻居资源标识的历史资源状态趋势对待处理资源标识的资源状态预测趋势的影响程度,邻居注意力系数越高,影响程度越高,邻居注意力系数越低,影响程度越低。自身注意力系数用于表征自身历史资源状态趋势对待处理资源标识的资源状态预测趋势的影响程度。邻居历史资源状态趋势是指邻居资源标识对应的历史资源状态趋势,是预先根据历史资源状态得到并保存到服务器中的,在需要使用时可以直接获取得到。第一资源状态预测趋势是第一次预测得到的在未来时间段的资源状态趋势。该未来时间段与历史资源状态趋势的历史时间段具有相同的时间长度。
具体地,服务器将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,该资源趋势预测模型是预先训练好并部署到服务器中的。此时,资源趋势预测模型获取到待处理资源标识对应的各个邻居资源标识,然后根据各个邻居资源标识获取到对应的邻居历史资源状态趋势。服务器再根据各个邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数计算待处理资源标识对应的第一资源状态预测趋势。其中,服务器可以使用邻居注意力系数和自身注意力系数分别对邻居历史资源状态趋势和自身历史资源状态趋势进行加权计算,根据加权计算结果得到第一资源状态预测趋势。
步骤206,资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
其中,图注意力网络模型是指基于注意力机制的图神经网络模型,图神经网络模型是指根据图神经网络(Graph Neural Network,GNN)算法或者图卷积神经网络(GraphConvolutional Neural Network,GCN)算法建立的模型。注意力机制是指增加相似资源标识对应的资源状态趋势权重并减少不相似资源标识对应的资源状态趋势权重的机制。训练历史资源状态趋势是指训练时使用的历史资源状态趋势。资源状态标签趋势是指训练时使用的标签,该资源状态标签趋势是相对于训练历史资源状态趋势的未来历史资源状态趋势。比如,当前时间是2020年5月29日,训练历史资源状态趋势是指在2019年1月1日到4月30日的历史资源状态趋势,资源状态标签趋势是指在2019年5月1日到8月31日的历史资源状态趋势。
具体的,服务器根据基于注意力机制的图神经网络模型使用训练历史资源状态趋势和对应的资源状态标签趋势进行训练,当训练完成时,得到图注意力网络模型,将图注意力网络模型作为资源趋势预测模型部署到服务器中进行使用。
上述资源数据处理方法中,通过获取到待处理资源标识对应的自身历史资源状态趋势,使用资源趋势预测模型来预测第一资源状态预测趋势,即使用资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势,从而在需要大量待处理资源需要预测时,使用资源趋势预测模型进行预测,即直接将待处理资源标识和对应的自身历史资源状态趋势输入到资源趋势预测模型中,得到输出的第一资源状态预测趋势,从而不需要使用系列规则进行预测,能够节省服务器内存资源,防止服务器宕机。并且,由于每个邻居资源标识与待处理资源标识之间的邻居注意力系数不同,使得邻居历史资源状态趋势对待处理资源标识进行预测时的重要性不同,即邻居注意力系数越大,重要性越高,邻居注意力系数越小,重要性越低,然后使用每个邻居资源标识对应的邻居注意力系数和邻居历史资源状态趋势来预测待处理资源标识对应的第一资源状态预测趋势,使得到的第一资源状态预测趋势更加准确。
在一个实施例中,如图4所示,步骤202,即根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势,包括步骤:
步骤402,根据邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的邻居趋势特征。
步骤404,并根据自身历史资源状态趋势与自身注意力系数进行特征计算,得到待处理资源标识对应自身趋势特征。
其中,邻居趋势特征是指根据邻居历史资源状态趋势得到的待处理资源标识对应的预测趋势。不同的邻居注意力系数和邻居历史资源状态趋势对应有不同的邻居趋势特征,即每个邻居资源标识对应有邻居趋势特征。特征计算是计算历史资源状态趋势与注意力系数之间的乘积。
具体地,服务器使用每个邻居资源标识对应的邻居注意力系数与对应的邻居历史资源状态趋势进行相乘,得到每个邻居资源标识对应的邻居趋势特征。并根据自身历史资源状态趋势与自身注意力系数进行相乘,得到待处理资源标识对应自身趋势特征。
步骤406,将邻居趋势特征和自身趋势特征进行融合,得到待处理资源标识对应的第一资源状态预测趋势。
其中,融合是指将所有的邻居趋势特征和自身趋势特征合并成一个趋势特征。可以将邻居趋势特征和自身趋势特征进行统计运算,得到统计运算的结果为第一资源状态预测趋势。比如,也可以将邻居趋势特征和自身趋势特征进行向量组合,得到的拼接结果为第一资源状态预测趋势。
具体地,服务器可以将所有的邻居趋势特征和自身趋势特征进行加和得到待处理资源标识对应的第一资源状态预测趋势,服务器还可以将所有的邻居趋势特征和自身趋势特征进行相乘后得到待处理资源标识对应的第一资源状态预测趋势。服务器还可以将所有的邻居趋势特征和自身趋势特征进行笛卡尔积运算,得到待处理资源标识对应的第一资源状态预测趋势。
在一个具体实施例中,如图5所示,为确定待处理资源标识对应的第一资源状态预测趋势的示意图,其中,自身历史资源状态趋势为对应的自身注意力系数为/>邻居历史资源状态趋势包括/>对应的邻居注意力系数为然后进行合并或者平均计算得到第一资源状态预测趋势/>
在上述实施例中,通过将所有的邻居趋势特征和自身趋势特征进行融合,得到待处理资源标识对应的第一资源状态预测趋势,使得到的资源状态预测趋势是融合了邻居历史资源状态趋势得到的预测趋势,使得到的资源状态预测趋势更加准确。
在一个实施例中,邻居资源标识与待处理资源标识之间包括至少两个邻居注意力系数,以及待处理资源标识对应有至少两个自身注意力系数。如图6所示,步骤204,根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势,包括:
步骤602,根据至少两个邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的至少两个邻居趋势特征。
其中,服务器使用训练历史资源状态趋势和对应的资源状态标签趋势基于多头注意力机制进行训练,得到资源趋势预测模型,该资源趋势预测模型中资源标识与资源标识之间可以有至少二个注意力系数,资源标识本身也可以有至少二个自身注意力系数。多头注意力机制是指在进行资源趋势预测模型训练时,训练得到资源标识与资源标识之间至少二个注意力系数以及资源标识本身至少二个自身注意力系数。
具体地,服务器可以将每个邻居注意力系数与邻居历史资源状态趋势进行相乘,得到对应的邻居趋势特征。即每个邻居注意力系数和邻居历史资源状态趋势都可以计算得到一个对应的邻居趋势特征。
步骤604,根据至少两个自身注意力系数和自身历史资源状态趋势进行特征计算,得到待处理资源标识对应的至少两个自身趋势特征。
具体地,服务器可以将每个自身注意力系数与自身历史资源状态趋势进行相乘,得到对应的邻居趋势特征。即每个自身居注意力系数和自身历史资源状态趋势都可以计算得到一个对应的自身趋势特征。
步骤606,根据至少两个邻居趋势特征和至少两个自身趋势特征,确定至少两个第一资源状态预测趋势。
具体地,服务器根据邻居注意力系数和自身注意力系数的对应关系将对应的邻居趋势特征和自身趋势特征进行融合,得到至少两个第一资源状态预测趋势。
步骤608,将至少两个第一资源状态预测趋势进行拼接,得到目标资源状态预测趋势。
具体地,服务器可以直接将至少两个第一资源状态预测趋势进行拼接,将拼接后的资源状态预测趋势作为目标资源状态预测趋势。其中,拼接是指将一个资源状态预测趋势连接在另一资源状态预测趋势之后。例如,一个资源状态预测趋势是(0,1,2,3),另一资源状态预测趋势为(2,4,5,6),则进行拼接后得到的目标资源状态预测趋势为(0,1,2,3,2,4,5,6)
在一个实施例中,服务器将至少两个第一资源状态预测趋势进行平均,将平均后的资源状态预测趋势作为目标资源状态预测趋势。例如,一个资源状态预测趋势是(0,2,6,8),另一资源状态预测趋势为(2,4,4,6),则进行拼接后得到的目标资源状态预测趋势为(1,3,5,7)。
在一个具体的实施例中,服务器可以使用公式(1)计算目标资源状态预测趋势。
其中,N表示资源标识的数量。K表示资源标识与资源标识之间注意力系数的数量,也即资源标识本身注意力系数的数量。是指第k个注意力系数,WK表示第K个注意力系数的映射矩阵,hj是指第K个注意力系数对应的历史资源状态趋势。σ为激活函数,例如,可以使用Relu(非线性激活函数)激活函数。/>标识对K=1到K时,得到的第一资源状态预测趋势进行拼接,最后得到目标资源状态预测趋势。h'i(K)是指目标资源状态预测趋势。
在上述实施例中,通过使用至少两个邻居趋势特征和至少两个自身趋势特征,确定至少两个第一资源状态预测趋势,将至少两个第一资源状态预测趋势进行拼接,得到目标资源状态预测趋势,通过使用至少两个自身注意力系数和至少两个自身注意力系数来关注邻居资源对应的不同趋势特征,使得到的资源状态预测趋势更加准确,从而能够使得到的目标资源状态预测趋势更加准确。
在一个实施例中,在步骤206之后,在根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的资源状态预测趋势之后,还包括步骤:
将待处理资源标识对应的资源状态预测趋势进行解码,得到待处理资源标识对应的资源状态预测数值序列,将资源状态预测数值序列进行展示。
其中,解码是指将资源状态预测趋势转换为资源状态预测数值序列。
具体地,服务器可以将待处理资源标识对应的资源状态预测趋势输入到预先训练好的解码模型中进行解码,得到待处理资源标识对应的资源状态预测数值序列,其中,解码模型是根据神经网络算法使用资源状态预测趋势和资源状态标签数值序列进行训练得到的。神经网络算法可以采用LSTM算法。然后将资源状态预测数值序列进行展示,也可以发送到终端进行展示。
在上述实施例中,将资源状态预测趋势解码为资源状态预测数值序列进行展示,从而能够更加清楚的展示资源状态的变化,方便查看。
在一个实施例中,可以把转换模型、资源趋势预测模型和解码模型统一进行训练,具体来说:
服务器获取到历史资源标识的历史资源状态数值序列和对应的资源状态标签数值序列,将历史资源状态数值序列输入到初始化的转换模型中,得到输出的历史资源状态趋势。将历史资源状态趋势和历史资源标识输入到初始化的资源趋势预测模型中,得到输出的资源状态预测趋势。将资源状态预测趋势输入到初始化的解码模型进行解码,得到资源状态预测数值序列。计算资源状态预测数值序列与资源状态标签数值序列的误差信息,根据误差信息进行反向传播更新,即对初始化的转换模型、初始化的资源趋势预测模型和初始化的解码模型中的模型参数进行更新,并不断进行循环迭代。当训练完成时,得到统一训练完成的转换模型、资源趋势预测模型和解码模型,将转换模型、资源趋势预测模型和解码模型一起进行部署,并进行使用,提高了训练效率和训练得到的转换模型、资源趋势预测模型和解码模型的准确性。
在一个实施例中,如图7所示,在步骤204之后,在根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的资源状态预测趋势之后,还包括:
步骤702,根据待处理资源标识对应的第一资源状态预测趋势和邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到邻居资源标识对应的更新资源状态趋势。
其中,趋势传递是指根据待处理资源标识对应的第一资源状态预测趋势计算邻居资源标识对应的第一资源状态预测趋势,即为邻居资源标识对应的更新资源状态趋势。
具体地,服务器根据邻居资源标识获取到该邻居资源标识对应的邻居资源标识,使用邻居资源标识对应的邻居资源标识的历史资源状态趋势,以及根据待处理资源标识对应的第一资源状态预测趋势和邻居资源标识对应的邻居历史资源状态趋势来计算邻居资源标识对应的第一资源状态预测趋势,即得到邻居资源标识对应的更新资源状态趋势。对每个邻居资源标识进行趋势传递,得到每个邻居资源标识对应的更新资源状态趋势。
步骤704,根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的更新资源状态趋势,以及待处理资源标识对应的第一资源状态预测趋势和自身注意力系数确定待处理资源标识对应的第二资源状态预测趋势。
具体地,服务器对待处理资源标识进行第二次信息传递,即使用每个邻居资源标识与待处理资源标识之间的邻居注意力系数与邻居资源标识对应的更新资源状态趋势进行相乘,使用自身注意力系数与待处理资源标识对应的第一资源状态预测趋势进行相乘,将相乘的结果进行加和,得到待处理资源标识对应的第二资源状态预测趋势。
在一个实施例中,服务器还可以使用待处理资源标识对应的第二资源状态预测趋势进一步得到邻居资源标识对应的更新资源状态趋势,然后对待处理资源标识进行第三次信息传递,得到待处理资源标识对应的第三资源状态预测趋势。即服务器可以进行多次信息传递,已得到更加准确的资源状态预测趋势,优先的,得到第二资源状态预测趋势时,就得到了最终的资源状态预测趋势,不在进行后续的信息传递。
在上述实施例中,通关使用待处理资源标识对应的第一资源状态预测趋势对邻居资源标识的资源状态趋势进行更新,得到邻居资源标识对应的更新资源状态趋势,然后使用邻居资源标识对应的更新资源状态趋势再次计算得到待处理资源标识对应的第二资源状态预测趋势,从而保证资源状态预测趋势的准确性。
在一个实施例中,如图8所示,步骤602,根据待处理资源标识对应的第一资源状态预测趋势和邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到邻居资源标识对应的更新资源状态趋势,包括:
步骤802,获取邻居资源标识对应的各个目标邻居资源标识,并获取各个目标邻居资源标识对应的目标邻居历史资源状态趋势,各个目标邻居资源标识中包括待处理资源标识,目标邻居历史资源状态趋势中包括第一资源状态预测趋势。
其中,目标邻居资源标识用于标识邻居资源标识对应的邻居资源。目标邻居历史资源状态趋势是指目标邻居资源标识对应的历史资源状态趋势。
具体地,服务器从资源趋势预测模型中资源标识之间的关系获取到邻居资源标识对应的各个目标邻居资源标识,该目标邻居资源标识中包括了待处理资源标识,即待处理资源标识也是邻居资源标识的邻居资源标识。此时,获取到各个目标邻居资源标识对应的目标邻居历史资源状态趋势,其中,需要获取到待处理资源标识对应的第一资源状态预测趋势。
步骤804,获取邻居资源标识与各个目标邻居资源标识之间的目标邻居注意力系数。
步骤804,根据目标邻居注意力系数和对应的目标邻居历史资源状态趋势,以及邻居资源标识对应的邻居历史资源状态趋势和邻居本身注意力系数确定邻居资源标识对应的更新资源状态趋势。
其中,目标邻居注意力系数是指邻居资源标识与各个目标邻居资源标识之间的注意力系数。
具体地,服务器从资源趋势预测模型中获取到邻居资源标识与各个目标邻居资源标识之间的目标邻居注意力系数,然后计算每个目标邻居注意力系数与目标邻居历史资源状态趋势的乘积,并从资源趋势预测模型中获取到邻居资源标识对应的邻居本身注意力系数,计算邻居资源标识对应的邻居历史资源状态趋势与邻居本身注意力系数的乘积。最后,将乘积结果相加得到的邻居资源标识对应的更新资源状态趋势。
在上述实施例中,通过使用目标邻居注意力系数和对应的目标邻居历史资源状态趋势,以及邻居资源标识对应的邻居历史资源状态趋势和邻居本身注意力系数确定邻居资源标识对应的更新资源状态趋势,能够提高邻居资源标识对应的更新资源状态趋势的准确性。
在一个实施例中,如图9所示,资源趋势预测模型的生成包括以下步骤:
步骤902,获取资源知识图谱,资源知识图谱是根据资源标识之间的关联关系建立的。
其中,资源标识之间的关联关系是指根据资源标识的属性信息得到的关联关系。比如,资源标识是商品时,根据商品的价格、商品的品牌、商品设定的中高端类型中的至少一种确定商品之间的关联关系。举例说明,商品1的价格为100,商品2的价格为126,则商品1和商品2之间的关联关系为同价位(100-200)。比如,资源标识是网页地址时,可以根据网页的主营业务、所属公司等来确定关联关系,比如,网页1和网页2都是视频网页,则关联关系为同类型平台。
具体地,服务器预先建立好资源标识之间的资源知识图谱并进行保存,当需要使用时,直接获取到资源知识图谱。也可以在需要使用时,采集资源标识的属性信息,根据属性信息确定资源标识之间的关联关系,然后建立资源知识图谱。也可以是从第三方平台直接获取到资源知识图谱,第三方平台用于提供各种资源知识图谱。
步骤904,获取资源标识对应的训练历史资源状态趋势,根据资源知识图谱和资源标识对应的训练历史资源状态趋势得到初始化的图注意力网络模型。
其中,初始化的图注意力网络模型是指初始化网络参数的模型。
具体地,根据资源知识图谱得到资源标识之间的关联关系,然后将训练历史资源状态趋势作为图网络中节点对应的特征,使用资源标识之间的关联关系构建初始化的图注意力网络模型。
步骤906,获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数。
其中,注意力权重是指需要训练得到的网络参数,是一个映射矩阵,用于将历史资源状态趋势映射到注意力空间。初始化注意力权重是指初始设定的注意力权重。
具体地,服务器获取到初始化的图注意力网络模型中的初始化注意力权重,使用初始化注意力权重对对应的训练历史资源状态趋势进行加权计算,得到训练注意力系数。
步骤908,根据训练注意力系数和训练历史资源状态趋势进行趋势传递,得到训练资源状态预测趋势。
其中,训练资源状态预测趋势是指使用训练数据训练得到资源状态预测趋势。
具体地,服务器对每个资源标识获取到对应的邻居资源标识,并根据资源标识与邻居资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和资源标识对应的自身注意力系数确定每个资源标识对应的训练资源状态预测趋势。
步骤910,获取资源状态标签趋势,计算训练资源状态预测趋势与对应的资源状态标签趋势的误差信息。
步骤912,根据误差信息对初始化的图注意力网络模型进行更新,得到更新后的图注意力网络模型。
其中,误差信息用于反映训练资源状态预测趋势与对应的资源状态标签趋势之间的差距,当差距越小时,说明模型的预测结果越准确。资源状态标签趋势是指训练历史资源状态趋势对应的未来资源状态趋势,也是历史资源状态趋势,是预先获取到的。
具体地,服务器获取到资源状态标签趋势,计算训练资源状态预测趋势与对应的资源状态标签趋势的误差信息,然后根据误差信息对初始化的图注意力网络模型进行误差反向传播更新,即更新初始化的图注意力网络模型中的网络参数,包括初始化注意力权重。当误差反向传播更新完成时,得到更新后的图注意力网络模型。
在一个实施例中,在步骤908之后,服务器获取到更新的图注意力网络模型中的更新的注意力权重,使用更新的注意力权重对对应的训练历史资源状态趋势进行加权计算,得到更新的注意力系数。然后服务器根据更新注意力系数和训练资源状态预测趋势进行趋势传递,得到目标训练资源状态预测趋势,计算目标训练资源状态预测趋势与对应的资源状态标签趋势的目标误差信息。根据目标误差信息对初始化的图注意力网络模型进行更新,得到更新后的图注意力网络模型,提高了得到更新后的图注意力网络模型的准确性,提高效率。
步骤914,判断是否达到预设训练完成条件,当未达到预设训练完成条件时,执行步骤914b,并返回步骤906执行,当达到预设训练完成条件时,执行步骤914a。
步骤914b,将更新后的图注意力网络模型作为初始化的图注意力网络模型。并返回获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数的步骤执行。
步骤914a,将达到预设训练完成条件的图注意力网络模型作为资源趋势预测模型。
其中,预设训练完成条件是指预先设置好的训练迭代次数或者误差信息小于预先设置好的阈值。
具体地,服务器进行循环迭代,即根据判断是否达到预设训练完成条件,当未达到预设训练完成条件时,执行步骤914b,并返回步骤906不断进行执行,直到当达到预设训练完成条件时,将最后一次达到预设训练完成条件的图注意力网络模型作为资源趋势预测模型。然后可以将资源趋势预测模型进行部署并使用。
在上述实施例中,通过使用资源知识图谱,资源标识对应的训练历史资源状态趋势建立初始化的图注意力网络模型,然后对初始化的图注意力网络模型通过误差反向传播进行训练,从而得到的资源趋势预测模型,提高了得到的资源趋势预测模型的准确性。
在一个实施例中,步骤902,即获取资源知识图谱,资源知识图谱是根据资源标识之间的关联关系建立的,包括步骤:
获取资源标识之间的关联信息,根据资源标识之间的关联信息确定资源标识之间的关联关系;根据资源标识和资源标识之间的关联关系生成知识图谱关系信息,根据知识图谱关系信息建立资源知识图谱。
其中,关联信息是指资源标识之间一致的属性信息。关联关系是指根据一致的属性信息得到的资源标识之间的关系,该关联关系可以有多个。知识图谱关系信息是指根据资源标识和资源标识之间的关联关系得到的三元组信息。
具体地,服务器可以获取到资源标识对应资源的属性信息,将资源的属性信息进行匹配,匹配到一致的属性信息时,将该属性信息作为资源标识之间的关联信息,然后根据该资源标识之间的关联信息得到资源标识之间的关联关系。比如,根据手机商品1的属性信息,例如,手机品牌为小米8。根据手机商品2的属性信息例如,手机品牌为小米10,则匹配到一致的手机品牌为小米,得到手机商品1和手机商品2之间的关联信息为相同手机品牌,则得到手机商品1和手机商品2之间的关联关系为同品牌。服务器根据资源标识和资源标识之间的关联关系生成各种三元组信息,即得到了知识图谱关系信息。最后服务器根据生成的知识图谱关系信息建立资源知识图谱,将建立的资源知识图谱保存。
在上述实施例中,通过获取资源标识之间的关联信息,根据资源标识之间的关联信息生成知识图谱关系信息,然后使用知识图谱关系信息建立资源知识图谱并保存,方便后续的使用。
在一个实施例中,在步骤906之后,在获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数之后,包括步骤:
根据预设非线性激活函数计算训练注意力系数对应的非线性激活信息;将非线性激活信息进行归一化,得到归一化的非线性激活信息,将归一化的非线性激活信息作为目标注意力系数。
其中,预设非线性激活函数是预先设置好的非线性激活函数,可以是LeakyRelu非线性激活函数或者Relu非线性激活函数或者tanh非线性激活函数。归一化是指使用归一化算法进行归一化,比如,可以使用softmax函数进行归一化。
具体地,服务器使用预设非线性激活函数计算每个训练注意力系数对应的非线性激活信息,然后将非线性激活信息进行归一化处理,得到归一化的非线性激活信息,将归一化的非线性激活信息作为目标注意力系数。其中,服务器将资源标识对应的所有邻居资源标识的非线性激活信息使用归一化树算法进行归一化。
在一个具体的实施例中,可以使用公式(2)计算目标注意力系数。
其中,eij是指资源i和资源j之间的训练注意力系数,LeakyReLU(eij)是指使用LeakyRelu非线性激活函数计算训练注意力系数对应的的非线性激活信息。表示计算所有资源i的邻居资源的训练注意力系数之和。
上述实施例中,通过使用预设非线性激活函数进行计算后再进行归一化,可以防止模型在训练时过拟合,提高训练得到的模型的准确性。
在一个实施例中,资源趋势预测模型包括注意力系数计算网络;
如图10所示,步骤906,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数,包括:
步骤1002,获取第一资源标识对应的第一训练历史资源状态趋势和第一初始化注意力权重,并获取第二资源标识对应的第二训练历史资源状态趋势和第二初始化注意力权重。
其中,注意力系数计算网络用于计算注意力系数。第一资源标识用于标识第一资源,第二资源标识用于标识第二资源。第一初始化注意力权重用于表示第一资源对应的初始化注意力权重。第一训练历史资源状态趋势是指第二资源对应的训练历史资源状态趋势。第二初始化注意力权重是第二资源对应的初始化注意力权重。第二训练历史资源状态趋势是指第二资源对应的训练历史资源状态趋势。
具体地,服务器根据第一资源标识从服务器中查找到保存的第一资源标识对应的第一训练历史资源状态趋势,并从资源趋势预测模型中获取到第一初始化注意力权重,同时根据第二资源标识从服务器中查找到保存的第二资源标识对应的第二训练历史资源状态趋势,并从资源趋势预测模型中获取到第二初始化注意力权重。第一初始化注意力权重和第二初始化注意力权重可以相同,也可以不同。
步骤1004,根据第一训练历史资源状态趋势和第一初始化注意力权重进行加权计算,得到第一训练趋势特征,并根据第二训练历史资源状态趋势和第二初始化注意力权重进行加权计算,得到第二训练趋势特征,将第一训练趋势特征和第二训练趋势特征进行拼接,得到拼接训练趋势特征。
其中,第一训练趋势特征是将第一训练历史资源状态趋势映射到注意力空间后得到的。第二训练趋势特征是将第二训练历史资源状态趋势映射到注意力空间后得到的。拼接训练趋势特征是将第一训练趋势特征和第二训练趋势特征进行拼接后得到的特征。
具体地,服务器将第一训练历史资源状态趋势和第一初始化注意力权重进行加权计算,得到第一训练趋势特征,并根据第二训练历史资源状态趋势和第二初始化注意力权重进行加权计算,得到第二训练趋势特征,然后将第一训练趋势特征和第二训练趋势特征进行拼接,得到拼接训练趋势特征。在一个实施例中,可以将第一训练趋势特征和第二训练趋势特征进行组合,得到组合后的训练趋势特征,将
步骤1004,将拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到第一资源标识与第二资源标识之间的注意力系数。
具体地,服务器将拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到第一资源标识与第二资源标识之间的注意力系数。按照步骤1002、步骤1004和步骤1006的方法计算得到资源趋势预测模型中所有资源标识之间的注意力系数。在一个实施例中,可以将第一训练趋势特征和第二训练趋势特征进行组合,即进行相乘或者计算笛卡尔积,得到组合后的训练趋势特征,将组合后的训练趋势特征输入到注意力系数计算网络中进行计算,得到第一资源标识与第二资源标识之间的注意力系数。
在一个具体的实施例中,可以使用公式(3)计算第一资源标识与第二资源标识之间的注意力系数。
eij=a([Whi||Whj]),j∈Ni 公式(3)
其中,a表示注意力系数计算网络,W是指初始化注意力权重,hi是指第一训练历史资源状态趋势,hj是指第二训练历史资源状态趋势,j∈Ni表示第一资源标识对应的邻居资源标识都要进行注意力系数的计算。
在上述实施例中,通过将第一训练趋势特征和第二训练趋势特征进行拼接,得到拼接训练趋势特征,然后根据拼接训练趋势特征计算得到第一资源标识与第二资源标识之间的注意力系数,保证计算得到的注意力系数的精确性。
在一个实施例中,如图11所示,资源趋势预测模型中包括注意力系数计算网络;步骤906,根据训练历史资源状态趋势特征和初始化注意力权重计算注意力系数,包括:
步骤1102,获取目标资源标识对应的目标历史资源状态趋势特征和目标初始化注意力权重。
步骤1104,根据目标历史资源状态趋势特征和目标初始化注意力权重进行加权计算,得到目标训练趋势特征,将目标训练趋势特征和目标训练趋势特征进行拼接,得到目标拼接训练趋势特征。
其中,目标资源标识是指需要计算本身注意力系数的资源标识。
具体地,服务器在需要计算目标资源标识对应的本身注意力系数时,获取到目标资源标识对应的目标历史资源状态趋势特征和目标初始化注意力权重,将目标历史资源状态趋势特征使用目标初始化注意力权重进行加权计算,得到目标训练趋势特征,然后将目标训练趋势特征和目标训练趋势特征进行拼接,得到目标拼接训练趋势特征。也可以将目标训练趋势特征和目标训练趋势特征进行组合,得到目标拼接训练趋势特征。
步骤1106,将目标拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到目标资源标识对应的自身注意力系数。
具体地,服务器将目标拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到输出的目标资源标识对应的自身注意力系数。
在上述实施例中,可以计算得到资源标识对应的自身注意力系数,方便后续的使用。
在一个具体的实施例中,如图12所示,提供一种资源数据处理方法,具体来说,包括以下步骤:
步骤1202,服务器获取待处理资源标识对应的历史资源状态数值序列,将历史资源状态数值序列进行趋势转换,得到自身历史资源状态趋势。
步骤1204,服务器将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识。
步骤1206,资源趋势预测模型根据至少两个邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的至少两个邻居趋势特征。根据至少两个自身注意力系数和自身历史资源状态趋势进行特征计算,得到待处理资源标识对应的至少两个自身趋势特征。根据至少两个邻居趋势特征和至少两个自身趋势特征,确定至少两个第一资源状态预测趋势。将至少两个第一资源状态预测趋势进行拼接,得到第一目标资源状态预测趋势。
步骤1208,资源趋势预测模型根据第一目标资源状态预测趋势和邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到邻居资源标识对应的更新资源状态趋势。
步骤1210,资源趋势预测模型根据至少两个邻居注意力系数和邻居资源标识对应的更新资源状态趋势进行特征计算,得到邻居资源标识对应的至少两个邻居趋势特征。根据至少两个自身注意力系数和第一目标资源状态预测趋势进行特征计算,得到待处理资源标识对应的至少两个自身趋势特征。根据至少两个邻居趋势特征和至少两个自身趋势特征,确定至少两个第二资源状态预测趋势。将至少两个第二资源状态预测趋势进行拼接,得到第二目标资源状态预测趋势。
步骤1212,服务器将待处理资源标识对应的第二目标资源状态预测趋势进行解码,得到待处理资源标识对应的资源状态预测数值序列,将资源状态预测数值序列进行展示。
在一个具体的实施例中,如图13所示,为商品价格趋势预测模型训练的示意图,具体来说:
服务器爬取到一段时间内的各个商品价格的变化曲线即商品1到商品N的价格变化曲线,提取到每个商品价格趋势隐变量即商品1到商品N的的趋势隐变量,如图14所示,为使用商品价格趋势序列提取到商品价格趋势隐变量的示意图,该示意图中可以任选CNN、LSTM、DFT和DWT中的至少一种。其中,可以使用初始化的隐变量模型即CNN或者LSTM模型提取每个商品价格趋势隐变量。获取到商品关联知识图谱,如图15所示,为手机商品关联知识图谱的部分示意图,其中,手机数量产品包括有多个从属手机商品,手机商品之间根据品牌信息、价格信息等建立关联关系。使用每个商品价格趋势隐变量和商品关联知识图谱来构建商品趋势图网络。然后进行第一次基于注意力的信息传递,即获取到初始化注意力权重,根据商品1到商品N的趋势隐变量和初始化注意力权重得到商品1到商品N的训练注意力系数,包括商品与商品之间的训练注意力系数和商品本身的训练注意力系数,根据训练注意力系数和趋势隐变量进行趋势传递,得到每个商品第一次训练的商品价格预测趋势。然后进行第二此基于注意力的信息传递,即使用第一次训练得到的每个商品的商品价格预测趋势和训练注意力系数进行趋势传递,得到每个商品第二次训练的商品价格预测趋势,即得到商品价格趋势的图信息表示,图中的每一个节点代表每一个商品价格预测趋势。然后将商品价格趋势的图信息表示输入到初始化的LSTM趋势解码模型中,得到商品1到商品N的价格预测趋势。此时获取到商品1到商品N的价格标签趋势,使用价格标签趋势和价格预测趋势进行误差计算,得到误差信息,然后进行误差反向传播,得到更新后的隐变量模型、更新后的商品价格趋势预测模型和更新后的LSTM趋势解码模型,然后判断是否达到训练完成条件,当未达到时,继续进行训练迭代,当达到时,将最后一次更新的隐变量模型、更新的商品价格趋势预测模型和更新的LSTM趋势解码模型作为最终的转换模型、商品价格趋势预测模型和趋势解码模型。然后将最终的转换模型、商品价格趋势预测模型和趋势解码模型进行部署,并进行使用,将预测得到的未来商品价格发送到用户的终端进行展示,方便用户使用。
在一个实施例中,资源标识为网页标识,历史资源状态趋势为历史网页访问量趋势;如图16所示,资源数据处理方法还包括:
步骤1602,获取待处理网页标识对应的自身历史网页访问量趋势。
其中,网页标识用于唯一标识网页,可以是网页地址,该网页可以是各种类型的网页,比如,视频网页、购物网页、直播网页、游戏类网页、门户类网页、产品类网页、企业官网网页等等。历史网页访问量趋势是指根据网页历史的访问量提取得到的趋势。待处理网页标识用于标识需要预测未来一段时间内访问量趋势的网页。
具体地,服务器获取到待处理网页标识对应的自身历史网页访问量趋势。
步骤1604,将待处理网页标识和自身历史网页访问量趋势输入至网页访问量趋势预测模型中,网页访问量趋势预测模型获取待处理网页标识对应的邻居网页标识,并根据邻居网页标识与待处理网页标识之间的邻居注意力系数、邻居网页标识对应的邻居历史网页访问量趋势,以及自身历史网页访问量趋势和待处理网页标识对应的自身注意力系数确定待处理网页标识对应的网页访问量预测趋势。
其中,网页访问量趋势预测模型是使用历史网页访问量趋势和历史网页访问量标签趋势进行训练得到的图注意力模型,用于预测网页未来的访问量趋势。邻居网页标识用于标识待处理网页对应的邻居网页。
具体地,服务器将待处理网页标识和自身历史网页访问量趋势输入至网页访问量趋势预测模型中进行网络访问量预测。网页访问量趋势预测模型获取待处理网页标识对应的邻居网页标识,并根据邻居网页标识与待处理网页标识之间的邻居注意力系数、邻居网页标识对应的邻居历史网页访问量趋势,以及自身历史网页访问量趋势和待处理网页标识对应的自身注意力系数确定待处理网页标识对应的网页访问量预测趋势,将得到的网页访问量预测趋势输出。
步骤1606,将网页访问量预测趋势进行解码,得到待处理网页标识对应的网页访问量预测序列。
具体地,服务器将网页访问量预测趋势进行解码,得到待处理网页标识对应的网页访问量预测序列,即预测得到未来一段时间内的网页访问量。
步骤1608,按照网页访问量预测序列对待处理网页标识对应的网页分配服务器资源。
服务器资源是指服务器所有的能够处理访问的资源。比如,CPU使用资源、内存资源、服务器进程资源、服务器流量资源等等。
具体地,按照网页访问量预测序列监控当前时间,当当前时间点达到网页访问量预测序列中网页访问量对应的时间点时,按照该时间点对应的网页访问量分配服务器资源。比如,未来时间点的网页访问量变多时,相应的分配更多的服务器资源来处理网页访问。
在上述实施例中,通过使用网页访问量趋势预测模型预测得到网页访问量预测趋势,然后根据网页访问量预测趋势得到网页访问量预测序列,使得服务器按照网页访问量预测序列对待处理网页标识对应的网页分配服务器资源,从而能够避免网页访问量增大时,缺少服务器资源导致网页功能无法使用甚至严重时导致网页崩溃的问题,从而能够保证网页正常运行和使用。
本申请还提供一种应用场景,该应用场景应用上述的资源数据处理方法。具体地,该资源数据处理方法在该应用场景的应用如下:
该资源数据处理方法应用于网上购物平台中,具体来说:服务器采集网上购物平台中各种商品在过去3个月内的交易数量,提取到各种商品在过去3个月内交易数量对应的商品交易量趋势,将各种商品的商品交易量趋势输入至商品交易量趋势预测模型中,商品交易量趋势预测模型获取各个商品标识对应的邻居商品标识,并根据邻居商品标识与各个商品标识之间的邻居注意力系数、邻居商品标识对应的邻居历史商品交易量趋势,以及自身历史商品交易量趋势和各个商品标识对应的自身注意力系数确定各个商品标识对应的第一商品交易量趋势,然后将第一商品交易量趋势进行解码,得到各个商品在未来3个月内的商品交易量序列。服务器监控未来3个月内线上购物平台的剩余商品数量,判断剩余商品数量是否满足未来3个月内的商品交易量,当未满足时,向管理员终端发送商品数量不足的提醒信息,方便对商品进行管理。
应该理解的是,虽然图2、图4、图6-图12和图16的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4、图6-图12和图16中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图17所示,提供了一种资源数据处理装置1700,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1702和预测模块1704,其中:
获取模块1702,用于获取待处理资源标识对应的自身历史资源状态趋势;
预测模块1704,用于将待处理资源标识和自身历史资源状态趋势输入至资源趋势预测模型中,资源趋势预测模型获取待处理资源标识对应的邻居资源标识,并根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的邻居历史资源状态趋势,以及自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定待处理资源标识对应的第一资源状态预测趋势;资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
在一个实施例中,获取模块1702,包括:
序列转换单元,用于获取待处理资源标识对应的历史资源状态数值序列,将历史资源状态数值序列进行趋势转换,得到自身历史资源状态趋势,其中,趋势转换包括使用转换模型或者转换算法中的至少一种。
在一个实施例中,预测模块1704,包括:
邻居特征计算单元,用于根据邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的邻居趋势特征;
自身特征计算单元,用于并根据自身历史资源状态趋势与自身注意力系数进行特征计算,得到待处理资源标识对应自身趋势特征;
特征融合单元,用于将邻居趋势特征和自身趋势特征进行融合,得到待处理资源标识对应的第一资源状态预测趋势。
在一个实施例中,邻居资源标识与待处理资源标识之间包括至少两个邻居注意力系数,以及待处理资源标识对应有至少两个自身注意力系数;预测模块1704,还用于根据至少两个邻居注意力系数和邻居历史资源状态趋势进行特征计算,得到邻居资源标识对应的至少两个邻居趋势特征;根据至少两个自身注意力系数和自身历史资源状态趋势进行特征计算,得到待处理资源标识对应的至少两个自身趋势特征;根据至少两个邻居趋势特征和至少两个自身趋势特征,确定至少两个第一资源状态预测趋势;将至少两个第一资源状态预测趋势进行拼接,得到目标资源状态预测趋势。
在一个实施例中,资源数据处理装置1700,还包括:
趋势解码模块,用于将待处理资源标识对应的资源状态预测趋势进行解码,得到待处理资源标识对应的资源状态预测数值序列,将资源状态预测数值序列进行展示。
在一个实施例中,资源数据处理装置1700,还包括:
趋势传递模块,用于根据待处理资源标识对应的第一资源状态预测趋势和邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到邻居资源标识对应的更新资源状态趋势;
第二预测趋势确定模块,用于根据邻居资源标识与待处理资源标识之间的邻居注意力系数、邻居资源标识对应的更新资源状态趋势,以及待处理资源标识对应的第一资源状态预测趋势和自身注意力系数确定待处理资源标识对应的第二资源状态预测趋势。
在一个实施例中,趋势传递模块还用于获取邻居资源标识对应的各个目标邻居资源标识,并获取各个目标邻居资源标识对应的目标邻居历史资源状态趋势,各个目标邻居资源标识中包括待处理资源标识,目标邻居历史资源状态趋势中包括第一资源状态预测趋势;获取邻居资源标识与各个目标邻居资源标识之间的目标邻居注意力系数;根据目标邻居注意力系数和对应的目标邻居历史资源状态趋势,以及邻居资源标识对应的邻居历史资源状态趋势和邻居本身注意力系数确定邻居资源标识对应的更新资源状态趋势。
在一个实施例中,资源数据处理装置1700,还包括:
图谱获取模块,用于获取资源知识图谱,资源知识图谱是根据资源标识之间的关联关系建立的;
初始模型得到模块,用于获取资源标识对应的训练历史资源状态趋势,根据资源知识图谱和资源标识对应的训练历史资源状态趋势得到初始化的图注意力网络模型;
训练系数得到模块,用于获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数;
趋势传递模块,用于根据训练注意力系数和训练历史资源状态趋势进行趋势传递,得到训练资源状态预测趋势;
误差计算模块,用于获取资源状态标签趋势,计算训练资源状态预测趋势与对应的资源状态标签趋势的误差信息;
更新模块,用于根据误差信息对初始化的图注意力网络模型进行更新,得到更新后的图注意力网络模型;
模型得到模块,用于当未达到预设训练完成条件时,将更新后的图注意力网络模型作为初始化的图注意力网络模型;并返回获取初始化的图注意力网络模型中的初始化注意力权重,根据训练历史资源状态趋势和初始化注意力权重得到训练注意力系数的步骤执行,当达到预设训练完成条件时,将达到预设训练完成条件的图注意力网络模型作为资源趋势预测模型。
在一个实施例中,图谱获取模块还用于获取资源标识之间的关联信息,根据资源标识之间的关联信息确定资源标识之间的关联关系;根据资源标识和资源标识之间的关联关系生成知识图谱关系信息,根据知识图谱关系信息建立资源知识图谱。
在一个实施例中,训练系数得到模块还用于根据预设非线性激活函数计算训练注意力系数对应的非线性激活信息;将非线性激活信息进行归一化,得到归一化的非线性激活信息,将归一化的非线性激活信息作为目标注意力系数。
在一个实施例中,资源趋势预测模型包括注意力系数计算网络;训练系数得到模块还用于获取第一资源标识对应的第一训练历史资源状态趋势和第一初始化注意力权重,并获取第二资源标识对应的第二训练历史资源状态趋势和第二初始化注意力权重;根据第一训练历史资源状态趋势和第一初始化注意力权重进行加权计算,得到第一训练趋势特征,并根据第二训练历史资源状态趋势和第二初始化注意力权重进行加权计算,得到第二训练趋势特征,将第一训练趋势特征和第二训练趋势特征进行拼接,得到拼接训练趋势特征;将拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到第一资源标识与第二资源标识之间的注意力系数。
在一个实施例中,资源趋势预测模型中包括注意力系数计算网络;训练系数得到模块还用于获取目标资源标识对应的目标历史资源状态趋势特征和目标初始化注意力权重;根据目标历史资源状态趋势特征和目标初始化注意力权重进行加权计算,得到目标训练趋势特征,将目标训练趋势特征和目标训练趋势特征进行拼接,得到目标拼接训练趋势特征;将目标拼接训练趋势特征输入到注意力系数计算网络中进行计算,得到目标资源标识对应的自身注意力系数。
在一个实施例中,资源标识为网页标识,历史资源状态趋势为历史网页访问量趋势;如图18所示,资源数据处理装置1700,还包括:
访问量趋势获取模块1802,用于获取待处理网页标识对应的自身历史网页访问量趋势;
访问量预测模块1804,用于将待处理网页标识和自身历史网页访问量趋势输入至网页访问量趋势预测模型中,网页访问量趋势预测模型获取待处理网页标识对应的邻居网页标识,并根据邻居网页标识与待处理网页标识之间的邻居注意力系数、邻居网页标识对应的邻居历史网页访问量趋势,以及自身历史网页访问量趋势和待处理网页标识对应的自身注意力系数确定待处理网页标识对应的网页访问量预测趋势;
访问量得到模块1806,用于将网页访问量预测趋势进行解码,得到待处理网页标识对应的网页访问量预测序列;
资源分配模块1808,用于按照网页访问量预测序列对待处理网页标识对应的网页分配服务器资源。
关于资源数据处理装置的具体限定可以参见上文中对资源数据处理方法的限定,在此不再赘述。上述资源数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储资源知识图谱,历史资源状态趋势数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源数据处理方法。
本领域技术人员可以理解,图19中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种资源数据处理方法,其特征在于,所述方法包括:
获取待处理资源标识对应的自身历史资源状态趋势;
将所述待处理资源标识和所述自身历史资源状态趋势输入至资源趋势预测模型中,所述资源趋势预测模型获取所述待处理资源标识对应的邻居资源标识,并根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的邻居历史资源状态趋势,以及所述自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定所述待处理资源标识对应的第一资源状态预测趋势;
所述资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
2.根据权利要求1所述的方法,其特征在于,获取待处理资源标识对应的自身历史资源状态趋势,包括:
获取所述待处理资源标识对应的历史资源状态数值序列,将所述历史资源状态数值序列进行趋势转换,得到所述自身历史资源状态趋势,其中,所述趋势转换包括使用转换模型或者转换算法中的至少一种。
3.根据权利要求1所述的方法,其特征在于,所述根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的邻居历史资源状态趋势,以及所述自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定所述待处理资源标识对应的第一资源状态预测趋势,包括:
根据所述邻居注意力系数和所述邻居历史资源状态趋势进行特征计算,得到所述邻居资源标识对应的邻居趋势特征;
并根据所述自身历史资源状态趋势与所述自身注意力系数进行特征计算,得到所述待处理资源标识对应自身趋势特征;
将所述邻居趋势特征和所述自身趋势特征进行融合,得到所述待处理资源标识对应的第一资源状态预测趋势。
4.根据权利要求3所述的方法,其特征在于,所述邻居资源标识与所述待处理资源标识之间包括至少两个邻居注意力系数,以及所述待处理资源标识对应有至少两个自身注意力系数;
根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的邻居历史资源状态趋势,以及所述自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定所述待处理资源标识对应的第一资源状态预测趋势,包括:
根据所述至少两个邻居注意力系数和所述邻居历史资源状态趋势进行特征计算,得到所述邻居资源标识对应的至少两个邻居趋势特征;
根据所述至少两个自身注意力系数和所述自身历史资源状态趋势进行特征计算,得到所述待处理资源标识对应的至少两个自身趋势特征;
根据所述至少两个邻居趋势特征和所述至少两个自身趋势特征,确定至少两个第一资源状态预测趋势;
将所述至少两个第一资源状态预测趋势进行拼接,得到目标资源状态预测趋势。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的邻居历史资源状态趋势,以及所述自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定所述待处理资源标识对应的资源状态预测趋势之后,还包括:
将所述待处理资源标识对应的资源状态预测趋势进行解码,得到所述待处理资源标识对应的资源状态预测数值序列,将所述资源状态预测数值序列进行展示。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的邻居历史资源状态趋势,以及所述自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定所述待处理资源标识对应的资源状态预测趋势之后,还包括:
根据所述待处理资源标识对应的第一资源状态预测趋势和所述邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到所述邻居资源标识对应的更新资源状态趋势;
根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的更新资源状态趋势,以及所述待处理资源标识对应的第一资源状态预测趋势和所述自身注意力系数确定所述待处理资源标识对应的第二资源状态预测趋势。
7.根据权利要求6所述的方法,其特征在于,所述根据所述待处理资源标识对应的第一资源状态预测趋势和所述邻居资源标识对应的邻居历史资源状态趋势进行趋势传递,得到所述邻居资源标识对应的更新资源状态趋势,包括:
获取所述邻居资源标识对应的各个目标邻居资源标识,并获取所述各个目标邻居资源标识对应的目标邻居历史资源状态趋势,所述各个目标邻居资源标识中包括待处理资源标识,所述目标邻居历史资源状态趋势中包括第一资源状态预测趋势;
获取所述邻居资源标识与所述各个目标邻居资源标识之间的目标邻居注意力系数;
根据所述目标邻居注意力系数和对应的所述目标邻居历史资源状态趋势,以及所述邻居资源标识对应的邻居历史资源状态趋势和邻居本身注意力系数确定所述邻居资源标识对应的更新资源状态趋势。
8.根据权利要求1所述的方法,其特征在于,资源趋势预测模型的生成包括以下步骤:
获取资源知识图谱,所述资源知识图谱是根据资源标识之间的关联关系建立的;
获取资源标识对应的训练历史资源状态趋势,根据所述资源知识图谱和所述资源标识对应的训练历史资源状态趋势得到初始化的图注意力网络模型;
获取所述初始化的图注意力网络模型中的初始化注意力权重,根据所述训练历史资源状态趋势和所述初始化注意力权重得到训练注意力系数;
根据所述训练注意力系数和所述训练历史资源状态趋势进行趋势传递,得到训练资源状态预测趋势;
获取所述资源状态标签趋势,计算所述训练资源状态预测趋势与对应的所述资源状态标签趋势的误差信息;
根据所述误差信息对所述初始化的图注意力网络模型进行更新,得到更新后的图注意力网络模型;
当未达到预设训练完成条件时,将所述更新后的图注意力网络模型作为初始化的图注意力网络模型;
并返回所述获取所述初始化的图注意力网络模型中的初始化注意力权重,根据所述训练历史资源状态趋势和所述初始化注意力权重得到训练注意力系数的步骤执行,当达到预设训练完成条件时,将达到预设训练完成条件的图注意力网络模型作为所述资源趋势预测模型。
9.根据权利要求8所述的方法,其特征在于,获取资源知识图谱,所述资源知识图谱是根据资源标识之间的关联关系建立的,包括:
获取所述资源标识之间的关联信息,根据所述资源标识之间的关联信息确定资源标识之间的关联关系;
根据所述资源标识和所述资源标识之间的关联关系生成知识图谱关系信息,根据所述知识图谱关系信息建立资源知识图谱。
10.根据权利要求8所述的方法,其特征在于,所述资源趋势预测模型包括注意力系数计算网络;
所述根据所述训练历史资源状态趋势和所述初始化注意力权重得到训练注意力系数,包括:
获取第一资源标识对应的第一训练历史资源状态趋势和第一初始化注意力权重,并获取第二资源标识对应的第二训练历史资源状态趋势和第二初始化注意力权重;
根据所述第一训练历史资源状态趋势和所述第一初始化注意力权重进行加权计算,得到第一训练趋势特征,并根据所述第二训练历史资源状态趋势和所述第二初始化注意力权重进行加权计算,得到第二训练趋势特征,将所述第一训练趋势特征和所述第二训练趋势特征进行拼接,得到拼接训练趋势特征;
将所述拼接训练趋势特征输入到所述注意力系数计算网络中进行计算,得到所述第一资源标识与所述第二资源标识之间的注意力系数。
11.根据权利要求8所述的方法,其特征在于,所述资源趋势预测模型中包括注意力系数计算网络;
所述根据所述训练历史资源状态趋势特征和所述初始化注意力权重计算注意力系数,包括:
获取目标资源标识对应的目标历史资源状态趋势特征和目标初始化注意力权重;
根据所述目标历史资源状态趋势特征和所述目标初始化注意力权重进行加权计算,得到目标训练趋势特征,将所述目标训练趋势特征和所述目标训练趋势特征进行拼接,得到目标拼接训练趋势特征;
将所述目标拼接训练趋势特征输入到所述注意力系数计算网络中进行计算,得到所述目标资源标识对应的自身注意力系数。
12.根据权利要求1所述的方法,其特征在于,资源标识为网页标识,历史资源状态趋势为历史网页访问量趋势;所述方法还包括:
获取待处理网页标识对应的自身历史网页访问量趋势;
将所述待处理网页标识和所述自身历史网页访问量趋势输入至网页访问量趋势预测模型中,所述网页访问量趋势预测模型获取所述待处理网页标识对应的邻居网页标识,并根据所述邻居网页标识与所述待处理网页标识之间的邻居注意力系数、所述邻居网页标识对应的邻居历史网页访问量趋势,以及所述自身历史网页访问量趋势和待处理网页标识对应的自身注意力系数确定所述待处理网页标识对应的网页访问量预测趋势;
将所述网页访问量预测趋势进行解码,得到所述待处理网页标识对应的网页访问量预测序列;
按照所述网页访问量预测序列对所述待处理网页标识对应的网页分配服务器资源。
13.一种资源数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理资源标识对应的自身历史资源状态趋势;
预测模块,用于将所述待处理资源标识和所述自身历史资源状态趋势输入至资源趋势预测模型中,所述资源趋势预测模型获取所述待处理资源标识对应的邻居资源标识,并根据所述邻居资源标识与所述待处理资源标识之间的邻居注意力系数、所述邻居资源标识对应的邻居历史资源状态趋势,以及所述自身历史资源状态趋势和待处理资源标识对应的自身注意力系数确定所述待处理资源标识对应的第一资源状态预测趋势;所述资源趋势预测模型是根据训练历史资源状态趋势和对应的资源状态标签趋势进行训练得到的图注意力网络模型。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010661844.6A CN112749005B (zh) | 2020-07-10 | 2020-07-10 | 资源数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010661844.6A CN112749005B (zh) | 2020-07-10 | 2020-07-10 | 资源数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112749005A CN112749005A (zh) | 2021-05-04 |
CN112749005B true CN112749005B (zh) | 2023-10-31 |
Family
ID=75645250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010661844.6A Active CN112749005B (zh) | 2020-07-10 | 2020-07-10 | 资源数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112749005B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113811009B (zh) * | 2021-09-24 | 2022-04-12 | 之江实验室 | 一种基于时空特征提取的多基站网络资源智能分配方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875027A (zh) * | 2016-06-06 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 资源请求值的预测方法及装置、交易量的预测方法 |
EP3223227A1 (en) * | 2016-03-22 | 2017-09-27 | Zharko Asenov | System and method for predicting financial and / or market data |
CN108596765A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种金融电子资源推荐方法和装置 |
CN110119405A (zh) * | 2019-03-28 | 2019-08-13 | 江苏瑞中数据股份有限公司 | 分布式并行数据库资源管理方法 |
CN111104522A (zh) * | 2019-12-20 | 2020-05-05 | 武汉理工大学 | 一种基于知识图谱的区域产业关联效应趋势预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11223674B2 (en) * | 2017-07-25 | 2022-01-11 | University Of Louisiana At Lafayette | Extended mobile grid |
-
2020
- 2020-07-10 CN CN202010661844.6A patent/CN112749005B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3223227A1 (en) * | 2016-03-22 | 2017-09-27 | Zharko Asenov | System and method for predicting financial and / or market data |
CN106875027A (zh) * | 2016-06-06 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 资源请求值的预测方法及装置、交易量的预测方法 |
CN108596765A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种金融电子资源推荐方法和装置 |
CN110119405A (zh) * | 2019-03-28 | 2019-08-13 | 江苏瑞中数据股份有限公司 | 分布式并行数据库资源管理方法 |
CN111104522A (zh) * | 2019-12-20 | 2020-05-05 | 武汉理工大学 | 一种基于知识图谱的区域产业关联效应趋势预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112749005A (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020135535A1 (zh) | 一种推荐模型训练方法及相关装置 | |
US9223900B2 (en) | Machine optimization devices, methods, and systems | |
US11580447B1 (en) | Shared per content provider prediction models | |
CN109471978B (zh) | 一种电子资源推荐方法及装置 | |
CN111008335B (zh) | 一种信息处理方法、装置、设备及存储介质 | |
WO2019019385A1 (zh) | 跨平台数据匹配方法、装置、计算机设备和存储介质 | |
CN113379449B (zh) | 多媒体资源召回方法、装置、电子设备以及存储介质 | |
US20230315618A1 (en) | Data processing method and device, computing device, and test reduction device | |
CN114240555A (zh) | 训练点击率预测模型和预测点击率的方法和装置 | |
CN112131261A (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
US20180308057A1 (en) | Joint optimization and assignment of member profiles | |
CN113641835B (zh) | 多媒体资源推荐方法、装置、电子设备及介质 | |
CN112749005B (zh) | 资源数据处理方法、装置、计算机设备和存储介质 | |
CN110717116B (zh) | 关系网络的链接预测方法及系统、设备、存储介质 | |
CN112950321A (zh) | 一种物品推荐方法和装置 | |
CN113935251B (zh) | 用户行为预测模型的生成方法、用户行为预测方法及装置 | |
CN115631008B (zh) | 商品推荐方法、装置、设备及介质 | |
CN115758271A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN115618271A (zh) | 对象类别识别方法、装置、设备及存储介质 | |
CN110262906B (zh) | 接口标签推荐方法、装置、存储介质和电子设备 | |
CN110502715B (zh) | 点击概率的预测方法及装置 | |
CN115203516A (zh) | 基于人工智能的信息推荐方法、装置、设备及存储介质 | |
CN111291196A (zh) | 知识图谱的完善方法及装置、数据处理方法及装置 | |
CN113792163B (zh) | 多媒体推荐方法、装置、电子设备及存储介质 | |
CN113076450B (zh) | 一种目标推荐列表的确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043878 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |