CN111738781B - 深度学习模型及其预测流量数据的方法 - Google Patents

深度学习模型及其预测流量数据的方法 Download PDF

Info

Publication number
CN111738781B
CN111738781B CN202010762405.4A CN202010762405A CN111738781B CN 111738781 B CN111738781 B CN 111738781B CN 202010762405 A CN202010762405 A CN 202010762405A CN 111738781 B CN111738781 B CN 111738781B
Authority
CN
China
Prior art keywords
layer
vector
decoding
attention
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010762405.4A
Other languages
English (en)
Other versions
CN111738781A (zh
Inventor
张琳
张�杰
王雅芳
王颖
于浩淼
龙翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010762405.4A priority Critical patent/CN111738781B/zh
Publication of CN111738781A publication Critical patent/CN111738781A/zh
Application granted granted Critical
Publication of CN111738781B publication Critical patent/CN111738781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0202Market predictions or forecasting for commercial activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例中提供了一种深度学习模型及其预测流量数据的方法。该深度学习模型可以包括输入层、编码器、解码器和预测层。可通过输入层获取按照时间顺序排列的N个时间段对应的N个原始特征集,前N‑1个时间段对应的N‑1个流量数据;单个原始特征集中包括影响流量数据的M项属性特征。接着通过包含编码注意力层和递归编码层的编码器,在编码器的输入阶段增加注意力机制,自适应的修正N个原始特征集以得到N个修正特征集,并对N个修正特征集进行递归处理以得到N个状态向量。接着由解码器对前N‑1个状态向量以及N‑1个流量数据进行递归处理,得到目标解码向量。最后通过预测层处理目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。

Description

深度学习模型及其预测流量数据的方法
技术领域
本说明书一个或多个实施例涉及人工智能领域,尤其涉及深度学习模型及其预测流量数据的方法。
背景技术
随着深度学习技术的日渐成熟及其在各个领域的强大表现,部分业务场景中采用经训练得到的深度学习模型,实现对流量数据的预测。例如,为了实现向用户提供高质量的服务,可能需要预测未来的某个时间段内,用户通过客户端程序访问目标服务器的频次,以便提供该服务的运营商及时采取相应的应对措施,客户端程序访问目标服务器的频次即为流量数据。
通过深度学习模型预测流量数据的核心思想是,使用具有长期记忆性的神经网络,对影响流量数据的若干属性特征进行特征提取,然后利用提取的属性特征预测流量数据。其中,深度学习模型能否较好的捕捉到较长时间内的多个属性数据间的时间相关性,对于流量预测的精度有着重要的影响。
希望有一种新的技术方案,以期能够更为准确的预测流量数据。
发明内容
本说明书一个或多个实施例中提供了一种利用深度学习模型预测流量数据的方法及,可以更为准确的预测流量数据。
第一方面,提供了利用深度学习模型预测流量数据的方法,所述深度学习模型包括输入层、编码器、解码器以及预测层,所述方法包括:通过所述输入层,获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据;其中,单个原始特征集中包括影响流量数据的M项属性特征,N为大于2的整数,M为大于1的整数。接着将所述N个原始特征集依次输入所述编码器,所述编码器包括编码注意力层和递归编码层;其中,对于所述N个原始特征集中任意的第i个原始特征集,所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量,以及第i个原始特征集中的M项属性特征,确定该M项属性特征各自对应的编码注意力权重;基于该M项属性特征各自对应的编码注意力权重,将第i个原始特征集处理为第i个修正特征集;其中i为大于0且不大于N的整数;所述递归编码层根据所述第i个修正特征集和所述第i-1个状态向量,递归得到针对第i个输入的第i个状态向量。接着将从第1到第N-1的N-1个状态向量以及所述N-1个流量数据输入所述解码器,处理得到目标解码向量。之后通过所述预测层处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
在一种可能的实施方式中,流量数据用于指示以下各项信息中的任意一项:访问智能客服机器人的客户端程序的数量、智能客服机器人接受客户端程序访问的频次、通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次。
在一种可能的实施方式中,影响流量数据的M项属性特征包括以下各项属性特征中的多项:用于指示一年中的第几个月的属性特征、用于指示一个月中的第几天的属性特征、用于指示一星期中的第几天的属性特征、用于指示是否为工作日的属性特征、用于指示是否为账单日的属性特征,以及用于指示是否为还款日的属性特征。
在一种可能的实施方式中,当i等于1时,第i-1个状态向量为预设的初始化向量。
在一种可能的实施方式中,所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量,以及第i个原始特征集中的M项属性特征,确定该M项属性特征各自对应的编码注意力权重,包括:所述编码层注意力层针对第i个原始特征集中的每项当前属性特征,对当前属性特征以及所述递归编码层针对第i-1个输入得到的第i-1个状态向量进行线性组合,得到组合结果;通过激活函数激活该组合结果,得到当前属性特征对应的注意力系数;对第i个原始特征集中的M项属性特征各自对应的注意力系数进行归一化处理,得到该M项属性特征各自对应的编码注意力权重。
在一种可能的实施方式中,所述解码器包括解码注意力层和递归解码层;其中,对于所述N-1个状态向量中任意的第j个状态向量,所述解码注意力层根据所述递归解码层针对第j-1个状态向量得到的第j-1个解码向量,确定出第j个状态向量对应的解码注意力权重;以及,根据所述解码注意力层针对所述N-1个状态向量中的前j个状态向量各自得到的解码注意力权重,确定出第j个预解码向量;其中,j为大于0且不大于N-1的整数;所述递归解码层根据所述第j个预解码向量以及所述N-1个流量数据中的第j个流量数据,递归得到针对第j个状态向量的第j个解码向量;其中,第N-1个解码向量为目标解码向量。
在一种可能的实施方式中,所述方法还包括:将第N个状态向量输入所述解码器;其中,所述解码注意力层还根据所述递归解码层针对第N-1个状态向量得到的第N-1个解码向量,确定出第N个状态向量对应的解码注意力权重;以及,根据所述解码注意力层针对所述N-1个状态向量中的每个状态向量各自得到的解码注意力权重,确定出第N个预解码向量;所述通过所述预测层,处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据,包括:通过所述预测层,处理所述目标解码向量以及第N个预解码向量,获得第N个时间段对应的流量数据。
在一种可能的实施方式中,所述递归编码层包括第一长短期记忆网络(longshort-term memory,LSTM),状态向量包括所述第一LSTM的隐藏状态;或者,状态向量包括所述第一LSTM的隐藏状态和单元状态。
在一种可能的实施方式中,所述递归解码层包括第二LSTM,解码向量包括所述第二LSTM的隐藏状态;或者,解码向量包括所述第二LSTM的隐藏状态和单元状态。
在一种可能的实施方式中,所述递归编码层包括第一循环神经网络(recurrentneural network,RNN)或第一门控循环单元(gated recurrent unit,GRU),状态向量包括所述第一RNN或所述第一GRU的隐藏状态。
在一种可能的实施方式中,所述递归解码层包括第二RNN或第二GRU,解码向量包括所述第二RNN或所述第二GRU的隐藏状态。
第二方面,提供了一种用于预测流量数据的深度学习模型,所述深度学习模型包括:
输入层,配置为获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据;其中,单个原始特征集中包括影响流量数据的M项属性特征,N为大于2的整数,M为大于1的整数;以及,将所述N个原始特征集依次输入编码器;
其中,所述编码器包括编码注意力层和递归编码层;
所述编码注意力层,配置为对于所述N个原始特征集中任意的第i个原始特征集,所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量,以及第i个原始特征集中的M项属性特征,确定该M项属性特征的编码注意力权重;基于该M项属性特征各自对应的编码注意力权重,将第i个原始特征集处理为第i个修正特征集;其中i为大于0且不大于N的整数;
所述递归编码层,配置为根据所述第i个修正特征集和所述第i-1个状态向量,递归得到针对第i个输入的第i个状态向量;以及,将从第1到第N-1的N-1个状态向量依次输入所述解码器;
所述解码器,配置为处理所述N-1个状态向量以及所述N-1个流量数据,得到目标解码向量;
所述预测层,配置为处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
在一种可能的实施方式中,流量数据用于指示以下各项信息中的任意一项:访问智能客服机器人或目标服务器的客户端程序的数量、智能客服机器人或目标服务器接受客户端程序访问的频次、通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次。
在一种可能的实施方式中,影响流量数据的M项属性特征包括以下各项属性特征中的多项:用于指示一年中的第几个月的属性特征、用于指示一个月中的第几天的属性特征、用于指示一星期中的第几天的属性特征、用于指示是否为工作日的属性特征、用于指示是否为账单日的属性特征,以及用于指示是否为还款日的属性特征。
在一种可能的实施方式中,当i等于1时,第i-1个状态向量为预设的初始化向量。
在一种可能的实施方式中,所述编码注意力层,具体配置为针对第i个原始特征集中的每项当前属性特征,对当前属性特征以及所述递归编码层针对第i-1个输入得到的第i-1个状态向量进行线性组合,得到组合结果;通过激活函数激活该组合结果,得到当前属性特征对应的注意力系数;对第i个原始特征集中的M项属性特征各自对应的注意力系数进行归一化处理,得到该M项属性特征各自对应的编码注意力权重。
在一种可能的实施方式中,
所述解码器包括解码注意力层和递归解码层;其中,
所述解码注意力层,配置为对于所述N-1个状态向量中任意的第j个状态向量,根据所述递归解码层针对第j-1个状态向量得到的第j-1个解码向量,确定出第j个状态向量对应的解码注意力权重;以及,根据所述解码注意力层针对所述N-1个状态向量中的前j个状态向量各自得到的解码注意力权重,确定出第j个预解码向量;其中,j为大于0且不大于N-1的整数;
所述递归解码层,配置为根据所述第j个预解码向量以及所述N-1个流量数据中的第j个流量数据,递归得到针对第j个状态向量的第j个解码向量;其中,第N-1个解码向量为目标解码向量。
在一种可能的实施方式中,所述编码层,还配置为将第N个状态向量输入所述解码器;其中,
所述解码注意力层,还用于根据所述递归解码层针对第N-1个状态向量得到的第N-1个解码向量,确定出第N个状态向量对应的解码注意力权重;以及,根据所述解码注意力层针对所述N-1个状态向量中的每个状态向量各自得到的解码注意力权重,确定出第N个预解码向量;
所述预测层,具体配置为处理所述目标解码向量以及第N个预解码向量,获得第N个时间段对应的流量数据。
在一种可能的实施方式中,所述递归编码层包括第一长短期记忆网络LSTM,状态向量包括所述第一LSTM的隐藏状态;或者,状态向量包括所述第一LSTM的隐藏状态和单元状态。
在一种可能的实施方式中,所述递归解码层包括第二LSTM,解码向量包括所述第二LSTM的隐藏状态;或者,解码向量包括所述第二LSTM的隐藏状态和单元状态。
在一种可能的实施方式中,所述递归编码层包括第一循环神经网络RNN或第一门控循环单元GRU,状态向量包括所述第一RNN或所述第一GRU的隐藏状态。
在一种可能的实施方式中,所述递归解码层包括第二循环神经网络RNN或第二门控循环单元GRU,解码向量包括所述第二RNN或所述第二GRU的隐藏状态。
第三方面,提供了一种用于预测流量数据的装置,所述装置包括:
预处理单元,用于获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据;其中,单个原始特征集中包括影响流量数据的M项属性特征,N为大于2的整数,M为大于1的整数;
编码器调用单元,用于将所述N个原始特征集依次输入所述编码器,所述编码器包括编码注意力层和递归编码层;其中,
所述编码注意力层,配置为对于所述N个原始特征集中任意的第i原始特征集,所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量,以及第i个原始特征集中的M项属性特征,确定该M项属性特征各自对应的编码注意力权重;基于该M项属性特征各自对应的编码注意力权重,将第i个原始特征集处理为第i个修正特征集;其中i为大于0且不大于N的整数;
所述递归编码层,配置为根据所述第i个修正特征集和所述第i-1个状态向量,递归得到针对第i个输入的第i个状态向量;
解码器调用单元,配置为将从第1到第N-1的N-1个状态向量以及所述N-1个流量数据输入所述解码器,处理得到目标解码向量;
预测单元,用于处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
第四方面,提供了一种计算设备,包括处理器,所述处理器执行存储器中存储的计算机指令/代码时,实现第一方面中任一项所述的方法。
第五方面,提供了一种计算机可读存储介质,其上存储有计算机指令/代码,当所述计算机指令/代码在计算设备中执行时,所述计算设备实现第一方面中任一项所述的方法。
通过本说明书实施例中提供的技术方案,可通过深度学习模型的输入层获取按照时间顺序排列的N个时间段对应的N个原始特征集,前N-1个时间段对应的N-1个流量数据;单个原始特征集中包括影响流量数据的M项属性特征。接着通过包含编码注意力层和递归编码层的编码器,在编码器的输入阶段增加注意力机制,自适应的修正N个原始特征集以得到N个修正特征集,并对N个修正特征集进行递归以得到N个状态向量。接着由解码器对前N-1个状态向量以及N-1个流量数据进行递归解码,得到目标解码向量。最后通过预测层处理目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。如此,不仅能够较好的捕捉到较长时间内的多个属性特征间的时间相关性,还在编码器的输入阶段增加注意力机制,自适应的修正了N个原始特征集,最终预测的第N个时间段对应的流量数据更为准确。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书实施例中披露的一种业务场景的示意图;
图2为本说明书实施例中提供的一种深度学习模型的结构示意图;
图3为本说明书实施例中提供的一种利用深度学习模型预测流量数据的方法的流程图;
图4为说明书实施例中通过编码器将原始特征集处理为修正特征集的过程示意图;
图5为本说明书实施例中通过解码器处理状态向量和流量数据的过程示意图;
图6为本说明书实施例中提供的一种用于预测流量数据的装置的结构示意图。
具体实施方式
下面结合附图,对本说明书所提供的各个非限制性实施例进行详细描述。
图1为本说明书实施例中披露的一种业务场景的示意图。如图1所示,服务提供商可以针对部署在终端设备中的客户端程序,在计算平台中部署智能客服机器人,用户可通过客户端程序与智能客服机器人进行对话,实现智能问答业务。其中,计算平台可以是服务器或者由多个服务器组成的服务器集群。此外,当智能客服机器人无法针对客户端程序向其提供的问题,向客户端程序提供符合用户期望的答案时,还可以通过人工客服,协助解决客户端向智能客服机器人提供的问题。
对于如图1所示的业务场景,在不同的时间段内,访问智能客服机器人的客户端程序的数量、智能客服机器人接受客户端程序访问的频次,以及通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次等流量数据,可能并不相同。例如,对于“支付宝”平台提供的“蚂蚁花呗”服务,用户可以通过“支付宝”的客户端程序,与智能客服机器人进行对话,解决与“蚂蚁花呗”服务相关的问题。每个月中的其中一天为“蚂蚁花呗”服务对应的“还款日”,“还款日”较之于非还款日,访问智能客服机器人的客户端程序的数量、智能客服机器人接受客户端程序访问的频次,以及通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次等流量数据则可能相对较大。
对于如图1所示的业务场景,可以根据过去的多个时间段各自对应的流量数据,以及影响流量数据的多个属性数据,预测未来的某个时间段对应的流量数据,以便运营商及时采取合适的应对措施。例如,计算平台可以根据预测的流量数据,在未来的某个时间段内启用相应数量的服务器,协助解决大量用户/客户端程序提供的问题;以及,配置相应数量的人工客服,协助解决客户端程序向智能客服机器人提供的问题等。如此,不仅有利于更为快速的解决用户向智能客服机器人提供的问题,且有利于计算平台更加高效的调度/管理用于支持智能问答业务的服务器,更加合理的配置人工客服等。
为了实现更为准确的预测流量数据,本说明书实施例中提供了一种深度学习模型及其预测流量数据的方法。该深度学习模型可以包括输入层、编码器、解码器以及预测层。可通过输入层获取按照时间顺序排列的N个时间段对应的N个原始特征集,前N-1个时间段对应的N-1个流量数据;单个原始特征集中包括影响流量数据的M项属性特征。接着通过包含编码注意力层和递归编码层的编码器,在编码器的输入阶段增加注意力机制,自适应的修正N个原始特征集以得到N个修正特征集,并对N个修正特征集进行递归以得到N个状态向量。接着由解码器对前N-1个状态向量以及N-1个流量数据进行递归解码,得到目标解码向量。最后通过预测层处理目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
下面将详细描述本说明书实施例中提供的深度学习模型,以及利用该深度学习模型预测流量数据的具体过程。
图2为本说明书实施例中提供的一种用于预测流量数据的深度学习模型的示意图。其中,该深度学习模型可以部署在任何具有计算/处理能力的终端、服务器或者服务器集群中。该深度学习模型至少可以包括输入层、编码器、解码器以及预测层;其中编码器可以包括编码注意力层和递归编码层。
需要说明的是,深度学习模型的输入层、编码器、解码器以及预测层,可以按照如图2中示出的连接关系进行连接,构成完整的并且能够独立用于实现预测流量数据的计算机程序。或者,深度学习模型的输入层、编码器、解码器以及预测层可以为相互独立的计算机程序;可以通过用于预测流量数据的装置,对相互独立的输入层、编码器、解码器以及预测层进行调用,实现预测流量数据。
图3为本说明书实施例中提供的一种利用深度学习模型预测流量数据的方法的流程图。其中,该方法中的部分或全部步骤的执行主体,可以包括部署了如图2所示的深度学习模型的计算平台,和/或,包括部署了用于预测流量数据的装置的计算平台。
首先,在步骤301,通过输入层获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及N个时间段中前N-1个时间段所对应的N-1个流量数据。
其中,单个原始特征集中包括影响流量数据的M项属性特征。N为大于2的整数,M为大于1的整数。
其中,单个时间段的时间长度可以结合实际业务需求进行调整。例如,单个时间段的时间长度可以为1天、1小时、1分钟或者30秒等。
在一中可能的实施方式中,流量数据用于指示以下各项信息中的任意一项:访问智能客服机器人的客户端程序的数量、智能客服机器人接受客户端程序访问的频次、通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次。
在一种可能的实施方式中,影响流量数据的M项属性特征包括以下各项属性特征中的多项:用于指示一年中的第几个月的属性特征、用于指示一个月中的第几天的属性特征、用于指示一星期中的第几天的属性特征、用于指示是否为工作日的属性特征、用于指示是否为账单日的属性特征,以及用于指示是否为还款日的属性特征。例如,单个时间段的时间长度为1天,其中一个时间段为7月1日00:00时刻至7月2日00:00时刻,则该时间段对应的M项属性特征包括:用于指示一年中的第几个月的属性特征“7月”,用于指示一星期中的第几天的属性特征“星期一”,用于指示是否为工作日的属性特征“是”,用于指示是否为账单日的属性特征“否”,以及用于指示是否为还款日的属性特征“否”。
在一种可能的实施方式中,为了便于深度学习模型更好地处理N个时间段各自对应的原始特征集,以及处理前N-1个时间段各自对应的流量数据,可以通过词嵌入模型(embedding模型)将每个原始特征集中的M项属性特征分别转换为相应的嵌入向量,以及将每个流量数据分别转换为相应的嵌入向量。例如,第i个时间段所对应的原始特征集中,用于指示一年中的第几个月的属性特征“7月”可以被转换为嵌入向量X1,用于指示一星期中的第几天的属性特征“星期一”可以被转换为嵌入向量X2,用于指示是否为工作日的属性特征“是”可以被转换为嵌入向量X3,用于指示是否为账单日的属性特征“否”可以被转换为嵌入向量X4,以及用于指示是否为还款日的属性特征“否”可以被转换为嵌入向量X5。那么,对于第i个时间段所对应的原始特征集中,可以包括由嵌入向量X1、X2、X3、X4以及X5各自表达的属性特征。
在一种可能的实施方式中,深度学习模型的输入层,可以被配置为具有embedding模型的功能。N个属性特征集中每个属性特征以及N-1个流量数据,均可以在深度学习模型的输入层中被转换为相应的嵌入向量。
接着,在步骤302,将N个原始特征集依次输入编码器。
在一种可能的实施方式中,输入层或者用于预测流量数据的装置,可以将输入层获取的N个原始特征集依次输入编码器。更具体地说,可以将N个原始特征集依次输入编码器的编码注意力层。
其中,为了方便描述本说明书实施例中提供的技术方案,后续过程中利用Xi表达第i个时间段对应的属性特征集,相应的可以将Xi称为第i个属性特征集。以及,利用Yj表征前N-1个时间段中第j个时间段对应的流量数据,相应的可以将Yj称为第j个流量数据。
在一种可能的实施方式中,对于输入编码器的第i个原始特征集Xi,编码注意力层可以根据递归编码层针对第i-1个输入(即第i-1个原始特征集)得到的第i-1个状态向量,以及Xi中的M项属性特征,确定该M项属性特征各自对应的注意力权重;基于该M项属性特征各自对应的注意力权重,将Xi处理为第i个修正特征集。其中,为了方便描述,后续过程中利用Ai表征Xi对应的第i个修正特征集,利用Hi-1表征递归编码层针对第i-1个输入得到的第i-1个状态向量。
可以理解,不同网络结构的递归编码层各自得到的状态向量可能并不相同。例如,递归编码层可以包括LSTM,对于输入编码器的任一原始特征集,其对应得到的状态向量可以包括隐藏状态(hidden state),或者包括隐藏状态和单元状态(cell state)。又如,递归编码层包括RNN或GRU,对于输入编码器的任一原始特征集,其对应得到的状态向量可以包括隐藏状态。
在一个较为具体的示例中,编码层注意力层可以针对Xi中的每项当前属性特征,对当前属性特征以及递归编码层针对第i-1个输入得到的第i-1个状态向量进行线性组合,得到组合结果;接着通过相应的激活函数激活该组合结果,得到当前属性特征对应的注意力系数。然后,对Xi中的M项属性特征各自对应的注意力系数进行归一化处理,得到该M项属性特征各自对应的编码注意力权重。
在一个更为具体的示例中,编码器的编码注意力层,可以根据如下公式1实现线性组合及激活处理过程,得到Xi中的M项属性特征各自对应的注意力系数。
Figure DEST_PATH_IMAGE001
其中,Ek表征Xi中的第k项属性特征对应的注意力系数,V1为训练得到的向量,W1、U1为训练得到的权重矩阵,tanh表征激活函数,hi-1表征递归编码层针对第i-1个输入得到的隐藏状态,si-1表征递归编码层针对第i-1个输入得到的单元状态,[hi-1;si-1]表征hi-1和si-1的连接(concatenation),Xk表征Xi中的第k项属性特征,W1*[hi-1;si-1]+U1*Xk表征对hi-1、si-1以及Xk进行线性组合的组合结果。
请参考图4,Xi中包括X1、X2以及XM等M项属性特征,Hi-1包括hi-1和/或si-1,通过上述公式1即可计算出Xi中的M项属性特征各自对应的注意力系数,例如计算出X1对应的注意力系数E1、X2对应的注意力系数E2,以及XM对应的注意力系数EM等。
在一个更为具体的示例中,编码器的编码注意力层,可以根据如下公式2实现归一化处理过程,得到Xi中的M项属性特征各自对应的编码注意力权重。
Figure 737850DEST_PATH_IMAGE002
其中,Ak表征Xi中的第k项属性特征对应的编码注意力权重,Ek表征Xi中的第k项属性特征对应的注意力系数,Ep表征Xi中的第p项属性特征对应的注意力系数,M表征Xi中的属性特征的项数。
请参考图4,通过上述公式2可以计算出Xi中的M项属性特征各自对应的编码注意力权重,例如计算出X1对应的注意力系数A1、X2对应的注意力系数A2,以及XM对应的注意力系数AM等。
在一种可能的实施方式中,对于Xi中的每一项当前属性特征,可以根据当前属性特征对应的编码注意力权重,对当前属性特征进行加权计算,得到当前属性特征对应的修正特征。换而言之,对于Xi中的每一项属性特征,可以将该项属性特征与其对应的编码注意力权重的乘积,确定为该项属性特征对应的修正特征。
请参考图4,对于Xi中的第1项属性特征X1,可以根据其对应的编码注意力A1对X1进行加权计算,得到其对应的修正特征A1*X1。相似的,可以得到Xi中的第2项属性特征X2对应的修正特征A2*X2,以及得到Xi中的第M项属性特征XM对应的修正特征AM*XM。
可以理解,Xi中的M项属性特征各自对应的修正特征,可以组成Xi对应的第i个修正特征集Ai。第i个修正特征集Ai可以被输出至递归编码层。
在一种可能的实施方式中,递归编码层可以根据第i个修正特征集Ai,以及其自身针对第i-1个输入得到的第i-1个状态向量,递归得到针对第i个输入的第i个状态向量。其中,第i个状态向量可以传递给编码注意力层,以便编码注意力层根据第i个状态向量,对编码器的第i+1个输入(即第i+1个原始特征集),执行与第i个原始特征集Xi相似的处理过程,获得第i+1个原始特征集对应的第i+1个修正特征集。
如前所述,递归编码层可以包括LSTM、RNN或者GRU。对于递归编码层针对第i个输入得到的第i个状态向量,至少可以包括递归编码层对第i个修正特征集进行处理以得到的隐藏状态。可选地,还可以包括递归编码层对第i个修正特征集进行处理以得到的单元状态。
需要说明的是,当i=1时,第i-1个状态向量可以为预设的初始化向量。示例性的,该初始化向量可以为零向量。
对于依次输入编码器的N个原始特征集,编码器按照前述处理第i个原始特征集Xi的过程,对输入编码器的N个原始特征集进行处理之后,可以得到N个原始特征集对应的N个状态向量。
接着,在步骤303,至少将从第1到第N-1的N-1个状态向量以及N-1个流量数据输入解码器,处理得到目标解码向量。
在一种可能的实施方式中,解码器可以包括递归解码层。递归解码层可以针对输入的第j个状态向量、第j个流量数据以及第j-1个解码向量,进行处理以获得第j个解码向量。其中,当j-1时,第j-1个解码向量为预设的初始化向量,比如为零向量。这样,递归解码层可以通过对N-1个状态向量以及N-1个流量数据进行递归解码,得到N-1个解码向量,其中第N-1个解码向量则为目标解码向量。
在一种可能的实施方式中,解码器可以包括解码注意力层和递归解码层。
在一种可能的实施方式中,在解码器包括解码注意力层和递归解码层的情况下,对于输入解码器的N-1个状态向量中任意的第j个状态向量,解码注意力层可以根据递归解码层针对第j-1个状态向量得到的第j-1个解码向量,确定出第j个状态向量对应的解码注意力权重。接着,解码注意力层还可以根据其针对N-1个状态向量中的前j个状态向量各自得到的解码注意力权重,确定出第j个预解码向量。接着,递归解码层可以根据第j个预解码向量以及第j个流量数据,递归得到针对第j个状态向量的第j个解码向量。其中,第N-1个解码向量为目标解码向量。为了方便描述,后续过程中利用Hj表征输入解码器的第j个状态向量,利用Cj表征Hj对应的第j个预解码向量,利用Dj-1表征递归编码层针对第j-1个状态向量得到的第j-1个解码向量。
可以理解,不同网络结构的递归解码层各自得到的解码向量可能并不相同。例如,递归解码层可以包括LSTM,对于输入解码器的任一个状态向量,其对应得到的解码向量可以包括隐藏状态,或者包括隐藏状态和单元状态。又如,递归解码层包括RNN或GRU,对于输入解码器的任一个状态向量,其对应得到的解码向量可以包括隐藏状态。
在一个较为具体的示例中,对于输入解码器的第j个状态向量Hj,解码注意力层可以对Hj以及递归解码层针对第j-1个状态向量得到的第j-1个解码向量进行线性组合,得到组合结果。接着,通过相应的激活函数激活该组合结果,得到Hj对应的注意力系数。接着,根据第1至第j个状态向量各自对应的注意系数,对Hj对应的注意力系数进行归一化处理,得到Hj对应的解码注意力权重。最后,根据第1至第j个状态向量各自对应的解码注意力权重,对第1至第j个状态向量进行加权计算并取平均值,获得第j个状态向量对应的第j个预解码向量Cj
在一个更为具体的示例中,解码器的解码注意力层,可以根据如下公式3实现线性组合及激活处理过程,获得Hj对应的注意力系数。
Figure DEST_PATH_IMAGE003
其中,Hj表征N-1个状态向量中的第j个状态向量,Fj表征Hj对应的注意力系数,V2为训练得到的向量,W2、U2为训练得到的权重矩阵,tanh表征激活函数,hj-1表征递归编码层针对第j-1个状态向量得到的隐藏状态,sj-1表征递归编码层针对第j-1个状态向量得到的单元状态,[hj-1;sj-1]表征hj-1和sj-1的连接(concatenation),W2*[hj-1;sj-1]+U2*Hj表征对hi-1、si-1以及Hj进行线性组合的组合结果。
请参考图5,通过上述公式3即可计算出输入解码器的每个状态向量各自对应的注意力系数,例如计算出第一个状态向量H1对应的注意力系数F1、第二个状态向量H2对应的注意力系数F2,以及第N-1个状态向量HN-1对应的注意力系数FN-1等。
在一个更为具体的示例中,解码器的解码注意力层,可以根据如下公式4实现归一化处理过程,得到Hj对应的解码注意力权重。
Figure 638679DEST_PATH_IMAGE004
其中,Bj表征Hj对应的解码注意力权重,Fq表征第1至第j个状态向量中的第q个状态向量所对应的注意力系数,Fj表征Hj对应的注意力系数。
请参考图5,通过上述公式4可以计算出输入解码器的每个状态向量各自对应的注意力权重,例如计算出第一个状态向量H1对应的注意力权重B1、第二个状态向量H2对应的注意力系数B2,以及第N-1个状态向量HN-1对应的注意力系数BN-1等。
在一个更为具体的示例中,解码器的解码注意力层,可以根据如下公式5实现加权计算并取平均值的过程,获得Hj对应的预解码向量。
Figure DEST_PATH_IMAGE005
其中,Cj表征Hj对应的预解码向量,Bq表征第1至第j个状态向量中的第q个状态向量所对应的解码注意力权重,Hq表征第1至第j个状态向量中的第q个状态向量。
可以理解,对于任意的第j个状态向量所对应的第j个预解码向量,可以被解码注意力层输出至递归解码层。相应的,递归解码层可以根据第j个预解码向量、N-1个流量数据中的第j个流量数据,以及递归解码层针对第j-1个状态向量得到的第j-1个解码向量,递归得到针对第j个状态向量的第j个解码向量;其中,第N-1个解码向量为目标解码向量。
请参考图5,通过上述公式5可以计算出输入解码器的N-1个状态向量各自对应的预解码向量,例如计算出第一个状态向量H1对应的第一个预解码向量C1、第二个状态向量H2对应的第二个预解码向量C2,以及第N-1个状态向量HN-1对应的第N-1个预解码向量CN-1等。
在一个更为具体的示例中,递归解码层可以根据如下公式6实现对第j个预解码向量的递归处理过程,获得针对第j个状态向量的第j个解码向量。
Figure 356099DEST_PATH_IMAGE006
其中,Dj为第j个解码向量,F2表征递归函数,Cj为针对第j个状态向量的第j个预解码向量,Dj-1为针对第j-1个状态向量的第j-1个解码向量。
请参考图5,通过上述公式6可以计算出输入解码器的N-1状态向量对应的N-1个解码向量,例如根据第一个预解码向量C1、第一个流量数据Y1以及相应的初始化向量,计算出第一个状态向量H1对应的第一个解码向量D1;根据第二个预解码向量C2、第二个流量数据Y2以及第一个解码向量D1,计算出第二个状态向量H2对应的第二个解码向量D2;以及,根据第N-1个预解码向量CN-1、第N-1个流量数据YN-1以及第N-2个解码向量DN-2,计算出第N-1个状态向量HN-1对应的第N-1个解码向量DN-1等。
在一些实施例中,在解码器包括解码注意力层和递归解码层的情况下,还可以将第N个状态向量输入解码器,解码注意力层可以通过与前述处理第j个状态向量相同的过程,获得第N个状态向量对应的第N个预解码向量CN。其中,预解码向量CN可以被解码注意力层输出到预测层。
相应的,在步骤304,通过预测层处理处理目标解码向量,以及第N个状态向量或者第N个预解码向量,获得第N个时间段对应的流量数据。
预测层可以是一个全连接层,接收来自解码器的第N-1个解码向量DN-1,来自编码器的第N个状态向量HN,根据DN-1和HN对第N个时间段对应的流量数据进行回归,预测第N个时间段对应的流量数据。或者,接收来自解码器中递归解码层的第N-1个解码向量DN-1,来自解码器中解码注意力层的第N个预解码向量CN,根据DN-1和CN对第N个时间段对应的流量数据进行回归,预测第N个时间段对应的流量数据。
与前述方法实施例基于相同的构思,本说明书实施例中还提供了一种利用深度学习模型预测流量数据的装置。如图6所示,该装置可以包括:
预处理单元601,用于获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据;其中,单个原始特征集中包括影响流量数据的M项属性特征,N为大于2的整数,M为大于1的整数;
编码器调用单元602,用于将所述N个原始特征集依次输入所述编码器,所述编码器包括编码注意力层和递归编码层;其中,
所述编码注意力层,配置为对于所述N个原始特征集中任意的第i原始特征集,所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量,以及第i个原始特征集中的M项属性特征,确定该M项属性特征各自对应的编码注意力权重;基于该M项属性特征各自对应的编码注意力权重,将第i个原始特征集修正为第i个修正特征集;其中i为大于0且不大于N的整数;
所述递归编码层,配置为根据所述第i个修正特征集和所述第i-1个状态向量,递归得到针对第i个输入的第i个状态向量;
解码器调用单元603,配置为将从第1到第N-1的N-1个状态向量以及所述N-1个流量数据输入所述解码器,处理得到目标解码向量;
预测单元604,用于处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
本说明书实施例中还提供了一种计算设备,包括处理器,所述处理器执行存储器中存储的计算机指令/代码时,实现本说明书任意一个实施例描述的方法。其中,存储器可以位于该计算设备中,也可以位于该计算设备外。
本说明书实施例中还提供了一种计算机可读存储介质,其上存储有计算机指令/代码,当所述计算机指令/代码在计算设备中执行时,所述计算设备执行本说明书任意一个实施例中描述的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本说明书所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能所对应的计算机程序存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令/代码进行传输,以便这些功能所对应的计算机程序被计算机执行时,通过计算机实现本发明任意一个实施例中所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例中相同、相似的部分互相参见即可,每个实施例中重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (12)

1.一种利用深度学习模型预测流量数据的方法,所述深度学习模型包括输入层、编码器、解码器以及预测层,所述方法包括:
通过所述输入层,获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据;其中,单个原始特征集中包括影响流量数据的M项属性特征,N为大于2的整数,M为大于1的整数;以及,
将所述N个原始特征集依次输入所述编码器,所述编码器包括编码注意力层和递归编码层;其中,
对于所述N个原始特征集中任意的第i个原始特征集,所述编码注意力层根据第i个原始特征集中的M项属性特征,以及所述递归编码层针对第i-1个原始特征集得到的第i-1个状态向量,确定该M项属性特征各自对应的编码注意力权重;基于该M项属性特征各自对应的编码注意力权重,将第i个原始特征集处理为第i个修正特征集;其中i为大于0且不大于N的整数;
所述递归编码层根据所述第i个修正特征集和所述第i-1个状态向量,递归得到针对第i个原始特征集的第i个状态向量;
将从第1到第N-1的N-1个状态向量以及所述N-1个流量数据输入所述解码器,处理得到目标解码向量;
通过所述预测层,处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
2.根据权利要求1所述的方法,其中,
流量数据用于指示以下各项信息中的任意一项:访问智能客服机器人的客户端程序的数量、智能客服机器人接受客户端程序访问的频次、通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次。
3.根据权利要求1所述的方法,其中,
影响流量数据的M项属性特征包括以下各项属性特征中的多项:用于指示一年中的第几个月的属性特征、用于指示一个月中的第几天的属性特征、用于指示一星期中的第几天的属性特征、用于指示是否为工作日的属性特征、用于指示是否为账单日的属性特征,以及用于指示是否为还款日的属性特征。
4.根据权利要求1所述的方法,其中,
当i等于1时,第i-1个状态向量为预设的初始化向量。
5.根据权利要求1所述的方法,其中,
所述编码注意力层根据第i个原始特征集中的M项属性特征,以及所述递归编码层针对第i-1个原始特征得到的第i-1个状态向量,确定该M项属性特征各自对应的编码注意力权重,包括:
所述编码层注意力层针对第i个原始特征集中的每项当前属性特征,对当前属性特征以及所述递归编码层针对第i-1个原始特征得到的第i-1个状态向量进行线性组合,得到组合结果;通过激活函数激活该组合结果,得到当前属性特征对应的注意力系数;对第i个原始特征集中的M项属性特征各自对应的注意力系数进行归一化处理,得到该M项属性特征各自对应的编码注意力权重。
6.根据权利要求1所述的方法,其中,
所述解码器包括解码注意力层和递归解码层;其中,
对于所述N-1个状态向量中任意的第j个状态向量,所述解码注意力层根据所述递归解码层针对第j-1个状态向量得到的第j-1个解码向量,确定出第j个状态向量对应的解码注意力权重;以及,根据所述解码注意力层针对所述N-1个状态向量中的前j个状态向量各自得到的解码注意力权重,确定出第j个预解码向量;其中,j为大于0且不大于N-1的整数;
所述递归解码层根据所述第j个预解码向量以及所述N-1个流量数据中的第j个流量数据,递归得到针对第j个状态向量的第j个解码向量;其中,第N-1个解码向量为目标解码向量。
7.根据权利要求6所述的方法,其中,
所述方法还包括:将第N个状态向量输入所述解码器;
所述解码注意力层还根据所述递归解码层针对第N-1个状态向量得到的第N-1个解码向量,确定出第N个状态向量对应的解码注意力权重;以及,根据所述解码注意力层针对所述N-1个状态向量中的每个状态向量各自得到的解码注意力权重,确定出第N个预解码向量;
所述通过所述预测层,处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据,包括:通过所述预测层,处理所述目标解码向量以及第N个预解码向量,获得第N个时间段对应的流量数据。
8.根据权利要求6或7所述的方法,其中,
所述递归编码层包括第一LSTM,状态向量包括所述第一LSTM的隐藏状态;或者,状态向量包括所述第一LSTM的隐藏状态和单元状态;
和/或,
所述递归解码层包括第二LSTM,解码向量包括所述第二LSTM的隐藏状态;或者,解码向量包括所述第二LSTM的隐藏状态和单元状态。
9.根据权利要求6或7所述的方法,其中,
所述递归编码层包括第一RNN或第一GRU,状态向量包括所述第一RNN或所述第一GRU的隐藏状态;
和/或,
所述递归解码层包括第二RNN或第二GRU,解码向量包括所述第二RNN或所述第二GRU的隐藏状态。
10.一种用于预测流量数据的装置,所述装置包括:
预处理单元,用于获取按照时间顺序排列的N个时间段所对应的N个原始特征集,以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据;其中,单个原始特征集中包括影响流量数据的M项属性特征,N为大于2的整数,M为大于1的整数;
编码器调用单元,用于将所述N个原始特征集依次输入编码器,所述编码器包括编码注意力层和递归编码层;其中,
所述编码注意力层,配置为对于所述N个原始特征集中任意的第i原始特征集,所述编码注意力层根据第i个原始特征集中的M项属性特征,以及所述递归编码层针对第i-1个原始特征集得到的第i-1个状态向量,确定该M项属性特征各自对应的编码注意力权重;基于该M项属性特征各自对应的编码注意力权重,将第i个原始特征集处理为第i个修正特征集;其中i为大于0且不大于N的整数;
所述递归编码层,配置为根据所述第i个修正特征集和所述第i-1个状态向量,递归得到针对第i个原始特征集的第i个状态向量;
解码器调用单元,配置为将从第1到第N-1的N-1个状态向量以及所述N-1个流量数据输入解码器,处理得到目标解码向量;
预测单元,用于处理所述目标解码向量以及第N个状态向量,获得第N个时间段对应的流量数据。
11.一种计算设备,包括处理器,所述处理器执行存储器中存储的计算机指令/代码时,实现权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机指令/代码,当所述计算机指令/代码在计算设备中执行时,所述计算设备执行权利要求1-9中任一项所述的方法。
CN202010762405.4A 2020-07-31 2020-07-31 深度学习模型及其预测流量数据的方法 Active CN111738781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010762405.4A CN111738781B (zh) 2020-07-31 2020-07-31 深度学习模型及其预测流量数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010762405.4A CN111738781B (zh) 2020-07-31 2020-07-31 深度学习模型及其预测流量数据的方法

Publications (2)

Publication Number Publication Date
CN111738781A CN111738781A (zh) 2020-10-02
CN111738781B true CN111738781B (zh) 2021-01-05

Family

ID=72656872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010762405.4A Active CN111738781B (zh) 2020-07-31 2020-07-31 深度学习模型及其预测流量数据的方法

Country Status (1)

Country Link
CN (1) CN111738781B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113037775B (zh) * 2021-03-31 2022-07-29 上海天旦网络科技发展有限公司 网络应用层全流量向量化记录生成方法和系统
CN113256007B (zh) * 2021-05-28 2022-02-25 浙江大学 一种面向多模态的新产品销量预测方法及装置
CN113469300B (zh) * 2021-09-06 2021-12-07 北京航空航天大学杭州创新研究院 设备状态检测方法及相关装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4568502B2 (ja) * 2004-01-09 2010-10-27 株式会社日立製作所 情報処理システムおよび管理装置
CN103152389A (zh) * 2013-02-01 2013-06-12 华南师范大学 应用于云计算机系统中应对高峰访问的方法和装置
CN109919358B (zh) * 2019-01-31 2021-03-02 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法

Also Published As

Publication number Publication date
CN111738781A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738781B (zh) 深度学习模型及其预测流量数据的方法
CN109977212B (zh) 对话机器人的回复内容生成方法和终端设备
US20200251099A1 (en) Generating Target Sequences From Input Sequences Using Partial Conditioning
CN110837548B (zh) 答案匹配方法、装置、电子设备及存储介质
CN110766142A (zh) 模型生成方法和装置
CN110147435B (zh) 对话生成方法、装置、设备及存储介质
CN111753076B (zh) 对话方法、装置、电子设备及可读存储介质
CN113539273B (zh) 一种语音识别方法、装置、计算机设备和存储介质
CN113609965A (zh) 文字识别模型的训练方法及装置、存储介质、电子设备
CN112837669B (zh) 语音合成方法、装置及服务器
CN110399472B (zh) 面试提问提示方法、装置、计算机设备及存储介质
CN115376495A (zh) 语音识别模型训练方法、语音识别方法及装置
CN114119123A (zh) 信息推送的方法和装置
CN108831444A (zh) 用于语音对话平台的语义资源训练方法及系统
CN112950291B (zh) 模型的偏差优化方法、装置、设备及计算机可读介质
Shin et al. End-to-end task dependent recurrent entity network for goal-oriented dialog learning
CN109474516B (zh) 基于卷积神经网络的即时通信连接策略推荐方法及系统
CN117351299A (zh) 图像生成及模型训练方法、装置、设备和存储介质
CN116561284A (zh) 智能应答方法、装置、电子设备及介质
CN115017362A (zh) 数据处理方法、电子设备及存储介质
CN115249065A (zh) 一种注意力机制模型的训练方法、装置、设备及存储介质
CN110147881B (zh) 语言处理方法、装置、设备及存储介质
CN112509559B (zh) 音频识别方法、模型训练方法、装置、设备及存储介质
CN114155866A (zh) 说话人验证方法及系统
CN113609266B (zh) 资源处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant