CN116306902A - 时序数据环境分析及决策方法、装置、设备及存储介质 - Google Patents

时序数据环境分析及决策方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116306902A
CN116306902A CN202310552350.8A CN202310552350A CN116306902A CN 116306902 A CN116306902 A CN 116306902A CN 202310552350 A CN202310552350 A CN 202310552350A CN 116306902 A CN116306902 A CN 116306902A
Authority
CN
China
Prior art keywords
decision
data
model
strategy
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310552350.8A
Other languages
English (en)
Inventor
肖京
王磊
李娜
郭骁
王媛
谭韬
陈又新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310552350.8A priority Critical patent/CN116306902A/zh
Publication of CN116306902A publication Critical patent/CN116306902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及金融科技领域的人工智能技术，揭露了一种时序数据环境分析及决策方法，包括：利用决策模式学习模型对决策环境数据进行决策模式学习，得到决策模式数据，利用图神经网络对决策环境数据构建的时序图进行模式预测，得到未来决策模式数据，构建策略规则库并训练策略网络，得到策略模型并进行模仿学习，得到价值模型，对策略模型及价值模型进行交互训练，得到优化策略模型，利用优化策略模型对待检测数据进行决策分析，得到决策环境分析结果。本发明还涉及区块链技术，所述决策环境预测结果可存储在区块链节点中。本发明还提出一种时序数据环境分析及决策装置、电子设备以及可读存储介质。本发明可以提高时序数据环境分析及决策的准确性。

Description

时序数据环境分析及决策方法、装置、设备及存储介质
技术领域
本发明涉及金融科技及人工智能技术领域，尤其涉及一种时序数据环境分析及决策方法、装置、电子设备及可读存储介质。
背景技术
随着数据获取及处理能力的发展，强化学习在视觉、听觉、翻译、游戏等领域取得了很多成功应用。这类决策问题涉及的决策变量、决策空间有限，决策环境平稳，不确定因素可控。然而，现实自然社会中的决策问题存在映射关系复杂、决策空间巨大、决策环境随时间变化大、不确定因素多等特点，导致现有强化学习算法在复杂决策领域中的表现仍不理想，例如重大灾害救援领域，大型系统突发故障诊断（如高铁运行、供电系统）等；金融领域市场时序指标分布状态突变等风险预测防控问题。此外，这类复杂决策问题还存在可学习样本稀缺（样本来自自然事件、市场突变等，不受人类控制，或者采集成本极大），容错程度低（一旦决策失败，损失重大）等问题。
以下为结合实际应用案例具体描述现有的强化学习算法在这些场景中面临的问题：
1. 映射关系复杂/决策空间巨大：目前最被熟知且广泛应用的人工智能技术是深度学习。而深度学习的输入输出边界都比较固定。例如深度学习OCR文字识别，其任务是将文字目标由图像与文字本身建立链接。其输入是范围在0~255之间的张量，对应输出则是文本字符集合中的唯一一个。而以诸如金融领域时序数据预测、气象灾害预测、轨道交通突发故障防控等为例的时间序列决策建模，决策变量可能是市场指标图、卫星云图、雷达及高空探测等图像，以及窗口期内温度、降水等序列指标，状态边界极为开放，用相同的数据驱动的方法进行训练，其模型参数值会在巨大的探索空间中震荡，难以收敛。而在超高维状态空间中确定模型参数，建立准确的映射非常困难得到的模型在样本外预测，经常出现过拟合问题。
2. 规律/数据分布时变性高：在自然界中，高维时间序列的各变量之间的关系错综复杂，决策目标值与状态变量之间的关系经常呈周期性变化，或因突发刺激产生突变；在指标统计领域，很多指标时间序列数据也具有规律时变特性，并且因为影响因素多而难以预测。这些现实问题的决策目标可能随任意一个或几个特征值的短时变化产生巨大的波动，具有高度时变性。相较而言，深度学习任务则不具备这一特点，反观诸如市场波动预警、自然灾害监控预警、疾病预防、自动驾驶等时序指标监控预警问题，如果将其是为一个随机过程，其状态转移具有极高的不确定性，在这一过程中进行决策，直接使用相同的强化学习算法框架无法有效应对这一问题。
3. 专业领域数据稀缺：在取得突破的人工智能技术领域，无论是深度学习使用的图片、语料等训练集，还是通过电脑游戏为强化学习算法提供采样，数据量都是十分丰富的。相比之下，实际生产时间中，在任何一个时间截面，数据量是有限且固定的。因此，数据变得极为稀缺。
现有技术中，基于环境学习的强化学习算法框架主要在以下问题。
（1）这些算法模型可以在稳定环境中学习最佳决策，但是对环境的时变性有很高的要求，往往难以应对复杂的任务和模型的不确定性。例如Q学习（Q learning）算法的方法是比较经典的学习算法之一，但难以推广到不同的未知环境，非稳定环境中状态的微小变化也会导致下一步预测不准确，反过来又会导致动作规划不合理，最终导致算法性能下降，使得算法框架在现实部署中变得不可靠。近几年引入的元学习策略算法虽然能解决这一挑战，但通常会遇到在线策略学习的采样效率低下或离线策略学习的元过度拟合等问题。随后进一步改进的PEARL（Probabilistic Embeddings forActor-critic meta-RL,策略-价值网络的概率嵌入）和MAML（Model-AgnosticMeta-Learning ，模型无关的元学习）等算法即使能适应少数试验中的任务，但都严重限于狭窄的任务分布，这使得它们只应用于参数环境，无法适用于非稳定环境。因此，现有基于环境学习的强化学习算法框架还无法有效应对在自动驾驶、监控预警、市场运行突变、机器人应用等诸多现实问题。
（2）主流Acto-Critic强化学习框架强依赖样本量，且难以与专家知识融合。一方面，该框架中Actor策略网络需要通过价值网络对价值函数拟合生成，Critic价值网络的生成依赖于Actor通过执行动作与决策环境并获取奖励值，算法训练需要大量质量较好的学习样本。此外，该算法中策略网络和价值网络需要随机初始化，奖励值在训练初始阶段具有高噪声，Critic难以使用这些高噪声奖励对价值函数的拟合进行优化，更无法指导Actor有效优化。另一方面，Actor预测性能的起点近似于随机抽样，很难快速积累正向奖励，也导致这种训练方式很难使得Actor接受人类知识指导，因此在决策空间较大时模型参数往往陷入鞍点或局部最优，收敛不稳定，实际预测效果差。
发明内容
本发明提供一种时序数据环境分析及决策方法、装置、电子设备及可读存储介质，其主要目的在于可以提高时序数据环境分析及决策的准确性。
为实现上述目的，本发明提供的一种时序数据环境分析及决策方法，包括：
获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据；
获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据；
基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型；
利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
可选地，所述利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，包括：
利用所述决策模式学习模型中的决策目标函数构建所述历史决策环境数据的序列划分点；
基于所述序列划分点对所述历史决策环境数据进行序列划分，得到历史决策模式数据。
可选地，所述基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，包括：
基于所述决策模式学习模型及预设的滑动时间窗口对所述实时时序数据进行决策模式判断，得到不同滑动时间窗口对应的实时决策模式数据。
可选地，所述基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据，包括：
基于预设的数据结构从所述历史决策模式数据及所述实时决策模式数据中提取定量指标序列，基于预设的关系规则从所述历史决策模式数据及所述实时决策模式数据提取关系网络；
汇总所述定量指标序列及所述关系网络得到所述时序图；
利用所述图神经网络对所述时序图进行环境预测，得到未来决策环境数据；
基于所述决策模式学习模型对所述未来决策环境数据进行模式预测，得到未来决策模式数据。
可选地，所述基于所述策略规则库训练预构建的策略网络，得到策略模型，包括：
将所述策略规则库中的数据划分为目标序列及多个特征序列，利用所述策略网络中嵌入注意力机制的编码器对所述多个特征序列进行贡献度打分，得到贡献度打分结果；
基于所述贡献度打分结果，利用所述策略网络中嵌入注意力机制的解码器对所述目标序列进行预测，得到预测结果，返回所述将所述策略规则库中的数据划分为目标序列及多个特征序列的步骤，直至满足预设的训练条件，得到所述策略模型。
可选地，所述基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，包括：
将所述策略模型中的网络参数权重复制到所述价值网络中，得到初始化价值网络；
获取基于所述策略规则库构造的历史时序训练集合，利用所述初始化价值网络对所述历史时序训练集合中的数据进行预测，得到时序预测结果；
基于所述时序预测结果计算预测奖励值，利用所述预测奖励值计算损失值；
在所述损失值不满足预设的损失阈值时，调整所述初始化价值网络中的参数，返回所述利用所述初始化价值网络对所述时序训练集合中的数据进行预测的步骤，直至所述损失值满足预设的损失阈值时，得到所述价值模型。
可选地，所述基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，包括：
基于所述决策模式学习模型从所述实时决策模式数据及所述未来决策模式数据中抽取样本三元组；
基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练，并计算所述决策模式学习模型的决策损失，以及计算所述策略模型及所述价值模型的交互损失；
基于所述决策损失及所述交互损失计算联合价值损失，在所述联合价值损失不满足预设的联合训练条件时，更新所述决策模式学习模型、所述策略模型及所述价值模型中的模型参数，返回所述基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练的步骤，直至所述联合价值损失满足预设的联合训练条件时，将训练完成的策略模型作为优化策略模型。
为了解决上述问题，本发明还提供一种时序数据环境分析及决策装置，所述装置包括：
决策模式学习模块，用于获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
模仿学习模块，用于基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
模型优化及预测模块，用于基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个计算机程序；及
处理器，执行所述存储器中存储的计算机程序以实现上述所述的时序数据环境分析及决策方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的时序数据环境分析及决策方法。
本发明通过预构建的决策模式学习模型对历史决策环境数据进行决策模式学习总结，对未来决策模式数据进行预测，提高了决策环境预测在真实环境的有效性，通过决策环境的自学习与适配，可以基于决策环境的变化而更新，避免决策环境突变，提高了决策环境预测的准确性。同时，基于预构建的知识因子构建策略规则库，基于策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，通过引入领域知识及决策规则使得模型训练训练样本的依赖程度大幅降低，提高模型训练效率及准确率。并且，通过历史真实数据及价值模型，对策略模型进行交互优化，可以不断提高策略模型训练的速度及稳健性，进一步提高预测结果。因此本发明提出的时序数据环境分析及决策方法、装置、电子设备及计算机可读存储介质，可以提高时序数据环境分析及决策的准确性。
附图说明
图1为本发明一实施例提供的时序数据环境分析及决策方法的流程示意图；
图2为本发明一实施例提供的历史决策环境数据的序列划分示意图；
图3为本发明一实施例提供的利用预构建的图神经网络对时序图进行模式预测的示意图；
图4为本发明一实施例提供的引入多尺度时间窗口的注意力机制Multi-Span-GRU模型示意图；
图5为本发明一实施例提供的对策略模型及价值模型进行交互训练的示意图；
图6为本发明一实施例提供的时序数据环境分析及决策装置的功能模块图；
图7为本发明一实施例提供的实现所述时序数据环境分析及决策方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种时序数据环境分析及决策方法。所述时序数据环境分析及决策方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述时序数据环境分析及决策方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的时序数据环境分析及决策方法的流程示意图。在本实施例中，所述时序数据环境分析及决策方法包括以下步骤S1-S6：
S1、获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据。
本发明实施例中，所述历史决策环境数据包括不同领域时序数据的历史环境指标观测值
Figure SMS_1
（即历史时序数据）及对应的历史决策动作
Figure SMS_2
，例如，极端天气场景下，环境指标观测值包括：降雨量、风力等指标，对应的决策动作包括预警、预告等；地铁运行故障诊断决策环境中，环境指标观测值可包括：轨道摩擦系数、表层温度、轨道车速度、震动幅度等指标，对应的决策动作包括警告、预警等；金融领域决策环境中，环境指标观测值包括：大盘指数、基金收益等指标，决策动作包括购买、抛售等。
所述决策模式学习是指基于当前可得的环境指标状态和决策动作序列，对不同时点的时序数据样本分布总结不同决策模式
Figure SMS_3
。例如，极端天气应对场景下的决策环境通过可由降雨量、风力等指标来刻画，这些指标的分布在每种模式下具有显著差异，基于这些环境指标观测值的分布可将极端天气应对决策划分为极端暴风模式、降雨模式、冰冻模式等。
详细地，所述利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，包括：
利用所述决策模式学习模型中的决策目标函数构建所述历史决策环境数据的序列划分点；
基于所述序列划分点对所述历史决策环境数据进行序列划分，得到历史决策模式数据。
本发明一可选实施例中，决策模式学习模型的输入为当前可获得的历史环境指标
Figure SMS_5
及历史决策动作
Figure SMS_7
，输出为学习概率密度
Figure SMS_10
，表示
Figure SMS_11
时刻决策环境
Figure SMS_12
的对应决策模式为
Figure SMS_13
的概率，例如，若序列的观测序列长度为
Figure SMS_14
，则模型输出的每个决策环境对应的决策模式的概率矩阵
Figure SMS_4
为：
Figure SMS_6
，其中，
Figure SMS_8
,表示基于历史序列
Figure SMS_9
预测的下一步的决策环境及其对应的模式的概率分布。
本发明一可选实施例中，所述历史决策环境数据中的序列划分点
Figure SMS_15
通过下述决策目标函数构建：
Figure SMS_16
Figure SMS_17
Figure SMS_18
Figure SMS_19
其中，
Figure SMS_32
表示序列划分个数，
Figure SMS_34
表示预设的决策模式个数的上限，
Figure SMS_35
分别为历史决策环境数据分割后每部分序列包括的样本数据的最小数量和最大数量，
Figure SMS_36
表示第
Figure SMS_37
个时间窗口
Figure SMS_38
包括的样本数据的个数为
Figure SMS_39
，
Figure SMS_20
为核密度函数，
Figure SMS_22
为窗宽，
Figure SMS_24
为
Figure SMS_26
时刻的历史决策环境数据，
Figure SMS_28
表示第
Figure SMS_29
个决策模式，
Figure SMS_31
表示在随机变量
Figure SMS_33
条件下的第
Figure SMS_21
个决策模式的函数表示，
Figure SMS_23
表示在随机变量
Figure SMS_25
服从
Figure SMS_27
的条件下，对
Figure SMS_30
的期望。
本发明一可选实施例中，核密度函数可以选用标准正态分布的密度函数，窗宽默认取值为两个样本点距离最小值的2倍。
进一步地，例如，决策模式学习模型的输入为历史观测序列
Figure SMS_41
, 输出为
Figure SMS_43
个时间分割点
Figure SMS_44
及对应的每段样本的分布函数
Figure SMS_45
（与决策模式一一对应）。如图2所示，左侧为模型输入的原始观测序列
Figure SMS_46
的折线图。右图为模型输出的结果，其中
Figure SMS_47
为第一个时间窗口对应的决策环境，这些样本的分布函数（即决策模式）为
Figure SMS_48
；
Figure SMS_40
为第二个时间窗口对应的决策环境，对应分布为
Figure SMS_42
;……，各时间窗口内观测样本无交集，所有时间窗口内的样本并集包括所有历史观测序列。
S2、获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据。
本发明实施例中，所述基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，包括：
基于所述决策模式学习模型及预设的滑动时间窗口对所述实时时序数据进行决策模式判断，得到不同滑动时间窗口对应的实时决策模式数据。
本发明一可选实施例中，通过下述公式对所述实时时序数据进行决策模式判断：
Figure SMS_49
其中，
Figure SMS_50
表示“在实时时序数据
Figure SMS_51
”的条件下，“
Figure SMS_52
表示当前决策模式
Figure SMS_53
为第
Figure SMS_54
个决策模式
Figure SMS_55
成立”的概率。
本发明一可选时实施例中，对于当前实时的决策环境观测值
Figure SMS_56
，输出为模型预判的当前的决策模式及预测概率，即
Figure SMS_57
，同样以滑动时间窗口来估计当前分布的时序指标对应的时间范围，假设为
Figure SMS_58
，其中
Figure SMS_59
为时间窗口的长度，可由根据决策问题的实际场景来决定，例如高铁运行故障运维场景可以为1~3分钟；极端天气预警场景可以为5~10天，大盘预警场景可以为2~5分钟，但不管何种场景要求时间窗口内的样本量不低于30。
S3、基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据。
本发明实施例中，所述预构建的图神经网络可以为改进的R-GCN网络，与传统的卷积神经网络不同，本发明的R-GCN网络带有时间标签
Figure SMS_60
，且每个R-GCN中嵌入了以
Figure SMS_61
为权重的注意力机制。
详细地，所述基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据，包括：
基于预设的数据结构从所述历史决策模式数据及所述实时决策模式数据中提取定量指标序列，基于预设的关系规则从所述历史决策模式数据及所述实时决策模式数据提取关系网络；
汇总所述定量指标序列及所述关系网络得到所述时序图；
利用所述图神经网络对所述时序图进行环境预测，得到未来决策环境数据；
基于所述决策模式学习模型对所述未来决策环境数据进行模式预测，得到未来决策模式数据。
本发明一可选实施例中，历史决策模式数据及实时决策模式数据中每个时点对应的决策环境变量按照数据结构分为特征向量和关系网络，其中特征向量为传统的定量指标序列（用
Figure SMS_62
表示），关系网络（用矩阵
Figure SMS_63
表示）。参照图3所示，这两类数据分别输入到R-GCN中，由于本发明的R-GCN网络带有时间标签
Figure SMS_64
，且每个R-GCN中嵌入了以
Figure SMS_65
为权重的注意力机制，每个R-GCN的最后一个隐含层通过特征聚合层后形成高维时序指标，该指标输入到全连接层，最终通过激活函数输出预测的观测值
Figure SMS_66
，即未来决策环境数据，同时为了提高该模型框架对非稳态环境模式下（当前或者未来的环境模式可能与历史上挖掘的环境模式
Figure SMS_67
均有较大差异）预测的稳健性，本发明提出了新型的损失函数：
Figure SMS_68
其中，
Figure SMS_69
表示输出的未来决策环境数据，
Figure SMS_70
表示时间窗口
Figure SMS_71
中的估计值，
Figure SMS_72
为预设权重。
本发明实施例中，通过预构建的图神经网络，基于历史的决策环境变量可以滚动预测未来
Figure SMS_73
期的决策环境变量取值，这里
Figure SMS_74
的设置一般取值为
Figure SMS_75
（S2中的滑动时间窗口），基于这
Figure SMS_76
个新的预测值，可利用S2中的方法得到未来决策模式数据
Figure SMS_77
。
S4、基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型。
本发明实施例中，所述知识因子是指通过专业理论和实践经验总结的专家知识因子特征，在实际生产实践中，往往包括不同层级的技术因子指导风险预警决策。例如，气象灾害监控预警中，主要测量的数据由：温度湿度、风速风向、降水量、大气压等。这类指标是大气状态的经典预报指标，由于无法直接挖掘状态与风险之间的深层关系，仅有这些指标无法对台风、干旱、高温等气象灾害进行准确预警，因此需要在此基础上增加更为专业的测量测绘指标，如空、天、地、海四基观测设备（雷达、卫星等），气象演变软件模拟，甚至包括各波段天文图像等等。所述策略规则库是指基于知识因子构建的专家策略规则，对于风险的预测具有更直接的指导意义，本发明通过
Figure SMS_79
来表示专家规则
Figure SMS_81
其中
Figure SMS_83
为策略函数，
Figure SMS_84
表示在指标状态
Figure SMS_85
下做出的动作。本发明认为该函数具有参数形式
Figure SMS_86
,
Figure SMS_87
由知识因子来刻画；其中
Figure SMS_78
为经过决策模式学习模型得到的环境学习结果；
Figure SMS_80
为
Figure SMS_82
矩阵，其形式如下：
Figure SMS_88
其中，
Figure SMS_90
的元素表示在某个给定的状态
Figure SMS_91
及其对应的模式
Figure SMS_93
下执行动作
Figure SMS_94
的概率，
Figure SMS_95
表示状态为
Figure SMS_96
，且其模式为
Figure SMS_97
时执行动作
Figure SMS_89
的概率，同时
Figure SMS_92
也可分为确定和非确定性知识，确定性知识矩阵每行取值仅有一个为1，其余为0；不确定性知识取值每行元素均取自（0,1），每行熵越大表示知识可信度越高。
本发明一可选实施例中，不同于经典的Actor-Critic框架，本发明的Actor策略网络基于时间窗口滑动和注意力机制进行预测，引入多尺度时间窗口的注意力机制Multi-Span-GRU，将注意力机制嵌入GRU中，将GRU模型中的h作为编码器各个时刻的隐藏状态，跟注意力机制中解码器在
Figure SMS_98
时刻的隐藏状态
Figure SMS_99
联合打分预测贡献度，最后将编码器的隐藏状态加权平均即可得到新的解码器输入式
Figure SMS_100
，作为后续解码器GRU模型的输入。
本发明一可选实施例中，所述策略网络包括基于注意力机制构建的编码器及解码器。其中，可以建立嵌入注意力机制的 GRU网络作为编码器及解码器。
进一步地，所述基于所述策略规则库训练预构建的策略网络，得到策略模型，包括：
将所述策略规则库中的数据划分为目标序列及多个特征序列，利用所述策略网络中嵌入注意力机制的编码器对所述多个特征序列进行贡献度打分，得到贡献度打分结果；
基于所述贡献度打分结果，利用所述策略网络中嵌入注意力机制的解码器对所述目标序列进行预测，得到预测结果，返回所述将所述策略规则库中的数据划分为目标序列及多个特征序列的步骤，直至满足预设的训练条件，得到所述策略模型。
本发明实施例中，基于注意力机制的GRU公式如下：
Figure SMS_101
Figure SMS_102
Figure SMS_103
Figure SMS_104
Figure SMS_105
其中，[]表示两个向量相连，*表示矩阵的乘积；其中，式（1）和式（2）表示GRU网络中复位门的过程，控制上一时刻的状态
Figure SMS_119
进入GRU的量。
Figure SMS_121
表示复位门门控向量，由当前输入
Figure SMS_122
和上一时刻的状态
Figure SMS_123
得到，由于激活函数使用了sigmoid函数，
Figure SMS_124
的取值范围在0和1之间，所以可以控制
Figure SMS_125
的接收量并与
Figure SMS_126
共同得到新输入
Figure SMS_106
；式（3）和式（4）表示更新门的过程，用于控制新输入
Figure SMS_108
与上一时刻状态
Figure SMS_110
对当前时刻状态
Figure SMS_112
的贡献量；
Figure SMS_115
表示更新门门控向量，同样使用sigmoid函数作为激活函数，以
Figure SMS_117
作为上一时刻状态
Figure SMS_118
对
Figure SMS_120
的贡献程度，以
Figure SMS_107
作为新输入
Figure SMS_109
对
Figure SMS_111
的贡献程度；式（5）是根据当前时刻状态
Figure SMS_113
输出动作
Figure SMS_114
，
Figure SMS_116
是对应的参数。
参照图4所示，选择策略规则库中包含决策环境观测变量
Figure SMS_128
所有变量的高维度特征作为输入，然后将时间序列分为特征序列
Figure SMS_129
与目标序列
Figure SMS_130
，设定时间窗口大小为
Figure SMS_131
，以特征序列
Figure SMS_132
为输入，建立 GRU网络作为编码器，将输出的所有时刻状态与解码器的每一时间步的状态使用注意力机制重构新的解码器输入分量，并与目标序列一起作为解码器GRU 网络的输入，最后根据GRU网络训练输出动作
Figure SMS_133
。多尺度时间窗口注意力机制实现了每一时刻的输入对于当前时刻的输出的贡献差异，通过构造得分函数得到相应的权重，通过加权平均的方法重构新的输入用来预测当前输出，对于循环神经网络而言，编码器所有时刻的隐藏状态对于某一时刻解码器的隐藏状态的贡献度应表现出差异，才能更有效地完成预测任务。这种贡献度的度量可以通过得分函数式（6）获得，具体形式多样，本发明可以使用效果较好的两种函数方法,
Figure SMS_134
或
Figure SMS_127
。得分函数需要归一化才能表现为权重，一般使用 softmax 函数式（7），最后将编码器的隐藏状态加权平均即可得到新的解码器输入式（8）。
Figure SMS_135
Figure SMS_136
Figure SMS_137
其中，
Figure SMS_139
表示解码器在
Figure SMS_140
时刻的隐藏状态；
Figure SMS_141
表示编码器的各个时刻的隐藏状态；
Figure SMS_142
表示贡献度的得分；
Figure SMS_143
表示得到的权重向量，
Figure SMS_144
每个时点
Figure SMS_145
对应的权重分量；
Figure SMS_138
表示解码器的新输入。
具体地，所述基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，包括：
将所述策略模型中的网络参数权重复制到所述价值网络中，得到初始化价值网络；
获取基于所述策略规则库构造的历史时序训练集合，利用所述初始化价值网络对所述历史时序训练集合中的数据进行预测，得到时序预测结果；
基于所述时序预测结果计算预测奖励值，利用所述预测奖励值计算损失值；
在所述损失值不满足预设的损失阈值时，调整所述初始化价值网络中的参数，返回所述利用所述初始化价值网络对所述时序训练集合中的数据进行预测的步骤，直至所述损失值满足预设的损失阈值时，得到所述价值模型。
本发明实施例中，在构建价值网络时，其主体网络结构与策略网络相同。区别在于价值网络的最终输出为一维连续值，即输出为对状态价值或状态与动作对应的价值，本发明采用同样的网络框架Multi-Span-GRU来训练价值网络，同时，基于策略规则库构造的时序训练集合中包含部分历史真实数据对应的时序数据以及知识因子对应的时序数据，具体实现分为两步：第一步：除最后输出层外，将Actor策略网络Multi-Span-GRU的权重值复制给价值网络Critic，由于在之前的训练中，策略网络已经被训练过若干次，其权重值对状态变量深层特征的已经有了较强的提取能力，将输出层之外的权重复制到价值网络，无需从权重随机初始化开始训练，在模型优化中采样效率上进一步提高；第二步，计算不同时序数据的奖励值，并根据奖励值反向传导更新Critic价值网络。
本发明实施例中，在很多实际场景下，由于历史样本少，样本采集成本高，导致可用训练样本不足，进而限制了博弈决策方法在很多实际场景的应用。本发明通过引入专家领域知识及决策规则进行模仿学习，通过带有多尺度时间记忆的监督学习方式，利用专家因子和规则指导算法模型限定优化边界，这使得强化算法对训练样本的依赖程度大幅降低，有效解决了现有场景（如虚拟游戏场景）下表现良好的强化算法在解决实际复杂决策问题时常常失效的难题，拓宽了强化算法的实际应用场景。
例如，以金融领域的风险预警场景为例，在环境中利用部分真实历史数据中根据状态输入时序数据
Figure SMS_147
，执行相应动作
Figure SMS_148
，计算得到奖励
Figure SMS_151
和下一步的状态
Figure SMS_154
，则任意时刻开始我们可以得到轨迹
Figure SMS_157
，以
Figure SMS_158
表示风险是/否发生的真实结果，同样以
Figure SMS_159
表示预测是/否发生真实结果,则奖励值可以下式表示：
Figure SMS_146
，其中
Figure SMS_149
为奖励系数，其中，上式表示当
Figure SMS_150
与
Figure SMS_152
结果相同时，给与正向奖励，否则给与负向奖励；同时，基于专家规则的知识因子，也可将对应不同时刻的时序数据
Figure SMS_153
作为输入，用Critic价值网络计算专家策略
Figure SMS_155
的价值，记为
Figure SMS_156
，表示基于策略网络求得的策略去构建价值函数，并计算损失值如下：
Figure SMS_160
Figure SMS_161
Figure SMS_162
其中，
Figure SMS_164
，表示对
Figure SMS_166
的期望，
Figure SMS_171
表示基于策略网络求得的策略构建价值函数求得的奖励值，
Figure SMS_172
表示基于价值网络学习的数据驱动的价值函数求得的奖励值，
Figure SMS_173
为预设权重，
Figure SMS_174
表示
Figure SMS_175
服从
Figure SMS_163
这个条件分布时，对中括号里面的函数求期望。
Figure SMS_165
实际上为时间差分
Figure SMS_167
的期望，
Figure SMS_168
越小意味着训练的策略网络会指引Critic逐步获取更高的价值，算法将使用反向传播方法使得
Figure SMS_169
逐步减小，最终收敛到最优解，对应Critic价值网络
Figure SMS_170
中的未知参数。
本发明通过决策模式学习可对历史决策环境的模式进行总结，并对未来决策环境的变化趋势进行预测。通过学习环境，时刻感知决策环境的变化，及时调整策略网络和价值网络，这使得强化学习求解的策略更能适配未来的决策环境，保证了决策模型在实际投入使用时具有稳健的表现。
S5、基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型。
本发明实施例中，通过构建决策模式学习模型、模仿专家预训练Actor策略网络，此时的Actor策略模型具有局限性，没有通过全局的样本进行训练可能出现决策偏差。因此，需要对其在真实数据中进一步优化，本发明提出响应式探索强化学习模型（Response-Exploration RL，RERL），该框架由学习环境的正向预测模型（即预构建的决策模式学习模型）和求解actor-critic网络（即求得的策略模型与价值模型）的逆向模型组成。两个模型共享一个编码
Figure SMS_177
器,它将观测值
Figure SMS_179
映射成
Figure SMS_181
维向量，其中，正向预测模型
Figure SMS_182
将当前时间步
Figure SMS_184
的编码观察和
Figure SMS_185
处的动作映射到编码的下一个时间步
Figure SMS_186
；逆向模型
Figure SMS_176
将编码器的当前观察值
Figure SMS_178
和编码器的下一个观察值
Figure SMS_180
作为输入，并预测动作在
Figure SMS_183
上的概率分布。
详细地，所述基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，包括：
基于所述决策模式学习模型从所述实时决策模式数据及所述未来决策模式数据中抽取样本三元组；
基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练，并计算所述决策模式学习模型的决策损失，以及计算所述策略模型及所述价值模型的交互损失；
基于所述决策损失及所述交互损失计算联合价值损失，在所述联合价值损失不满足预设的联合训练条件时，更新所述决策模式学习模型、所述策略模型及所述价值模型中的模型参数，返回所述基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练的步骤，直至所述联合价值损失满足预设的联合训练条件时，将训练完成的策略模型作为优化策略模型。
本发明一可选实施例中，参照图5所示，RERL共涉及决策模式学习模型
Figure SMS_187
，Acotr策略模型
Figure SMS_188
，Critic价值模型
Figure SMS_189
，这三个模型分别由
Figure SMS_190
参数化，交互训练的步骤如下：
1）将初始参数
Figure SMS_191
定义为基于知识因子进行模拟学习后决策模式学习模型
Figure SMS_192
，Acotr策略模型
Figure SMS_193
，Critic价值模型
Figure SMS_194
各模型的输出，清空Buffer缓存区
Figure SMS_195
；
2）重复迭代下述步骤K次：
（1）基于所述决策模式学习模型抽取样本三元组
Figure SMS_196
，其中，
Figure SMS_197
表示环境状态及决策动作的观测值，
Figure SMS_198
表示未来环境状态及决策动作的预测值，
Figure SMS_199
表示某个环境状态下作出某个决策得到的奖励值，可以通过策略模型抽样产生
Figure SMS_200
，再利用价值模型计算得到对应的奖励值
Figure SMS_201
；
（2）将样本三元组添加到buffer里
Figure SMS_202
；
（3）启动决策模式学习模型
Figure SMS_203
，得到决策损失（即S3中的损失函数）：
Figure SMS_204
（4）利用Actor-Critic得到：
Figure SMS_205
Figure SMS_206
其中，
Figure SMS_207
、
Figure SMS_208
表示不同时间状态的策略网络，
Figure SMS_209
表示给定决策环境状态
Figure SMS_210
及决策模式
Figure SMS_211
下，执行某个动作
Figure SMS_212
的概率；
利用
Figure SMS_213
训练价值网络
Figure SMS_214
；
计算
Figure SMS_215
；
计算策略模型及价值模型的交互损失：
Figure SMS_216
（5）计算总的联合价值损失：
Figure SMS_217
其中，预设权重因子
Figure SMS_218
；
3）根据
Figure SMS_219
更新
Figure SMS_220
；
4）根据
Figure SMS_221
更新
Figure SMS_222
；
5）根据
Figure SMS_223
更新
Figure SMS_224
；
6）通过交替训练
Figure SMS_225
步来降低
Figure SMS_226
取值的方法完成上述第2）步（1）到（5）步的训练，并对第2）步迭代
Figure SMS_227
步，直至满足预设结束迭代条件判断：如收敛性、最大迭代步数等，停止最终训练得到优化策略模型。
本发明实施例中，RERL强化框架通过历史真实数据和专家策略等不同形式训练critic价值网络，为Actor策略模型继续提升表现提供探索空间，模型在应用中可更加快速地达到收敛状态，有效提高了模型训练收敛速度及稳健性。
S6、利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
本发明实施例中，所述优化策略模型基于决策模式学习与Actor-Critic强化框架进行联合训练，并提出了新的联合价值损失函数，通过逐步迭代的方法逐步提升环境学习与强化学习模型性能，可以同时输出待检测市场指标时序数据对应的决策环境分析结果，包括：决策环境的预测结果
Figure SMS_228
及与该环境适配的决策结果及对应决策模式
Figure SMS_229
，例如，在当前预测环境
Figure SMS_230
及预测决策模式
Figure SMS_231
，下，决策结果为进行风险预警。
本发明通过预构建的决策模式学习模型对历史决策环境数据进行决策模式学习总结，对未来决策模式数据进行预测，提高了决策环境预测在真实环境的有效性，通过决策环境的自学习与适配，可以基于决策环境的变化而更新，避免决策环境突变，提高了决策环境预测的准确性。同时，基于预构建的知识因子构建策略规则库，基于策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，通过引入领域知识及决策规则使得模型训练训练样本的依赖程度大幅降低，提高模型训练效率及准确率。并且，通过历史真实数据及价值模型，对策略模型进行交互优化，可以不断提高策略模型训练的速度及稳健性，进一步提高预测结果。因此本发明提出的时序数据环境分析及决策方法，可以提高时序数据环境分析及决策的准确性。
如图6所示，是本发明一实施例提供的时序数据环境分析及决策装置的功能模块图。
本发明所述时序数据环境分析及决策装置100可以安装于电子设备中。根据实现的功能，所述时序数据环境分析及决策装置100可以包括决策模式学习模块101、模仿学习模块102及模型优化及预测模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述决策模式学习模块101，用于获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
所述模仿学习模块102，用于基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
所述模型优化及预测模块103，用于基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，利用所述优化策略模型对待检测市场指标时序数据进行决策预测，得到包括决策结果的决策环境分析结果。
详细地，所述时序数据环境分析及决策装置100各模块的具体实施方式如下：
步骤一、获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据。
本发明实施例中，所述历史决策环境数据包括不同领域时序数据的历史环境指标观测值
Figure SMS_232
（即历史时序数据）及对应的历史决策动作
Figure SMS_233
，例如，极端天气场景下，环境指标观测值包括：降雨量、风力等指标，对应的决策动作包括预警、预告等；地铁运行故障诊断决策环境中，环境指标观测值可包括：轨道摩擦系数、表层温度、轨道车速度、震动幅度等指标，对应的决策动作包括警告、预警等；金融领域决策环境中，环境指标观测值包括：大盘指数、基金收益等指标，决策动作包括购买、抛售等。
所述决策模式学习是指基于当前可得的环境指标状态和决策动作序列，对不同时点的时序数据样本分布总结不同决策模式
Figure SMS_234
。例如，极端天气应对场景下的决策环境通过可由降雨量、风力等指标来刻画，这些指标的分布在每种模式下具有显著差异，基于这些环境指标观测值的分布可将极端天气应对决策划分为极端暴风模式、降雨模式、冰冻模式等。
详细地，所述利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，包括：
利用所述决策模式学习模型中的决策目标函数构建所述历史决策环境数据的序列划分点；
基于所述序列划分点对所述历史决策环境数据进行序列划分，得到历史决策模式数据。
本发明一可选实施例中，决策模式学习模型的输入为当前可获得的历史环境指标
Figure SMS_239
及历史决策动作
Figure SMS_240
，输出为学习概率密度
Figure SMS_241
，表示
Figure SMS_242
时刻决策环境
Figure SMS_243
的对应决策模式为
Figure SMS_244
的概率，例如，若序列的观测序列长度为
Figure SMS_245
，则模型输出的每个决策环境对应的决策模式的概率矩阵
Figure SMS_235
为：
Figure SMS_236
，其中，
Figure SMS_237
,表示基于历史序列
Figure SMS_238
预测的下一步的决策环境及其对应的模式的概率分布。
本发明一可选实施例中，所述历史决策环境数据中的序列划分点
Figure SMS_246
通过下述决策目标函数构建：
Figure SMS_247
Figure SMS_248
Figure SMS_249
Figure SMS_250
其中，
Figure SMS_262
表示序列划分个数，
Figure SMS_264
表示预设的决策模式个数的上限，
Figure SMS_265
分别为历史决策环境数据分割后每部分序列包括的样本数据的最小数量和最大数量，
Figure SMS_267
表示第
Figure SMS_268
个时间窗口
Figure SMS_269
包括的样本数据的个数为
Figure SMS_270
，
Figure SMS_251
为核密度函数，
Figure SMS_253
为窗宽，
Figure SMS_254
为
Figure SMS_255
时刻的历史决策环境数据，
Figure SMS_256
表示第
Figure SMS_259
个决策模式，
Figure SMS_263
表示在随机变量
Figure SMS_266
条件下的第
Figure SMS_252
个决策模式的函数表示，
Figure SMS_257
表示在随机变量
Figure SMS_258
服从
Figure SMS_260
的条件下，对
Figure SMS_261
的期望。
本发明一可选实施例中，核密度函数可以选用标准正态分布的密度函数，窗宽默认取值为两个样本点距离最小值的2倍。
进一步地，例如，决策模式学习模型的输入为历史观测序列
Figure SMS_272
, 输出为
Figure SMS_274
个时间分割点
Figure SMS_275
及对应的每段样本的分布函数
Figure SMS_276
（与决策模式一一对应）。如图2所示，左侧为模型输入的原始观测序列
Figure SMS_277
的折线图。右图为模型输出的结果，其中
Figure SMS_278
为第一个时间窗口对应的决策环境，这些样本的分布函数（即决策模式）为
Figure SMS_279
；
Figure SMS_271
为第二个时间窗口对应的决策环境，对应分布为
Figure SMS_273
;……，各时间窗口内观测样本无交集，所有时间窗口内的样本并集包括所有历史观测序列。
步骤二、获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据。
本发明实施例中，所述基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，包括：
基于所述决策模式学习模型及预设的滑动时间窗口对所述实时时序数据进行决策模式判断，得到不同滑动时间窗口对应的实时决策模式数据。
本发明一可选实施例中，通过下述公式对所述实时时序数据进行决策模式判断：
Figure SMS_280
其中，
Figure SMS_281
表示“在实时时序数据
Figure SMS_282
”的条件下，“
Figure SMS_283
表示当前决策模式
Figure SMS_284
为第
Figure SMS_285
个决策模式
Figure SMS_286
成立”的概率。
本发明一可选时实施例中，对于当前实时的决策环境观测值
Figure SMS_287
，输出为模型预判的当前的决策模式及预测概率，即
Figure SMS_288
，同样以滑动时间窗口来估计当前分布的时序指标对应的时间范围，假设为
Figure SMS_289
，其中
Figure SMS_290
为时间窗口的长度，可由根据决策问题的实际场景来决定，例如高铁运行故障运维场景可以为1~3分钟；极端天气预警场景可以为5~10天，大盘预警场景可以为2~5分钟，但不管何种场景要求时间窗口内的样本量不低于30。
步骤三、基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据。
本发明实施例中，所述预构建的图神经网络可以为改进的R-GCN网络，与传统的卷积神经网络不同，本发明的R-GCN网络带有时间标签
Figure SMS_291
，且每个R-GCN中嵌入了以
Figure SMS_292
为权重的注意力机制。
详细地，所述基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据，包括：
基于预设的数据结构从所述历史决策模式数据及所述实时决策模式数据中提取定量指标序列，基于预设的关系规则从所述历史决策模式数据及所述实时决策模式数据提取关系网络；
汇总所述定量指标序列及所述关系网络得到所述时序图；
利用所述图神经网络对所述时序图进行环境预测，得到未来决策环境数据；
基于所述决策模式学习模型对所述未来决策环境数据进行模式预测，得到未来决策模式数据。
本发明一可选实施例中，历史决策模式数据及实时决策模式数据中每个时点对应的决策环境变量按照数据结构分为特征向量和关系网络，其中特征向量为传统的定量指标序列（用
Figure SMS_293
表示），关系网络（用矩阵
Figure SMS_294
表示）。参照图3所示，这两类数据分别输入到R-GCN中，由于本发明的R-GCN网络带有时间标签
Figure SMS_295
，且每个R-GCN中嵌入了以
Figure SMS_296
为权重的注意力机制，每个R-GCN的最后一个隐含层通过特征聚合层后形成高维时序指标，该指标输入到全连接层，最终通过激活函数输出预测的观测值
Figure SMS_297
，即未来决策环境数据，同时为了提高该模型框架对非稳态环境模式下（当前或者未来的环境模式可能与历史上挖掘的环境模式
Figure SMS_298
均有较大差异）预测的稳健性，本发明提出了新型的损失函数：
Figure SMS_299
其中，
Figure SMS_300
表示输出的未来决策环境数据，
Figure SMS_301
表示时间窗口
Figure SMS_302
中的估计值，
Figure SMS_303
为预设权重。
本发明实施例中，通过预构建的图神经网络，基于历史的决策环境变量可以滚动预测未来
Figure SMS_304
期的决策环境变量取值，这里
Figure SMS_305
的设置一般取值为
Figure SMS_306
（S2中的滑动时间窗口），基于这
Figure SMS_307
个新的预测值，可利用步骤二中的方法得到未来决策模式数据
Figure SMS_308
。
步骤四、基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型。
本发明实施例中，所述知识因子是指通过专业理论和实践经验总结的专家知识因子特征，在实际生产实践中，往往包括不同层级的技术因子指导风险预警决策。例如，气象灾害监控预警中，主要测量的数据由：温度湿度、风速风向、降水量、大气压等。这类指标是大气状态的经典预报指标，由于无法直接挖掘状态与风险之间的深层关系，仅有这些指标无法对台风、干旱、高温等气象灾害进行准确预警，因此需要在此基础上增加更为专业的测量测绘指标，如空、天、地、海四基观测设备（雷达、卫星等），气象演变软件模拟，甚至包括各波段天文图像等等。所述策略规则库是指基于知识因子构建的专家策略规则，对于风险的预测具有更直接的指导意义，本发明通过
Figure SMS_310
来表示专家规则
Figure SMS_311
其中
Figure SMS_313
为策略函数，
Figure SMS_315
表示在指标状态
Figure SMS_316
下做出的动作。本发明认为该函数具有参数形式
Figure SMS_317
,
Figure SMS_318
由知识因子来刻画；其中
Figure SMS_309
为经过决策模式学习模型得到的环境学习结果；
Figure SMS_312
为
Figure SMS_314
矩阵，其形式如下：
Figure SMS_319
其中，
Figure SMS_321
的元素表示在某个给定的状态
Figure SMS_322
及其对应的模式
Figure SMS_324
下执行动作
Figure SMS_325
的概率，
Figure SMS_326
表示状态为
Figure SMS_327
，且其模式为
Figure SMS_328
时执行动作
Figure SMS_320
的概率，同时
Figure SMS_323
也可分为确定和非确定性知识，确定性知识矩阵每行取值仅有一个为1，其余为0；不确定性知识取值每行元素均取自（0,1），每行熵越大表示知识可信度越高。
本发明一可选实施例中，不同于经典的Actor-Critic框架，本发明的Actor策略网络基于时间窗口滑动和注意力机制进行预测，引入多尺度时间窗口的注意力机制Multi-Span-GRU，将注意力机制嵌入GRU中，将GRU模型中的h作为编码器各个时刻的隐藏状态，跟注意力机制中解码器在
Figure SMS_329
时刻的隐藏状态
Figure SMS_330
联合打分预测贡献度，最后将编码器的隐藏状态加权平均即可得到新的解码器输入式
Figure SMS_331
，作为后续解码器GRU模型的输入。
本发明一可选实施例中，所述策略网络包括基于注意力机制构建的编码器及解码器。其中，可以建立嵌入注意力机制的 GRU网络作为编码器及解码器。
进一步地，所述基于所述策略规则库训练预构建的策略网络，得到策略模型，包括：
将所述策略规则库中的数据划分为目标序列及多个特征序列，利用所述策略网络中嵌入注意力机制的编码器对所述多个特征序列进行贡献度打分，得到贡献度打分结果；
基于所述贡献度打分结果，利用所述策略网络中嵌入注意力机制的解码器对所述目标序列进行预测，得到预测结果，返回所述将所述策略规则库中的数据划分为目标序列及多个特征序列的步骤，直至满足预设的训练条件，得到所述策略模型。
本发明实施例中，基于注意力机制的GRU公式如下：
Figure SMS_332
Figure SMS_333
Figure SMS_334
Figure SMS_335
Figure SMS_336
其中，[]表示两个向量相连，*表示矩阵的乘积；其中，式（1）和式（2）表示GRU网络中复位门的过程，控制上一时刻的状态
Figure SMS_351
进入GRU的量。
Figure SMS_352
表示复位门门控向量，由当前输入
Figure SMS_353
和上一时刻的状态
Figure SMS_354
得到，由于激活函数使用了sigmoid函数，
Figure SMS_355
的取值范围在0和1之间，所以可以控制
Figure SMS_356
的接收量并与
Figure SMS_357
共同得到新输入
Figure SMS_337
；式（3）和式（4）表示更新门的过程，用于控制新输入
Figure SMS_339
与上一时刻状态
Figure SMS_341
对当前时刻状态
Figure SMS_342
的贡献量；
Figure SMS_344
表示更新门门控向量，同样使用sigmoid函数作为激活函数，以
Figure SMS_347
作为上一时刻状态
Figure SMS_349
对
Figure SMS_350
的贡献程度，以
Figure SMS_338
作为新输入
Figure SMS_340
对
Figure SMS_343
的贡献程度；式（5）是根据当前时刻状态
Figure SMS_345
输出动作
Figure SMS_346
，
Figure SMS_348
是对应的参数。
参照图4所示，选择策略规则库中包含决策环境观测变量
Figure SMS_359
所有变量的高维度特征作为输入，然后将时间序列分为特征序列
Figure SMS_360
与目标序列
Figure SMS_361
，设定时间窗口大小为
Figure SMS_362
，以特征序列
Figure SMS_363
为输入，建立 GRU网络作为编码器，将输出的所有时刻状态与解码器的每一时间步的状态使用注意力机制重构新的解码器输入分量，并与目标序列一起作为解码器GRU 网络的输入，最后根据GRU网络训练输出动作
Figure SMS_364
。多尺度时间窗口注意力机制实现了每一时刻的输入对于当前时刻的输出的贡献差异，通过构造得分函数得到相应的权重，通过加权平均的方法重构新的输入用来预测当前输出，对于循环神经网络而言，编码器所有时刻的隐藏状态对于某一时刻解码器的隐藏状态的贡献度应表现出差异，才能更有效地完成预测任务。这种贡献度的度量可以通过得分函数式（6）获得，具体形式多样，本发明可以使用效果较好的两种函数方法,
Figure SMS_365
或
Figure SMS_358
。得分函数需要归一化才能表现为权重，一般使用 softmax 函数式（7），最后将编码器的隐藏状态加权平均即可得到新的解码器输入式（8）。
Figure SMS_366
Figure SMS_367
Figure SMS_368
其中，
Figure SMS_370
表示解码器在
Figure SMS_371
时刻的隐藏状态；
Figure SMS_372
表示编码器的各个时刻的隐藏状态；
Figure SMS_373
表示贡献度的得分；
Figure SMS_374
表示得到的权重向量，
Figure SMS_375
每个时点
Figure SMS_376
对应的权重分量；
Figure SMS_369
表示解码器的新输入。
具体地，所述基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，包括：
将所述策略模型中的网络参数权重复制到所述价值网络中，得到初始化价值网络；
获取基于所述策略规则库构造的历史时序训练集合，利用所述初始化价值网络对所述历史时序训练集合中的数据进行预测，得到时序预测结果；
基于所述时序预测结果计算预测奖励值，利用所述预测奖励值计算损失值；
在所述损失值不满足预设的损失阈值时，调整所述初始化价值网络中的参数，返回所述利用所述初始化价值网络对所述时序训练集合中的数据进行预测的步骤，直至所述损失值满足预设的损失阈值时，得到所述价值模型。
本发明实施例中，在构建价值网络时，其主体网络结构与策略网络相同。区别在于价值网络的最终输出为一维连续值，即输出为对状态价值或状态与动作对应的价值，本发明采用同样的网络框架Multi-Span-GRU来训练价值网络，同时，基于策略规则库构造的时序训练集合中包含部分历史真实数据对应的时序数据以及知识因子对应的时序数据，具体实现分为两步：第一步：除最后输出层外，将Actor策略网络Multi-Span-GRU的权重值复制给价值网络Critic，由于在之前的训练中，策略网络已经被训练过若干次，其权重值对状态变量深层特征的已经有了较强的提取能力，将输出层之外的权重复制到价值网络，无需从权重随机初始化开始训练，在模型优化中采样效率上进一步提高；第二步，计算不同时序数据的奖励值，并根据奖励值反向传导更新Critic价值网络。
本发明实施例中，在很多实际场景下，由于历史样本少，样本采集成本高，导致可用训练样本不足，进而限制了博弈决策方法在很多实际场景的应用。本发明通过引入专家领域知识及决策规则进行模仿学习，通过带有多尺度时间记忆的监督学习方式，利用专家因子和规则指导算法模型限定优化边界，这使得强化算法对训练样本的依赖程度大幅降低，有效解决了现有场景（如虚拟游戏场景）下表现良好的强化算法在解决实际复杂决策问题时常常失效的难题，拓宽了强化算法的实际应用场景。
例如，以金融领域的风险预警场景为例，在环境中利用部分真实历史数据中根据状态输入时序数据
Figure SMS_377
，执行相应动作
Figure SMS_378
，计算得到奖励
Figure SMS_379
和下一步的状态
Figure SMS_380
，则任意时刻开始我们可以得到轨迹
Figure SMS_381
，以
Figure SMS_382
表示风险是/否发生的真实结果，同样以
Figure SMS_383
表示预测是/否发生真实结果,则奖励值可以下式表示：
Figure SMS_384
，其中
Figure SMS_385
为奖励系数，其中，上式表示当
Figure SMS_386
与
Figure SMS_387
结果相同时，给与正向奖励，否则给与负向奖励；同时，基于专家规则的知识因子，也可将对应不同时刻的时序数据
Figure SMS_388
作为输入，用Critic价值网络计算专家策略
Figure SMS_389
的价值，记为
Figure SMS_390
，表示基于策略网络求得的策略去构建价值函数，并计算损失值如下：
Figure SMS_391
Figure SMS_392
Figure SMS_393
其中，
Figure SMS_395
，表示对
Figure SMS_397
的期望，
Figure SMS_399
表示基于策略网络求得的策略构建价值函数求得的奖励值，
Figure SMS_400
表示基于价值网络学习的数据驱动的价值函数求得的奖励值，
Figure SMS_403
为预设权重，
Figure SMS_404
表示
Figure SMS_406
服从
Figure SMS_394
这个条件分布时，对中括号里面的函数求期望。
Figure SMS_396
实际上为时间差分
Figure SMS_398
的期望，
Figure SMS_401
越小意味着训练的策略网络会指引Critic逐步获取更高的价值，算法将使用反向传播方法使得
Figure SMS_402
逐步减小，最终收敛到最优解，对应Critic价值网络
Figure SMS_405
中的未知参数。
本发明通过决策模式学习可对历史决策环境的模式进行总结，并对未来决策环境的变化趋势进行预测。通过学习环境，时刻感知决策环境的变化，及时调整策略网络和价值网络，这使得强化学习求解的策略更能适配未来的决策环境，保证了决策模型在实际投入使用时具有稳健的表现。
步骤五、基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型。
本发明实施例中，通过构建决策模式学习模型、模仿专家预训练Actor策略网络，此时的Actor策略模型具有局限性，没有通过全局的样本进行训练可能出现决策偏差。因此，需要对其在真实数据中进一步优化，本发明提出响应式探索强化学习模型（Response-Exploration RL，RERL），该框架由学习环境的正向预测模型（即预构建的决策模式学习模型）和求解actor-critic网络（即求得的策略模型与价值模型）的逆向模型组成。两个模型共享一个编码
Figure SMS_408
器,它将观测值
Figure SMS_410
映射成
Figure SMS_411
维向量，其中，正向预测模型
Figure SMS_413
将当前时间步
Figure SMS_415
的编码观察和
Figure SMS_416
处的动作映射到编码的下一个时间步
Figure SMS_417
；逆向模型
Figure SMS_407
将编码器的当前观察值
Figure SMS_409
和编码器的下一个观察值
Figure SMS_412
作为输入，并预测动作在
Figure SMS_414
上的概率分布。
详细地，所述基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，包括：
基于所述决策模式学习模型从所述实时决策模式数据及所述未来决策模式数据中抽取样本三元组；
基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练，并计算所述决策模式学习模型的决策损失，以及计算所述策略模型及所述价值模型的交互损失；
基于所述决策损失及所述交互损失计算联合价值损失，在所述联合价值损失不满足预设的联合训练条件时，更新所述决策模式学习模型、所述策略模型及所述价值模型中的模型参数，返回所述基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练的步骤，直至所述联合价值损失满足预设的联合训练条件时，将训练完成的策略模型作为优化策略模型。
本发明一可选实施例中，参照图5所示，RERL共涉及决策模式学习模型
Figure SMS_418
，Acotr策略模型
Figure SMS_419
，Critic价值模型
Figure SMS_420
，这三个模型分别由
Figure SMS_421
参数化，交互训练的步骤如下：
1）将初始参数
Figure SMS_422
定义为基于知识因子进行模拟学习后决策模式学习模型
Figure SMS_423
，Acotr策略模型
Figure SMS_424
，Critic价值模型
Figure SMS_425
各模型的输出，清空Buffer缓存区
Figure SMS_426
；
2）重复迭代下述步骤K次：
（1）基于所述决策模式学习模型抽取样本三元组
Figure SMS_427
，其中，
Figure SMS_428
表示环境状态及决策动作的观测值，
Figure SMS_429
表示未来环境状态及决策动作的预测值，
Figure SMS_430
表示某个环境状态下作出某个决策得到的奖励值，可以通过策略模型抽样产生
Figure SMS_431
，再利用价值模型计算得到对应的奖励值
Figure SMS_432
；
（2）将样本三元组添加到buffer里
Figure SMS_433
；
（3）启动决策模式学习模型
Figure SMS_434
，得到决策损失（即步骤三中的损失函数）：
Figure SMS_435
（4）利用Actor-Critic得到：
Figure SMS_436
Figure SMS_437
其中，
Figure SMS_438
、
Figure SMS_439
表示不同时间状态的策略网络，
Figure SMS_440
表示给定决策环境状态
Figure SMS_441
及决策模式
Figure SMS_442
下，执行某个动作
Figure SMS_443
的概率；
利用
Figure SMS_444
训练价值网络
Figure SMS_445
；
计算
Figure SMS_446
；
计算策略模型及价值模型的交互损失：
Figure SMS_447
（5）计算总的联合价值损失：
Figure SMS_448
其中，预设权重因子
Figure SMS_449
；
3）根据
Figure SMS_450
更新
Figure SMS_451
；
4）根据
Figure SMS_452
更新
Figure SMS_453
；
5）根据
Figure SMS_454
更新
Figure SMS_455
；
6）通过交替训练
Figure SMS_456
步来降低
Figure SMS_457
取值的方法完成上述第2）步（1）到（5）步的训练，并对第2）步迭代
Figure SMS_458
步，直至满足预设结束迭代条件判断：如收敛性、最大迭代步数等，停止最终训练得到优化策略模型。
本发明实施例中，RERL强化框架通过历史真实数据和专家策略等不同形式训练critic价值网络，为Actor策略模型继续提升表现提供探索空间，模型在应用中可更加快速地达到收敛状态，有效提高了模型训练收敛速度及稳健性。
步骤六、利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
本发明实施例中，所述优化策略模型基于决策模式学习与Actor-Critic强化框架进行联合训练，并提出了新的联合价值损失函数，通过逐步迭代的方法逐步提升环境学习与强化学习模型性能，可以同时输出待检测市场指标时序数据对应的决策环境分析结果，包括：决策环境的预测结果
Figure SMS_459
及与该环境适配的决策结果及对应决策模式
Figure SMS_460
，例如，在当前预测环境
Figure SMS_461
及预测决策模式
Figure SMS_462
，下，决策结果为进行风险预警。
本发明通过预构建的决策模式学习模型对历史决策环境数据进行决策模式学习总结，对未来决策模式数据进行预测，提高了决策环境预测在真实环境的有效性，通过决策环境的自学习与适配，可以基于决策环境的变化而更新，避免决策环境突变，提高了决策环境预测的准确性。同时，基于预构建的知识因子构建策略规则库，基于策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，通过引入领域知识及决策规则使得模型训练训练样本的依赖程度大幅降低，提高模型训练效率及准确率。并且，通过历史真实数据及价值模型，对策略模型进行交互优化，可以不断提高策略模型训练的速度及稳健性，进一步提高预测结果。因此本发明提出的时序数据环境分析及决策装置，可以提高时序数据环境分析及决策的准确性。
如图7所示，是本发明一实施例提供的实现所述时序数据环境分析及决策方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如时序数据环境分析及决策程序。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如时序数据环境分析及决策程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如时序数据环境分析及决策程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
所述总线13可以是外设部件互连标准（Peripheral ComponentInterconnect，简称PCI）总线或扩展工业标准结构（ExtendedIndustry Standard Architecture，简称EISA）总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图7仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的时序数据环境分析及决策程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据；
获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据；
基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型；
利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据；
获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据；
基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型；
利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种时序数据环境分析及决策方法，其特征在于，所述方法包括：
获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据；
获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据；
基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型；
利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
2.如权利要求1所述的时序数据环境分析及决策方法，其特征在于，所述利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，包括：
利用所述决策模式学习模型中的决策目标函数构建所述历史决策环境数据的序列划分点；
基于所述序列划分点对所述历史决策环境数据进行序列划分，得到历史决策模式数据。
3.如权利要求1所述的时序数据环境分析及决策方法，其特征在于，所述基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，包括：
基于所述决策模式学习模型及预设的滑动时间窗口对所述实时时序数据进行决策模式判断，得到不同滑动时间窗口对应的实时决策模式数据。
4.如权利要求1中所述的时序数据环境分析及决策方法，其特征在于，所述基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据，包括：
基于预设的数据结构从所述历史决策模式数据及所述实时决策模式数据中提取定量指标序列，基于预设的关系规则从所述历史决策模式数据及所述实时决策模式数据提取关系网络；
汇总所述定量指标序列及所述关系网络得到所述时序图；
利用所述图神经网络对所述时序图进行环境预测，得到未来决策环境数据；
基于所述决策模式学习模型对所述未来决策环境数据进行模式预测，得到未来决策模式数据。
5.如权利要求1所述的时序数据环境分析及决策方法，其特征在于，所述基于所述策略规则库训练预构建的策略网络，得到策略模型，包括：
将所述策略规则库中的数据划分为目标序列及多个特征序列，利用所述策略网络中嵌入注意力机制的编码器对所述多个特征序列进行贡献度打分，得到贡献度打分结果；
基于所述贡献度打分结果，利用所述策略网络中嵌入注意力机制的解码器对所述目标序列进行预测，得到预测结果，返回所述将所述策略规则库中的数据划分为目标序列及多个特征序列的步骤，直至满足预设的训练条件，得到所述策略模型。
6.如权利要求1中所述的时序数据环境分析及决策方法，其特征在于，所述基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型，包括：
将所述策略模型中的网络参数权重复制到所述价值网络中，得到初始化价值网络；
获取基于所述策略规则库构造的历史时序训练集合，利用所述初始化价值网络对所述历史时序训练集合中的数据进行预测，得到时序预测结果；
基于所述时序预测结果计算预测奖励值，利用所述预测奖励值计算损失值；
在所述损失值不满足预设的损失阈值时，调整所述初始化价值网络中的参数，返回所述利用所述初始化价值网络对所述时序训练集合中的数据进行预测的步骤，直至所述损失值满足预设的损失阈值时，得到所述价值模型。
7.如权利要求1所述的时序数据环境分析及决策方法，其特征在于，所述基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，包括：
基于所述决策模式学习模型从所述实时决策模式数据及所述未来决策模式数据中抽取样本三元组；
基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练，并计算所述决策模式学习模型的决策损失，以及计算所述策略模型及所述价值模型的交互损失；
基于所述决策损失及所述交互损失计算联合价值损失，在所述联合价值损失不满足预设的联合训练条件时，更新所述决策模式学习模型、所述策略模型及所述价值模型中的模型参数，返回所述基于所述样本三元组，利用所述价值模型对所述策略模型进行联合价值训练的步骤，直至所述联合价值损失满足预设的联合训练条件时，将训练完成的策略模型作为优化策略模型。
8.一种时序数据环境分析及决策装置，其特征在于，所述装置包括：
决策模式学习模块，用于获取包括历史时序数据的历史决策环境数据，利用预构建的决策模式学习模型对所述历史决策环境数据进行决策模式学习，得到历史决策模式数据，获取实时时序数据，基于所述决策模式学习模型对所述实时时序数据进行决策模式判断，得到实时决策模式数据，基于所述历史决策模式数据及所述实时决策模式数据构建时序图，利用预构建的图神经网络对所述时序图进行模式预测，得到未来决策模式数据；
模仿学习模块，用于基于预构建的知识因子构建策略规则库，基于所述策略规则库训练预构建的策略网络，得到策略模型，基于所述策略模型，对预构建的价值网络进行模仿学习，得到价值模型；
模型优化及预测模块，用于基于所述实时决策模式数据及所述未来决策模式数据，对所述策略模型及所述价值模型进行交互训练，得到优化策略模型，利用所述优化策略模型对待检测市场指标时序数据进行决策分析，得到包括决策结果的决策环境分析结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的时序数据环境分析及决策方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的时序数据环境分析及决策方法。
CN202310552350.8A 2023-05-17 2023-05-17 时序数据环境分析及决策方法、装置、设备及存储介质 Pending CN116306902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310552350.8A CN116306902A (zh) 2023-05-17 2023-05-17 时序数据环境分析及决策方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310552350.8A CN116306902A (zh) 2023-05-17 2023-05-17 时序数据环境分析及决策方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116306902A true CN116306902A (zh) 2023-06-23

Family

ID=86781835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310552350.8A Pending CN116306902A (zh) 2023-05-17 2023-05-17 时序数据环境分析及决策方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116306902A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595356A (zh) * 2023-07-17 2023-08-15 腾讯科技（深圳）有限公司 时序信号预测方法、装置、电子设备及存储介质
CN116806814A (zh) * 2023-06-30 2023-09-29 广东美赛尔细胞生物科技有限公司 一种间充质干细胞外泌体保存温度控制方法及系统
CN117668518A (zh) * 2023-11-29 2024-03-08 深圳市广智信息科技有限公司 一种离散型智能制造方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116806814A (zh) * 2023-06-30 2023-09-29 广东美赛尔细胞生物科技有限公司 一种间充质干细胞外泌体保存温度控制方法及系统
CN116806814B (zh) * 2023-06-30 2024-04-12 广东美赛尔细胞生物科技有限公司 一种间充质干细胞外泌体保存温度控制方法及系统
CN116595356A (zh) * 2023-07-17 2023-08-15 腾讯科技（深圳）有限公司 时序信号预测方法、装置、电子设备及存储介质
CN116595356B (zh) * 2023-07-17 2023-09-22 腾讯科技（深圳）有限公司 时序信号预测方法、装置、电子设备及存储介质
CN117668518A (zh) * 2023-11-29 2024-03-08 深圳市广智信息科技有限公司 一种离散型智能制造方法及系统

Similar Documents

Publication Publication Date Title
WO2023065545A1 (zh) 风险预测方法、装置、设备及存储介质
CN109902222B (zh) 一种推荐方法及装置
CN109583501B (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
US11593611B2 (en) Neural network cooperation
Anand et al. Fractional-Iterative BiLSTM Classifier: A Novel Approach to Predicting Student Attrition in Digital Academia
CN116306902A (zh) 时序数据环境分析及决策方法、装置、设备及存储介质
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN112699998B (zh) 一种时间序列预测方法、装置、电子设备及可读存储介质
CN111352965A (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN110659723A (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
JP6172317B2 (ja) 混合モデル選択の方法及び装置
CN112527966A (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN116340796B (zh) 时序数据分析方法、装置、设备及存储介质
CN112328646B (zh) 多任务课程推荐方法、装置、计算机设备及存储介质
CN112163671A (zh) 一种新能源场景生成方法及系统
CN109447096A (zh) 一种基于机器学习的扫视路径预测方法和装置
CN113330462A (zh) 使用软最近邻损失的神经网络训练
CN116353623A (zh) 一种基于自监督模仿学习的驾驶控制方法
Lu Multifeature fusion human motion behavior recognition algorithm using deep reinforcement learning
Zhou Sports achievement prediction and influencing factors analysis combined with deep learning model
CN117235633A (zh) 机构分类方法、装置、计算机设备及存储介质
CN116541507A (zh) 一种基于动态语义图神经网络的视觉问答方法及系统
Blume Agent-based models for policy analysis
CN113807005B (zh) 基于改进fpa-dbn的轴承剩余寿命预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230623

RJ01 Rejection of invention patent application after publication