CN110322351A

CN110322351A - 深度分层策略下的多源驱动量化投资模型

Info

Publication number: CN110322351A
Application number: CN201910597015.3A
Authority: CN
Inventors: 汤春明; 朱雯彦; 于翔
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2019-07-04
Filing date: 2019-07-04
Publication date: 2019-10-11

Abstract

本方法涉及一种深度分层策略下的多源驱动量化投资模型。本方法从多源驱动的角度出发，提出了一种基于先验知识的特征组合，并设计了一个深层次的策略模型，用来在股票市场中辅助交易人员追求利益最大化。该模型包括实现了时间序列趋势判断的预判断模块，以及执行交易动作的操作模块。对于预判模块，我们设计了一个带有回归约束的生成判别网络(RC‑WGAN)来完成任务。对于操作模块，为了使机器学习更加符合人类学习过程的特点，并使其具有控制风险的能力，我们设计了一种基于深层确定性梯度策略(DDPG)的网络结构，它能够通过和市场环境互动，逐步进化，最终形成可以辅助交易者的连续仓位控制决策。我们使用道琼斯工业指数和上海证券交易所指数进行训练和测试。结果表明，该方法在投资回报率和鲁棒性方面具有良好的表现。

Description

深度分层策略下的多源驱动量化投资模型

技术领域

本方法属于深度学习领域，涉及一种深度分层策略下的多源驱动量化投资模型，可通过和市场环境互动，逐步进化，最终形成可以辅助交易者的连续仓位控制决策。

背景技术

金融市场中，高收益与高风险并存，人们一直在争取收益最大化。随着计算机技术的快速发展，早在上世纪70年代，量化投资就已经开始在金融投资领域兴起，又经过近半个世纪的发展，人们结合金融投资细分领域的各自特点，衍生出许多量化投资模型，其中股票的量化投资最具代表性。进入21世纪以后，以高盛为代表的国外投行，对于股市中量化投资的研究进入新阶段。与此同时，人们对人工智能的研究随着谷歌公司AlphaGo的成功达到前所未有的热度。因此，众多学者试图将人工智能应用到股票的量化投资和交易方面，基于人工智能的股票量化投资在国内外逐渐兴起。近年来，监督学习和强化学习先后应用到股票量化投资的研究上，使用这类深度学习技术实现海量数据分析，量化投资从单纯的CTA/alpha等策略逐渐过渡到人工智能实现的交易策略。一方面，基于股票价格随机理论和行为-价格关联性理论，部分研究者使用监督学习来解决股票价格的多变性问题。其中有使用改进的支持向量既回归SVR进行短时高频的交易数据进行了分析；根据股票价格的时序特性使用Recurrent Neural Network(RNN)网络进行预测；将市场情绪与股价相关性研究对象，使用深度网络对金融新闻标题进行分析从而预测股票价格等方法。相对传统统计学模型而言，它在一定程度上解决了因为金融时间序列的非平稳性、非线性和高噪声所带来的拟合难和鲁棒性差等问题；另一方面，部分研究者提出模仿人类认知过程，使用强化学习进行行为建模，实现交易策略。其中有为自动金融交易建立的Q-learning模型，它在三支意大利股票数据上显现出更好的收益；有的提出了循环强化学习RRL的自适应算法，实现了比Q-Learning更好的交易策略；还有的设计了多类别强化学习Agent，并且测试了它们在不同交易频率下的收益表现，等等。人工智能应用于量化投资领域目前已取得一定成绩，同时也存在很多有待进一步改进的问题。

发明内容

本方法涉及一种深度分层策略下的多源驱动量化投资模型。本方法从多源驱动的角度出发，提出了一种基于先验知识的特征组合，并设计了一个深层次的策略模型，用来在股票市场中辅助交易人员追求利益最大化。该模型包括实现了时间序列趋势判断的预判断模块，以及执行交易动作的操作模块。对于预判模块，我们设计了一个带有回归约束的生成判别网络(RC-WGAN)来完成任务。对于操作模块，为了使机器学习更加符合人类学习过程的特点，并使其具有控制风险的能力，我们设计了一种基于深层确定性梯度策略(DDPG)的网络结构，它能够通过和市场环境互动，逐步进化，最终形成可以辅助交易者的连续仓位控制决策。包括以下步骤：

步骤1：获取股票市场原始交易数据并对其进行多源特征提取；

步骤2：使用带有回归约束的生成判别网络模型构建涨跌趋势预判模块；

步骤3：使用深层确定性梯度策略网络模型进行连续仓位控制决策；

与现有技术相比，本方法的突出特点是：

1.不仅将关注点放在模型结构和算法层面，还对投资行为因素进行了分析建模；

2.不仅利用深度网络进行特征提取，还引入了基于市场规律先验知识的抽象特征；

3.将原先容易引发系统性风险的单纯买卖操作模式改进为仓位控制操作模式。

附图说明

图1：本方法深度分层策略下的多源驱动量化投资模型设计图。

图2：预判模块RC-WGAN网络设计图。生成器Generator根据输入的真实数据Z＝{PC1，PC₂，......，PC_T-D}生成后续时序数据并顺序连接形成的完整伪造序列判别器Discriminator的输入为真实数据X_real＝{PC₁，PC₂，......PC_T-D，PC_T-D+1，......，PC_T}和伪造数据X_fake。

图3：操作模块DDPG网络结构设计图。其中(Dence，64，relu)代表拥有64个神经元使用relu作为激活函数的全连接层。(1*3，Conv1d，21，Lrelu)代表拥有21个卷积核为1*3的神经元，使用Lrelu作为激活函数的一维卷积层。

图4：本方法模型Risk_Control_Agent与普通模型Regular_Agent在测试集不同波段的决策收益曲线图。SSE代表上海证券交易所指数环境，DJI代表道琼斯工业市场指数环境。Test_Rising、Test_Falling、Test_Shock分别代表测试集中的上升波段、下降波段和震荡波段。每个子图的横坐标为时间(天)，纵坐标为资金量(美元)。

具体实施方式

为了验证模型对不同市场和不同时间段的鲁棒性，分别使用上海证券交易所指数和道琼斯工业平均指数作为训练和测试数据。其中上证取2000年1月4日到2014年1月26日作为训练集，2014年11月25日到2015年4月24日作为单边上升区间测试集，2015年5月25日到10月22日作为单边下降区间测试集，2014年1月28日到6月30日作为震荡区间测试集。选取道琼斯工业指数2000年4月4日到2017年5月8日作为训练集，2017年5月9日到9月29日作为单边上升区间测试集，鉴于道琼斯工业指数近十年一直处于单边上升趋势，单边下降和震荡区间较难选取，比较之下选取2018年1月25日到4月9日共50天数据作为单边下降区间测试集，2018年3月9日到8月1日作为震荡区间测试集。对训练集和测试集数据进行多尺度市场特征处理，选择时间尺度L＝{5，10，20}，季节周期u＝60，则一天共拥有多个特征分别为

RC-WGAN生成器和判别器都使用3层LSTM层和1层全连接隐藏层，每层LSTM神经元个数为100，使用概率为0.8的dropout，选取LeakyReLU作为激活函数。对Z＝{PC₁，PC₂，...，PC_T-D}进行Z-Score标准化处理后作为生成器的输入，经过网络运算后输出为同理，判别器也使用Z-Score分别对X_fake和X_real进行标准化后的结果作为输入。

对于股票市场整体趋势为上升或下降的单边市场，涨跌趋势的判断难度系数相对较低，因此模型准确率较高。而在趋势不明显的震荡市场中，取得较高准确率则变成一件十分困难的事情。为了验证RC-WGAN在震荡区间的准确率，选取了道琼斯工业指数(DJI)和上海证券交易所(SSE)指数的震荡数据进行测试，当T与N取不同组合时涨跌趋势判断准确率如表。

表T与N取不同组合时趋势判断准确率(％)

从表中可以看出在T、N的不同组合情况中，RC-WGAN在大多数的情况下预测准确率高于其他两种算法。当T＝10，N＝5时，能达到较高预测准确率。

在操作模块DDPG，我们将使用两个Agent进行对比实验，一个是本方法模型Agent使用F和M作为环境状态，另一个是普通Agent仅使用F作为环境状态。仓位动作A规定在[0，1]范围内，奖励R比例系数η₁∶η₂＝1∶100。在实际训练中，为了实现稳健操作，避免网络过度关注极端行情，故将当日市场指数振幅绝对值大于10％的数据从训练集中删除。在测试集上表现见图4。可以看出在基于全部环境特征的前提下，本方法模型Risk_Control_Agent与普通模型Regular_Agent于不同波段均有良好的收益和决策表现。其中下降趋势中本方法模型与普通模型的策略操作表现出明显差异性，前者采取了明确地离场观望策略，而后者则采取积极投机策略。表明具有本方法模型Risk_Control_Agent在各个阶段不仅能够获得较高的收益，还在交易行为方面拥有更加客观理智的特点。

Claims

1.一种深度分层策略下的多源驱动量化投资模型，包括以下步骤：

A.多源特征提取：在考虑股票市场多源驱动特性的基础上，为了对表层特征进行充分抽象提取、减少特征间相关性和冗余度，本方法设计使用了多源特征F＝{P，B，Se，I，N}来表征市场环境；其中P表示使用RC-WGAN网络生成的时序预测因子，B表示行为学因子，定义如式(1)，我们取第t日成交量V_t与l天内均值的比值和收盘指数PC_t与l天内均值的比值，表示当前l下的波动率，选择自定义时间尺度集合L中的多个l组成波动特征序列，间接反应参与者的投资热情和市场资金均衡情况

Se表示市场季节性因子，定义如式(2)，u表示季节长度，α表示季节更迭间隔，使用季节内成交均量进行环比，以反映市场季节特性；

I表示传统技术指标，实验中使用趋势指标I_MACD(12，26，9)、随机指标I_KDJ(9，3，3)和顺势指标I_CCI(14)作为第t日技术指标，这三项指标技术优势互补且相关性较小，它们各自的参数为中短期交易中的经验值；

N表示外围环境因子，定义如式(3)，通常情况下，国家政策的颁布会引起股市涨跌，表现为当天或次日股价的异常波动；对于日交易，虽然当天异常情况无法提前判断，但是可以通过开盘价PO的突变对前天非交易时段的异常进行分析，从而调整后续策略；

N＝(PO_t-PC_t-1)/PO_t (3)

B.预判模块：本方法提出回归约束RC模式下的WGAN算法得到预测日收盘指数PC_t；使用对时序数据处理性能良好的LSTM模型连接多层感知器MLP作为RC-WGAN基本结构；将Z＝{PC₁，PC₂，......，PC_T-D}作为生成器generator的输入，生成器将会根据这些历史数据推演伪造出后续时序数据其中T是时间序列的总长度，D是预测天数的长度，并将其与历史数据顺序连接形成一组完整序列作为输出判别器discriminator的输入为真实数据X_real＝{PC₁，PC₂，......PC_T-D，PC_T-D+1，......，PC_T}和伪造数据X_fake，它的任务是最大程度地区分X_real和X_fake对应的概率分布P_r和P_f；

在训练的过程中加入两个改进措施：1.判别器训练N次后再训练生成器；2.为生成器损失函数添加回归损失，如式(4)；

L_G-MSE＝λ₁L_G+λ₂L_MSE (4)

这里L_G为传统WGAN生成器损失，L_MSE为回归损失，λ₁，λ₂为损失系数；

其中，

x_real和x_fake是P_r和P_f分布中的随机样本；

C.操作模块：使用深度强化学习方法之一的深层确定性梯度策略(DDPG)作为算法基础；强化学习是一种通过与环境相互作用来实现目标的算法，即在状态S下采取行动A来获得奖励R，通过最大化R找到最优策略；本方法将市场环境特征F＝{B，Se，I，N，P}以及资金量M作为状态S，仓位作为动作A，则第t天的状态和动作分别表示为s_t，a_t；根据收益情况设计使用奖励函数ρ如(6)；

ρ(s_t，a_t)＝η₁·r_market+η₂·r_agent (6)

其中r_market作为agent与大盘之间收益比较的奖惩项，而r_agent作为agent本身收益衡量的奖惩项，比例系数为η₁和η₂，r_market和r_agent分别定义如(7)和(8)；

其中，m_agent(t)和m_market(t)分别表示第t日agent与market资金量；

此模块中包含两个经过设计的网络，一个名为演说家Actor的网络负责在状态S下选择动作A，另一个名为评论家Critic的网络用于估计动作值函数Q(S，A)；在用于根据当前S生成A的Actor网络中，P不需要和{B，Se，I，N，M}一同进行初级特征提取，可以直接贡献于高层仓位策略；对于Critic网络而言，为了正确估算当前状态S下采取动作A所对应的Q值，对属于同一层特征的{B，Se，I，N，M}，需要经过多层网络处理才能得到正确的Q(S，A)。