CN108198075A - 基于自主学习的机器人训练方法 - Google Patents

Abstract

本发明提供一种基于自主学习的机器人训练方法，所述方法包括：101、构建训练交易机器人的第一数据库，所述第一数据库包括：训练集、验证集、测试集；102、对所述第一数据库进行预处理，获取第一数据库中的正样本和负样本；103、采用用户初始信息、正样本和负样本训练机器人的交易模型。上述方案能够根据第一数据库的信息进行自主学习，并进行训练交易模型，以便使用训练的交易模型为用户提供更合理的交易信息。

Description

基于自主学习的机器人训练方法

技术领域

本发明涉及计算机技术，具体涉及一种基于自主学习的机器人训练方法。

背景技术

股票的价格都是实时波动的，在股票交易过程中，往往是基于人的主观决策或者在股票价格下跌时来做出选股及购买行为，这样的选股行为并非是基于对股票后续价格走势的预测来做出的，因为可能存在较大的投资风险。为了构建并采取适当的投资组合策略，以实现一种较为稳健的理性投资方式，机器学习技术在证券投资领域的应用，尤其是在投资组合的选择与入市时机的确定方面的应用，例如可基于对股票价格波动的预测来进行选股及择时入股，已被应用于股票购买行为的决策过程中。

为此，如何通过机器人自主学习巡礼股票交易模型成为当前需要解决的问题。

发明内容

针对现有技术中的问题，本发明提供一种基于自主学习的机器人训练方法。

第一方面，本发明提供一种基于自主学习的机器人训练方法，其特征在于，包括：

S1、构建训练交易机器人的第一数据库，所述第一数据库包括：训练集、验证集、测试集；

S2、对所述第一数据库进行预处理，获取第一数据库中的正样本和负样本；

S3、采用用户初始信息、正样本和负样本训练机器人的交易模型。

可选地，所述方法还包括：

S4、机器人采用训练后的交易模型按照用户指令进行股票交易。

可选地，所述训练集包括：所述各类型股票在第一预设时间段内的交易参数信息；

所述测试集包括：各类型股票在第二预设时间段内的交易参数信息；

所述验证集包括：各类型股票在第三预设时间段内的交易参数信息；

所述第三预设时间段与所述第一预设时间段、第二预设时间段有交集，所述第一预设时间段与所述第二预设时间段无交集。

可选地，所述第一数据库中的每一支股票具有特征数据，

所述特征数据包括下述的一种或多种：

股价最高点、股价最低点、带单功能、日K圽线指标开关、1分钟圽线指标开关、5分钟圽线指标开关、1小时圽线指标开关、和/或MA系统控制开关。

可选地，在步骤S2之前，所述方法还包括：

针对第一数据库中的每一只股票，采集第一预设时间段内、第二预设时间段和第三预设时间段内新闻客户端或新闻网站上的与该股票相关的新闻数据；

对采集的新闻数据进行分析，获取每支股票的消息数据；

相应地，所述步骤S2的正样本包括：依据所述消息数据、每一支股票的特征数据，将第一数据库中的每一支股票确定为正样本或负样本。

可选地，所述交易模型为采用深度学习方式建立的股票交易模型。

本发明具有的有益效果如下：

本发明的方法可通过数据集结合交易模型训练机器人，选择合适的参数，以便机器人能够实现自主学习的交易训练，根据交易模型进行合理的股票交易，为用户提供更合理的交易信息。

进一步地，本发明方法中的执行主体可为股票交易机器人，该机器人具有自主学习功能，能够在任一用户可接受的时间段内根据交易信息对该交易信息对应的历史数据、用户数据等进行学习。

附图说明

图1为本发明一种实施例提供的基于自主学习的机器人训练方法的流程示意图；

图2为本发明另一实施例提供的基于自主学习的机器人训练方法的流程示意图；

图3A为本发明一种实施例提供的基于自主学习的机器人操作方法的流程示意图；

图3B为本发明另一实施例提供的基于自主学习的机器人操作方法的流程示意图；

图3C为本发明一实施例提供的参数信息的示意图；

图4A至图4F为本发明一实施例提供的多个交易模型的示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1示出了本发明一实施例提供的基于自主学习的机器人训练方法的流程示意图，如图1所示，本实施例的方法包括如下步骤：

S1、构建训练交易机器人的第一数据库，所述第一数据库包括：训练集、验证集、测试集。

本实施例中第一数据库可以包括多只股票，针对训练集中有的股票，验证集和测试集必须有。验证集和测试集中股票的时间段和训练集中股票的时间段可以有交叠，但不能完全一致。

本实施例的第一数据库用于训练交易机器人的交易模型，以便选取最合适的交易参数供用户使用。

S2、对所述第一数据库进行预处理，获取第一数据库中的正样本和负样本。

S3、采用用户初始信息、正样本和负样本训练机器人的交易模型。例如训练机器人的交易模型对选定的股票的交易参数。

可选地，所述方法还包括：

S4、机器人采用训练后的交易模型按照用户指令进行股票交易。

训练后的交易模型是指使用训练后的交易参数和交易模型一并按照用户指令进行股票交易。

本实施例中，训练集可包括：所述各类型股票在第一预设时间段内的交易参数信息；

所述测试集包括：各类型股票在第二预设时间段内的交易参数信息；

所述验证集包括：各类型股票在第三预设时间段内的交易参数信息；

所述第三预设时间段与所述第一预设时间段、第二预设时间段有交集，所述第一预设时间段与所述第二预设时间段无交集。

另外，所述第一数据库中的每一支股票具有特征数据，

所述特征数据包括下述的一种或多种：

股价最高点、股价最低点、带单功能、日K圽线指标开关、1分钟圽线指标开关、5分钟圽线指标开关、1小时圽线指标开关、和/或MA系统控制开关。

进一步地，参见图2所示，在步骤S2之前，所述方法还包括：

S0、针对第一数据库中的每一只股票，采集第一预设时间段内、第二预设时间段和第三预设时间段内新闻客户端或新闻网站上的与该股票相关的新闻数据；对采集的新闻数据进行分析，获取每支股票的消息数据。

例如，在本实施例中采集并存储网络社交平台上的用户内容，提取与检索关键词匹配的用户内容，检索关键词可理解为第一数据库中的各个股票的相关代码或代表性词语如股票名称、负责人名称；

对提取出的用户内容进行分析，分别获取上述消息数据之外的补充消息数据。例如，采用自然语言分析技术和情感切分方式对收集的新闻数据和用户内容进行处理，以便获取正向消息数据和负向消息数据。

进一步地，还可以依据上述新闻数据和用户内容，确定股票的关注热度。

本实施例中采用爬虫抓取新闻客户端或新闻网站上发布的海量数据，对数据进行去噪声、补缺等预处理。

本实施例中除上述S0之外，上述的步骤S2的正样本包括：依据所述消息数据、每一支股票的特征数据，将第一数据库中的每一支股票确定为正样本或负样本。

也就是说，本实施例中先进行基础数据收集和准备，然后对第一数据库中的每一交易股票的一段时期内的成交进行聚类分析，以区分主力资金和非主力资金，以及该股票的其他信息等。例如，采用K-means算法对每日的每笔成交资金自动聚类。

获取一段时期内的主力资金参与比例及主力资金与新闻之间的关系，以及获取一段时期内主力净流入资金序列与股票涨跌幅序列之间的相关性，以及计算主力控盘能力并跟踪控盘能力的变化趋势，进而训练这只股票的交易模型的参数，以便在后期用户交易这只股票时，直接只用这些参数进行处理预测。

举例来说，所述交易模型为采用深度学习方式建立的股票交易模型。该交易模型供大脑系统实时调用。

上述的交易模型在实战中或电脑程序化交易的设计中如何保证投资者在交易中风险为零和资金最大化。

上述训练的机器人可以随时买进，机器人会自动根据市场波动自动加减仓，即使高位买进后被套，机器人能通过仓位管理并把价格波动转换成利润，最终实现盈利；上述方法还可以解决了因为价格太高或累计涨幅偏多而不敢买进的问题，同时也解决了高位买进被套而亏损出局的问题。

图3A示出了本发明一实施例提供的基于自主学习的机器人操作方法的流程示意图，如图3A所示，本实施例的方法包括如下步骤：

S101、接收待交易股票的信息；

S102、根据待交易股票的标识，获取以当前时刻为基准的第一预设时间段内该标识的历史数据；

S103、根据所述历史数据、预设的交易模型确定每一个交易模型对应的待交易股票的参数信息，如图3C所示。

举例来说，交易模型可包括下述的一种或多种：

(1)指数建仓交易模型；

(2)一手指数建仓对冲交易模型；

(3)二路对冲交易模型；

(4)高点二路对冲交易模型；

(5)低点二路对冲交易模型；

(6)金字塔建仓交易模型；

(7)均分建仓交易模型。

上述的参数信息可包括：

台阶数、台阶步长、入市资金、赢利倍数、股价最高点、股价最低点、带单功能、日K圽线指标开关、1分钟圽线指标开关、5分钟圽线指标开关、1小时圽线指标开关、和/或MA系统控制开关等等。

S104、根据所述参数信息，选择一种以上的交易模型作为第二预设时间段内待交易股票的交易时使用的模型；

S105、根据选择的交易模型、所述参数信息，以及所述待交易股票在第三预设时间段内的交易曲线的斜率，确定是否交易所述待交易股票。

可理解的是，在斜率在预设范围内时，可在股票每下跌一个台阶买入一手等方式实现当前账户中待交易股票的交易。

具体地，上述方法还包括：

S106、根据所述待交易股票在第三预设时间段内的斜率，确定所述待交易股票的交易方向；根据所述交易方向执行所述待交易股票的交易。

例如，若交易方向是买股票，则查看待交易股票所属账户的余额是否满足交易需求；

若不满足交易需求，则发出交易错误的提示信息；

若满足交易需求，则在交易完成后发出交易成功的提示信息。

在具体实现过程中，可根据下述公式购买；

公式(1)中，A是第四预设时间段内的账户的资金总量或待交易股票总持仓量，

n是第四预设时间段内的投资次数或卖出次数，

f是总资金分成多少份数或把总持仓量分成多少份数。

在每次投资中，买进总资金的1/f，总有(1-1/f)资金留在下一次使用，这样做账户资金可实现扩大化管理。

当股价上升时卖出总持仓量的1/f，总有(1-1/f)股票留在账户中下一次使用，实现股票的扩大化管理。

另外，上述第一预设时间段为已经发生的过去的时间段，第二预设时间段为未发生的将来的时间段，第三预设时间段为已经发生的过去的时间段，且第三预设时间段长度为小于所述第一预设时间段长度的时间段。

本实施例的方法在用户提供交易指令如交易信息之后，机器人根据用户指令，通过程序为用户确定是否在当前时间段适合进行交易如果适合，则通过预设的交易方式进行交易，由此，能够解决现有技术中各用户在不了解各个股票的前提下盲目购买，无法正确合理管理资金的问题。

进一步地，本发明方法中的执行主体可为股票交易机器人，该机器人具有自主学习功能，能够在任一用户可接受的时间段内根据交易信息对该交易信息对应的历史数据、用户数据等进行学习，选择程序中最合适当前用户的交易模型，进而根据模型、交易信息当前交易过的交易曲线的斜率、用户数据等确定是否适合执行该用户的交易指令，进而向用户提示交易风险等。

图3B示出了本发明另一实施例提供的基于自主学习的机器人操作方法的流程示意图，如图3B所示，本实施例的方法可包括下述的步骤：

S201、接收待交易股票的信息；

S202、根据待交易股票的标识，获取以当前时刻为基准的第一预设时间段内该标识的历史数据；

S203、根据所述历史数据、预设的交易模型确定每一个交易模型对应的待交易股票的参数信息；

S204、根据所述参数信息，选择一种以上的交易模型作为第二预设时间段内待交易股票的交易时使用的模型；

S205、根据待交易股票的信息和参数信息，确定待建立新账户的初始资金信息；

S206、根据选择的交易模型、所述参数信息，以及所述待交易股票在第三预设时间段内的交易曲线的斜率，确定是否交易所述待交易股票。

S207、在第五预设时间段的交易结束之后，根据当前账户的资金总量、总持仓量、计算当前账户的收益信息，并将收益信息向用户返回。

S208、获取第六预设时间段内的待交易股票所属公司的多媒体信息，根据所述多媒体信息对待交易股票和所述历史数据对待交易股票进行打分，获得分数值，根据分数值、当前账户的待交易股票的持仓量向用户提供交易提示。

本实施例的方法可解决用户盲目购买导致资金无法合理化管理的问题，同时为证券市场的正规化发展提供更合适的建议，优选能够收集各个用户的交易过程，为市场监管人员合理监管提供更有效的信息。

上述图3A和图3B所示的方法的执行主体均为机器人，其机器人通过内部的计算机程序语言实现自主学习，进而为各个用户提供更好的交易提示信息或交易辅助信息。

为更好的理解上述图3A和图3B中的参数信息，举例说明如下：

参数信息

台阶数的初始参数可为500，在当日交易过程中，台阶数没变化一个台阶，机器人均可重新自主学习交易的信息，确定当前是否适合交易待交易股票。

机器人将自主学习的信息均进行存储或云存储。

初始台阶步长可通过历史数据中股价的最高点减去历史数据中股价的最低点后除以台阶数得到的。

股价最高点可为历史数据中的股价最高点，股价最低点可为历史数据中的股价最低点。

带单功能可理解为1或2的数字表示，1表示代亏损单，2表示不代亏损单。

日K圽线指标开关采用数字1或2表示，1表示要日K均线指标，2表示不要日K均线指标；

1分钟圽线指标开关采用数字1或2表示，1表示要1分钟均线指标，2表示不要1分钟均线指标；

5分钟圽线指标开关采用数字1或2表示，1表示要5分钟均线指标，2表示不要5分钟圽线指标；

1小时圽线指标开关采用数字1或2表示，1表示要1小时均线指标，2表示不要1小时均线指标；

MA系统(均线系统)控制开关采用数字1或2表示，1表示卖出股票要均线指标，2表示卖出股票不要均线指标。

历史数据都包括上述的参数，为此在步骤104中，机器人的自主学习可以是采用每一种模型对上述参数进行排列组合进行运算，并获取绝对收益、最大亏损、最大占用资金量等信息；

进而机器人计算每一模型的相对收益，相对收益＝绝对收益/最大亏损+最大占用资金量；

接着，机器人采用相对收益对运算结果进行排序,可找出最佳参数设置，并选择最合适的一种或两种模型进行计算。

交易模型

(一)指数建仓交易模型

如图4A所示，股价降到越低，买入股票的资金按指数级增长，目前使用F＝M×2ⁿ。这个数学公式也就是二倍资金买入法。

F代表投入股票的总资金，M代表投资者第一次买入股票的资金；N代表买入股票的次数。

建仓次数和建仓的点位非常重要，它直接关系到投资有多大的风险或是否能做到波动博弈投资。

当用户买进股票时，总认为股价是在底部，认为买进股票时，股价会升。但是，常常在用户买进股票后，股价就住下跌，下跌以后，就出现亏损，有时会一直下跌。

指数建仓法就是保证股价下跌后有2倍的资金在下面补仓，持仓成本就大幅度降低，几乎和当时股票的价格相当，一旦反弹，损失就可补回。

当要买入一支长线投资股票时，为了规避风险，一定要在股价低位进仓，买入后股价就上涨。这是最理想的情况。但实际操作中，常常不可能有这样的理想情况。当建仓时，买入一支股票，必须考虑到股价下跌的最坏情况。在该股票的日K线图历史走势上，寻找三个价格支撑点。股价的低位都是相对的。但是，当进入股市时的历史最低位是知道的。买入股票时前期的低位是知道的，在前期的低位和历史的最低位之间再找一个点作为第三点。在实际运用中，可以把最低点设计小于历史最低点，称为最可能的股价最低点。前期价格低点或称为价格支撑点。机器人处理中一共选了三个点，加上现在要进入股市的一个点，一共四个点。这四个点位的选择是否适当，它会直接影响在股市投资的风险和利润。在进入股市前，资金可以分成(2⁴＝16)16份。当第一次买入股票时，只能用1/16资金买入股票，如有32万元，第一份进入股市的资金就是2万元。在买入股票时会出现很多种情况。

如图4B所示，(二)一手指数建仓对冲交易模型的示意图。

(三)二路对冲交易模型

如图4F所示，把总资金平分成二份，一份用于买进股票(建多头仓)，一份用于卖出股票(建空头仓)。确保多头和空头资金是用不完的，资金无限大。当股价不断的下跌，不断的建多头单，总有资金建多头仓。当股价不断的上升，不断建空头单，总有资金建空头单。

例如，把每份资金按(历史最高价-历史最低价)分成N份。

当股价不断的下跌，不断的建多头单，总有资金建多头仓。当股价不断的上升，不断建空头单，总有资金建空头单。

(四)高点二路对冲交易模型

如图4D所示，当股价处在历史最高位时，买进1手股票(建多头单)。卖出空头总资金股票(建空头单)；

当股价下跌时，按指数方程式买进建多头股票(建多头仓)同时按指数方程式平空头股票(平空头仓)。

(五)低点二路对冲交易模型

当股价处在历史最低位时，卖出1手股票(建空头单)。买进多头总资金股票(建多头单)；

当股价上升时，按指数方程式平多头股票(平多头仓)同时按指数方程式卖出股票，建空头仓。

(六)金字塔建仓交易模型

如图4C所示，金字塔建仓数学模型是指你建仓时是用上面的直线方程来计算你买入多少股票数，当股价在6.5元时，买进股票5000股；当股价跌到4.5元时，买进股票20000股。股价越低，买进的股数越多。就像一个金字塔形状。建仓方法和建仓次数和点位完全相似于上面的指数建仓法，但也可划分更多的点，根据实战的需要。股票的成本是呈金字塔分布在股价纵坐标上。

(七)均分建仓交易模型

建仓时是用上面的直线方程来计算买入多少股票数，在直线上分多少点可以由读者自已决定。可以分五点，也可以分十点等。

如图4E所示，在6.5元到4.5元之间分8点，当股价在6.5元时,买入票1000股。当股价每跌0.25元，加仓买入1000股；当股价不断向下跌时，均等买入的股票数越来越多，股票的成本是均匀分布在股价的纵坐标上，称之为均分建仓数学模型。

实例说明：

如有800万元资金想投资腾讯(070OHK)这只股票,腾讯此时的价格是472元,找出入市前一年腾讯股价最低位是352元。可以计算当股价不断下跌到352元，每次买入一手(100股)，一直买进资金总量的80％。计算台阶数和台阶高度。

跌幅深度:472-352＝120元,

台阶数:总资金6400000/每手股价47200＝135台阶数

台阶高度:120元/135＝0.88元

当股价每跌一个台阶买进100股,股价愈跌愈买，不断买进。当股价上升三个台阶，卖出100股，股价愈涨不断卖出。起到追跌杀涨的作用。这种操作方法的赢利公式是：赢利＝波动次数X0.88元X3X100。

如果市场上有部份的人像这样追跌杀涨的操作，股价对A股市场每只股票不会大幅波动，不会有暴涨暴跌和股灾。

实战案例，今年2月5日全球发生股灾,用一手高点买入法、在腾讯(070OHK)股价最高点475元买入一手100股，每跌0.3元买进、股价一直跌、一直买进、股价涨能一直卖出、在下跌中虽然净值在减少，但持仓成本不断下跌、每天都能把价格波动变成利润、基本上每天都能赢利三千元。随着时间的推进，每天波动赢利的钱将会大于净值的减小。

上述案例充分说明把有限资金管理成无限大是赢利的关健，证明了从股价最高点买进股票都能赢利，投资者从任何价位进入都能赢利。

本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于自主学习的机器人训练方法，其特征在于，包括：

S1、构建训练交易机器人的第一数据库，所述第一数据库包括：训练集、验证集、测试集；

S2、对所述第一数据库进行预处理，获取第一数据库中的正样本和负样本；

S3、采用用户初始信息、正样本和负样本训练机器人的交易模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

S4、机器人采用训练后的交易模型按照用户指令进行股票交易。

3.根据权利要求1所述的方法，其特征在于，

所述训练集包括：所述各类型股票在第一预设时间段内的交易参数信息；

所述测试集包括：各类型股票在第二预设时间段内的交易参数信息；

所述验证集包括：各类型股票在第三预设时间段内的交易参数信息；

所述第三预设时间段与所述第一预设时间段、第二预设时间段有交集，所述第一预设时间段与所述第二预设时间段无交集。

4.根据权利要求1所述的方法，其特征在于，所述第一数据库中的每一支股票具有特征数据，

所述特征数据包括下述的一种或多种：

股价最高点、股价最低点、带单功能、日K圽线指标开关、1分钟圽线指标开关、5分钟圽线指标开关、1小时圽线指标开关、和/或MA系统控制开关。

5.根据权利要求3所述的方法，其特征在于，在步骤S2之前，所述方法还包括：

针对第一数据库中的每一只股票，采集第一预设时间段内、第二预设时间段和第三预设时间段内新闻客户端或新闻网站上的与该股票相关的新闻数据；

对采集的新闻数据进行分析，获取每支股票的消息数据；

相应地，所述步骤S2的正样本包括：依据所述消息数据、每一支股票的特征数据，将第一数据库中的每一支股票确定为正样本或负样本。

6.根据权利要求1所述的方法，其特征在于，所述交易模型为采用深度学习方式建立的股票交易模型。