CN110428331A - 基于云平台的量化交易数据处理系统及方法 - Google Patents
基于云平台的量化交易数据处理系统及方法 Download PDFInfo
- Publication number
- CN110428331A CN110428331A CN201910660561.7A CN201910660561A CN110428331A CN 110428331 A CN110428331 A CN 110428331A CN 201910660561 A CN201910660561 A CN 201910660561A CN 110428331 A CN110428331 A CN 110428331A
- Authority
- CN
- China
- Prior art keywords
- strategy
- transaction
- execution file
- cloud platform
- market
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Technology Law (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了一种基于云平台的量化交易数据处理系统及方法，该系统包括：策略研发装置，用于将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略；策略回测装置，用于根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性；交易执行装置，用于接收通过所述策略回测装置验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。本发明解决了现有技术个人搭建的量化交易系统存在交易策略准确性不够的技术问题。
Description
技术领域
本发明涉及量化交易领域，具体而言，涉及一种基于云平台的量化交易数据处理系统及方法。
背景技术
现有技术量化交易员在进行量化交易的策略开发时，通常自行搭建开发环境，大多由单台服务器运行，在运行效率、可靠性、可扩展性等方面存在不足，且难以对其开发的交易策略模型进行有效的集中管理。具体地，自行搭建的系统，无法实现复杂的策略开发和回测，导致金融策略准确性无法保证。此外，开发人员往往需要回避高性能开销的算法，对交易策略的准确性本身会造成一定程度的影响。
为了解决上述技术问题中的至少一个，本发明提供了一种基于云平台的量化交易数据处理系统及方法。
发明内容
本发明的主要目的在于提供一种基于云平台的量化交易数据处理系统及方法，以解决现有技术个人搭建的量化交易系统存在交易策略准确性不够的技术问题。
为了实现上述目的，根据本发明的一个方面，提供了一种基于云平台的量化交易数据处理系统，该系统包括：
策略研发装置，用于将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略；
策略回测装置，用于根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性；
交易执行装置，用于接收通过所述策略回测装置验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。
进一步的，所述金融策略包括：预测类策略；所述基于云平台的量化交易数据处理系统，还包括：
策略运行装置，用于接收通过所述策略回测装置验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，以使交易系统根据所述行情预测信号进行交易操作。
进一步的，所述策略运行装置，还用于将所述行情预测信号发送给所述交易执行装置；
所述交易执行装置，还用于根据所述行情预测信号和所述实时金融数据运行交易类策略的策略执行文件生成第二交易指令，以使交易系统根据所述第二交易指令进行交易操作。
进一步的，所述基于云平台的量化交易数据处理系统还包括：
策略发布装置，用于接收所述策略研发装置发送的通过所述策略回测装置验证的金融策略的策略执行文件，并将交易类策略的策略执行文件发送给所述交易执行装置，将预测类策略的策略执行文件发送给所述策略运行装置。
进一步的，所述基于云平台的量化交易数据处理系统还包括：
爬虫装置，用于抓取所述实时市场咨询信息，并将所述实时市场咨询信息发送给所述策略运行装置，其中，所述实时市场咨询信息包括：财经评论信息、投资机构市场研报、上市公司公告中的至少一种。
进一步的，所述基于云平台的量化交易数据处理系统还包括：
大数据存储装置，用于接收并存储所述爬虫装置周期性抓取的金融数据形成所述历史金融数据，其中，所述历史金融数据包括：股票市场中的历史行情收盘价、上市公司单季财务报表、上市公司净利润、上市公司净资产收益率、宏观经济指标数据、外汇市场中的历史价格波动率、外汇市场中的历史头寸中的至少一种。
进一步的，所述基于云平台的量化交易数据处理系统还包括：
信号发送装置，用于接收所述策略运行装置发送的所述行情预测信号；将所述行情预测信号转化成预设格式的交易指令；将该转化的交易指令发送给所述交易执行装置，以使所述交易执行装置根据该转化的交易指令控制交易系统进行交易操作。
为了实现上述目的，根据本发明的另一方面，提供了一种基于云平台的量化交易数据处理方法，该方法包括：
将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略；
根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性；
获取通过回测验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。
进一步的，所述金融策略包括：预测类策略；
所述基于云平台的量化交易数据处理方法，还包括：
获取通过回测验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，以使交易系统根据所述行情预测信号进行交易操作。
进一步的，所述基于云平台的量化交易数据处理方法还包括：
根据所述行情预测信号和所述实时金融数据运行交易类策略的策略执行文件生成第二交易指令，以使交易系统根据所述第二交易指令进行交易操作。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于云平台的量化交易数据处理方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述基于云平台的量化交易数据处理方法中的步骤。
本发明的有益效果为：本发明实施例提出了一种基于金融生态云的智能量化交易系统及方法，对金融策略的开发、回测、以及最终投入生产使用提供完整的技术支撑。本发明集中搭建基于云平台的量化交易系统，可以减少重复开发，对资源进行集中管理和复用。通过云平台搭建，本系统可根据使用量进行弹性伸缩，相对于传统由个人搭建的系统而言，对系统资源的利用率更为科学。在访问量突增的情况下，也能更加快捷的扩展系统容量，满足使用需求。且当投入实际生产运行时，由于个人搭建的环境稳定性有所不足，无法应对突发宕机状况，可能当市场行情发生时由于系统宕机错失交易机会。而通过云平台搭建，当此类情况发生时，可通过快速伸缩容器在极短的时间内恢复系统访问。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例基于云平台的量化交易数据处理系统的示意图；
图2是本发明实施例策略研发装置的结构图；
图3是本发明实施例策略回测装置的结构图；
图4是本发明实施例策略发布装置的结构图；
图5是本发明实施例的交易执行装置的结构图；
图6是本发明实施例的策略运行装置的结构图；
图7是本发明实施例的信号发送装置的结构图；
图8是本发明实施例的爬虫装置的结构图；
图9是本发明实施例的大数据存储装置的结构图；
图10是本发明实施例基于云平台的量化交易数据处理方法的流程图；
图11是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例基于云平台的量化交易数据处理系统的示意图，如图1所示，本发明实施例的基于云平台的量化交易数据处理系统包括：策略研发装置1、策略回测装置2、交易执行装置4。
策略研发装置1，用于将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略。
策略回测装置2，用于根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性。
交易执行装置4，用于接收通过所述策略回测装置验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。
在本发明实施例中，所述金融策略还包括：预测类策略。如图1所示，本发明实施例的基于云平台的量化交易数据处理系统包括：策略运行装置5。
策略运行装置5，用于接收通过所述策略回测装置验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，以使交易系统根据所述行情预测信号进行交易操作。
在本发明实施例中，策略运行装置5，还用于将所述行情预测信号发送给所述交易执行装置4，所述交易执行装置4，还用于根据所述行情预测信号和所述实时金融数据运行交易类策略的策略执行文件生成第二交易指令，以使交易系统根据所述第二交易指令进行交易操作。
如图1所示，本发明实施例的基于云平台的量化交易数据处理系统包括：策略发布装置3、爬虫装置7、大数据存储装置8和信号发送装置6。
策略发布装置3，用于接收所述策略研发装置1发送的通过所述策略回测装置2验证的金融策略的策略执行文件，并将交易类策略的策略执行文件发送给所述交易执行装置4，将预测类策略的策略执行文件发送给所述策略运行装置5。
爬虫装置7，用于抓取所述实时市场咨询信息，并将所述实时市场咨询信息发送给所述策略运行装置5，其中，所述实时市场咨询信息包括：财经评论信息、投资机构市场研报、上市公司公告中的至少一种。
大数据存储装置8，用于接收并存储所述爬虫装置7周期性抓取的金融数据形成所述历史金融数据，其中，所述历史金融数据包括：股票市场中的历史行情收盘价、上市公司单季财务报表、上市公司净利润、上市公司净资产收益率、宏观经济指标数据、外汇市场中的历史价格波动率、外汇市场中的历史头寸中的至少一种。
信号发送装置6，用于接收所述策略运行装置发送的所述行情预测信号；将所述行情预测信号转化成预设格式的交易指令；将该转化的交易指令发送给所述交易执行装置，以使所述交易执行装置根据该转化的交易指令控制交易系统进行交易操作。
在本发明实施例中，策略研发装置1用于实现用户进行策略代码的开发及编译，并将编译后的策略发送给策略回测装置2以进行回溯测试，并接收测试结果信息，然后根据测试结果信息，将通过测试的策略执行文件发送给策略发布装置3。策略回测装置2接收策略研发装置1发送过来的编译好的策略文件，并从大数据存储装置7中加载历史数据，对策略进行回测，将测试结果信息返回给策略研发装置。策略发布装置3接收策略研发装置1发送过来的通过回测的策略执行文件，根据策略类型区分“预测类策略”或“交易类策略”，将“交易类策略”发布至交易执行装置4，将“预测类策略”发布至策略运行装置5。
交易执行装置4接收策略发布装置3发布的“交易类策略”，使用容器技术在云平台进行交易策略的集成部署，然后运行所述“交易类策略”。在本发明实施例中，金融策略的运行主要分为三种情况：(1)交易执行类策略，通过从交易系统获取实时数据，并运行所述交易类策略的策略执行文件，将运行结果，即生成的交易指令返回给交易系统进行交易。(2)预测类策略，该类策略在策略运行装置5运行，通过爬虫装置7抓取的实时市场咨询信息运行策略执行文件生成行情预测信号，并通过信号发送装置6发送至交易执行装置4，由交易执行装置4转发给交易系统进行交易。(3)最后一种则为混合型策略运行方式，该方式将策略运行装置5所输出的行情预测信号经信息发送装置6发送至交易执行装置4，并结合交易型策略一同运行输出交易指令发送给交易系统进行交易。
在本发明中，金融策略包括交易类的策略和趋势预测类的策略，交易类的策略主要用于实现套利、风险控制等，多关注日内交易以及实时数据信息。而趋势预测类的策略则更关注宏观经济层面以及对未来趋势的预测，同时会借助机器学习人工智能等技术进行辅助。
图2是本发明实施例策略研发装置的结构图，如图2所示，在本发明的一具体实施例中，策略研发装置1可以包括：开发组件单元11、策略管理单元12和策略编译单元13。
在本实施例中，策略研发装置1主要通过开发组件单元11提供金融策略开发功能，用户通过开发组件单元11完成策略开发。在本发明实施例中，开发组件单元11可以包括图形化开发界面支撑(Jyputer Notebook)、代码保存、上传工具等。用户通过IE浏览器登录服务器后即可打开开发界面进行编程。开发完成的金融策略主要用于算法交易以及量化投资，例如业界常见的：多因子择股策略、马克维茨投资组合策略、Blacklitter Man策略、冰山策略等。开发完成之后将策略文件(*.py文件)交给策略编译单元13对策略文件进行编译。编译过程可以采用Cython引擎，将策略文件编译成*.dll、*.o等可供执行程序直接调用的策略执行文件，并通过策略管理单元12对策略进行版本、权限等控制和管理。完成开发并通过回测后的策略通过策略发布装置3对外发布。常见的开发流程为，用户通过IE登录服务器，进行策略开发，开发完成后填写策略名称以及版本号通过策略编译单元13将代码进行编译，并保存入策略管理单元12。策略管理单元12提供用户对策略进行权限设置，控制共享范围，并根据版本号保存用户历史上存入的每一个策略。
图3是本发明实施例策略回测装置的结构图，如图3所示，在本发明的一具体实施例中，策略回测装置2可以包括：策略集成部署单元21、历史数据重放单元22、回测函数执行单元23和回测结果存储单元24。
在本实施例中，策略回测装置2主要通过策略研发装置3获得完成开发的策略，由策略集成部署单元21对策略在云平台进行基于容器技术的集成部署，并通过大数据存储装置8访问API输入历史数据，大数据存储装置8主要采用Hadoop+Spark技术，底层数据存储可以采用HDFS文件集群进行搭建。通过spark技术获取到hdfs集群上的大量历史数据，常用于策略研究的历史金融数据有诸如：股票市场中的历史行情收盘价、上市公司单季财务报表、上市公司净资产收益率等，外汇市场中的历史价格波动率、历史头寸等，根据研究的交易标的物不同，所使用的数据也有所不同。确定使用的数据后依靠历史数据回放单元22将获取到的所有历史数据按照时间顺序依次输入至回测函数执行单元23,通过回测函数模拟历史数据对应的每日交易损益，并进行累计，回测执行完调用回测结果存储单元24将历史每日累计损益进行保存以供研究人员进行分析判断策略有效性。
图4是本发明实施例策略发布装置的结构图，如图4所示，在本发明的一具体实施例中，策略发布装置3可以包括：安全扫描单元31和策略同步单元32。
在本实施例中，策略发布装置3主要接收策略研发装置1的策略编译单元13编译完成后的策略执行文件(因目前业界量化策略研究语言以实用Python为主，为能使开发完成的策略直接高效的供业务系统调用，需要使用Cython引擎将其编译为*.dll或*.o等格式的编译后文件)。安全扫描单元31用于对接收的策略执行文件进行格式检查以及安全检查。策略同步单元32根据“预测型策略”或“交易型策略”将策略分别同步至交易执行装置4或策略运行装置5。
图5是本发明实施例的交易执行装置的结构图，如图5所示，在本发明的一具体实施例中，交易执行装置4可以包括：交易策略集成部署单元41、交易策略运行单元42、交易指令调用单元43和数据同步单元44。
在本实施例中，交易执行装置4主要负责运行“交易类策略”形成交易指令，或根据行情预测信号形成交易指令，装置首先通过交易策略集成部署单元41部署从策略发布装置3获得的策略执行文件，部署完成后交由交易策略运行单元42运行，通过数据同步单元44从交易系统获取实时交易数据，策略运行单元42会持续运行部署的策略，实时向交易系统发送交易指令，或者通过行情预测信号形成风险控制、交易行为控制等交易指令。例如，在市场遇到剧烈波动时，交易策略运行单元42会发出高风险预警，以减少投资物持仓。交易指令调用单元43则主要由通讯模块构成，其将输入的交易指令根据交易品类别等传递到具体的交易系统，执行实际的交易行为。
图6是本发明实施例的策略运行装置的结构图，如图6所示，在本发明的一具体实施例中，策略运行装置5可以包括：数据接收单元51、预测策略集成部署单元、预测策略运行单元53。
在本实施例中，预测策略部署单元52用于部署策略发布装置3同步过来的策略执行文件。爬虫装置7主要负责抓取实时市场咨询信息，市场咨询信息主要涵括：市场情绪相关信息(主要由爬虫装置7从各大财经网论坛抓取以及各大股评财经评论信息)、各投资机构的市场研报、各上市公司的公告等。信息抓取后，由数据接收单元51将其格式化为可被系统处理的标准结构化数据。预测策略运行单元53基于数据运行策略执行文件进行分析预测，输出市场行情预测信号，例如：当各类财经论坛或机构研报对某类行业持续看好时，预测策略运行单元53则会根据前置单元给出的数据发出强烈的买入信号。市场行情预测信号则通过信号发送装置6传递给交易执行装置4，生成相应的交易指令并在交易系统进行执行。
图7是本发明实施例的信号发送装置的结构图，如图7所示，在本发明的一具体实施例中，信号发送装置6可以包括：预测结果接收单元61、数据标准化单元62以及信号发送单元63。
在本实施例中，信号发送装置6使用预测结果接收单元61获得策略运行装置5输出的行情预测信号，并使用数据标准化单元62将行情预测信号统一格式化为标准交易指令(例如：send order:buy 6.3 sell 7.4pair＝USD.CNY此类可被系统识别并明确执行交易买卖的指令)，最后通过信号发送单元63将交易指令发送给交易执行装置4，由交易执行装置4由生成相应的交易指令并在交易系统进行执行。
图8是本发明实施例的爬虫装置的结构图，如图8所示，在本发明的一具体实施例中，爬虫装置7可以包括：爬虫单元71以及数据发送单元72。
在本发明中，爬虫装置7主要通过爬虫单元71从外网收集市场金融数据并经数据发送单元72将其发送至大数据存储装置8，形成储存在大数据存储装置8中的历史金融数据。此处的主要流程为：爬虫单元71将当日爬取到的信息保存为文本，通过数据发送装置72以标准json\xml等格式发送至大数据存储装置8。同时，爬虫单元71还用于抓取实时市场咨询信息，并将所述实时市场咨询信息通过数据发送单元72发送给所述策略运行装置5，其中，所述实时市场咨询信息包括：财经评论信息、投资机构市场研报、上市公司公告等。
图9是本发明实施例的大数据存储装置的结构图，如图9所示，在本发明的一具体实施例中，大数据存储装置8可以包括：数据存储单元81、批量加工单元82以及数据查询单元83。
在本发明实施例中，大数据存储装置8主要负责提供策略开发、回测过程当中所涉及到数据。其中根据投资、交易的标的物不同有所区别。例如：股票类的投资策略则关注市场每日收盘数据，上市公司净利润等，季度财报，宏观经济指标数据等。
在本发明实施例中，数据存储单元81主要通过爬虫装置7获取并存储每日获取的财经信息、宏观经济指标、机构研报、市场公布信息等对策略有影响的数据，并将原始数据文本化后全量保存在大数据存储装置8中。批量加工单元82主要负责对每日爬取的原始数据进行加工，将文本化之后的原始数据统一格式化，处理成为诸如：{行业-科技板块，市场舆情：持续看好......}，使其能够被系统识别并进行处理。数据加工时效主要为日级。数据查询单元83主要提供加工完成后数据的查询功能，供策略开发装置1、策略回测装置2通过程序接口进行访问。
从以上描述可以看出，本发明实施例的提出了一种基于金融生态云的智能量化交易系统，对交易策略的开发、回测、以及最终投入生产使用提供完整的技术支撑，同时具备7×24小时运行、可扩展、高可用等企业级性能指标。具有如下特点：
1、集中搭建基于金融生态云的量化交易系统，可以减少重复开发，对资源进行集中管理和复用。
2、系统整体通过云平台搭建，装置可根据使用量进行弹性伸缩。相对于传统由个人搭建的系统而言，对系统资源的利用率更为科学。在访问量突增的情况下，也能更加快捷的扩展系统容量，满足使用需求。且当投入实际生产运行时，由于个人搭建的环境稳定性有所不足，无法应对突发宕机状况，可能当市场行情发生时由于系统宕机错失交易机会。而通过云平台搭建，当此类情况发生时，可通过快速伸缩容器在极短的时间内恢复系统访问。
3、相较于个人搭建的量化系统，由于个人很难兼备IT专业技能以及量化投资领域的专业知识，所以在系统搭建上经常顾此失彼。以银行业的量化研究人员为例，其大数据处理以及高效并发处理IT能力较弱。在本发明中，集成了诸如：Spark(Apache Spark是专为大规模数据处理而设计的快速通用计算引擎),Hadoop(Hadoop主要为本发明提供分布式文件系统Hadoop Distributed File System,以下简称HDFS),Hive(hive是基于Hadoop的一个数据仓库工具，用于将结构化数据文件映射成为一张数据库表进行查询访问)等多项大数据处理技术，能够将历史数据分析能力从原来的5年延伸至50年，处理时效则从原数十小时，降低至1小时内。对于量化研究效率和准确率，均有极大的提升。
从以上实施例可以看出，本发明提供的基于金融生态云的智能量化交易系统充分利用了云平台的高可用性及快速伸缩能力，极大提升了平台稳定性和可靠性。同时通过FaaS(function as a service)等新技术，为提供单次回测时所需要的高额服务资源开销。主要达到了以下技术效果：
1、建立了一套稳定高可用的量化平台为行内外乃至个人客户提供量化服务；
2、实现统一管理各业务部门的量化研究资产；
3、降低各业务部门单独搭建系统的成本；
4、为量化研究人员提供了统一的数据访问渠道。(从原来的手工获取数据，本地加工再进行建模运行，变为用户只需关心系统提供的接口，不用关注背后的文件存储格式，数据库类型等)；
5、建立了一套基于云平台的量化系统，能够更稳定的提供7×24小时的服务，避免当行情发生时，由于系统不稳定或宕机而错失交易机会；
6、提供了更为准确的，高效的策略分析能力，系统采用大数据结合爬虫等新技术，提供更准确、高效的历史数据分析。从而提升策略预测以及市场行情抓取的准确性。
显然，本领域的技术人员应该明白，上述的本发明的各装置和单元可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
基于同一发明构思，本发明实施例还提供了一种基于云平台的量化交易数据处理方法，如下面的实施例所述。由于基于云平台的量化交易数据处理方法解决问题的原理与基于云平台的量化交易数据处理系统相似，因此基于云平台的量化交易数据处理方法的实施例可以参见基于云平台的量化交易数据处理系统的实施例，重复之处不再赘述。
图10是本发明实施例基于云平台的量化交易数据处理方法的流程图，如图10所示，本发明实施例的基于云平台的量化交易数据处理方法包括步骤S101至步骤S105。
步骤S101，将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略和预测类策略。
在本发明实施例中，用户通过策略研发装置1进行策略研发，研发完成后策略通过编译并保存在策略研发装置1中。
步骤S102，根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性。
在本发明实施例中，金融策略研发完成后进入策略回测阶段，该步骤为必要阶段，在策略完成回测阶段之前，无法保证其有效性，故不允许发布。使用策略回测装置2对策略执行回测，并记录策略回测结果，用于分析其有效性，回测阶段的历史金融数据来自大数据存储装置8。
在本发明实施例中，完成回测阶段后进入策略发布阶段，根据两类策略类型：预测型策略和交易型策略，将二者通过策略发布装置3分别同步到交易执行装置4和策略运行装置5进入流程的“策略运行阶段”。后续根据策略分类，进入不同的流程分支，交易执行型策略进入S103，趋势预测型策略进入S104，混合型策略进入S105。
步骤S103，获取通过回测验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。
在本发明实施例中，本步骤的执行在交易执行装置4之上，交易类策略通常为频率较高的日内交易，如：每日根据策略中预先设置的仓位，买入价，卖出价执行外汇套利策略。交易执行装置4通过数据同步单元44从交易系统获取实时交易数据，运行策略执行文件输出交易指令后，输出到交易系统进行交易，交易指令包含：买入\卖出、何种投资标的、买入\卖出价格、持有量等交易必要要素。
步骤S104，获取通过回测验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，以使交易系统根据所述行情预测信号进行交易操作。
在本发明实施例中，本步骤主要用于处理趋势预测类型策略，该类策略持续独立运行，通过爬虫装置7提供的实时市场咨询信息。并将行情预测信号通过信号发送装置6经交易执行装置4输出到交易系统进行交易。(例如：策略运行装置5持续分析爬虫装置7提供的数据，根据所爬取科技板块持续舆情看好，国家最新科技扶持政策，中美贸易战新闻等数据，分析出5G板块看涨趋势，于是向交易执行装置4发出增加持有信号。)
步骤S105，获取通过回测验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，根据所述行情预测信号和所述实时金融数据运行通过回测验证的交易类策略的策略执行文件生成第二交易指令，以使交易系统根据所述第二交易指令进行交易操作。
在本发明实施例中，本步骤主要处理混类类策略执行，该类策略即包含趋势预测类策略，同时又包含交易执行类策略。混合型策略运行从策略运行装置5开始驱动，当策略运行装置5发出行情预测信号并通过信号发送装置6输出到交易执行装置4，交易执行装置4通过交易策略运行单元42将行情预测信号结合交易策略运行输出交易指令，送达交易系统进行交易。如：策略运行装置5发现汇率短时间波动剧烈，发出高风险预警，此时套利策略将发出降低某类货币持有量，降低风险。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图11所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述基于云平台的量化交易数据处理方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种基于云平台的量化交易数据处理系统，其特征在于，包括：
策略研发装置，用于将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略；
策略回测装置，用于根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性；
交易执行装置，用于接收通过所述策略回测装置验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。
2.根据权利要求1所述的基于云平台的量化交易数据处理系统，其特征在于，所述金融策略包括：预测类策略；
所述基于云平台的量化交易数据处理系统，还包括：
策略运行装置，用于接收通过所述策略回测装置验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，以使交易系统根据所述行情预测信号进行交易操作。
3.根据权利要求2所述的基于云平台的量化交易数据处理系统，其特征在于，所述策略运行装置，还用于将所述行情预测信号发送给所述交易执行装置；
所述交易执行装置，还用于根据所述行情预测信号和所述实时金融数据运行交易类策略的策略执行文件生成第二交易指令，以使交易系统根据所述第二交易指令进行交易操作。
4.根据权利要求2所述的基于云平台的量化交易数据处理系统，其特征在于，还包括：
策略发布装置，用于接收所述策略研发装置发送的通过所述策略回测装置验证的金融策略的策略执行文件，并将交易类策略的策略执行文件发送给所述交易执行装置，将预测类策略的策略执行文件发送给所述策略运行装置。
5.根据权利要求2所述的基于云平台的量化交易数据处理系统，其特征在于，还包括：
爬虫装置，用于抓取所述实时市场咨询信息，并将所述实时市场咨询信息发送给所述策略运行装置，其中，所述实时市场咨询信息包括：财经评论信息、投资机构市场研报、上市公司公告中的至少一种。
6.根据权利要求5所述的基于云平台的量化交易数据处理系统，其特征在于，还包括：
大数据存储装置，用于接收并存储所述爬虫装置周期性抓取的金融数据形成所述历史金融数据，其中，所述历史金融数据包括：股票市场中的历史行情收盘价、上市公司单季财务报表、上市公司净利润、上市公司净资产收益率、宏观经济指标数据、外汇市场中的历史价格波动率、外汇市场中的历史头寸中的至少一种。
7.根据权利要求2所述的基于云平台的量化交易数据处理系统，其特征在于，还包括：
信号发送装置，用于接收所述策略运行装置发送的所述行情预测信号；将所述行情预测信号转化成预设格式的交易指令；将该转化的交易指令发送给所述交易执行装置，以使所述交易执行装置根据该转化的交易指令控制交易系统进行交易操作。
8.一种基于云平台的量化交易数据处理方法，其特征在于，包括：
将用户设置的金融策略编译成对应的策略执行文件，所述金融策略包括：交易类策略；
根据历史金融数据以及所述策略执行文件对所述金融策略进行回测，以验证所述金融策略的有效性；
获取通过回测验证的交易类策略的策略执行文件，并根据从交易系统获取的实时交易数据运行该交易类策略的策略执行文件生成第一交易指令，以使交易系统根据所述第一交易指令进行交易操作。
9.根据权利要求8所述的基于云平台的量化交易数据处理方法，其特征在于，所述金融策略包括：预测类策略；
所述基于云平台的量化交易数据处理方法，还包括：
获取通过回测验证的预测类策略的策略执行文件，并根据抓取的实时市场咨询信息运行该预测类策略的策略执行文件生成行情预测信号，以使交易系统根据所述行情预测信号进行交易操作。
10.根据权利要求9所述的基于云平台的量化交易数据处理方法，其特征在于，还包括：
根据所述行情预测信号和所述实时金融数据运行交易类策略的策略执行文件生成第二交易指令，以使交易系统根据所述第二交易指令进行交易操作。
11.根据权利要求9所述的基于云平台的量化交易数据处理方法，其特征在于，所述实时市场咨询信息包括：财经评论信息、投资机构市场研报、上市公司公告中的至少一种。
12.根据权利要求8所述的基于云平台的量化交易数据处理方法，其特征在于，所述历史金融数据包括：股票市场中的历史行情收盘价、上市公司单季财务报表、上市公司净利润、上市公司净资产收益率、宏观经济指标数据、外汇市场中的历史价格波动率、外汇市场中的历史头寸中的至少一种。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8至12任一项方法中的步骤。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求8至12任意一项方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910660561.7A CN110428331A (zh) | 2019-07-22 | 2019-07-22 | 基于云平台的量化交易数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910660561.7A CN110428331A (zh) | 2019-07-22 | 2019-07-22 | 基于云平台的量化交易数据处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110428331A true CN110428331A (zh) | 2019-11-08 |
Family
ID=68411607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910660561.7A Pending CN110428331A (zh) | 2019-07-22 | 2019-07-22 | 基于云平台的量化交易数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428331A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613992A (zh) * | 2020-12-25 | 2021-04-06 | 傲创(杭州)资产管理有限公司 | 一种基于ai及数据挖掘的全球量化交易智能平台 |
| CN113222602A (zh) * | 2021-05-19 | 2021-08-06 | 中国银行股份有限公司 | 一种基于区块链的5g消息的外汇交易处理系统及方法 |
| CN114723566A (zh) * | 2022-06-10 | 2022-07-08 | 高盈国际创新科技(深圳)有限公司 | 金融交易数据处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989538A (zh) * | 2015-07-28 | 2016-10-05 | 盛立金融软件开发（杭州）有限公司 | 一种金融产品自动交易系统及自动交易方法 |
| CN106934716A (zh) * | 2017-03-10 | 2017-07-07 | 燧石科技（武汉）有限公司 | 基于网络分布式计算的多模块自动化交易系统 |
| CN107133874A (zh) * | 2017-05-27 | 2017-09-05 | 武汉优品鼎盛科技服务有限公司 | 一种基于遗传规划的量化策略生成系统 |
| CN109615528A (zh) * | 2019-02-21 | 2019-04-12 | 上海盈首信息科技有限公司 | 一种ai炒股机器人全自动交易平台 |
| CN109934708A (zh) * | 2017-12-15 | 2019-06-25 | 武汉楚鼎信息技术有限公司 | 一种本地多策略模拟交易方法及系统装置 |
-
2019
- 2019-07-22 CN CN201910660561.7A patent/CN110428331A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989538A (zh) * | 2015-07-28 | 2016-10-05 | 盛立金融软件开发（杭州）有限公司 | 一种金融产品自动交易系统及自动交易方法 |
| CN106934716A (zh) * | 2017-03-10 | 2017-07-07 | 燧石科技（武汉）有限公司 | 基于网络分布式计算的多模块自动化交易系统 |
| CN107133874A (zh) * | 2017-05-27 | 2017-09-05 | 武汉优品鼎盛科技服务有限公司 | 一种基于遗传规划的量化策略生成系统 |
| CN109934708A (zh) * | 2017-12-15 | 2019-06-25 | 武汉楚鼎信息技术有限公司 | 一种本地多策略模拟交易方法及系统装置 |
| CN109615528A (zh) * | 2019-02-21 | 2019-04-12 | 上海盈首信息科技有限公司 | 一种ai炒股机器人全自动交易平台 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613992A (zh) * | 2020-12-25 | 2021-04-06 | 傲创(杭州)资产管理有限公司 | 一种基于ai及数据挖掘的全球量化交易智能平台 |
| CN113222602A (zh) * | 2021-05-19 | 2021-08-06 | 中国银行股份有限公司 | 一种基于区块链的5g消息的外汇交易处理系统及方法 |
| CN114723566A (zh) * | 2022-06-10 | 2022-07-08 | 高盈国际创新科技(深圳)有限公司 | 金融交易数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Naqvi et al. | Time series databases and influxdb | |
| Muschalle et al. | Pricing approaches for data markets | |
| Jansen | Machine Learning for Algorithmic Trading: Predictive models to extract signals from market and alternative data for systematic trading strategies with Python | |
| Heather | The evolution of European traded gas hubs | |
| Bothos et al. | Using social media to predict future events with agent-based markets | |
| CN109509040A (zh) | 预测基金潜在客户的建模方法、营销方法及装置 | |
| CN106663037A (zh) | 特征处理权衡管理 | |
| CN106575246A (zh) | 机器学习服务 | |
| US11775495B2 (en) | Database indexing in performance measurement systems | |
| CN110428331A (zh) | 基于云平台的量化交易数据处理系统及方法 | |
| Liu et al. | Is sustainable competitive advantage an advantage for stock investors? | |
| CN110383320A (zh) | 一种评估的方法和系统 | |
| Snihovyi et al. | Implementation of robo-advisor services for different risk attitude investment decisions using machine learning techniques | |
| Márquez et al. | Advanced business analytics | |
| CN102496126A (zh) | 一种托管资产交易数据监控设备 | |
| Gatzert et al. | Portfolio optimization with irreversible long-term investments in renewable energy under policy risk: A mixed-integer multistage stochastic model and a moving-horizon approach | |
| CN111433806A (zh) | 用于分析众筹平台的系统和方法 | |
| US20180342014A1 (en) | Framework for decoupled development and management of scalably-mergeable trading strategies | |
| Vacík et al. | Scenarios and their application in strategic planning | |
| US20210295435A1 (en) | Platform and method for monetizing investment data | |
| KR20130135810A (ko) | 오피니언 마이닝에 기반한 주식 자동매매 시스템 및 그 방법, 이를 위한 프로그램을저장한 저장매체 | |
| Park et al. | How to manage portfolio by robo-advisor | |
| Henker et al. | Hephaistos: A Management System for Massive Order Book Data from Multiple Centralized Crypto Exchanges with an Internal Unified Order Book | |
| Savchenko et al. | Development of software architecture and machine learning modules of robo-advisor system for personalized investment portfolio generation | |
| US20130031021A1 (en) | Method and system for analyzing investments and investment plans and risks and related businesses with dynamic decision making |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191108 |
|
| RJ01 | Rejection of invention patent application after publication |