CN112819640B - 一种面向微服务的金融回测容错系统及方法 - Google Patents
一种面向微服务的金融回测容错系统及方法 Download PDFInfo
- Publication number
- CN112819640B CN112819640B CN202110155726.2A CN202110155726A CN112819640B CN 112819640 B CN112819640 B CN 112819640B CN 202110155726 A CN202110155726 A CN 202110155726A CN 112819640 B CN112819640 B CN 112819640B
- Authority
- CN
- China
- Prior art keywords
- financial
- module
- error
- return
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 70
- 238000011084 recovery Methods 0.000 claims abstract description 56
- 238000013102 re-test Methods 0.000 claims description 96
- 238000012545 processing Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 9
- 238000011002 quantification Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012951 Remeasurement Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Abstract
本发明提出一种面向微服务的金融回测容错系统及方法,涉及金融量化回测的技术领域,解决了当前金融回测出现错误时,仅以宏观的容器状态数据为判定标准,无法正确定位出错位置的问题,数据获取模块获取金融市场行情数据,数据库模块存储数据,回测模块运行回测任务,金融回测任务运行失败时容错模块采用宏观的容器状态信息和回测模块返回的错误代码相结合的办法,根据金融回测系统的数据链路来回推定位出错的位置,并输出错误恢复方法,并通过日志告警模块将容错模块不能恢复的金融回测任务运行错误信息录入日志,向管理人员发出告警通知,避免了多次无意义的重试,保证了金融回测容错系统的正确性。
Description
技术领域
本发明涉及金融量化回测的技术领域,更具体地,涉及一种面向微服务的金融回测容错系统及方法。
背景技术
随着金融市场相关理论的不断完成,以及金融工程的发展初成体系,同时计算机技术得到了普及并飞速进步,大量利用计算机技术基于投资理论、统计学等设计的模型融入了金融投资市场。
金融量化是最近十年来在国际投资界兴起的一个新理念,发展势头迅猛,和基本面分析、技术面分析并称为三大主流方法,涉及数学、统计学、信息技术等诸多领域,运用多学科知识对投资全过程进行更好的管理。量化交易以数学模型为交易思维,以历史数据为基础,以数学建模、统计学分析、编程设计为工具,利用计算机技术从庞大的历史数据中海选出能带来超额收益的多种大概率获利事件以制定量化交易策略,而量化交易策略一般通过回测来确定策略的盈利能力。
回测在金融量化领域主要是指设定了某些股票指标组合后,基于历史已经发生过的真实行情数据,在历史上某一个时间点开始,严格按照设定的组合进行选股,并模拟真实金融市场交易的规则进行模型买入、模型卖出,得出一个时间段内的盈利率、最大回撤率等数据。
2018年11年06,中国专利(公开号:CN108765149A)中公开了一种基于集群的量化策略回测系统的回测方法,指出传统金融回测通常的流程是研究员将策略代码编写完毕后,通过本地服务器运行回测任务并等待结果输出,具有回测效率低的缺陷,该方案也解决了这个缺陷问题,但核心点集中在确保回测任务的结果,未考虑在回测任务出现错误时的应对,目前多数金融回测系统会将错误信息返回给用户或简单重新运行回测任务,实际上,在回测系统中,出错有多种原因,可能是程序错误故障,也可能是容器不可达故障,或者数据链路中其它模块出错导致的级联出错,然而不考虑错误的仔细分类,简单地以宏观的容器状态数据为判定标准,将不能正确判定出错位置,影响系统的正常运行,不符合金融回测高准确性,高可用性的要求。
发明内容
为解决当前金融回测出现错误时,仅以宏观的容器状态数据为判定标准,无法正确定位出错位置的问题,本发明提出一种面向微服务的金融回测容错系统及方法,保证在金融回测出现故障时可自动或半自动地处理出现的错误,稳定地为用户提供服务,保证高准确性和高可用性。
为了达到上述技术效果,本发明的技术方案如下:
一种面向微服务的金融回测容错系统,所述金融回测容错系统用于运行量化策略的金融回测任务,系统包括:
数据获取模块,用于从金融数据提供方获取金融市场行情数据,并写入数据库模块中;
数据库模块,对金融市场行情数据进行持久化存储;
回测模块,从数据库模块中获取金融市场行情数据,运行金融回测任务,并在金融回测任务运行失败时,根据不同的错误现象返回不同的错误代码;
容错模块,包括恢复判断单元及日志告警模块,用于实时监控采集数据获取模块、数据库模块及回测模块的容器状态信息,在金融回测任务运行失败时,根据数据获取模块、数据库模块及回测模块的容器状态信息,及回测模块返回的错误代码,分层次定义分类金融回测任务中出现的错误,形成错误处理列表,定位出错的位置,并输出错误恢复方法,通过恢复判断单元判断金融回测任务运行错误是否恢复,通过日志告警模块记录不能恢复的金融回测任务运行错误信息,并向管理人员发出金融回测任务运行失败告警通知日志告警模块,用于记录容错模块不能恢复的金融回测任务运行错误信息,并向管理人员发出任金融回测任务运行失败告警通知。
在本技术方案中,数据获取模块获取金融市场行情数据,数据库模块持久化存储金融市场行情数据,回测模块运行金融回测任务,各大模块之间通过数据链路连接,金融回测任务运行失败时,回测模块返回错误代码,运行成功时,回测模块返回“成功”英文代码;容错模块采用宏观的数据获取模块、数据库模块及回测模块的容器状态信息和回测模块返回的错误代码相结合的办法,根据金融回测系统的数据链路来简单回推定位真正出错的模块位置,并输出对应的错误恢复方法,恢复判断单元判断出预期之外的错误或不可由容错模块自动解决恢复的错误之后,管理员人工干预,日志告警模块将容错模块不能恢复的金融回测任务运行错误信息录入日志,向管理人员发出任金融回测任务运行失败告警通知,避免了多次无意义的重试,保证了金融回测容错系统的正确性,提高了系统稳定性和可靠性。
优选地,数据获取模块、数据库模块、回测模块及容错模块均独立运行各自的微服务,所述数据获取模块、数据库模块、回测模块及容错模块在同一台设备或不同设备上,互相之间保持兼容性且低耦合连接,保证系统整体稳定高效的运行机制。
优选地,在数据获取模块从金融数据提供方获取金融市场行情数据时,金融数据提供方根据金融市场行情数据的实际情况,限制数据获取模块每秒调用金融数据提供方接口的次数,数据获取模块也能自动调整每秒调用金融数据提供方接口的次数,保证数据日常更新正确性的同时,防止更新失败或者部分金融市场行情数据缺失,尽可能保证数据获取模块运行的正确性。
优选地,所述金融市场行情数据包括实时金融市场行情数据及历史金融市场行情数据,数据库模块包括Redis数据库、时间序列数据库及关系型数据库,数据库模块将实时金融市场行情数据持久化存储于Redis数据库中,将历史金融市场行情数据持久化存储于时间序列数据库中,或采用分区的方式存储于关系型数据库中。
优选地,金融回测任务运行出现的错误包括机器错误、程序性错误和不可达错误。
优选地,容错模块实时监控采集的数据获取模块、数据库模块及回测模块的容器状态信息包括CPU占用率、内存使用量、接收请求字节总数、网络吞吐量和文件系统使用情况。
优选地,所述容错模块还能定时检测主机的连通性以及数据库模块中数据库是否正常连接,并采用小周期随机抽取比对、大周期全部数据比对的方法比对数据库模块中的金融市场行情数据。
优选地,所述回测模块包括回测任务失败统计模块及回测结果返回模块;
回测任务失败统计模块用于接收金融回测任务运行结果,并传输至回测结果返回模块,当金融回测任务运行成功时,回测结果返回模块输出金融回测运行任务的回测结果,包括量化策略收益率及回撤率,然后结束金融回测任务;
当金融回测任务运行失败时,回测任务失败统计模块统计金融回测任务运行失败的次数,若金融回测任务运行失败的次数超过3次,金融回测任务有错,结束金融回测任务;否则,回测结果返回模块返回金融回测任务运行失败的结果,且回测模块返回错误代码至容错模块。
本发明还提出一种面向微服务的金融回测容错方法,所述方法基于所述的面向微服务的金融回测容错系统实现,至少包括:
S1.利用数据获取模块从金融数据提供方获取金融市场行情数据,并写入数据库模块中,数据库模块对金融市场行情数据进行持久化存储;
S2.通过回测模块向数据库模块请求获取金融市场行情数据;
S3.回测模块运行金融回测任务;
S4.判断金融回测任务运行是否成功,若是,输出金融回测运行任务的回测结果;否则,执行步骤S5;
S5.判断金融回测任务运行失败的次数是否超过3次,若是,金融回测任务有错,结束金融回测任务;否则,回测模块返回错误代码至容错模块,容错模块根据数据获取模块、数据库模块及回测模块的容器状态信息,及回测模块返回的错误代码,形成错误处理列表,定位出错的位置,并输出错误恢复方法;
S6.恢复判断单元判断金融回测任务运行错误是否恢复,若是,返回步骤S3重新运行金融回测任务;否则,通过日志告警模块记录容错模块不能恢复的金融回测任务运行错误信息,并向管理人员发出任金融回测任务运行失败告警通知。
优选地,容错模块根据错误处理列表,结合面向微服务的金融回测容错系统的数据链路,回推定位出错的位置,给出错误对应须回推的数据获取模块或数据库模块或回测模块,并输出错误恢复的方法,对具体出现错误的数据获取模块或数据库模块或回测模块进行错误恢复处理。
与现有技术相比,本发明技术方案的有益效果是:
本发明提出了一种面向微服务的金融回测容错系统及方法,数据库模块持久化存储金融市场行情数据,回测模块运行金融回测任务,各大模块之间通过数据链路连接,金融回测任务运行失败时,回测模块返回错误代码,运行成功时,回测模块返回“成功”英文代码;容错模块采用宏观的数据获取模块、数据库模块及回测模块的容器状态信息和回测模块返回的错误代码相结合的办法,根据金融回测系统的数据链路来简单回推定位真正出错的模块位置,并输出对应的错误恢复方法,恢复判断单元判断出预期之外的错误或不可由容错模块自动解决恢复的错误之后,管理员人工干预,日志告警模块将容错模块不能恢复的金融回测任务运行错误信息录入日志,向管理人员发出任金融回测任务运行失败告警通知,避免了多次无意义的重试,保证了金融回测容错系统的正确性,提高了系统稳定性和可靠性。
附图说明
图1表示本发明实施例中提出的面向微服务的金融回测容错系统的结构原理图;
图2表示本发明实施例中提出的面向微服务的金融回测容错方法的流程示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好地说明本实施例,附图某些部位会有省略、放大或缩小,并不代表实际尺寸;
对于本领域技术人员来说,附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示的面向微服务的金融回测容错系统的结构示意图,所述金融回测容错系统用于运行量化策略的金融回测任务,参见图1,包括:
数据获取模块,用于从金融数据提供方获取金融市场行情数据,并写入数据库模块中;
数据库模块,对金融市场行情数据进行持久化存储;
回测模块,从数据库模块中获取金融市场行情数据,运行金融回测任务,并在金融回测任务运行失败时,根据不同的错误现象返回不同的错误代码;
容错模块,包括恢复判断单元及日志告警模块,用于实时监控采集数据获取模块、数据库模块及回测模块的容器状态信息,在金融回测任务运行失败时,根据数据获取模块、数据库模块及回测模块的容器状态信息,及回测模块返回的错误代码,分层次定义分类金融回测任务中出现的错误,形成错误处理列表,定位出错的位置,并输出错误恢复方法,通过恢复判断单元判断金融回测任务运行错误是否恢复,通过日志告警模块记录不能恢复的金融回测任务运行错误信息,并向管理人员发出金融回测任务运行失败告警通知日志告警模块,用于记录容错模块不能恢复的金融回测任务运行错误信息,并向管理人员发出任金融回测任务运行失败告警通知。
数据获取模块、数据库模块、回测模块及容错模块均独立运行各自的微服务,所述数据获取模块、数据库模块、回测模块及容错模块在同一台设备或不同设备上,互相之间保持兼容性且低耦合连接,在本实施例中,数据获取模块、数据库模块、回测模块运行在同一台设备上,容错模块运行在另一台设备上,在数据获取模块从金融数据提供方获取金融市场行情数据时,金融数据提供方根据金融市场行情数据的实际情况,限制数据获取模块每秒调用金融数据提供方接口的次数,数据获取模块也能自动调整每秒调用金融数据提供方接口的次数,保证数据更新的正确性的同时,防止更新失败或者部分金融市场行情数据缺失,尽可能保证数据获取模块运行的正确性。
金融市场行情数据包括实时金融市场行情数据及历史金融市场行情数据,数据库模块包括Redis数据库、时间序列数据库及关系型数据库,数据库模块将实时金融市场行情数据持久化存储于Redis数据库中,将历史金融市场行情数据持久化存储于时间序列数据库中,或采用分区的方式存储于关系型数据库中。在本实施例中,采用的是Redis数据库。
在本实施例中,金融回测任务运行出现的错误包括机器错误、程序性错误和不可达错误,容错模块通过cadvisor等工具实时监控采集的数据获取模块、数据库模块及回测模块的容器状态信息,所述容器状态信息包括CPU占用率、内存使用量、接收请求字节总数、网络吞吐量和文件系统使用情况,容错模块定位出错位置,尽可能保证系统自动或半自动处理错误,增加系统持续运行时间,保证系统可靠性,通过cadvisor等工具监控系统其它的模块,出现出错时,根据回测模块返回的错误代码和系统其它模块的容器状态等信息,准确定位到需要处理的模块,然后对对应的模块进行重启或重试等错误恢复手段,对于可能出现的每一种错误,给出错误需要回推的模块,以及对应的错误恢复方法。此外,所述容错模块还能定时检测主机的连通性以及数据库模块中数据库是否正常连接,并采用小周期(例如每5S)随机抽取比对、大周期(例如每天)全部数据比对的方法比对数据库模块中的金融市场行情数据。
参见图1,所述回测模块包括回测任务失败统计模块及回测结果返回模块;
回回测任务失败统计模块用于接收金融回测任务运行结果,并传输至回测结果返回模块,当金融回测任务运行成功时,回测结果返回模块输出金融回测运行任务的回测结果,包括量化策略收益率及回撤率,然后结束金融回测任务;
当金融回测任务运行失败时,回测任务失败统计模块统计金融回测任务运行失败的次数,若金融回测任务运行失败的次数超过3次,金融回测任务有错,结束金融回测任务;否则,回测结果返回模块返回金融回测任务运行失败的结果,且回测模块返回错误代码至容错模块。具体的,回测模块用于运行金融回测任务,若金融回测任务运行成功,则返回回测结果,即策略评估指标。若金融回测任务运行不成功,返回错误代码,回测任务失败统计模块统计增加此任务失败次数,若失败次数超过3次,则判定此回测任务有错,若失败次数小于3次,容错模块判定错误为用户代码引发的错误,则返回具体出错信息,否则等待容错模块处理错误后将该任务加入回测等待任务队列中,重新运行该任务。
容错模块列举分层次定义分类金融回测任务中出现的错误,形成错误处理列表,回推定位出错的位置以及对应的错误恢复处理。数据获取模块可能出现的错误包括网络问题、数据获取频次的错误、写入的数据库模块连接失败、写入数据失败以及获取数据服务inactive,这些问题所属的是数据获取模块,其中,网络问题、数据获取频次的错误问题、写入数据失败以及获取数据服务inactive的问题不需要回推上一模块,写入的数据库模块连接失败是需要回推数据库容器inactive。
数据库模块可能出现的错误包括数据库容器inactive、数据库无数据、数据库数据不准确及数据库数据缺失,这些问题所属的是数据库模块,其中,数据库无数据、数据库数据不准确以及数据库数据缺失问题需要回推数据获取模块,数据库容器inactive问题不需要回推。
回测模块可能出现的错误包括超时、自动终止(用户)、自动终止(系统),所属的模块均为回测模块本身,针对死循环导致的三次超时,无需回推;针对数据库无数据导致的超时,需回推至数据库模块;针对数据库缺少数据导致的超时,需回推至数据库;自动终止(用户)的错误问题不需要回推上一模块,自动中止(系统)的错误问题不需要回推上一模块。
如图2所示,本发明还提出一种面向微服务的金融回测容错方法,所述方法基于所述的面向微服务的金融回测容错系统实现,包括:
S1.利用数据获取模块从金融数据提供方获取金融市场行情数据,并写入数据库模块中,数据库模块对金融市场行情数据进行持久化存储;
S2.通过回测模块向数据库模块请求获取金融市场行情数据;
S3.回测模块运行金融回测任务;
S4.判断金融回测任务运行是否成功,若是,输出金融回测运行任务的回测结果;否则,执行步骤S5;
S5.判断金融回测任务运行失败的次数是否超过3次,若是,金融回测任务有错,结束金融回测任务;否则,回测模块返回错误代码至容错模块,容错模块根据数据获取模块、数据库模块及回测模块的容器状态信息,及回测模块返回的错误代码,形成错误处理列表,定位出错的位置,并输出错误恢复方法;
S6.恢复判断单元判断金融回测任务运行错误是否恢复,若是,返回步骤S3重新运行金融回测任务;否则,通过日志告警模块记录容错模块不能恢复的金融回测任务运行错误信息,并向管理人员发出任金融回测任务运行失败告警通知。
其中,容错模块根据错误处理列表,结合面向微服务的金融回测容错系统的数据链路,回推定位出错的位置,给出错误对应须回推的数据获取模块或数据库模块或回测模块,并输出错误恢复的方法,对具体出现错误的数据获取模块或数据库模块或回测模块进行错误恢复处理。
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种面向微服务的金融回测容错系统,其特征在于,所述金融回测容错系统用于运行量化策略的金融回测任务,系统包括:
数据获取模块,用于从金融数据提供方获取金融市场行情数据,并写入数据库模块中;
数据库模块,对金融市场行情数据进行持久化存储;
回测模块,从数据库模块中获取金融市场行情数据,运行金融回测任务,并在金融回测任务运行失败时,根据不同的错误现象返回不同的错误代码;
容错模块,包括恢复判断单元及日志告警模块,用于实时监控采集数据获取模块、数据库模块及回测模块的容器状态信息,在金融回测任务运行失败时,根据数据获取模块、数据库模块及回测模块的容器状态信息,及回测模块返回的错误代码,分层次定义分类金融回测任务中出现的错误,形成错误处理列表,定位出错的位置,并输出错误恢复方法,通过恢复判断单元判断金融回测任务运行错误是否恢复,通过日志告警模块记录不能恢复的金融回测任务运行错误信息,并向管理人员发出金融回测任务运行失败告警通知日志告警模块,用于记录容错模块不能恢复的金融回测任务运行错误信息,并向管理人员发出任金融回测任务运行失败告警通知。
2.根据权利要求1所述的面向微服务的金融回测容错 系统,其特征在于,数据获取模块、数据库模块、回测模块及容错模块均独立运行各自的微服务,所述数据获取模块、数据库模块、回测模块及容错模块在同一台设备或不同设备上,互相之间保持兼容性且低耦合连接。
3.根据权利要求2所述的面向微服务的金融回测容错系统,其特征在于,在数据获取模块从金融数据提供方获取金融市场行情数据时,金融数据提供方根据金融市场行情数据的实际情况,限制数据获取模块每秒调用金融数据提供方接口的次数,数据获取模块也能自动调整每秒调用金融数据提供方接口的次数。
4.根据权利要求3所述的面向微服务的金融回测容错系统,其特征在于,所述金融市场行情数据包括实时金融市场行情数据及历史金融市场行情数据,数据库模块包括Redis数据库、时间序列数据库及关系型数据库,数据库模块将实时金融市场行情数据持久化存储于Redis数据库中,将历史金融市场行情数据持久化存储于时间序列数据库中,或采用分区的方式存储于关系型数据库中。
5.根据权利要求4所述的面向微服务的金融回测容错系统,其特征在于,金融回测任务运行出现的错误包括机器错误、程序性错误和不可达错误。
6.根据权利要求5所述的面向微服务的金融回测容错系统,其特征在于,容错模块实时监控采集的数据获取模块、数据库模块及回测模块的容器状态信息包括CPU占用率、内存使用量、接收请求字节总数、网络吞吐量和文件系统使用情况。
7.根据权利要求6所述的面向微服务的金融回测容错系统,其特征在于,所述容错模块还能定时检测主机的连通性以及数据库模块中数据库是否正常连接,并采用小周期随机抽取比对、大周期全部数据比对的方法比对数据库模块中的金融市场行情数据。
8.根据权利要求7所述的面向微服务的金融回测容错系统,其特征在于,所述回测模块包括回测任务失败统计模块及回测结果返回模块;
回测任务失败统计模块用于接收金融回测任务运行结果,并传输至回测结果返回模块,当金融回测任务运行成功时,回测结果返回模块输出金融回测运行任务的回测结果,包括量化策略收益率及回撤率,然后结束金融回测任务;
当金融回测任务运行失败时,回测任务失败统计模块统计金融回测任务运行失败的次数,若金融回测任务运行失败的次数超过3次,金融回测任务有错,结束金融回测任务;否则,回测结果返回模块返回金融回测任务运行失败的结果,且回测模块返回错误代码至容错模块。
9.一种面向微服务的金融回测容错方法,其特征在于,所述方法基于权利要求1所述的面向微服务的金融回测容错系统实现,至少包括:
S1.利用数据获取模块从金融数据提供方获取金融市场行情数据,并写入数据库模块中,数据库模块对金融市场行情数据进行持久化存储;
S2.通过回测模块向数据库模块请求获取金融市场行情数据;
S3.回测模块运行金融回测任务;
S4.判断金融回测任务运行是否成功,若是,输出金融回测运行任务的回测结果;否则,执行步骤S5;
S5.判断金融回测任务运行失败的次数是否超过3次,若是,金融回测任务有错,结束金融回测任务;否则,回测模块返回错误代码至容错模块,容错模块根据数据获取模块、数据库模块及回测模块的容器状态信息,及回测模块返回的错误代码,形成错误处理列表,定位出错的位置,并输出错误恢复方法;
S6.恢复判断单元判断金融回测任务运行错误是否恢复,若是,返回步骤S3重新运行金融回测任务;否则,通过日志告警模块记录容错模块不能恢复的金融回测任务运行错误信息,并向管理人员发出任金融回测任务运行失败告警通知。
10.根据权利要求9所述的面向微服务的金融回测容错方法,其特征在于,容错模块根据错误处理列表,结合面向微服务的金融回测容错系统的数据链路,回推定位出错的位置,给出错误对应须回推的数据获取模块或数据库模块或回测模块,并输出错误恢复的方法,对具体出现错误的数据获取模块或数据库模块或回测模块进行错误恢复处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110155726.2A CN112819640B (zh) | 2021-02-04 | 2021-02-04 | 一种面向微服务的金融回测容错系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110155726.2A CN112819640B (zh) | 2021-02-04 | 2021-02-04 | 一种面向微服务的金融回测容错系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819640A CN112819640A (zh) | 2021-05-18 |
CN112819640B true CN112819640B (zh) | 2022-07-12 |
Family
ID=75861418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110155726.2A Expired - Fee Related CN112819640B (zh) | 2021-02-04 | 2021-02-04 | 一种面向微服务的金融回测容错系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819640B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723566B (zh) * | 2022-06-10 | 2022-09-02 | 高盈国际创新科技(深圳)有限公司 | 金融交易数据处理方法及系统 |
CN115357629A (zh) * | 2022-10-20 | 2022-11-18 | 成都宽邦科技有限公司 | 用于金融数据流的处理方法、系统、电子装置及存储介质 |
CN116739789B (zh) * | 2023-08-16 | 2023-12-19 | 中信证券股份有限公司 | 虚拟物品回测信息发送方法、装置、电子设备和介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4607365A (en) * | 1983-11-14 | 1986-08-19 | Tandem Computers Incorporated | Fault-tolerant communications controller system |
US4817092A (en) * | 1987-10-05 | 1989-03-28 | International Business Machines | Threshold alarms for processing errors in a multiplex communications system |
US7680719B1 (en) * | 2006-12-12 | 2010-03-16 | Goldman Sachs & Co. | Method, system and apparatus for wealth management |
CN106528352A (zh) * | 2015-09-09 | 2017-03-22 | 哈尔滨光凯科技开发有限公司 | 一种事务处理型容错计算机故障注入平台 |
CN106934716A (zh) * | 2017-03-10 | 2017-07-07 | 燧石科技(武汉)有限公司 | 基于网络分布式计算的多模块自动化交易系统 |
CN107895005A (zh) * | 2017-11-07 | 2018-04-10 | 东莞亿科信息技术有限公司 | 一种多市场历史数据的回测方法和计算机存储介质 |
CN109636619A (zh) * | 2018-12-07 | 2019-04-16 | 北京京东金融科技控股有限公司 | 量化平台的回测方法、装置、电子设备和可读介质 |
CN110533540A (zh) * | 2019-09-06 | 2019-12-03 | 北京神州同道智能科技有限公司 | 一种基于智能维元策略平台的全市场多品种金融资管系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8996953B2 (en) * | 2013-03-01 | 2015-03-31 | International Business Machines Corporation | Self monitoring and self repairing ECC |
US9263158B2 (en) * | 2013-08-16 | 2016-02-16 | Seagate Technology Llc | Determining data retention time in a solid-state non-volatile memory |
-
2021
- 2021-02-04 CN CN202110155726.2A patent/CN112819640B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4607365A (en) * | 1983-11-14 | 1986-08-19 | Tandem Computers Incorporated | Fault-tolerant communications controller system |
US4817092A (en) * | 1987-10-05 | 1989-03-28 | International Business Machines | Threshold alarms for processing errors in a multiplex communications system |
US7680719B1 (en) * | 2006-12-12 | 2010-03-16 | Goldman Sachs & Co. | Method, system and apparatus for wealth management |
CN106528352A (zh) * | 2015-09-09 | 2017-03-22 | 哈尔滨光凯科技开发有限公司 | 一种事务处理型容错计算机故障注入平台 |
CN106934716A (zh) * | 2017-03-10 | 2017-07-07 | 燧石科技(武汉)有限公司 | 基于网络分布式计算的多模块自动化交易系统 |
CN107895005A (zh) * | 2017-11-07 | 2018-04-10 | 东莞亿科信息技术有限公司 | 一种多市场历史数据的回测方法和计算机存储介质 |
CN109636619A (zh) * | 2018-12-07 | 2019-04-16 | 北京京东金融科技控股有限公司 | 量化平台的回测方法、装置、电子设备和可读介质 |
CN110533540A (zh) * | 2019-09-06 | 2019-12-03 | 北京神州同道智能科技有限公司 | 一种基于智能维元策略平台的全市场多品种金融资管系统 |
Non-Patent Citations (2)
Title |
---|
张顺.VaR的计算方式及共回测检验-基于计算机产业股票的实证研究.《吉林省经济管理干部学院学报》.2012,第26卷(第2期),第61-64页. * |
李俊豪.基于改进多元线性回归的股票价格预测模型.《经济研究》.2019,第61-64页. * |
Also Published As
Publication number | Publication date |
---|---|
CN112819640A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819640B (zh) | 一种面向微服务的金融回测容错系统及方法 | |
US7872982B2 (en) | Implementing an error log analysis model to facilitate faster problem isolation and repair | |
KR101856543B1 (ko) | 인공지능 기반의 장애 예측 시스템 | |
Cohen et al. | Capturing, indexing, clustering, and retrieving system history | |
US7664986B2 (en) | System and method for determining fault isolation in an enterprise computing system | |
EP3734520A1 (en) | Fault analysis and prediction using empirical architecture analytics | |
US10698605B2 (en) | Multipath storage device based on multi-dimensional health diagnosis | |
US20190294519A1 (en) | System and method for database replication benchmark testing using a pipeline-based microservices model | |
CN113836044A (zh) | 一种软件故障采集和分析的方法及系统 | |
CN113360722B (zh) | 一种基于多维数据图谱的故障根因定位方法及系统 | |
CA2520962A1 (en) | Method and apparatus for system management using codebook correlation with symptom exclusion | |
CN113946499A (zh) | 一种微服务链路跟踪及性能分析方法、系统、设备及应用 | |
CN109901969B (zh) | 一种集中监控管理平台的设计方法及装置 | |
Shilpika et al. | MELA: A visual analytics tool for studying multifidelity hpc system logs | |
Wu et al. | Identifying root-cause metrics for incident diagnosis in online service systems | |
CN113672456A (zh) | 应用平台的模块化自监听方法、系统、终端及存储介质 | |
US7546489B2 (en) | Real time event logging and analysis in a software system | |
CN107515864B (zh) | 监控工作流的方法及设备 | |
WO2023061209A1 (zh) | 内存故障的预测方法、电子设备和计算机可读存储介质 | |
CN116414661A (zh) | 分布式存储的固态硬盘处理方法和装置 | |
CN113760879B (zh) | 数据库异常监测方法、系统、电子设备及介质 | |
CN112988442B (zh) | 一种服务器运行阶段传送故障信息的方法和设备 | |
CN113409876A (zh) | 一种故障硬盘的定位方法及系统 | |
CN1251085C (zh) | 机群系统运行过程监控的方法和监控管理装置 | |
CN111835566A (zh) | 一种系统故障管理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220712 |