CN117745432B - 基于微服务架构的量化回测系统及方法 - Google Patents

Abstract

本发明提供了一种基于微服务架构的量化回测系统及方法，包括：创建因子，并根据因子得到量化回测周期内的所有股票信号；对指标公式进行解析工作，并计算出对应的指标数据和股票信号数据，储存至数据库中；接收量化回测计算请求，根据请求调度量化回测计算任务，以及汇总分析量化回测计算结果；将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中进行量化统计回测计算；将指标公式系统计算得到的对应的相关数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中进行量化交易回测计算。本发明通过分布式系统架构快速完成回测计算，大大缩减回测所需的时间，提升用户回测体验。

Description

基于微服务架构的量化回测系统及方法

技术领域

本发明涉及计算机技术领域，具体地，涉及一种基于微服务架构的量化回测系统及方法。

背景技术

量化策略交易回测是利用历史市场数据和模拟交易来评估和验证投资策略的有效性和可行性的过程，通过回测可以模拟在过去的特定时间段内，根据策略所生成的交易信号进行实际交易的结果。在进行回测时，通常需要设置回测起始时间和结束时间，并且根据历史数据来模拟交易在这个过程中，回测平台会自动执行交易策略，包括买入、卖出、止损、止盈等操作，并计算回测结果，例如累计收益率、最大回撤、夏普比率等指标。

回测的目的是验证投资策路的有效性和可行性，同时也可以帮助优化和调整策略参数，以获得更好的交易结果。

量化回测是投资策略评估和优化的重要工具。通过回测，投资者可以评估策略的盈利能力和风险水平，优化参数和规则，制定交易策略和风控措施。然而，目前的现有技术中，回测过程中使用的股票信号是实时计算的，进而导致回测计算时间长速度慢影响用户的回测体验。以及传统回测系统都是采用单机部署的方式，性能低，可扩展性差，容错率低，一旦机器宕机会导致全部功能无法使用。

因此，市场上需要一种能够减少回测计算时间，提高回测计算效率的一种基于微服务架构的量化回测系统及方法。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于微服务架构的量化回测系统及方法。

根据本发明提供的一种基于微服务架构的量化回测系统，包括：选股系统、指标公式系统、量化回测前置服务系统、量化统计回测计算系统、量化交易回测计算系统；

选股系统：创建因子，并根据所述因子得到量化回测周期内的所有股票信号；

指标公式系统：对指标公式进行解析工作，并计算出对应的指标数据和股票信号数据，储存至数据库中；

量化回测前置服务系统：接收量化回测计算请求，根据所述请求调度量化回测计算任务，以及汇总分析量化回测计算结果；

量化统计回测计算系统：将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中进行量化统计回测计算；

量化交易回测计算系统：将指标公式系统计算得到的对应的相关数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中进行量化交易回测计算。

优选地，所述因子均为一个独立的策略单元；

所述因子的领域包括行情类、新闻类、财报类、技术类、公告类、研报类、以及因子研究员人工维护类；

所述因子的股票信号数据，都是预先计算且存储好的；

所述量化交易回测计算系统中所述的相关数据包括精简的分时k线数据、除权分红数据、指标数据。

优选地，量化回测策略中用户可以选取多个因子，所选取的因子能够做逻辑与、或、非的重新组合，最终输出量化回测周期内的所有股票信号。

优选地，所述指标公式系统中包含指标公式的词法解析系统、语法解析系统、公式计算系统。

优选地，技术类因子通过指标公式系统每天定时计算得到新增股票信号，并存储到数据库中；

公告类、研报类、财报类领域的因子通过上下游提供的数据采集获取并存入数据库；

因子研究员人工维护类的因子，由专业人员根据当下最新市场综合信息实时更新所述研究员人工维护因子的股票信号。

优选地，所述量化回测前置服务系统包括量化回测前置路由服务模块和数据库服务模块；

所述量化回测前置路由服务模块包括对用户策略的拆解分析，并将拆解后的策略计算请求根据调度派发给量化统计回测计算系统和量化交易回测计算系统，并等待收到计算结果后做汇总分析，完成量化回测和量化交易的请求；

所述数据库服务模块包括对所述量化回测前置路由服务模块提供相应数据输送服务。

优选地，所述量化回测前置服务系统将全部股票通过哈希算法计算一遍，并根据哈希值将股票重新分类，派发给量化统计回测计算系统。

根据本发明提供的一种基于微服务架构的量化回测方法，采用基于微服务架构的量化回测系统，量化回测方法包括：

选股步骤：创建因子，并根据所述因子得到量化回测周期内的所有股票信号；

指标公式处理步骤：对指标公式进行解析工作，并计算出对应的指标数据和股票信号数据，储存至数据库中；

量化回测前置服务步骤：接收量化回测计算请求，根据所述请求调度量化回测计算任务，以及汇总分析量化回测计算结果；

量化统计回测计算步骤：将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中进行量化统计回测计算；

量化交易回测计算步骤：将指标公式系统计算得到的对应的相关数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中进行量化交易回测计算。

优选地，所述量化统计回测计算步骤包括：

步骤S1：用户终端发送量化统计回测请求，将所述量化统计回测请求发送至量化回测前置路由服务模块；

步骤S2：所述量化回测前置路由服务模块对选股系统请求策略股票池，所述选股系统响应所述请求将策略股票返回所述量化回测前置路由服务模块；

步骤S3：量化回测前置路由服务模块根据所选取的对应股票向量化统计回测计算系统请求量化统计回测计算；

步骤S4：所述量化统计回测计算系统响应所述量化统计回测计算并返回计算结果，并将所述计算结果反馈至用户终端。

优选地，所述量化交易回测计算步骤包括：

步骤S101：用户终端发送量化交易回测请求，将所述请求发送至量化回测前置路由服务模块；

步骤S102：所述量化回测前置路由服务模块向量化交易回测计算系统请求量化交易回测计算；

步骤S103：所述量化交易回测计算系统接收所述请求并向选股系统发送策略股池请求；

步骤S104：所述选股系统响应所述请求，所述量化交易回测计算系统根据回测计算请求及选股系统响应的策略股池进行回测计算；

步骤S105：将对应的计算结果返回量化回测前置路由服务模块，所述量化回测前置路由服务模块将所述计算结果返回用户终端。

与现有技术相比，本发明具有如下的有益效果：

1、本发明基于微服务的分布式设计架构，利用预计算好的股池信号和指标数据，对用户的量化回测策略通过分布式系统架构快速完成回测计算，大大缩减回测所需的时间，提升用户回测体验。

2、本发明将同一个股票出现不同的日期塞到一个有序slice切片中，并将日期切片附属于该股票，同时对股票代码做哈希计算，根据哈希值将股票派发到不同的量化统计回测计算系统服务节点上完成并发计算。提供计算速度的同时，又使得各个量化统计回测计算服务节点只需缓存特定的部分股票k线数据，避免了重复计算带来的性能损耗，又极大提高了量化统计回测计算服务的计算效率。

3、本发明采用的微服务的集群设计架构，用docker容器的方式安装，系统的各个功能模块都是由多个服务节点构成集群，使用标准REST API接口,通过grpc实现模块之间的信息通信；各个系统模块之间互相物理隔离互不影响，实现在系统层面的解耦。且可通过增加服务节点的方式实现平行拓展，提高系统的整体性能。为后期运维负责的服务升级、拓展节点、排查问题、服务监控等提供便利。

4、本发明通过重新定义因子，使因子具有完整时间线上的所有股票信号数据，可以为选股接口提供高速响应能力。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中选股系统模块流程示意图；

图2为本发明中量化统计回测设计架构示意图；

图3为本发明中量化交易回测设计架构示意图；

图4为本发明中股票信号重组自研算法逻辑示意图；

图5为本发明的基于微服务架构设计的量化回测系统架构示意图；

图6为本发明中量化统计回测请求流程示意图；

图7为本发明中量化交易回测请求流程示意图；

图8为本发明中量化统计回测时序图；

图9为本发明中量化交易回测时序图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明基于微服务的分布式设计架构，利用预计算好的股池信号和指标数据，对用户的量化回测策略通过分布式系统架构快速完成回测计算，大大缩减回测所需的时间，提升用户回测体验。

根据本发明提供的一种基于微服务架构的量化回测系统，包括：选股系统、指标公式系统、量化回测前置服务系统、量化统计回测计算系统、量化交易回测计算系统。

选股系统：创建因子，并根据所述因子得到量化回测周期内的所有股票信号。本发明中定义若干个因子，所述因子区别于传统的因子，本发明中的每个因子都是一个独立的策略单元。因子涵盖多个领域，包括行情类、新闻类、财报类、技术类、公告类、研报类、以及因子研究员人工维护类等等。量化回测策略中用户可以选取多个因子，这些因子能够做逻辑与、或、非的重新组合，最终输出量化回测周期内的所有股票信号。如图1所示，创建新因子，编写新的指标公式，并对所述指标公式进行拆解分析，将解析后的数据配置到指标公式系统中分别进行首次全量计算和每天定时计算，进而输出股票信号写入到对应的数据库中。

所述指标公式系统中包含自研的指标公式的词法解析系统、语法解析系统、公式计算系统，对指标公式完成解析工作，并计算出对应的指标数据和股票信号数据，储存到tidb、clickhouse数据库中。

所述因子即为一个策略，在完整的时间线上拥有属于自己的股池数据。其中，技术类因子通过指标公式系统每天定时计算得到新增股票信号，并存储到tidb、clickhouse数据库中。公告类、研报类、财报类等分类的因子会通过上下游提供的数据采集获取并存入数据库。因子研究员人工维护类的因子，由专业人员根据当下最新市场综合信息实时更新这类因子的股票信号。本发明中因子的股票信号数据，都是预先计算且存储好的，选股接口可以在毫秒级别响应选股请求，实现在回测计算之前就可以拿到整个回测周期内的选股信号，减少了时间的损耗，解决了传统量化回测速度慢的一个痛点。

量化回测前置服务系统：接收量化回测计算请求，根据所述请求调度量化回测计算任务，以及汇总分析量化回测计算结果。量化回测前置服务系统包括量化回测前置路由服务模块和数据库服务模块。所述量化回测前置路由服务模块包括对用户策略的拆解分析，并将拆解后的策略计算请求根据调度派发给量化统计回测计算系统和量化交易回测计算系统，并等待收到计算结果后做汇总分析，完成量化回测和量化交易的请求。数据库服务模块包括对所述量化回测前置路由服务模块提供相应数据输送服务。除此之外，本发明将全市场股票通过哈希算法计算一遍，并根据哈希值将股票重新分类，派发给量化统计回测计算系统。量化统计回测策略的股票信号数往往是巨大的，本发明将同一个股票出现不同的日期塞到一个有序slice切片中，并将日期切片附属于该股票，同时对股票代码做哈希计算，根据哈希值将股票派发到不同的量化统计回测计算系统服务节点上完成并发计算。提高计算速度的同时，又使得各个量化统计回测计算服务节点只需缓存特定的部分股票k线数据，解决了内存开销过大的问题，同时相同股票相同时间的计算结果会放入缓存，提高缓存命中率，避免了重复计算带来的性能损耗，极大提高了量化统计回测计算服务的计算效率。

量化统计回测计算系统包括量化统计回测计算模块，所述量化统计回测计算模块将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中，不同股票的计算任务会被分配到不同的服务节点上，可以大大提高量化统计回测计算请求的并发计算的性能，高效完成量化统计回测计算请求的计算工作，计算结果可以短暂缓存在本服务节点的内存中，可以提高缓存命中率，减少计算工作量，缩短计算时间。所述量化统计回测计算系统在集群中有多个服务节点。量化交易回测计算服务模块通过精简的分时数据计算，通过分时数据的自研算法压缩分时数据量，既避免日kline数据不够细腻导致量化交易回测计算精度缺失的问题，又避免了全量分时数据量巨大导致服务内存开销吃紧的问题。其中，量化统计回测设计架构示意图，如图2所示。

其中，所述分时数据的自研算法包括：股票的分时数据一天有240根，通过指标公式系统，会计算出这240根连续分时数据涨幅波动超过1%的波段数据，计算下来平均每天分时数据不会超过20根，这样的优化自研算法将会节约内存开销20倍，同时股票买卖点的判断次数也从240次下降到最多20次，带来好处是整个交易回测计算速度回答大幅提高。既避免了使用日线kline导致交易回测计算不准，又避免了分时数据计算导致内存开销大、计算速度慢的问题。

量化交易回测计算系统包括量化交易回测计算模块，所述量化交易回测计算模块将指标公式系统计算得到的精简的分时k线数据、除权分红数据、指标数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中，内存缓存的数据交换帮助量化交易回测计算节省大量时间。所述量化交易回测计算系统在集群中有多个服务节点。其中，量化交易回测设计架构示意图，如图3所示。

如图4所示，本发明中股票信号重组自研算法包括如下：按照交易日顺序，遍历每个交易日的股票信号，记录股票出现的交易日；将同一个股票的交易日信息写进同一个slice切片中；将股票作为key，交易日信息slice作为value构建一个“股票-交易日slice的map字典”；构建一个“分片map字典”，key是分片id，value是一个slice切片，slice切片的元素是“股票代码:交易日slice”格式的数据；遍历“股票-交易日slice的map字典”，对key值也就是股票代码做哈希计算，将哈希值对分片数取余，分片数暂定100，每个股票生成一个[0,99]的正整数，这个整数定义为分片id；根据分片id，将value塞进“分片map字典”value中（slice切片）。

本发明采用的微服务的集群设计架构，用docker容器的方式安装，如图5所示，系统的各个功能模块都是由多个服务节点构成集群，使用标准REST API接口,通过grpc实现模块之间的信息通信；各个系统模块之间互相物理隔离互不影响，实现在系统层面的解耦。且可通过增加服务节点的方式实现平行拓展，提高系统的整体性能。为后期运维负责的服务升级、拓展节点、排查问题、服务监控等提供便利。

根据本发提供的一种基于微服务架构的量化回测方法，包括：

选股步骤：创建因子，并根据所述因子得到量化回测周期内的所有股票信号。

指标公式处理步骤：对指标公式进行解析工作，并计算出对应的指标数据和股票信号数据，储存至数据库中。

量化回测前置服务步骤：接收量化回测计算请求，根据所述请求调度量化回测计算任务，以及汇总分析量化回测计算结果。所述量化回测前置服务步骤包括量化回测前置路由服务步骤和数据库服务步骤。所述量化回测前置路由服务步骤包括对用户策略的拆解分析，并将拆解后的策略计算请求根据调度派发给量化统计回测计算系统和量化交易回测计算系统，并等待收到计算结果后做汇总分析，完成量化回测和量化交易的请求。数据库服务步骤包括对所述量化回测前置路由服务模块提供相应数据输送服务。

量化统计回测计算步骤：将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中，进行量化统计回测计算。如图6所示，量化统计回测请求包括如下：接收量化统计回测请求，根据所述请求策略，获取对应股票池数据，对所述股票池数据进行哈希计算然后重新分片，将分好片的股票组装到url中，生成多个url并发送给量化统计回测计算服务，所述量化统计回测计算服务完成每一个计算任务，对多个计算结果做数据汇总分析，进而完成量化统计回测请求。

如图8所示，量化统计回测计算步骤包括：

步骤S1：用户终端发送量化统计回测请求，通过UA将所述量化统计回测请求发送至量化回测前置路由服务模块。

步骤S2：所述量化回测前置路由服务模块对选股系统请求策略股票池，所述选股系统响应所述请求将策略股票返回所述量化回测前置路由服务模块。

步骤S3：量化回测前置路由服务模块根据所选取的对应股票向量化统计回测计算系统请求量化统计回测计算。

步骤S4：所述量化统计回测计算系统响应所述量化统计回测计算并返回计算结果，并通过UA将所述计算结果反馈至用户终端。其中量化回测前置路由服务模块通过数据库系统进行查询已存结果和回测结果。

量化交易回测计算步骤：将指标公式系统计算得到的精简的分时k线数据、除权分红数据、指标数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中，进行量化交易回测计算。如图7所示，量化交易回测请求包括如下：首先接收量化交易回测请求，根据所述请求策略中持股周期个数组装对应个数量化交易回测计算请求url，每个策略生成一个唯一值，根据所述唯一值和所述持股周期，转发量化交易回测请求url，量化交易回测服务完成计算任务，对多个计算结果做数据汇总分析，进而完成量化交易回测请求。

如图9所示，量化交易回测计算步骤包括：

步骤S101：用户终端发送量化交易回测请求，通过UA将所述请求发送至量化回测前置路由服务模块；

步骤S102：所述量化回测前置路由服务模块向量化交易回测计算系统请求量化交易回测计算。

步骤S103：所述量化交易回测计算系统接收所述请求并向选股系统发送策略股池请求。

步骤S104：所述选股系统响应所述请求，所述量化交易回测计算系统根据回测计算请求及选股系统响应的策略股池进行回测计算。

步骤S105：将对应的计算结果返回量化回测前置路由服务模块，所述量化回测前置路由服务模块通过UA将所述计算结果返回用户终端。其中量化回测前置路由服务模块通过数据库系统进行查询已存结果和回测结果。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于微服务架构的量化回测系统，其特征在于，包括：选股系统、指标公式系统、量化回测前置服务系统、量化统计回测计算系统、量化交易回测计算系统；

选股系统：创建因子，并根据所述因子得到量化回测周期内的所有股票信号；所述因子均为一个独立的策略单元；所述因子的领域包括行情类、新闻类、财报类、技术类、公告类、研报类、以及因子研究员人工维护类；

量化回测策略中用户选取多个因子，所选取的因子能够做逻辑与、或、非的重新组合，最终输出量化回测周期内的所有股票信号；

指标公式系统：对指标公式进行解析工作，并计算出对应的指标数据和股票信号数据，储存至数据库中；

量化回测前置服务系统：接收量化回测计算请求，根据所述请求调度量化回测计算任务，以及汇总分析量化回测计算结果；所述量化回测前置服务系统包括量化回测前置路由服务模块，所述量化回测前置路由服务模块包括对用户策略的拆解分析，并将拆解后的策略计算请求根据调度派发给量化统计回测计算系统和量化交易回测计算系统，并等待收到计算结果后做汇总分析，完成量化统计回测和量化交易回测的请求；

量化统计回测计算系统：将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中进行量化统计回测计算；将同一个股票出现不同的日期塞到一个有序slice切片中，并将日期切片附属于对应股票，同时对股票代码做哈希计算，根据哈希值将股票派发到不同的量化统计回测计算系统服务节点上完成并发计算，使得各个量化统计回测计算服务节点只需缓存特定的部分股票k线数据；

量化交易回测计算系统：将指标公式系统计算得到的对应的相关数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中进行量化交易回测计算。

2.根据权利要求1所述的基于微服务架构的量化回测系统，其特征在于，

所述因子的股票信号，都是预先计算且存储好的；

所述量化交易回测计算系统中所述的相关数据包括精简的分时k线数据、除权分红数据、指标数据。

3.根据权利要求1所述的基于微服务架构的量化回测系统，其特征在于，所述指标公式系统中包含指标公式的词法解析系统、语法解析系统、公式计算系统。

4.根据权利要求1所述的基于微服务架构的量化回测系统，其特征在于，技术类因子通过指标公式系统每天定时计算得到新增股票信号，并存储到数据库中；

公告类、研报类、财报类领域的因子通过上下游提供的数据采集获取并存入数据库；

因子研究员人工维护类的因子，由专业人员根据当下最新市场综合信息实时更新所述因子研究员人工维护类的因子的股票信号。

5.根据权利要求1所述的基于微服务架构的量化回测系统，其特征在于，所述量化回测前置服务系统还包括数据库服务模块；

所述数据库服务模块包括对所述量化回测前置路由服务模块提供相应数据输送服务。

6.根据权利要求1所述的基于微服务架构的量化回测系统，其特征在于，所述量化回测前置服务系统将全部股票通过哈希算法计算一遍，并根据哈希值将股票重新分类，派发给量化统计回测计算系统。

7.一种基于微服务架构的量化回测方法，其特征在于，采用权利要求1至6任一项所述的基于微服务架构的量化回测系统，量化回测方法包括：

选股步骤：创建因子，并根据所述因子得到量化回测周期内的所有股票信号；

指标公式处理步骤：对指标公式进行解析工作，并计算出对应的指标数据和股票信号数据，储存至数据库中；

量化回测前置服务步骤：接收量化回测计算请求，根据所述请求调度量化回测计算任务，以及汇总分析量化回测计算结果；

量化统计回测计算步骤：将计算依赖的k线数据通过定时更新的方式分别加载到各个服务节点的内存缓存中进行量化统计回测计算；

量化交易回测计算步骤：将指标公式系统计算得到的对应的相关数据，通过定时更新的方式全量加载到各个服务节点的内存缓存中进行量化交易回测计算。

8.根据权利要求7所述的基于微服务架构的量化回测方法，其特征在于，所述量化统计回测计算步骤包括：

步骤S1：用户终端发送量化统计回测请求，将所述量化统计回测请求发送至量化回测前置路由服务模块；

步骤S2：所述量化回测前置路由服务模块对选股系统请求策略股票池，所述选股系统响应所述请求将策略股票返回所述量化回测前置路由服务模块；

步骤S3：量化回测前置路由服务模块根据所选取的对应股票向量化统计回测计算系统请求量化统计回测计算；

步骤S4：所述量化统计回测计算系统响应所述量化统计回测计算并返回计算结果，并将所述计算结果反馈至用户终端。

9.根据权利要求7所述的基于微服务架构的量化回测方法，其特征在于，所述量化交易回测计算步骤包括：

步骤S101：用户终端发送量化交易回测请求，将所述请求发送至量化回测前置路由服务模块；

步骤S102：所述量化回测前置路由服务模块向量化交易回测计算系统请求量化交易回测计算；

步骤S103：所述量化交易回测计算系统接收所述请求并向选股系统发送策略股池请求；

步骤S104：所述选股系统响应所述请求，所述量化交易回测计算系统根据回测计算请求及选股系统响应的策略股池进行回测计算；

步骤S105：将对应的计算结果返回量化回测前置路由服务模块，所述量化回测前置路由服务模块将所述计算结果返回用户终端。