CN115018642A - 针对多源实时行情数据实现高可用接收及处理的系统 - Google Patents

Abstract

本发明涉及一种针对多源实时行情数据实现高可用接收及处理的系统，包括数据接收适配模块对接多路行情数据，将行情数据转换为统一格式；数据中转模块将数据维护至多个主题中；业务服务模块根据需要对各类业务数据进行计算处理及提供相应API；数据存储模块缓存和持久化数据；数据访问模块为客户端提供数据访问服务。采用了本发明的针对多源实时行情数据实现高可用接收及处理的系统，通过多个接收节点间的协作实现数据接收环节的热备和故障自动切换，保障多路数据源的高可用接收；充分利用Pulsar作为数据中转，将数据处理划分为多个相对独立的模块，架构灵活，扩展方便；通过Pulsar可靠传输到远端云机机房，支持轻量化部署，具有高可用、高性能、易扩展的特征。

Description

针对多源实时行情数据实现高可用接收及处理的系统

技术领域

本发明涉及金融数据处理领域，尤其涉及多源实时行情数据处理领域，具体是指一种针对多源实时行情数据实现高可用接收及处理的系统。

背景技术

目前在国内金融市场，证券公司行情系统一般通过网络专线通道与交易所内部的行情网关服务对接。行情系统一般需要会与多路实时行情数据源建立连接，多路行情源互为热备，这样有诸多好处：当一路行情源数据出现故障时，系统能自动切换到备选路线，确保行情不中断；多路行情源的延时不同，如果系统能识别并选用对应行情源，能获取更实时的数据更新。

现有行情系统多是单体系统，集成了数据接收和处理等功能，虽然比较容易部署，但是可伸缩性和扩展性都比较差。此外，行情系统对数据完整性要求高，当系统运维升级或运行故障导致数据缺失时需要具备数据恢复功能。行情系统进行多机房部署时，通常需要再各机房单独部署一套完整系统，包括数据接收、数据处理、数据访问等，成本很高。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足扩展性强、完整性好、成本低的针对多源实时行情数据实现高可用接收及处理的系统。

为了实现上述目的，本发明的针对多源实时行情数据实现高可用接收及处理的系统如下：

该针对多源实时行情数据实现高可用接收及处理的系统，其主要特点是，所述的系统包括：

数据接收适配模块，用于对接多路行情数据，进行协议解析和数据格式转换，将行情数据转换为统一格式，并根据市场类型或合约类型分别发送至数据中转模块；

数据中转模块，与所述的数据接收适配模块相连接，用于对多路数据进行自动去重和归并，并将数据维护至多个主题中；

业务服务模块，与所述的数据中转模块相连接，用于读取统一格式的行情结构体数据，根据需要对各类业务数据进行计算处理及提供相应API，并封装业务相关的API接口；

数据存储模块，与所述的业务服务模块相连接，用于缓存和持久化中间数据、结果数据和行情快照数据；

数据访问模块，输入端与所述的数据中转模块、业务服务模块相连接，输出端与客户端相连接，用于为客户端提供数据访问服务，并接收客户端的主题订阅请求建立长连接，向客户端实时推送相应数据。

较佳地，所述的数据接收适配模块包括：

数据接收单元，用于对接多路实时行情数据源及其他行情数据源；

数据解析单元，与所述的数据接收单元相连接，用于解析行情数据源，并从每帧实时行情数据中提取多条数据；

结构转换单元，与所述的数据解析单元相连接，用于根据数据源的接入要求进行协议适配并数据转换，提取数据所属类型；

初始化单元，与所述的结构转换单元相连接，用于提取毫秒级时间戳用作消息数据的序列ID属性值；

转发单元，与所述的初始化单元相连接，用于转发给对应生产者单元。

较佳地，所述的数据中转模块包括：

数据去重单元，与所述的数据接收适配模块相连接，用于根据序列ID对数据进行自动去重；

数据中转单元，与所述的数据去重单元相连接，用于根据数据类型将行情数据维护在多个主题中。

较佳地，所述的业务服务模块从数据中转模块获取上游数据，进行数据计算及加工处理，将加工后的数据存储到缓存或持久化到数据库，或者将加工后的数据发送至对应主题。

较佳地，所述的数据访问模块接收客户端的用户请求，提供数据订阅和数据查询的服务；将用户请求转发至业务服务模块提供的各种API，并将结果返回至客户端；接收客户端的主题订阅请求，建立长连接并向客户端实时推送相应数据。

较佳地，所述的系统还包括多个云机房子系统，每个所述的云机房子系统包括数据中转模块复制节点和云机房的数据访问模块，多个所述的数据中转模块复制节点的输入端均与所述的数据中转模块相连接，云机房的数据访问模块与该云机房子系统的数据中转模块复制节点相连接，多个所述的云机房的数据访问模块的输出端均与客户端相连。

采用了本发明的针对多源实时行情数据实现高可用接收及处理的系统，通过多个接收节点间的协作实现数据接收环节的热备和故障自动切换，保障多路数据源的高可用接收；充分利用Pulsar作为数据中转，将数据处理划分为多个相对独立的模块，架构灵活、扩展方便；将加工处理后的数据通过Pulsar可靠传输到远端云机机房，支持轻量化部署；综上，本发明具有高可用、高性能、易扩展等明显特征。

附图说明

图1为本发明的针对多源实时行情数据实现高可用接收及处理的系统的整体架构示意图。

图2为本发明的针对多源实时行情数据实现高可用接收及处理的系统的多机房部署实例图。

图3为本发明的针对多源实时行情数据实现高可用接收及处理的系统的数据接收适配模块和数据中转模块的详情图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

如图1所示，本发明的该针对多源实时行情数据实现高可用接收及处理的系统，其中包括：

数据接收适配模块，用于对接多路行情数据，进行协议解析和数据格式转换，将行情数据转换为统一格式，并根据市场类型或合约类型分别发送至数据中转模块；

数据中转模块，与所述的数据接收适配模块相连接，用于对多路数据进行自动去重和归并，并将数据维护至多个主题中；

业务服务模块，与所述的数据中转模块相连接，用于读取统一格式的行情结构体数据，根据需要对各类业务数据进行计算处理及提供相应API，并封装业务相关的API接口；

数据存储模块，与所述的业务服务模块相连接，用于缓存和持久化中间数据、结果数据和行情快照数据；

数据访问模块，输入端与所述的数据中转模块、业务服务模块相连接，输出端与客户端相连接，用于为客户端提供数据访问服务，并接收客户端的主题订阅请求建立长连接，向客户端实时推送相应数据。

作为本发明的优选实施方式，所述的数据接收适配模块包括：

数据接收单元，用于对接多路实时行情数据源及其他行情数据源；

数据解析单元，与所述的数据接收单元相连接，用于解析行情数据源，并从每帧实时行情数据中提取多条数据；

结构转换单元，与所述的数据解析单元相连接，用于根据数据源的接入要求进行协议适配并数据转换，提取数据所属类型；

初始化单元，与所述的结构转换单元相连接，用于提取毫秒级时间戳用作消息数据的序列ID属性值；

转发单元，与所述的初始化单元相连接，用于转发给对应生产者单元。

作为本发明的优选实施方式，所述的数据中转模块包括：

数据去重单元，与所述的数据接收适配模块相连接，用于根据序列ID对数据进行自动去重；

数据中转单元，与所述的数据去重单元相连接，用于根据数据类型将行情数据维护在多个主题中。

作为本发明的优选实施方式，所述的业务服务模块从数据中转模块获取上游数据，进行数据计算及加工处理，将加工后的数据存储到缓存或持久化到数据库，或者将加工后的数据发送至对应主题。

作为本发明的优选实施方式，所述的数据访问模块接收客户端的用户请求，提供数据订阅和数据查询的服务；将用户请求转发至业务服务模块提供的各种API，并将结果返回至客户端；接收客户端的主题订阅请求，建立长连接并向客户端实时推送相应数据。

如图2所示，作为本发明的优选实施方式，所述的系统还包括多个云机房子系统，每个所述的云机房子系统包括数据中转模块复制节点和云机房的数据访问模块，多个所述的数据中转模块复制节点的输入端均与所述的数据中转模块相连接，云机房的数据访问模块与该云机房子系统的数据中转模块复制节点相连接，多个所述的云机房的数据访问模块的输出端均与客户端相连。

本发明的具体实施方式中，使用了一种简单有效的适配和去重方案，引入Pulsar，数据接收和数据处理模块彼此解藕，异步处理，且支持削峰填谷，增强了系统能力，Pulsar具有可重放数据的特性，能做数据恢复与测试。本发明使用Pulsar的跨地域复制功能，对于部分业务场景，可以将加工处理后的行情结果数据远程传输到云机房，在远端云机房只部署数据访问等相关服务即可满足很多行情业务的数据查询场景，即支持轻量化部署。

本发明包括多个模块：数据接收适配模块、数据中转模块、业务服务模块、数据存储模块、数据访问模块等。

如图3所示，数据接收适配模块：负责直接对接多家交易所的多路行情源，进行协议解析和数据格式转换，将行情数据转换为行情系统内部统一的格式，然后按照市场类型或合约类型分别发送到Pulsar集群中对应的主题中。针对每个类型的消息数据，数据接收适配模块会提取毫秒级时间戳并用作消息数据的序列ID属性。接收适配模块以生产者角色使用Shared模式连接Pulsar集群进行数据发送。

数据接收适配模块的具体处理步骤如下：

该模块对接多路实时行情源及其他行情相关的数据源(如财务数据、交易日历等)，该模块会按各数据源的接入要求进行协议适配和数据转换，将上游数据转换为行情系统内部统一的格式。

对于接入多路实时行情源的场景，该模块同时接收多路数据并从每帧实时行情数据中提取多条数据，转换格式并提取数据所属类型。该模块会为每种数据类型创建一个生产者单元，生产者单元负责将行情源数据发送给行情系统并将本类数据发送到Pulsar对应的主题，发送前会提取毫秒级时间戳用作消息数据的序列ID属性值。

该模块将多路行情源的数据都发送到Pulsar中，Pulsar会基于序列ID做消息自动去重。这样能保证后续步骤得到一份不重复且最新的行情数据。

数据中转模块：本模块负责从数据接收适配模块接收实时数据，按市场类型或合约类型将数据维护到多个不同的主题中；对多路数据进行自动去重和归并，并进行实时转发；对数据进行持久化并支持数据重放，方便系统做数据恢复和功能测试。对数据进行持久化在本领域一般是指数据存储，即为将数据归档或存储到服务器以支持查询及使用。在本发明的实施例中，数据中转模块的数据进行持久化具体是指，所有经过Pulsar传输的行情数据都会进行持久化存储，并可配置保存时长。业务服务模块可指定再次接收某些数据，以进行数据重放、数据恢复等。

本模块为上述各类型的数据始终维持一份最新的且不包含重复数据的数据流，后续模块可以以消费者角色从本模块获取实时行情数据及一定时间范围内的历史数据，然后进行处理。本模块在实际实施时即使用了Pulsar集群。

该模块实际实施时使用了Pulsar平台。该模块将行情数据按类型维护在多个主题中，提供高性能实时转发、数据去重、数据存储等功能，为后续的业务服务模块或数据访问模块提供数据通道。本发明充分利用了Pulsar平台的上述功能，简化了行情系统的设计。

业务服务模块：负责从Pulsar中以消费者角色读取统一格式的行情结构体数据，按需进行各类业务的计算处理(如K线、千档行情、资金流等)，并封装业务相关API接口。

该模块负责包装行情类业务层处理逻辑，比如K线、千档行情、资金流、自选股等。该模块一般会从Pulsar中获取上游数据，进行各类数据计算和加工处理。该模块会将加工后的数据存储到缓存或持久化到数据库。一些场景中，业务处理程序也会把加工后的中间数据或结果数据发送到Pulsar的特定主题中，供其他业务处理程序消费和二次加工等。

业务服务模块还输出数据至数据中转模块，场景一：业务处理程序可能会将加工后的结果数据再次传到中转模块，给其他业务处理程序读取并进行再次处理。场景二：业务处理程序将处理后的结果数据传到中转模块，进行跨机房复制，供远端云机房使用。因此本架构比较灵活，充分解耦，自由组合。

数据存储模块：负责缓存和持久化中间数据、结果数据、行情快照数据等，供业务服务模块使用，实际由数据库、缓存等软件组件。

数据访问模块：负责为客户端提供数据访问服务，包括数据查询接口、数据订阅接口等；负责接收客户端的主题订阅请求，建立长连接并向客户端实时推送相应数据。

该模块起到网关的作用，主要提供客户端接入鉴权、连接维护、数据访问等功能。该模块负责：1、接收客户端请求，提供数据订阅、数据查询等服务；2、将用户请求转发到业务服务模块提供的各种API，并将结果返回给用户。3、接收客户端的主题订阅请求，建立长连接并向客户端实时推送相应数据。

如图2所示，本系统还包括多个云机房，一般云机房会部署3个部分，数据中转模块复制节点、业务服务模块和数据访问模块，并对用户提供数据访问服务。

其中，数据中转模块复制节点实际即部署了一个pulsar轻量化集群，使用pulsar原生支持的跨地域复制功能与主机房的集群进行数据可靠传输。

业务服务模块主要进行数据维护、数据查询，比如从消息平台读取并维护最新的快照行情数据，提供各类业务数据的查询接口等。与主机房不同的是，远端云机房的业务服务模块只维护最近一定时长的数据，并不是全量数据，如果某些业务场景需要获取超出维护范围的数据，需回源到主机房进行查询。

数据访问模块，输入端与所述的数据中转模块、业务服务模块相连接，输出端与客户端相连接，用于为客户端提供数据访问相关服务(与主机房功能类似)。

云机房具有以下作用：

1、支持根据用户量级按需进行横向扩容，提高系统的整体服务能力。

2、多机房部署数据访问服务，实现用户就近接入和获取数据，有效降低用户端的访问延时。

3、主要针对加工处理后的行情数据，尤其适合热点数据、实时数据的访问场景。

由于远端机房不部署数据存储模块，所以若查询的数据超出云机机房的维护范围，需要回源到主机房。远端云机机房的业务服务模块主要是提供数据查询使用，很少有再进行数据的加工等复杂逻辑。

本发明包括多个步骤：

1、多源行情数据的接收及预处理步骤，接收适配模块从多路行情数据源中接收实时数据并做模型转换及生成递增消息序列ID等预处理。

2、数据去重及中转，多个接收适配模块以生产者角色将数据发送到Pulsar集群，Pulsar集群基于序列ID自动进行数据去重，行情数据按市场或合约类型维护到不同的主题。

3、业务处理及存储，各类业务计算程序从Pulsar中消费数据进行业务处理并存入缓存或数据库等。

4、数据访问，数据访问模块接收用户请求，进行实时数据流推送或数据响应。

本发明的数据中转模块是基于Pulsar平台实现的，主要进行消息数据的运转，对消息主题进行管理维护等。Pulsar是一个支持多租户的、高性能的服务与服务之间消息通讯的解决方案，最初由雅虎开发，现由Apache软件基金会管理。Pulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案。

本说明书中提到的主题，即Topic，并非Pulsar平台特有，是消息处理平台(如kafka、pulsar、rabbitMQ)的通用概念，用于维护一类消息数据。

本发明提出了一种优化用户访问行情数据的解决方法，将加工处理后的行情数据利用Pulsar跨地域复制功能进行可靠传输，同时在异地机房部署轻量化的数据访问服务，从而降低了系统跨地域部署的复杂度。

本发明的基于Pulsar进行行情类数据的去重及中转处理，简化了行情系统的架构和落地成本，具有以下优点：

a、架构灵活，数据接收模块和业务服务模块解耦，各模块都可按需横向扩容，系统具有高可扩展性。

b、削峰填谷。当数据进入流量高峰超过阈值时，Pulsar集群能进行数据缓冲，有效保护业务服务模块和数据访问模块等程序的稳定性。

c、Pulsar持久化一定时间的历史数据，业务服务模块可以指定位置进行数据重放，方便行情系统进行数据恢复和测试等。

d、具备低延时、高吞吐、高可用等特征，也满足实时行情转发的性能要求。

e、借助Pulsar的去重功能，降低了对接多路数据源时的开发实现复杂度。

本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

采用了本发明的针对多源实时行情数据实现高可用接收及处理的系统，通过多个接收节点间的协作实现数据接收环节的热备和故障自动切换，保障多路数据源的高可用接收；充分利用Pulsar作为数据中转，将数据处理划分为多个相对独立的模块，架构灵活、扩展方便；将加工处理后的数据通过Pulsar可靠传输到远端云机机房，支持轻量化部署；综上，本发明具有高可用、高性能、易扩展等明显特征。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的系统包括：

数据接收适配模块，用于对接多路行情数据，进行协议解析和数据格式转换，将行情数据转换为统一格式，并根据市场类型或合约类型分别发送至数据中转模块；

数据中转模块，与所述的数据接收适配模块相连接，用于对多路数据进行自动去重和归并，并将数据维护至多个主题中；

业务服务模块，与所述的数据中转模块相连接，用于读取统一格式的行情结构体数据，根据需要对各类业务数据进行计算处理及提供相应API，并封装业务相关的API接口；

数据存储模块，与所述的业务服务模块相连接，用于缓存和持久化中间数据、结果数据和行情快照数据；

数据访问模块，输入端与所述的数据中转模块、业务服务模块相连接，输出端与客户端相连接，用于为客户端提供数据访问服务，并接收客户端的主题订阅请求建立长连接，向客户端实时推送相应数据。

2.根据权利要求1所述的针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的数据接收适配模块包括：

数据接收单元，用于对接多路实时行情数据源及其他行情数据源；

数据解析单元，与所述的数据接收单元相连接，用于解析行情数据源，并从每帧实时行情数据中提取多条数据；

结构转换单元，与所述的数据解析单元相连接，用于根据数据源的接入要求进行协议适配并数据转换，提取数据所属类型；

初始化单元，与所述的结构转换单元相连接，用于提取毫秒级时间戳用作消息数据的序列ID属性值；

转发单元，与所述的初始化单元相连接，用于转发给对应生产者单元。

3.根据权利要求1所述的针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的数据中转模块包括：

数据去重单元，与所述的数据接收适配模块相连接，用于根据序列ID对数据进行自动去重；

数据中转单元，与所述的数据去重单元相连接，用于根据数据类型将行情数据维护在多个主题中。

4.根据权利要求1所述的针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的业务服务模块从数据中转模块获取上游数据，进行数据计算及加工处理，将加工后的数据存储到缓存或持久化到数据库，或者将加工后的数据发送至对应主题。

5.根据权利要求1所述的针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的数据访问模块接收客户端的用户请求，提供数据订阅和数据查询的服务；将用户请求转发至业务服务模块提供的各种API，并将结果返回至客户端；接收客户端的主题订阅请求，建立长连接并向客户端实时推送相应数据。

6.根据权利要求1所述的针对多源实时行情数据实现高可用接收及处理的系统，其特征在于，所述的系统还包括多个云机房子系统，每个所述的云机房子系统包括数据中转模块复制节点和云机房的数据访问模块，多个所述的数据中转模块复制节点的输入端均与所述的数据中转模块相连接，云机房的数据访问模块与该云机房子系统的数据中转模块复制节点相连接，多个所述的云机房的数据访问模块的输出端均与客户端相连。

Images