CN113112366A

CN113112366A - 分布式数据总线

Info

Publication number: CN113112366A
Application number: CN202110387771.0A
Authority: CN
Inventors: 汪宏斌; 刘国强; 迟晓光; 吴力丰; 王祉涵; 钱二余
Original assignee: Shanghai Zhonghui Yida Financial Information Technology Co ltd
Current assignee: Shanghai Zhonghui Yida Financial Information Technology Co ltd
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2021-07-13

Abstract

本发明提供了一种分布式数据总线，以及使用了这种分布式数据总线结构的外汇做市商报价引擎系统，该系统包括：一个或多个数据发布模块，所述数据发布模块被配置成接入一个或多个外汇市场数据源以接收报价信息，并将所述数据源向注册中心登记；注册中心，所述注册中心维护所述数据发布模块向其登记的数据源的列表；以及一个或多个数据消费模块，所述数据消费模块向所述注册中心获取数据源的信息，并与一个或多个数据源建立点对点连接以直接接收数据。

Description

分布式数据总线

技术领域

本发明涉及金融信息技术，尤其是涉及一种用于外汇做市商报价引擎的分布式数据总线。

背景技术

外汇交易平台分主要分为两种:有处理平台模式(Dealing Desk，简称DD)和无处理平台模式(No Dealing Desk，简称NDD)。有处理平台模式(DD)的外汇交易平台又叫做市商(Market Maker，简称MM)。无处理平台模式(NDD)的外汇交易平台可细分为STP、DMA/STP和ECN+STP。

做市商，顾名思义，就是为客户“做市”，“制造市场”。在一定条件下，交易者想买进的时候，做市商卖出给该交易者，当交易者想卖出的时候，做市商将其买入，也就是说，在需要的时候，做市商会始终处在交易者反方的位置，与交易者的头寸相反，通过这种方式来“做市”。做市商一般通过点差来盈利，并在需要的时候与客户持相反的方向交易。

在做市商的交易平台中，报价引擎(或报价引擎系统)是其中的核心。客户通过业务子系统或银行间交易平台向报价引擎系统发起报价请求，报价引擎系统从国际市场实时接入一家或多家报价源(支持手工和系统两种方式)，然后利用系统自身的处理机制或报价策略来处理牌价，再把综合报价发布给客户，客户依此价格进行交易。

外汇做市商在生成做市报价时，为快速生成合理、更贴近市场的报价，需要接入大量外部数据源作为价格参考。图1描绘了现有技术的报价引擎中的数据发布和消费的示意架构。如图1中所示，现有的报价引擎一般包括数据源接口、数据发布平台以及数据消费端。首先，报价引擎通过不同的数据源接口实现接入不同第三方交易平台的外部数据源，随后将数据源的价格标准化处理后，发布到统一的数据发布平台。另一方面，数据消费端从数据发布平台订阅不同数据源的市场价格。

从上面现有技术的架构图中，可以看到：

(1)所有数据源的价格，通过统一的中间节点向下游转发，即使数据发布的性能再高，也必然会增加数据传输的延迟。和直接点对点传输相比较，延迟主要会发生在：

a.数据发布平台，为实现整体高可用，一般也会分至少两层进行发布，这带来内部网络传输的延迟；

b.相比点对点只有1段网络传输，数据发布平台上下各有1段共2段网络传输。

(2)所有接入的市场数据，都需要通过统一的分发模块向下游分发，很容易出现单点的性能瓶颈。

(3)新增发布数据源均需要开发该平台数据发布接口，修改数据平台配置；一般市场数据只能从上到下发布，如果要再次发布二次处理后的数据，也需要修改数据平台的配置。操作过于复杂，架构不能灵活自动适应数据发布需要。

因此，希望设计一种能够实现报价引擎系统的高度可配置化及横向扩展性的新的分布式数据总线。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

本发明旨在解决现有技术中报价引擎架构灵活度低、传输延迟高等问题，提供一种新的高可配置化和扩展性的用于报价引擎系统架构的分布式数据总线。

根据本发明的一个反面，提供了一种使用分布式数据总线结构的外汇做市商报价引擎系统，系统包括：

一个或多个数据发布模块，所述数据发布模块被配置成接入一个或多个外汇市场数据源以接收报价信息，并将所述数据源向注册中心登记；

注册中心，所述注册中心维护所述数据发布模块向其登记的数据源的列表；以及

一个或多个数据消费模块，所述数据消费模块向所述注册中心获取数据源的信息，并与一个或多个数据源建立点对点连接以直接接收数据。

根据本发明的进一步实施例，单个数据源的不同类型或不同业务在所述注册中心被注册为单独的数据源。

根据本发明的进一步实施例，单个数据源的不同网络地址在所述注册中心被注册为数据源名称不同的多个条目。

根据本发明的进一步实施例，所述数据发布模块被进一步配置成：

定期确定向其注册的数据源的状态；并且

当数据源断开或失效时，向所述一个或多个数据消费模块更新所述数据源的状态，同时向所述注册中心解除所述数据源的注册。

根据本发明的进一步实施例，所述数据消费模块被配置成：

根据用户配置的数据源名称，向所述注册中心查询数据源信息，所述数据源信息中至少包括数据源的IP地址和端口；以及

基于所述数据源的IP地址和端口与所述数据源建立连接以订阅数据更新。

根据本发明的进一步实施例，当相同数据源存在多个IP地址时，所述数据消费模块采用随机或循环策略获取选用的IP地址。

根据本发明的进一步实施例，所述一个或多个数据消费模块中的具有发布数据能力的数据消费模块向所述注册中心注册为数据源。

根据本发明的进一步实施例，所述系统提供标准API供所述数据发布模块和所述数据消费模块使用，以实现数据发布及订阅。

根据本发明的进一步实施例，所述标准API提供数据字典文件，用于规定所述系统的数据总线中支持的域。

根据本发明的进一步实施例，所述数据字典文件可被编辑以在所述数据总线中增加新的域。

与现有技术中的方案相比，本发明所提供的报价引擎至少具有以下优点：

1、通过分布式数据总线架构，显著降低了从发布数据源到数据消费端之间的网络传输的延迟，有利于满足金融交易系统极高的即时性要求；

2、通过分布式数据总线设计，避免了单点性能瓶颈的出现；以及

3、通过数据发布订阅标准API实现系统的灵活配置及扩展。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1描绘了现有技术的报价引擎中的数据发布和消费的示意架构。

图2描绘了根据本发明的一个实施例的使用新的分布式数据总线架构的外汇做市商报价引擎系统的示意图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

图2描绘了根据本发明的一个实施例的使用新的分布式数据总线架构的外汇做市商报价引擎系统的示意图。如图2中所示，报价引擎系统(以下简称“报价引擎”)中包括多个数据发布模块和多个数据消费模块。

数据发布模块包括但不限于LCAPI(流动性消费)网关、CMDS(中国外汇交易中心市场数据服务)数据源网关以及第三方平台网关。LCAPI网关用于与数据源CFETS FX2017交易平台对接，CMDS数据源网关用于与数据源CMDS对接，而第三方平台网关用于连接各第三方平台，包括但不限于REUTERS(路透)、FXALL(路透的外汇交易平台)、HSBC(汇丰银行)、BOA(美国银行)等等。

作为一个优选示例，每一个数据源的不同市场类型或业务类型可被视为一个单独数据源。例如，CFETS FX2017可包括ESP(Executive Streaming Price，可执行持续报价，也称点击成交)市场和ODM(Order Driven Model，挂单驱动模式，也称撮合成交)市场，因此可将这两种市场类型视为两个数据源，例如将其分别命名为CFESP和CFODM。类似的，CMDS数据源基于其市场类型也可分为Anonymous(匿名市场)、Bilateral(双边市场)以及ODM(撮合市场)三种类型，因此也可将这三种市场类型视为三个单独的数据源，并将其分别命名为例如CMDSA、CMDSB和CMDSC。

与图1不同，替代图1中的统一的数据发布中心，图2的架构中包括一个注册中心。注册中心负责注册和维护数据源列表。

数据发布模块将各网关接入的数据源的名称、IP地址、端口等信息注册到注册中心。在图2中示出的示例，注册中心维护的数据源列表中列出了已注册的数据源：

数据源名称	数据源IP地址、端口
		DS.REUTERS	10.8.0.1:10120
DS.FXALL	10.8.0.1:10120
		DS.HSBC	10.8.0.1:10120
DS.BOA	10.8.0.1:10120
		DS.CMDSA	10.8.0.2:10120
DS.CMDSB	10.8.0.2:10120
		DS.CMDSC	10.8.0.2:10120
DS.CFESP	10.8.0.3:10120
		DS.CFODM	10.8.0.3:10120
DS.FXLP1	10.8.0.4:10120
		DS.FXLP2	10.8.0.5:10120
……	……

如以上的示例列表中所显示的，通过注册，注册中心登记了数据源的名称、IP地址和端口。需要注意，虽然注册时是以数据源的名义进行登记，但数据源的IP地址和端口实际上是接入该数据源的数据发布模块的IP地址和端口，因为数据消费模块需要通过在一个非限制性示例中，同一数据源(例如CMDS)的不同类型(例如之前提到的CMDSA、CMDSB、CMDSC)被注册为三个数据源。此外，在另一示例中，数据发布模块也支持将多个相同数据源服务同时注册到注册中心，例如同一个数据源服务可以具有多个服务器地址用于平衡负载或安全冗余，因此可以存在多条数据源名称相同的注册条目。

数据发布模块可定期确定上游数据源的状态，例如可通过查询的方式。当发现上游数据源断开或失效时，数据发布模块可向数据消费模块实时更新该数据源的状态，同时向注册中心解除其自身数据源注册。相应地，注册中心可对注册信息作失效处理。当断开或失效的数据源恢复之后，数据发布模块可向注册中心再次注册数据源。

数据发布模块的另一作用是可以支持数据消费模块向其订阅消费市场数据，例如通过数据发布订阅标准API，这在下文中将进一步详细描述。

图2中示出了多个示例数据消费模块，包括但不限于量化系统数据消费模块、FXLP1数据消费模块、以及FXLP 2数据消费模块。用户可通过配置文件或配置界面对数据消费模块进行配置，使得各数据消费模块可根据用户配置的数据源名称(Source)向注册中心查询该数据源所在的网络位置(IP地址)，并通过点对点TCP方式与数据源建立长连接(通过IP地址和端口)。当相同数据源存在多个网络位置时，数据消费模块可采用随机、循环等策略获取选用的网络位置。当消费数据模块与现有数据源失去连接时，重新从注册中心的数据源列表获取最新有效的数据源网络位置。

用户还可通过标准API来配置数据订阅，例如如图2中所示的，量化系统数据消费模块建立了与数据发布模块中的LCAPI网关以及第三方平台网关的连接，并分别订阅了EUR.USD CFESP数据以及EUR.USD HSBC数据。类似的，FXLP 1数据消费模块向第三方平台网关订阅了EUR.USD REUTERS数据，而FXLP 2数据消费模块分别向第三方平台网关和CMDS数据源网关订阅了EUR.USD REUTERS数据和USD.CNY CMDSB数据。

可以理解的是，数据发布模块和数据消费模块是根据数据的生成和使用的主体来区分的，因此，在有些场景下，某个模块的身份是多重的。例如，数据消费模块也可以产生加工、清洗后的市场数据，进行发布。此时，该数据消费模块可以作为数据发布模块，并以与数据发布模块相同的原理将其产生的市场数据登记到注册中心，供其他数据消费模块使用。例如，如图2中所示，FXLP1数据消费模块和FXLP 2数据消费模块可分别基于直接报价和套算报价规则来计算价格，并作为相应的EUR.USD直接报价数据源和EUR.CNY套算报价数据源，以之前提到的数据发布模块的身份发布数据，相应地登记注册为DS.FXLP1和DS.FXLP2。在上文中给出的示例注册数据源列表中，DS.FXLP1和DS.FXLP2已登记在其中。类似地，量化系统数据消费模块也可基于VSWAP规则计算价格，作为EUR.USD VWAP计算数据源来发布数据(图2中未示出)。

以上描述了本发明的分布式数据总线架构。通过这一架构，数据发布模块和数据消费模块只需要经由注册中心进行登记注册和获取，随后即可建立点对点连接。因此，数据发布模块和数据消费模块之间只有1段网络传输，相比于原先的具有统一的数据发布平台的架构至少省略了1段网络传输，而且还有可能节省数据发布平台内部的网络传输，因此将显著降低传输延迟。此外，通过数据订阅，每一个数据消费模块可针对其需要的数据直接向相应的数据源获取数据，数据的传输压力被分散到各个数据源，因此避免了原先统一数据发布平台处出现的性能瓶颈。

根据本发明的一个实施方式，可封装统一的用于数据发布及订阅的标准API供各模块使用。该API除了实现数据发布模块、数据消费模块的上述逻辑外，还支持根据如下规则对市场数据报文进行序列化及反序列化：

(1)提供数据字典文件，用于规定总线架构中可以支持的域。例如，数据字典文件中可以提供如下定义，包括但不限于：

Field Name,定义域的名称，允许API用户在代码或者配置中使用，方便理解；

Field ID,网络中传输的域编号，域数值范围可以为0x0000～0xFFFF；

Field Type，域的数值类型，可以定义的类型包括但不限于CHAR,SHORTINT,INTEGER,LONGINT,DECIMAL,LONGDECIMAL,STRING,TIME,DATE,GROUP等，其中GROUP代表包含有下层重复组域，可用于传输档位行情；

Child Fields,如果是GROUP类型的域，定义需要容纳的下层重复组域的Field ID列表；

Field Value，域的值。

通过在数据字典文件，用户或开发者可容易地增加新的Field定义，就可以在总线中使用新的域，而不需要修改API代码。

(2)序列化及反序列化

报文传输时，使用Field ID，Field Value结构。

在一个优选实施例中，对于Field ID域及INT、DECIMAL、DATE或TIME等数值类型的Field Value，可使用二进制方式编码以最大量缩短报文长度，提高传输效率。

根据本发明的又一实施例，该API还可支持使用Field Name或Field ID来对报文进行索引操作，以及支持数据消费模块按照数据源(Source)、数据代码(Symbol)、域(Field)的组合来订阅消费市场数据。

标准API的提供，使得可以容易地新增和修改发布数据源，不需要开发新的平台数据发布接口或修改数据平台配置。通过这一标准API，也十分容易实现数据消费模块反向发布数据，这同样不需要修改数据平台配置。因而，这一架构相对于原有架构更能灵活地适应于数据发布的需要。

以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。

Claims

1.一种使用分布式数据总线结构的外汇做市商报价引擎系统，其特征在于，所述系统包括：

2.如权利要求1所述的系统，其特征在于，单个数据源的不同类型或不同业务在所述注册中心被注册为单独的数据源。

3.如权利要求1所述的系统，其特征在于，单个数据源的不同网络地址在所述注册中心被注册为数据源名称不同的多个条目。

4.如权利要求1所述的系统，其特征在于，所述注册中心被配置成：

定期确定向其注册的数据源的状态；并且

向所述一个或多个数据消费模块更新所述数据源的状态。

5.如权利要求1所述的系统，其特征在于，所述数据消费模块被配置成：

6.如权利要求5所述的系统，其特征在于，当相同数据源存在多个IP地址时，所述数据消费模块采用随机或循环策略获取选用的IP地址。

7.如权利要求1所述的系统，其特征在于，所述一个或多个数据消费模块中的具有发布数据能力的数据消费模块向所述注册中心注册为数据源。

8.如权利要求1所述的系统，其特征在于，所述系统提供标准API供所述数据发布模块和所述数据消费模块使用，以实现数据发布及订阅。

9.如权利要求8所述的系统，其特征在于，所述标准API提供数据字典文件，用于规定所述系统的数据总线中支持的域。

10.如权利要求9所述的系统，其特征在于，所述数据字典文件可被编辑以在所述数据总线中增加新的域。