CN108769141A - 一种多源实时交易行情数据接收与归并处理的方法 - Google Patents

Abstract

本发明属于金融数据处理领域，其具体公开了一种多源实时交易行情数据接收与归并处理的方法，包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；本发明将行情数据的处理步骤划分成独立的节点，通过将相关节点级联起来协作完成行情数据的接收、格式转换、数据合并的功能，这些处理节点可以根据不同的数据处理需求进行灵活配置，通过增加或者组合现有的处理节点就可以支持接入新的行情源。

Description

一种多源实时交易行情数据接收与归并处理的方法

技术领域

本发明涉及金融数据处理领域，具体涉及一种多源实时交易行情数据接收与归并处理的方法。

背景技术

程序化交易系统对所接入的实时行情数据的低延时和高稳定性一般都有比较高的要求，在实际实施过程中往往有多个实时行情数据源可选，这些不同渠道提供的行情源的延时情况不尽相同，而且可能会随时间发生变化，某段时间A渠道的更快，而在另外的时段可能B渠道的更快，所以无法事先决定采用那一个渠道的行情源会带来更低的延时，更快的实时行情数据对较高频的程序化交易非常重要；另外，单个的实时行情数据源它的稳定性也是有限的，无法保证100％的时间都可用。基于上述原因，程序化交易系统中有同时接入多个渠道行情源的需求，多个实时行情数据源既可以构成多备份，提高实时行情数据的高可用性，另外结合多路行情源，如果任何时刻都能从中选取出最快的行情数据，那么对于交易系统来说在低延时上也是很大的提高。需要交易多品种的程序化交易系统往往还需要同时接入多个品种的行情，而单一行情源可能无法同时提供多个品种的行情数据，所以也需要能从多个渠道接入不同交易品种的实时行情数据。

发明内容

本发明所要解决的技术问题是提供一种多源实时交易行情数据接收与归并处理的方法，支持同时接收多个实时行情源的数据，这些实时行情源的数据之间既可以存在交集，比如同时都包含某些市场某些合约的行情，也可以不存在交集，对从多个实时行情源接收的实时行情数据进行实时检测，如果存在有交集的数据则对数据进行归并处理，只将最先接收到的数据向后推送，后续达到且与先前数据重复的行情数据需要过滤掉。当某一路行情源接收中断时，只要其包含的行情数据在系统的其他行情源中存在，行情接收系统可以不中断的继续提供该部分的行情数据，行情系统同时提供数据格式转换功能，将从不同行情源接收到的异构数据转换为行情接收系统中定义的格式，方便行情数据的使用。。

本发明是通过以下技术方案来实现的：一种多源实时交易行情数据接收与归并处理的方法，包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；

该处理系统具体包括：

数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；

数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；

数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是延时最小的数据进行推送；

数据监测节点：负责将接收到的实时行情数据进行输出和显示；

数据采集节点：负责将接收到的实时行情数据保存到本地磁盘，作为历史行情数据进行归档存储。

作为优选的技术方案，数据合并节点的具体处理方法如下：

一、节点收到一帧实时行情数据后，从中提取出该帧行情数据所属的合约信息，然后与该合约在该节点已经推送过的上一帧行情数据进行比较；

二、根据新旧两帧数据上的成交量变化判断新收到的行情数据是否体现了更新的市场行情变化；

三、如果判断为成交量增加则允许该帧行情数据向后推送，反之，丢弃该帧数据；

四、如果成交量相同，再对两帧行情数据中的订单簿信息进行比较，如果订单簿有变化则认为行情已经改变，也允许新的一帧行情数据通过，反之，丢弃该帧数据；

五、如果订单簿没有变化，则判断新旧两帧数据的接收时间差是否大于设定的阈值，如果大于阈值也允许该帧行情数据通过；

六、通过上面步骤的处理，可以过滤掉重复的行情，同时也能让最新的行情可以通过。

本发明的有益效果是：一、本发明将行情数据的处理步骤划分成独立的节点，通过将相关节点级联起来协作完成行情数据的接收、格式转换、数据合并的功能，这些处理节点可以根据不同的数据处理需求进行灵活配置，通过增加或者组合现有的处理节点就可以支持接入新的行情源。

二、从多个行情源同步接收行情数据并进行数据帧的归并降低了数据的整体延时，在单个行情源中断时由于存在行情归并的处理，系统的行情不会中断，提高了实时行情数据的稳定性健壮性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于可配置节点的数据处理流程图；

图2为本发明的多源行情数据接收处理系统结构图；

图3为本发明的数据归并处理流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1和图2所示，包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；

该处理系统具体包括：

数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；

数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；

数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是延时最小的数据进行推送；

数据监测节点：负责将接收到的实时行情数据进行输出和显示；

数据采集节点：负责将接收到的实时行情数据保存到本地磁盘，作为历史行情数据进行归档存储。

如图3所示，数据合并节点的具体处理方法如下：

一、节点收到一帧实时行情数据后，从中提取出该帧行情数据所属的合约信息，然后与该合约在该节点已经推送过的上一帧行情数据进行比较；

二、根据新旧两帧数据上的成交量变化判断新收到的行情数据是否体现了更新的市场行情变化；

三、如果判断为成交量增加则允许该帧行情数据向后推送，反之，丢弃该帧数据；

四、如果成交量相同，再对两帧行情数据中的订单簿信息进行比较，如果订单簿有变化则认为行情已经改变，也允许新的一帧行情数据通过，反之，丢弃该帧数据；

五、如果订单簿没有变化，则判断新旧两帧数据的接收时间差是否大于设定的阈值，如果大于阈值也允许该帧行情数据通过；

六、通过上面步骤的处理，可以过滤掉重复的行情，同时也能让最新的行情可以通过。

下面结合附图对本发明所述方法作进一步描述,如图2所示是本发明的多源行情数据接收和归并方法与系统的具体实施例：

1、接收器1节点从行情源1接收实时行情数据，数据接收的具体实现通过调用该行情源提供的API接口进行，接收器2和接收器3分别从行情源2和行情源3接收实时行情数据，从这3路行实时情源接收到的是相同交易品种的行情数据，但由于数据源提供系统本身以及地理位置及网络环境差异，从3个数据源收到的虽然是相同交易品种的数据，但是接收器1、接收器2、接收器3收到某个时间点上行情数据的本地时间会存在差异，也就是从本地看3个行情源的延时存在差异。

2、由于行情源1、2、3所提供API的差异接收到的行情数据格式各异，为了方便后续的数据归并处理，在接收器1、接收器2、接收器3节点后面分别加入数据格式转换节点重建器1、重建器2、重建器3，这3个节点将对应数据源的原始数据格式转换为行情系统中定义的统一格式。

3、归并器1对重建器1、重建器2、重建器3转换为统一格式的数据进行实时检测，如前所述，经过格式转换后这3路数据对应数据帧的行情内容相同，但是在本地收到的时间存在差异，重建器1需要检测这3路数据中的对应数据帧，让最先到达的数据帧通过而禁止后达到的数据帧通过，最终效果就是延迟最低的数据通过，另外如果行情源中断，只要有一路行情源是正常的行情接收系统就还能正常提供行情，系统的健壮性因多路行情接收和归并而增强。

4、行情源4、5提供与行情源1、2、3不同市场和品种的其他行情，接收器4、接收器5这两个节点分别接收这两个行情源的数据，然后分别由重建器4、重建器5进行格式转换的处理，最后在归并器2节点进行数据的归并处理。

5、归并器1和归并器2输出的行情数据分属不同的市场和产品，两路行情数据之间没有交集，通过归并器3节点将两路数据合并为一路数据后，提供行情数据给使用者。

6、监视器节点可以将收到的数据进行输出显示，该节点可以连接到任何想查看其输出数据的节点之后。

7、采集器节点将接收到的数据进行收集并按照其配置将数据保存到磁盘上指定位置，存储为历史行情数据。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (2)

1.一种多源实时交易行情数据接收与归并处理的方法，其特征在于：包括由多个可配置可组合的单一功能的节点构成的处理系统，该处理系统是将行情数据的每个处理步骤抽象为独立节点，每个节点负责一种类型的数据处理任务，一个节点可以从一个或者多个前序节点获取数据并进行处理，处理完成后再将数据传递给它的一个或者多个后继节点继续进行处理；

该处理系统具体包括：

数据接收节点：该类节点没有前序节点，它们负责特定数据源的接收任务，然后将接收到的数据打上本地时间戳标记以及具体数据类型的标记，然后将加工后的数据传递给它的后继节点；

数据重建节点：该类节点在收到前序数据接收节点的数据后，按照数据上的类型标记对特定数据源的数据进行格式转换，转换为行情系统内部统一的格式然后向后继节点传递；

数据合并节点：该节点从多个数据重建节点接收数据，这几路行情数据中可能同时包含某些相同市场和合约的数据，在该节点处需要检测这种情况并进行处理，保证不会向后推送重复的数据，同时可以在包含重叠数据的多路数据流中选取出最先到达的，也就是延时最小的数据进行推送；

数据监测节点：负责将接收到的实时行情数据进行输出和显示；

数据采集节点：负责将接收到的实时行情数据保存到本地磁盘，作为历史行情数据进行归档存储。

2.如权利要求1所述的多源实时交易行情数据接收与归并处理的方法,其特征在于，数据合并节点的具体处理方法如下：

一、节点收到一帧实时行情数据后，从中提取出该帧行情数据所属的合约信息，然后与该合约在该节点已经推送过的上一帧行情数据进行比较；

二、根据新旧两帧数据上的成交量变化判断新收到的行情数据是否体现了更新的市场行情变化；

三、如果判断为成交量增加则允许该帧行情数据向后推送，反之，丢弃该帧数据；

四、如果成交量相同，再对两帧行情数据中的订单簿信息进行比较，如果订单簿有变化则认为行情已经改变，也允许新的一帧行情数据通过，反之，丢弃该帧数据；

五、如果订单簿没有变化，则判断新旧两帧数据的接收时间差是否大于设定的阈值，如果大于阈值也允许该帧行情数据通过；

六、通过上面步骤的处理，可以过滤掉重复的行情，同时也能让最新的行情可以通过。