CN110517136A - 一种证券行情加速处理方法及系统 - Google Patents

Abstract

本发明公开了一种证券行情加速处理方法及系统，分为FPGA部分和软件服务部分，FPGA部分进行行情数据处理，软件服务部分进行管理功能处理。其中FPGA部分包含如下模块：数据包接收处理模块、行情数据解析模块、行情分发模块、寄存器模块。软件服务器部分包含如下模块：行情管理模块、权限管理模块、系统监控模块以及系统前置模块，本发明采用硬件FPGA进行证券行情数据处理，处理过程包含网络数据包解析、行情数据协议处理以及行情数据协议重组等过程。基于FPGA电路并行流处理的特性，所有的硬件判断逻辑都可以同时工作处理，可为行情解析提供稳定、高带宽的处理性能，带来高速的处理速率，大幅度节省了行情数据处理的延时。

Description

一种证券行情加速处理方法及系统

技术领域

本发明属于证券行情加速处理分发技术领域，具体涉及一种证券行情加速处理方法及系统。

背景技术

随着程序化交易的兴起，人们逐步偏向于利于计算机程序来协助交易的进行，量化交易、高频交易、算法交易等概念频繁出现在公众的视野。众所周知，计算机程序拥有比人类更快的处理和响应速度，它可以在极短的时间(在毫秒或微妙甚至纳秒)内完成对行情的判断以及交易指令的执行。尤其是对于高频交易者，更加最求极速的体验，其中极速行情的获取是一个必不可少的环节。市场行情获取的速度会直接影响到交易执行的收益，交易的机会往往转瞬即逝。

为了追求更快的行情获取速度，高频交易参与者们会选择将机器托管在交易所附近的机房，以减少行情链路的传输延时，从而能够更快的接收交易所原始行情数据；在接收到原始行情数据后，需进行解码处理才可供自有程序使用，为此需花费高昂的代价，采购顶端配置的服务器用以部署行情服务器，以追求快速的行情解码工作。

当前市场上行情服务器都是基于软件实现的，即采用CPU机制运行的软件程序，通过增加内存、CPU处理频率可以部分提升行情服务器的处理性能，但由于系统架构的原因，所有的解码运算处理都必须都通过网络传到CPU，CPU参与处理，处理完成后再由CPU将数据通过网卡回传至网络，整个过程存在较大的网络传输延时。且CPU资源被大量占用，在数据处理时性能也会存在一定波动。

发明内容

本发明的目的在于提供一种证券行情加速处理方法及系统，以解决使用现有证券行情加速处理分发时，行情服务器完全基于软件实现，解码运算处理过程需要经过CPU，CPU资源被大量占用，在数据处理时性能也会存在一定波动的问题。

为实现上述目的，本发明提供如下技术方案：一种证券行情加速处理方法，其特征在于包括以下步骤：

S1：交易所行情源发出的网络数据包传输给数据包接收处理模块；

S2：数据包接收处理模块将网络数据包进行过滤、解析及重组后的数据传输给行情数据解析模块；

S3：行情数据解析模块对接收到的行情数据包进行多路并行解析处理，解析处理完成后将得到的行情快照信息、逐笔委托行情信息、逐笔成交行情信息发送给行情分发模块；

S4：行情分发模块将行情信息进行网络封装处理，封装完成后将处理后的可用行情数据包通过UDP组播发送给行情用户，同时数据包接收处理模块、行情数据解析模块、行情分发模块通过PCIe接口将数据信息传输到系统监控模块，系统监控模块监控行情数据包的运行状态，当出现异常时进行预警提示。

优选的，所述数据包接收处理模块、行情数据解析模块、行情分发模块将数据信息存储到寄存器模块：寄存器模块记录各模块内部处理过程，并为行情数据包计数。

优选的，所述行情用户通过API接口连接到系统前置模块，系统前置模块与行情用户的直接交互，行情用户向系统前置模块发送各类请求，系统前置模块接收到请求后调用后台对应的权限管理模块进行相应处理，并将处理结果返回给行情用户。

优选的，所述系统监控模块连接到行情管理模块，行情管理模块对用户之间的行情进行分发管理，行情管理模块与交易所行情源建立登录连接以及连接过程中的心跳保持。

优选的，所述步骤S2中过滤、解析及重组包括以下步骤：

步骤一：数据包接收处理模块接收到的网络数据包由数据链路层解析过滤单元进行过滤,数据链路层解析过滤单元接收交易所行情源发出的网络数据包，解析网络数据包MAC层信息，并进行数据包合法性校验，对于校验未通过的数据包进行丢弃处理，校验通过的数据包将发往网络层解析过滤单元；

步骤二：网络层解析过滤单元对网络数据包进行解析,网络层解析过滤单元接收数据链路层解析过滤单元发来的有效网络数据包，进行数据包TCP头部信息解析处理，解析后的数据包分为三类，分别为心跳连接数据包、行情信息数据包、无用数据包，对于心跳连接数据包，将发往交易所连接管理单元，由其对心跳数据进行处理，维护交易所的心跳连接；对于行情信息数据包，将发往数据包体过滤及组装单元，由其对数据包进行下一步处理；对于其他无用类数据包，将在此步骤直接丢弃；

步骤三：解析后的数据包传输给数据包体过滤及组装单元，数据包体过滤及组装单元对接收网络层解析过滤单元发来的合法行情数据包，在此步骤将对行情数据包分片进行判断及组装处理，首先，根据行情数据种类进行过滤处理，行情数据种类分为股票类行情、债券类行情、基金类行情、期权类行情、港股类行情，系统将按照事前设置进行行情类别过滤，对于非所需行情种类数据将进行丢弃处理；对于所需行情种类数据将进行行情数据包组装，组装为完整的行情数据包后发往行情分发模块。

优选的，所述行情分发模块包括网络协议封装单元和行情数据分发单元，网络协议封装单元对行情信息进行网络封装处理，网络协议封装单元将封装后的数据包传输给行情数据分发单元，行情数据分发单元将可用行情数据包通过UDP组播发送给行情用户。

一种证券行情加速处理系统，其特征在于：包括FPGA部分和软件服务部分，FPGA部分进行行情数据处理，软件服务部分进行管理功能处理，FPGA部分和软件服务部分通过通过PCIe接口连接。

优选的，所述FPGA部分包含如下模块：数据包接收处理模块、行情数据解析模块、行情分发模块、寄存器模块；

数据包接收处理模块：用于接收交易所行情源发出的网络数据包，对网络数据包进行过滤、解析及数据包重组，将重组后的数据包发送给行情数据解析模块；

行情数据解析模块：用于对接收到的行情数据包进行多路并行解析处理，解析处理完成后将得到的行情快照信息、逐笔委托行情信息、逐笔成交行情信息发送给行情分发模块；

行情分发模块：用于接收解析处理后的行情信息，对行情信息进行网络封装处理，封装完成后将处理后的可用行情数据包通过UDP组播发送给行情用户；

寄存器模块：用于记录各模块内部处理过程数据存储，便于进行内部问题排查定位，并为行情数据包提供计数器功能。

优选的，所述软件服务器部分包含如下模块：行情管理模块、权限管理模块、系统监控模块以及系统前置模块；

行情管理模块：行情管理模块包括交易所连接管理单元和用户行情管理单元，交易所连接管理单元对外用于系统与交易所行情源的登录连接以及连接过程中的心跳保持，用户行情管理单元对内用于与用户之间的行情分发管理；

权限管理模块：用于软件部分安装的授权管理以及行情用户登录时的权限校验管理；

系统前置模块：用于与行情用户的直接交互，行情用户通过API发送各类请求，系统前置模块接收到请求后调用后台对应的处理单元进行相应处理，并将处理结果返回给行情用户；

系统监控模块：用于监控FPGA网卡的内部的运行状态，通过PCIe接口连接实时监控FPGA模块运行状态，当出现异常时进行预警提示。

优选的，所述行情数据解析模块包括集中竞价处理单元、指数信息处理单元、成交量信息处理单元和逐笔交易信息处理单元。

本发明与现有技术相比，具有以下有益效果：

(1)本发明采用硬件(FPGA)进行证券行情数据处理，处理过程包含网络数据包解析、行情数据协议处理以及行情数据协议重组等过程。基于FPGA电路并行流处理的特性，所有的硬件判断逻辑都可以同时工作处理，可为行情解析提供稳定、高带宽的处理性能，带来高速的处理速率，大幅度节省了行情数据处理的延时。传统的软件行情处理系统受限于操作系统内部的线程任务调度逻辑，且软件编程具有顺序特性，在行情处理过程中会产生线性排队现象，因此产生了处理延时。操作系统在进行任务处理时会存在抖动现象，产生了行情处理延时的不稳定性。

(2)本发明行情数据解析模块对交易所不同类别行情数据采用多线路分离并行处理，即将集中竞价行情数据、指数行情数据、成交量行情数据和逐笔行情数据报文分拆为四条单独线路进行独立处理。多线路并行处理技术一方面可提高行情解析速率，减少链路处理堵塞的概率；另一方面实现了系统内部的松耦合功能，即当单条链路出现堵塞或故障时，不会影响其他行情处理链路的正常解析运行，从而提升系统内部处理的稳定性。

(3)本发明行情分发模块可支持在一层网络进行广播，相较于二、三层网络传输，基于数据链路层的一层网络传输可减少传输过程中的报文组装和解析步骤，在MAC层进行数据广播，通过配置高速的网络传输设备，网络传播延时可降低至纳秒级别。

(4)接入管理模块以API接口模式与客户进行交互，为保证客户接入行情的速度和稳定性，系统以远程API的方式提供基于C++语言的API接口，远程API方式相较于传统的服务器本地API接口模式，将部分功能任务下放至客户端，可减少服务器端压力，同时可减少网络传输流量，提升传输效率。系统提供的API接口贴合客户使用习惯，简单易用，可减少用户学习成本，易于上手使用。并且提供相应的接口开发用例，有助于用户更快的掌握本产品API的使用。

附图说明

图1为本发明的系统结构示意图；

图2为本发明的数据链路层解析过滤单元处理流程示意图；

图3为本发明的网络层解析过滤单元处理流程示意图；

图4为本发明的数据包体过滤及组装单元处理流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供如下技术方案：一种证券行情加速处理方法，其特征在于包括以下步骤：

S1：交易所行情源发出的网络数据包传输给数据包接收处理模块；

S2：数据包接收处理模块将网络数据包进行过滤、解析及重组后的数据传输给行情数据解析模块；

S3：行情数据解析模块对接收到的行情数据包进行多路并行解析处理，解析处理完成后将得到的行情快照信息、逐笔委托行情信息、逐笔成交行情信息发送给行情分发模块；

S4：行情分发模块将行情信息进行网络封装处理，封装完成后将处理后的可用行情数据包通过UDP组播发送给行情用户，同时数据包接收处理模块、行情数据解析模块、行情分发模块通过PCIe接口将数据信息传输到系统监控模块，系统监控模块监控行情数据包的运行状态，当出现异常时进行预警提示。

优选的，所述数据包接收处理模块、行情数据解析模块、行情分发模块将数据信息存储到寄存器模块：寄存器模块记录各模块内部处理过程，并为行情数据包计数。

优选的，所述行情用户通过API接口连接到系统前置模块，系统前置模块与行情用户的直接交互，行情用户向系统前置模块发送各类请求，系统前置模块接收到请求后调用后台对应的权限管理模块进行相应处理，并将处理结果返回给行情用户。

优选的，所述系统监控模块连接到行情管理模块，行情管理模块对用户之间的行情进行分发管理，行情管理模块与交易所行情源建立登录连接以及连接过程中的心跳保持。

优选的，所述步骤S2中过滤、解析及重组包括以下步骤：

步骤一：数据包接收处理模块接收到的网络数据包由数据链路层解析过滤单元进行过滤,数据链路层解析过滤单元接收交易所行情源发出的网络数据包，解析网络数据包MAC层信息，并进行数据包合法性校验，对于校验未通过的数据包进行丢弃处理，校验通过的数据包将发往网络层解析过滤单元；

步骤二：网络层解析过滤单元对网络数据包进行解析,网络层解析过滤单元接收数据链路层解析过滤单元发来的有效网络数据包，进行数据包TCP头部信息解析处理，解析后的数据包分为三类，分别为心跳连接数据包、行情信息数据包、无用数据包，对于心跳连接数据包，将发往交易所连接管理单元，由其对心跳数据进行处理，维护交易所的心跳连接；对于行情信息数据包，将发往数据包体过滤及组装单元，由其对数据包进行下一步处理；对于其他无用类数据包，将在此步骤直接丢弃；

步骤三：解析后的数据包传输给数据包体过滤及组装单元，数据包体过滤及组装单元对接收网络层解析过滤单元发来的合法行情数据包，在此步骤将对行情数据包分片进行判断及组装处理，首先，根据行情数据种类进行过滤处理，行情数据种类分为股票类行情、债券类行情、基金类行情、期权类行情、港股类行情，系统将按照事前设置进行行情类别过滤，对于非所需行情种类数据将进行丢弃处理；对于所需行情种类数据将进行行情数据包组装，组装为完整的行情数据包后发往行情分发模块。

优选的，所述行情分发模块包括网络协议封装单元和行情数据分发单元，网络协议封装单元对行情信息进行网络封装处理，网络协议封装单元将封装后的数据包传输给行情数据分发单元，行情数据分发单元将可用行情数据包通过UDP组播发送给行情用户。

一种证券行情加速处理系统，其特征在于：包括FPGA部分和软件服务部分，FPGA部分进行行情数据处理，软件服务部分进行管理功能处理，FPGA部分和软件服务部分通过通过PCIe接口连接。

优选的，所述FPGA部分包含如下模块：数据包接收处理模块、行情数据解析模块、行情分发模块、寄存器模块；

数据包接收处理模块：用于接收交易所行情源发出的网络数据包，对网络数据包进行过滤、解析及数据包重组，将重组后的数据包发送给行情数据解析模块；

行情数据解析模块：用于对接收到的行情数据包进行多路并行解析处理，解析处理完成后将得到的行情快照信息、逐笔委托行情信息、逐笔成交行情信息发送给行情分发模块；

行情分发模块：用于接收解析处理后的行情信息，对行情信息进行网络封装处理，封装完成后将处理后的可用行情数据包通过UDP组播发送给行情用户；

寄存器模块：用于记录各模块内部处理过程数据存储，便于进行内部问题排查定位，并为行情数据包提供计数器功能。

优选的，所述软件服务器部分包含如下模块：行情管理模块、权限管理模块、系统监控模块以及系统前置模块；

行情管理模块：行情管理模块包括交易所连接管理单元和用户行情管理单元，交易所连接管理单元对外用于系统与交易所行情源的登录连接以及连接过程中的心跳保持，用户行情管理单元对内用于与用户之间的行情分发管理；

权限管理模块：用于软件部分安装的授权管理以及行情用户登录时的权限校验管理；

系统前置模块：用于与行情用户的直接交互，行情用户通过API发送各类请求，系统前置模块接收到请求后调用后台对应的处理单元进行相应处理，并将处理结果返回给行情用户；

系统监控模块：用于监控FPGA网卡的内部的运行状态，通过PCIe接口连接实时监控FPGA模块运行状态，当出现异常时进行预警提示。

优选的，所述行情数据解析模块包括集中竞价处理单元、指数信息处理单元、成交量信息处理单元和逐笔交易信息处理单元。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种证券行情加速处理方法，其特征在于包括以下步骤：

S1：交易所行情源发出的网络数据包传输给数据包接收处理模块；

S2：数据包接收处理模块将网络数据包进行过滤、解析及重组后的数据传输给行情数据解析模块；

S3：行情数据解析模块对接收到的行情数据包进行多路并行解析处理，解析处理完成后将得到的行情快照信息、逐笔委托行情信息、逐笔成交行情信息发送给行情分发模块；

S4：行情分发模块将行情信息进行网络封装处理，封装完成后将处理后的可用行情数据包通过UDP组播发送给行情用户，同时数据包接收处理模块、行情数据解析模块、行情分发模块通过PCIe接口将数据信息传输到系统监控模块，系统监控模块监控行情数据包的运行状态，当出现异常时进行预警提示。

2.根据权利要求1所述的一种证券行情加速处理方法，其特征在于：所述数据包接收处理模块、行情数据解析模块、行情分发模块将数据信息存储到寄存器模块：寄存器模块记录各模块内部处理过程，并为行情数据包计数。

3.根据权利要求1所述的一种证券行情加速处理方法，其特征在于：所述行情用户通过API接口连接到系统前置模块，系统前置模块与行情用户的直接交互，行情用户向系统前置模块发送各类请求，系统前置模块接收到请求后调用后台对应的权限管理模块进行相应处理，并将处理结果返回给行情用户。

4.根据权利要求1-3任一项所述的一种证券行情加速处理方法，其特征在于：所述系统监控模块连接到行情管理模块，行情管理模块对用户之间的行情进行分发管理，行情管理模块与交易所行情源建立登录连接以及连接过程中的心跳保持。

5.根据权利要求1所述的一种证券行情加速处理方法，其特征在于：所述步骤S2中过滤、解析及重组包括以下步骤：

步骤一：数据包接收处理模块接收到的网络数据包由数据链路层解析过滤单元进行过滤,数据链路层解析过滤单元接收交易所行情源发出的网络数据包，解析网络数据包MAC层信息，并进行数据包合法性校验，对于校验未通过的数据包进行丢弃处理，校验通过的数据包将发往网络层解析过滤单元；

步骤二：网络层解析过滤单元对网络数据包进行解析,网络层解析过滤单元接收数据链路层解析过滤单元发来的有效网络数据包，进行数据包TCP头部信息解析处理，解析后的数据包分为三类，分别为心跳连接数据包、行情信息数据包、无用数据包，对于心跳连接数据包，将发往交易所连接管理单元，由其对心跳数据进行处理，维护交易所的心跳连接；对于行情信息数据包，将发往数据包体过滤及组装单元，由其对数据包进行下一步处理；对于其他无用类数据包，将在此步骤直接丢弃；

步骤三：解析后的数据包传输给数据包体过滤及组装单元，数据包体过滤及组装单元对接收网络层解析过滤单元发来的合法行情数据包，在此步骤将对行情数据包分片进行判断及组装处理，首先，根据行情数据种类进行过滤处理，行情数据种类分为股票类行情、债券类行情、基金类行情、期权类行情、港股类行情，系统将按照事前设置进行行情类别过滤，对于非所需行情种类数据将进行丢弃处理；对于所需行情种类数据将进行行情数据包组装，组装为完整的行情数据包后发往行情分发模块。

6.根据权利要求1所述的一种证券行情加速处理方法，其特征在于：所述行情分发模块包括网络协议封装单元和行情数据分发单元，网络协议封装单元对行情信息进行网络封装处理，网络协议封装单元将封装后的数据包传输给行情数据分发单元，行情数据分发单元将可用行情数据包通过UDP组播发送给行情用户。

7.一种证券行情加速处理系统，其特征在于：包括FPGA部分和软件服务部分，FPGA部分进行行情数据处理，软件服务部分进行管理功能处理，FPGA部分和软件服务部分通过通过PCIe接口连接。

8.根据权利要求7所述的一种证券行情加速处理方法及系统，其特征在于：所述FPGA部分包含如下模块：数据包接收处理模块、行情数据解析模块、行情分发模块、寄存器模块；

数据包接收处理模块：用于接收交易所行情源发出的网络数据包，对网络数据包进行过滤、解析及数据包重组，将重组后的数据包发送给行情数据解析模块；

行情数据解析模块：用于对接收到的行情数据包进行多路并行解析处理，解析处理完成后将得到的行情快照信息、逐笔委托行情信息、逐笔成交行情信息发送给行情分发模块；

行情分发模块：用于接收解析处理后的行情信息，对行情信息进行网络封装处理，封装完成后将处理后的可用行情数据包通过UDP组播发送给行情用户；

寄存器模块：用于记录各模块内部处理过程数据存储，便于进行内部问题排查定位，并为行情数据包提供计数器功能。

9.根据权利要求7所述的一种证券行情加速处理方法及系统，其特征在于：所述软件服务器部分包含如下模块：行情管理模块、权限管理模块、系统监控模块以及系统前置模块；

行情管理模块：行情管理模块包括交易所连接管理单元和用户行情管理单元，交易所连接管理单元对外用于系统与交易所行情源的登录连接以及连接过程中的心跳保持，用户行情管理单元对内用于与用户之间的行情分发管理；

权限管理模块：用于软件部分安装的授权管理以及行情用户登录时的权限校验管理；

系统前置模块：用于与行情用户的直接交互，行情用户通过API发送各类请求，系统前置模块接收到请求后调用后台对应的处理单元进行相应处理，并将处理结果返回给行情用户；

系统监控模块：用于监控FPGA网卡的内部的运行状态，通过PCIe接口连接实时监控FPGA模块运行状态，当出现异常时进行预警提示。

10.根据权利要求7-9任一项所述的一种证券行情加速处理方法及系统，其特征在于：所述行情数据解析模块包括集中竞价处理单元、指数信息处理单元、成交量信息处理单元和逐笔交易信息处理单元。