CN110460540A - 一种低延迟高频交易系统及方法 - Google Patents

Abstract

本发明提出一种低延迟高频交易系统及方法，所述系统包括：交换机、与所述交换通机通过高速网口连接的FPGA模块、与所述FPGA模块通过高速网口连接的高速网卡、以及与所述高速网卡通信连接的PC端；所述交换机用于接收和发送交易数据包；所述FPGA模块用于对所述交易数据包进行硬件交易前处理；所述高速网卡用于通过内部的DPDK数据处理单元分别与所述PC端的DPDK驱动建立高速通道以及与所述PC端的KNI驱动建立低速通道；所述PC端用于通过交易应用软件对经所述高速通道收取的交易数据包进行软件交易后处理。本发明基于FPGA和DPDK高速网卡，在边缘端就并行处理好数据，软硬件配合有力保障了交易的高性能处理。

Description

一种低延迟高频交易系统及方法

技术领域

本发明属于高频交易技术领域，具体涉及一种低延迟高频交易系统及方法。

背景技术

在高频交易系统应用中，从高速网络获取到的交易相关数据，需要快速将数据传递给应用软件进行处理，低延迟性能是评判高频交易系统优劣的一个重要指标。

传统的交易数据处理结构有2种，参见附图1：

图1的方案1(左)是通过FPGA来做交易处理加速，这样能在接近网络的边缘端能够低延迟获取并处理数据，然后再将处理结果通过fpga驱动传递给PC端中进行软件处理。

图1的方案2(右)使用了类似于solarflare这类高速网卡，该网卡具有DPDK的硬件处理单元，能够被识别为一个DPDK设备。网络数据通过这个高速网卡传递到PC端的DPDK驱动，低延迟穿透OS内核，并交付软件模块进行处理。

这两种处理方式，都有它的不足之处：

方案1，系统能够低延迟处理交易数据一部分数据(硬件前处理完成)，要通过FPGA驱动将硬件处理完毕的数据给软件进行后处理，瓶颈就在FPGA驱动用目前最优化的方案，延迟率也不够理想，因为还是要基于FPGA板卡设备商的驱动进行优化改良，提升余地有限。

方案2，系统能够低延迟将数据传递给PC端的软件进行处理，但所有处理都由软件完成，无法使用硬件加速。即使在软件处理过程中借助于GPU等并行运算资源，也无法达到FPGA在边缘端迅速完成前处理的整体性能优势。

发明内容

有鉴于此，本发明提出一种低延迟高频交易系统及方法，用于解决传统交易系统延迟高的问题。

本发明第一方面，提出一种低延迟高频交易系统，所述系统包括交换机、与所述交换通机通过高速网口连接的FPGA模块、与所述FPGA模块通过高速网口连接的高速网卡、以及与所述高速网卡通信连接的PC端；

所述交换机用于接收和发送交易数据包；

所述FPGA模块用于对所述交易数据包进行硬件交易前处理；

所述高速网卡用于通过内部的DPDK数据处理单元分别与所述PC端的DPDK驱动建立高速通道以及与所述PC端的KNI驱动建立低速通道；

所述PC端用于通过交易应用软件对经所述高速通道收取的交易数据包进行软件交易后处理。

可选的，所述硬件交易前处理具体包括：

链路维护单元：用于通过低速通道建立和维持交易应用软件和交易所之间的网络连接；

上行数据过滤单元：用于上行数据过滤，从上行交易数据中筛选出敏感行情数据，提取所述敏感行情数据各个数据域关键字段进行数据处理，将处理结果通过FPGA模块传送给所述高速网卡，经上行高速通道交给PC端交易应用软件；

下行数据风控单元：用于对从下行高速通道接收到的下行交易数据进行风控检查，从下行交易数据中提取出交易关键信息，所述交易关键信息包括交易的产品、价格、数量；将所述交易关键信息和交易应用软件软件配置的对应数据比较，在配置数据范围内则认为通过了风控检测，将经过风控检测的交易数据发送到和交换机连接的光口上。

可选的，所述硬件交易前处理中，交易应用软件通过低速通道获取交易所的信息，所述交易所的信息包括ip地址、端口号信息、FTD数据域信息；FPGA驱动将所述交易所的信息配置给FPGA寄存器，用于上行数据过滤单元的数据过滤；所述上行数据过滤时，提取上行交易数据包中的ip地址、端口号、FTD数据域信息，同所述FPGA寄存器中的交易所的信息比较，辨别是否是来自交易所的交易敏感数据，非交易敏感数据直接丢弃。

本发明第二方面，提出一种低延迟高频交易方法，所述方法包括：

S1、交换机接收来自交易所的交易数据包，将所述交易数据包发送至FPGA模块；

S2、FPGA模块接收所述交易数据包，将所述交易数据包复制成两路数据流，一路数据流维持不变，经高速网卡的低速通道传输至PC端用于常规网络应用；对另一路数据流进行上行数据过滤，筛选出交易敏感数据并进行数据处理，将处理结果经高速网卡的高速通道上传至PC端交给交易应用软件进行软件交易后处理；

S3、将交易应用软件通过PC端的DPDK驱动从高速通道发出处理后的交易数据包，所述FPGA模块接收所述交易数据包并对所述交易数据包进行下行数据风控检测；

S4、FPGA模块将经过风控检测的交易数据流和来自低速通道的数据流汇集成一路数据流并进行缓存，将所述缓存数据经所述交换机发送至交易所。

可选的，所述步骤S1之前还包括：

通过低速通道建立交易应用软件和交易所之间的网络连接，并进行链路维护与数据交互，交易应用软件获取交易所的信息，将所述交易所的信息配置给FPGA寄存器；所述交易所的信息包括ip地址、端口号信息、FTD数据域信息。

可选的，所述上行数据过滤的具体过程为：提取从交换机获取的上行交易数据包中的ip地址、端口号、FTD数据域信息，同所述FPGA寄存器中的所述交易所的信息比较，辨别是否是来自交易所的交易敏感数据，筛选出敏感行情数据，非敏感行情数据直接丢弃。

可选的，所述下行数据风控具体为：

从交易数据中提取出交易关键信息，将所述交易关键信息和交易应用软件配置的对应数据比较，在配置数据范围内则认为通过了风控检测；风控检测不通过就丢弃，并通过上行通道将出错信息通知给交易应用软件；所述交易关键信息包括交易的产品、价格、数量。

可选的，所述步骤S4中，所述将所述缓存数据经所述交换机发送至交易所具体为：

将两路缓存数据发到交换机前先进行优先级选择，两路缓存中优先发送存有数据的一个，如果同时有数据优先发送高速通道缓存数据，再发送低速通道缓存数据；交换机接收数据再将所述数据发送至交易所。

本发明的有益效果是：

本发明基于FPGA和DPDK高速网卡，将网络交互的交易数据在FPGA内快速进行硬件前处理，在边缘端就并行处理好数据，并通过高速网卡低延迟传递给交易应用软件进行处理，处理算法均衡后，软硬件配合能充分使用低延迟来提升处理性能，有力保障了交易的高性能处理，保障满足投资者的需求。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为传统的交易数据处理结构；

图2位本发明提供的交易系统结构示意图；

图3为本发明提供的硬件前处理与软件后处理的框架图；

图4为本发明提供的交易方法流程示意图；

图5为本发明提供的上行数据处理流程图和下行数据处理流程图。

具体实施方式

本发明公开了一种交易系统及方法，基于FPGA和DPDK高速网卡，将网络交互的交易数据能够在FPGA内快速处理，并通过高速网卡低延迟传递给应用软件进行处理，有力保障了交易的高性能处理。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图2，本发明提出一种低延迟高频交易系统，所述系统包括交换机110、与所述交换通机通过高速网口连接的FPGA模块120、与所述FPGA模块120通过高速网口连接的高速网卡130、以及与所述高速网卡通信连接的PC端140；

所述交换机110用于接收和发送交易数据包；

所述FPGA模块120用于对所述交易数据包进行硬件交易前处理；

所述硬件交易前处理具体包括：

链路维护单元1201：用于通过低速通道建立和维持交易应用软件和交易所之间的网络连接；

上行数据过滤单元1202：用于上行数据过滤，从上行交易数据中筛选出敏感行情数据，提取所述敏感行情数据各个数据域关键字段进行数据处理，将处理结果通过FPGA模块传送给所述高速网卡；

具体的，所述上行交易数据为从交易所发出的、经交换机发往PC端交易应用软件的行情数据；所述硬件交易前处理中，FPGA模块120将从交换机110收到的上行交易数据包复制成两路数据流，所述链路维护单元将其中一路数据流维持不变直接发送给高速网卡，作为低速通道用于一般网络应用，包括tcp/udp连接、链路维护等应用。FPGA另一路数据作为高速通道，需要通过上行数据过滤单元1202进行上行数据过滤。

所述上行数据过滤时，提取上行交易数据包中的ip地址、端口号、FTD数据域等信息，同交易应用软件事先通过低速通道获取并配置给FPGA的对应寄存器中的交易所的信息比较，辨别是否是来自交易所的敏感行情数据，不是关心的行情数据就直接丢弃，不传送给DPDK网卡；是敏感行情数据则继续提取各个数据域关键字段，进行存储、计算、比较等处理，处理完成将处理结果通过光口传送给DPDK网卡上传至内存交由软件处理。整个过程是流水线处理，数据的各级处理和传送都是实时完成，不引入额外的延迟。

下行数据风控单元1203：用于对从下行高速通道接收到的下行交易数据进行风控检查，从下行交易数据中提取出交易关键信息，所述交易关键信息包括交易的产品、价格、数量；将所述交易关键信息和交易应用软件软件配置的对应数据比较，在配置数据范围内则认为通过了风控检测，将经过风控检测的交易数据发送到交换机。风控检测不通过就丢弃，并通过上行通道将出错信息通知给软件。

具体的，所述下行交易数据为从PC端交易应用软件发出的、经交换机发往交易所的订单数据；所述硬件交易前处理中，低速通道网卡接收来自应用层的建立网络连接和链路维护的数据包，直接发送给FPGA模块的一个光口，所述链路维护单元将所述数据包再经FPGA模块的另一光口转发给交换机，通过该链路建立和维持交易程序和交易所之间的网络连接。交易应用软件通过低速通道获取交易所的信息，所述交易所的信息包括ip地址、端口号信息、FTD数据域等信息；FPGA驱动将所述交易所的信息配置给FPGA寄存器，用于上行数据过滤单元的数据过滤。

所述高速网卡130用于通过内部的DPDK数据处理单元分别与所述PC端的DPDK驱动建立高速通道以及与所述PC端的KNI驱动建立低速通道；

具体的，DPDK(Data Plane Development Kit，数据平面开发套件)，DPDK程序运行在操作系统的用户空间，利用自身提供的数据面库进行收发包处理，绕过了操作系统内核态协议栈，可以极大提高数据处理性能和吞吐量。本发明通过高速网卡将高速网口获取到的交易数据通过高速网卡内部的DPDK处理模块，和PC系统的DPDK驱动建立高速通道，通过DPDK低延迟技术将数据传递给交易应用软件进行软件交易后处理。同时利用DPDK处理模块与PC端的KNI驱动建立低速通道。本发明基于高速网卡DPDK高速通道，软件后处理和硬件前处理进行高速低延迟数据通信。

所述PC端140用于通过交易应用软件对经所述高速通道收取的交易数据包进行软件交易后处理。具体的，所述硬件交易后处理包括行情处理和订单处理。

请参阅图3，本发明的低延迟高频交易系统的另一实施例，图3为硬件交易前处理与软件交易后处理框架图，从交换机接收到的上行数据分成上行高速通道和上行低速通道两路，上行低速通道的数据维持不变上传给PC端用于常规网络应用；上行高速通道的数据先进行上行数据过滤，然后经上行高速通道送入交易应用软件进行软件交易后处理。所述软件交易后处理包括行情处理和订单处理，通过交易所API实现与交易所的通信与数据处理。软件交易后处理之后的下行数据同样分为下行高速通道与下行低速通道两路，下行低速通道接收来自应用层的建立网络连接和链路维护的数据包转发给交换机，下行高速通道的数据会进行下行数据风控，风控通过的数据转发给交换机。同时交易应用软件通过下行通道将交易所信息配置给FPGA寄存器，用于上行高速通道的数据过滤。

请参阅图4本发明还提出一种低延迟高频交易方法，所述方法包括：

S1、交换机接收来自交易所的交易数据包，将所述交易数据包发送至FPGA模块；

所述步骤S1之前还包括：预先通过低速通道建立交易应用软件和交易所之间的网络连接，并进行链路维护与数据交互，交易应用软件获取交易所的信息，将所述交易所的信息配置给FPGA寄存器；所述交易所的信息包括ip地址、端口号信息、FTD数据域信息。

S2、FPGA模块将所述交易数据包复制成两路数据流，一路数据流维持不变，经高速网卡的低速通道传输至PC端用于常规网络应用；对另一路数据流进行上行数据过滤，筛选出交易敏感数据并进行数据处理，将处理结果经高速网卡的高速通道上传至PC端交给交易应用软件进行软件交易后处理；

所述上行数据过滤的具体过程为：提取从交换机获取的上行交易数据包中的ip地址、端口号、FTD数据域信息，同所述FPGA寄存器中的所述交易所的信息比较，辨别是否是来自交易所的交易敏感数据，筛选出敏感行情数据，非敏感行情数据直接丢弃，不传送给高速网卡；是敏感行情数据则继续提取各个数据域关键字段，进行存储、计算、比较等处理，处理完成将处理结果通过光口传送给dpdk网卡上传至内存交由软件处理。整个过程是流水线处理，数据的各级处理和传送都是实时完成，不引入额外的延迟。

具体的，通过FPGA内部信号网络和逻辑电路，就可以把输入数据流复制一份变成两路数据流。

S3、将交易应用软件通过PC端的DPDK驱动从高速通道发出处理后的交易数据包，所述FPGA模块接收所述交易数据包并对所述交易数据包进行下行数据风控检测；

所述下行数据风控具体为：从交易数据中提取出交易关键信息，将所述交易关键信息和交易应用软件配置的对应数据比较，在配置数据范围内则认为通过了风控检测；风控检测不通过就丢弃，并通过上行通道将出错信息通知给交易应用软件；所述交易关键信息包括交易的产品、价格、数量。

S4、FPGA模块将经过风控检测的交易数据流和来自低速通道的数据流汇集成一路数据流并进行缓存，将所述缓存数据经所述交换机发送至交易所。

所述将所述缓存数据经所述交换机发送至交易所具体为：将两路缓存数据发到交换机前先进行优先级选择，两路缓存中优先发送存有数据的一个，如果同时有数据优先发送高速通道缓存数据，再发送低速通道缓存数据；交换机接收数据再将所述数据发送至交易所。以此来保证交易数据能最快送达交易所。

请参阅图5，图5为本发明提供的上行数据处理和下行数据处理流程示意图。其中上行数据处理对应图4中步骤S1、S2，下行数据处理对应图4中步骤S3、S4。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种低延迟高频交易系统，其特征在于，所述系统包括交换机、与所述交换通机通过高速网口连接的FPGA模块、与所述FPGA模块通过高速网口连接的高速网卡、以及与所述高速网卡通信连接的PC端；

所述交换机用于接收和发送交易数据包；

所述FPGA模块用于对所述交易数据包进行硬件交易前处理；

所述高速网卡用于通过内部的DPDK数据处理单元分别与所述PC端的DPDK驱动建立高速通道以及与所述PC端的KNI驱动建立低速通道；

所述PC端用于通过交易应用软件对经所述高速通道收取的交易数据包进行软件交易后处理。

2.根据权利要求1所述一种低延迟高频交易系统，其特征在于，所述硬件交易前处理具体包括：

链路维护单元：用于通过低速通道建立和维持交易应用软件和交易所之间的网络连接；

上行数据过滤单元：用于上行数据过滤，从交换机接收的上行交易数据中筛选出敏感行情数据，提取所述敏感行情数据各个数据域关键字段进行数据处理，将处理结果通过FPGA模块传送给所述高速网卡；

下行数据风控单元：用于对从下行高速通道接收到的下行交易数据进行风控检查，从下行交易数据中提取出交易关键信息，所述交易关键信息包括交易的产品、价格、数量；将所述交易关键信息和交易应用软件软件配置的对应数据比较，在配置数据范围内则认为通过了风控检测，将经过风控检测的交易数据发送到和交换机。

3.根据权利要求2所述一种低延迟高频交易系统，其特征在于，所述交易应用软件预先通过低速通道获取交易所的信息，所述交易所的信息包括ip地址、端口号信息、FTD数据域信息，将所述交易所的信息配置给FPGA寄存器，用于上行数据过滤单元的数据过滤；所述上行数据过滤时，提取上行交易数据包中的ip地址、端口号、FTD数据域信息，同所述FPGA寄存器中的交易所的信息比较，辨别是否是来自交易所的交易敏感数据，非交易敏感数据直接丢弃。

4.使用权利要求1所述系统的一种低延迟高频交易方法，其特征在于，所述方法包括：

S1、交换机接收来自交易所的交易数据包，将所述交易数据包发送至FPGA模块；

S2、FPGA模块将所述交易数据包复制成两路数据流，一路数据流维持不变，经高速网卡的低速通道传输至PC端用于常规网络应用；对另一路数据流进行上行数据过滤，筛选出交易敏感数据并进行数据处理，将处理结果经高速网卡的高速通道上传至PC端交给交易应用软件进行软件交易后处理；

S3、将交易应用软件通过PC端的DPDK驱动从高速通道发出处理后的交易数据包，所述FPGA模块接收所述交易数据包并对所述交易数据包进行下行数据风控检测；

S4、FPGA模块将经过风控检测的交易数据流和来自低速通道的数据流汇集成一路数据流并进行缓存，将所述缓存数据经所述交换机发送至交易所。

5.根据权利要求4所述低延迟高频交易方法，其特征在于，所述步骤S1之前还包括：

预先通过低速通道建立交易应用软件和交易所之间的网络连接，并进行链路维护与数据交互，交易应用软件获取交易所的信息，将所述交易所的信息配置给FPGA寄存器；所述交易所的信息包括ip地址、端口号信息、FTD数据域信息。

6.根据权利要求5所述低延迟高频交易方法，其特征在于，所述上行数据过滤的具体过程为：提取从交换机获取的上行交易数据包中的ip地址、端口号、FTD数据域信息，同所述FPGA寄存器中的所述交易所的信息比较，辨别是否是来自交易所的交易敏感数据，筛选出敏感行情数据，非敏感行情数据直接丢弃。

7.根据权利要求4所述低延迟高频交易方法，其特征在于，所述下行数据风控具体为：

从交易数据中提取出交易关键信息，将所述交易关键信息和交易应用软件配置的对应数据比较，在配置数据范围内则认为通过了风控检测；风控检测不通过就丢弃，并通过上行通道将出错信息通知给交易应用软件；所述交易关键信息包括交易的产品、价格、数量。

8.根据权利要求4所述低延迟高频交易方法，其特征在于，所述步骤S4中，所述将所述缓存数据经所述交换机发送至交易所具体为：

将两路缓存数据发到交换机前先进行优先级选择，两个缓存中优先发送存有数据的一个，如果同时有数据优先发送高速通道缓存数据，再发送低速通道缓存数据；交换机接收数据再将所述数据发送至交易所。