CN112087470A

CN112087470A - 一种行情数据传输方法及相关装置

Info

Publication number: CN112087470A
Application number: CN202011033910.1A
Authority: CN
Inventors: 郭雷; 郝锐; 陈尧; 厉剑; 王江为
Original assignee: Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Current assignee: Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority date: 2020-09-27
Filing date: 2020-09-27
Publication date: 2020-12-15

Abstract

本申请公开了一种行情数据传输方法，包括：对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应缓存；根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据。通过对写入对应缓存的数据进行压缩处理，得到压缩数据，最后封装后进行发送，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。本申请还公开了一种行情数据传输装置、计算设备以及计算机可读存储介质，具有以上有益效果。

Description

一种行情数据传输方法及相关装置

技术领域

本申请涉及数据处理技术领域，特别涉及一种行情数据传输方法、行情数据传输装置、计算设备以及计算机可读存储介质。

背景技术

随着信息技术的不断发展，将数据加速处理的技术方案应用于存在有大量数据的领域中。例如，采用FPGA(Field Programmable Gate Array现场可编程逻辑门阵列)在服务器外侧对金融数据进行加速处理。通过FPGA解码器解析得到有效的行情数据，由不同的传输方式将其输出至软件侧，执行交易算法和策略。

相关技术方案中，通过FPGA解码器解析出来的数据会直接发送输出到软件侧或者是将交易所发布的行情数据进行整体输出至软件侧。但是，接收到的行情数据复杂度越来越高，并在应用还存在高并发高吞吐的需求。但是，发送至软件侧冗余信息较多，影响了软件侧接收速度和效率，无法满足高并发高吞吐的应用场景，降低了使用FPGA进行数据加速的效果。

因此，如何提高对行情数据进行加速的效果是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种行情数据传输方法、行情数据传输装置、计算设备以及计算机可读存储介质，通过对写入对应缓存的数据进行压缩处理，得到压缩数据，最后封装后进行发送，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。

为解决上述技术问题，本申请提供一种行情数据传输方法，包括：

对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应缓存；

根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；

对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据。

可选的，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，包括：

根据所述预设循环扫描周期对所有缓存的数据写入状态进行扫描，得到已写入行情数据的缓存；

判断所述已写入行情数据的缓存的处理次数是否小于预设次数；

若是，则对所述已写入行情数据的缓存中的数据进行压缩处理，得到所述压缩数据；

若否，则对下一个已写入行情数据的缓存中的数据进行压缩处理，得到所述压缩数据，将所述已写入行情数据的缓存的处理次数归零。

可选的，所述对已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据的步骤，包括：

对所述已写入行情数据的缓存中的数据进行解析，得到实际档位信息；

根据所述实际档位信息将该数据的无效信息进行删除，得到所述压缩数据。

可选的，对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据，包括：

当所述压缩数据对应的缓存进行压缩处理时，发送对应的封装头信息；

当所述封装头信息发送完成时，发送所述压缩数据，以便实现发送所述待发送数据。

可选的，还包括：

当所述待发送数据发送完成时，发送其它压缩数据，以便接收端根据同一个封装头信息接收所有发送的压缩数据。

本申请还提供一种行情数据传输装置，包括：

原始数据解析模块，用于对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应缓存；

数据压缩模块，用于根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；

数据发送模块，用于对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据。

可选的，所述数据发送模块，包括：

头信息发送单元，用于当所述压缩数据对应的缓存进行压缩处理时，发送对应的封装头信息；

压缩数据发送单元，用于当所述封装头信息发送完成时，发送所述压缩数据，以便实现发送所述待发送数据。

可选的，还包括：

拼接发送模块，用于当所述待发送数据发送完成时，发送其它压缩数据，以便接收端根据同一个封装头信息接收所有发送的压缩数据。

本申请还提供一种计算设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的行情数据传输方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的行情数据传输方法的步骤。

本申请所提供的一种行情数据传输方法，包括：对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应缓存；根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据。

通过先对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存储至对应的缓存中，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，最后对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。

本申请还提供一种行情数据传输装置、计算设备以及计算机可读存储介质，具有以上有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种行情数据传输方法的流程图；

图2为本申请实施例所提供的一种行情数据传输装置的结构示意图。

具体实施方式

本申请的核心是提供一种行情数据传输方法、行情数据传输装置、计算设备以及计算机可读存储介质，通过对写入对应缓存的数据进行压缩处理，得到压缩数据，最后封装后进行发送，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

因此，本申请提供一种行情数据传输方法，通过先对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存储至对应的缓存中，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，最后对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。

以下通过一个实施例，对本申请提供的一种行情数据传输方法进行说明。

请参考图1，图1为本申请实施例所提供的一种行情数据传输方法的流程图。

本实施例中，该方法可以包括：

S101，对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应缓存；

本步骤旨在对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应的缓存。

一般来说，相关技术中采用FPGA对原始行情数据进行解析处理后，得到解析的行情数据，直接将该行情数据发送至服务器的软件进行处理，实现了FPGA将原始行情数据加速传输至服务器中。但是，随着原始行情数据的数据量越来越多，数据的种类越来越多，现有的数据传输方式没有办法保持很好的数据加速效果。

因此，本步骤中不直接发送解析后的数据，而是将解析得到的不同种类的行情数据存入对应的缓存中，以便通过不同的缓存按照对应的行情数据的种类将行情数据进行发送，服务器接收到的行情数据也是按照不同种类接收，避免了不同种类之间的切换，提高了数据接收的效率。

S102，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；

在S101的基础上，本步骤旨在根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据。也就是，将已写入行情数据的缓存中的数据进行压缩，得到压缩数据，以便去除行情数据中的冗余数据，减少数据的数据量，提高数据的空间占用率。

其中，本步骤可以采用相关技术提供的任意一种数据压缩处理的方式，也可以采用以下可选方案所提供的数据压缩处理的方式。

进一步的，本步骤中可以根据预设循环扫描周期对所有的缓存进行扫描，将扫描到的已写入行情数据的缓存作为当前处理的缓存，以便对每个缓存中的数据都进行相应的处理，避免缓存中保存了过多的数据，提高行情数据处理的可靠性。

为了进一步提高对缓存进行处理的效率，可以包括：

步骤1，根据预设循环扫描周期对所有缓存的数据写入状态进行扫描，得到已写入行情数据的缓存；

步骤2，判断已写入行情数据的缓存的处理次数是否小于预设次数；

步骤3，若是，则对已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；

步骤4，若否，则对下一个已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，将所述已写入行情数据的缓存的处理次数归零。

可见，本可选方案主要是对如何选择处理缓存进行说明。本可选方案中根据预设循环扫描周期对所有缓存的数据写入状态进行扫描，得到已写入行情数据的缓存；判断已写入行情数据的缓存的处理次数是否小于预设次数。其中，主要是当数据写入的数据较多时，有可能存在某一个缓存一直被处理，而其他的缓存中的数据并没有被处理，导致缓存中的数据保存的越来越多，最后出现崩溃情况。因此，本可选方案判断该已写入行情的缓存的处理次数是否小于预设次数。若是，则对已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；若否，则对下一个已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，将所述已写入行情数据的缓存的处理次数归零。也就是在多轮扫描中，只要某一个缓存发送次数过多就切换至下一个缓存进行发送，并将该缓存的发送次数归零，以便继续正常的扫描发送。避免了出现缓存数据不被处理的问题，提高了数据处理的可靠性。

其中，对数据进行压缩处理的步骤，可以包括：

步骤1，对已写入行情数据的缓存中的数据进行解析，得到实际档位信息；

步骤2，根据实际档位信息将该数据的无效信息进行删除，得到压缩数据。

可见，本可选方案主要是对如何进行数据压缩进行说明。本可选方案首先对已写入行情数据的缓存中的数据进行解析，得到实际档位信息；最后，根据实际档位信息将该数据的无效信息进行删除，得到压缩数据。例如，获取到的信息为十档信息，而此时实际档位信息表示只需要六档信息，因此可以将六档以后的信息进行剔除，就可以将冗余信息进行剔除，实现了数据压缩，提高了数据传输的效率。

S103，对压缩数据进行封装处理得到待发送数据，发送待发送数据。

在S102的基础上，本步骤旨在对压缩数据进行封装处理得到待发送数据，发送待发送数据。

可见，本步骤旨在获取到压缩数据的基础上，将该压缩数据进行发送，以便服务器或软件处理方接收到行情数据。

进一步的，为了提高数据发送的效率，本步骤可以包括：

步骤1，当压缩数据对应的缓存进行压缩处理时，发送对应的封装头信息；

步骤2，当封装头信息发送完成时，发送压缩数据，以便实现发送待发送数据。

可见，本可选方案中主要是对头信息发送的方式进行说明。本可选方案中，首先当压缩数据对应的缓存进行压缩处理时，发送对应的封装头信息。也就是，在数据进行压缩处理的时候就发送封装头信息，而不用接收到压缩后的数据再发送封装头信息。当封装头信息发送完成时，一般来说当封装头信息发送完成后，也就获取到了压缩数据，直接发送压缩数据，以便实现发送待发送数据。减少了封装头信息发送的时间，提高数据发送的效率。

可选的，本实施例还可以包括：

当待发送数据发送完成时，发送其它压缩数据，以便接收端根据同一个封装头信息接收所有发送的压缩数据。

可见，本可选方案主要是进一步说明如何发送后续的压缩数据。本可选方案中当待发送数据发送完成时，发送其它压缩数据，以便接收端根据封装头信息接收所有发送的压缩数据。也就是说，后续的多个压缩数据均采用第一次发送的封装头信息，使得服务器或软件根据该封装头信息接收后续接收到的压缩数据。可见，由于头信息的内容针对一个服务器就不再发生变化，后续的压缩数据就不用再封装对应的头信息，避免了传输多次头信息，提高了数据传输的效率。

综上，本实施例通过先对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存储至对应的缓存中，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，最后对压缩数据进行封装处理得到待发送数据，发送待发送数据，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。

以下通过一个具体的实施例，对本申请提供的一种行情数据传输方法进行说明。

本实施例中，采用FPGA对行情数据进行处理。

行情数据通过万兆光纤接口传送给FPGA解码器，FPGA解码器针对不同种类行情的协议，将行情数据中的有效数据解析出。因为行情数据集中度高，瞬时吞吐较大，无法完成即解即发，需要将解析数据暂时缓存到不同行情分类的缓存中，再由发送模块根据输出逻辑和策略来读取数据。

在输出总线控制模块中，根据缓存介质缓存的空满反馈信号，来确认目前是否存在已经完成解析的字段存入缓存中。对不同行情的缓存的反馈空满信号存在一个固定扫描顺序(不同种类的缓存都有数据时，按照此约定的顺序进行顺序逐一扫描发送)，根据缓存非空信号，判定进入状态机的不同状态中，进行压缩拼接组帧，匹配AXI4_ST总线。

将AXI4_ST的总线输入FPGA提供的MAC的IP核中，将AXI4_ST总线数据转换为UDP协议的数据通过万兆光纤传输给服务器上，交付给负责交易算法和策略实现的软件侧。根据解析的行情数据执行交易算法完成快速量化交易目的。

其中，对不同种类的行情缓存数据进行扫描监控，当监控到某一行情缓存非空，表明该种类行情数据已有被解析字段存入缓存中，控制模块对该缓存输出读取信号，从该缓存中取出一帧数据，将该数据通过一级寄存器寄存，保证该数据稳定。然后将该缓存中的数据压缩拼接数据。如果各个缓存介质的数据都为空状态，则再次跳回初始状态，继续监控各个缓存得非空信号。

本实施例中采取的策略为循环扫描不同种类的缓存，每次进入到行情状态中，都会轮询全部行情缓存后，若无数据发送任务，则返回初始态等待。轮询机制可以保证不同种类缓存存在数据累积时的输出公平性，不会因为解析的先后顺序而导致某一类行情缓存累积溢出，造成数据丢失。

接着，在上交所发布的行情中，行情数据会以固定得协议格式发布，如市场行情某股票申买十档信息，即便此次行情中只需要6档信息，剩余的7至10档信息会以数据0得方式补全至十档发布。导致发布行情数据的冗余，而冗余的数据在软件执行交易策略时是无效信息。因此在本实施例中将冗余的信息剥离，完成行情数据的压缩工作。减少输出信息的长度，继续完成行情信息加速输出，数据接收端能够更快的接收到数据进行快速交易。

进一步的，本实施例中，mac帧头信息可以提前获取，在进入该行情状态机后，马上将帧头信息送入总线，在匹配总线的同时完成帧头信息和行情数据的有效拼接。同时根据行情数据中的命令信息完成压缩，这几部分工作并行进行，在完成帧头信息的匹配后，输出信息已经完成压缩、拼接、匹配工作，使得该模块在获取缓存非空信号后1个cycle就开始发送，大大提高了输出的响应速度，使得接收端在超低延时下完成行情数据的接收；

此外，针对不同行情特点，本设计中逐笔成交、指数行情都是瞬时高吞吐的场景，对于内部缓存的容量具有很高的要求，需要在输出逻辑模块中，最快的速度将缓存中的数据输出，减轻缓存压力。

因此，对于瞬时高吞吐数据的行情类型，执行多条链接模式，多条链接模式为：将缓存内的多条数据链接为一条，在该状态机中，将多条信息连续取出拼接发送。多条链接模式不仅能够解决瞬时高吞吐高负载的问题，同时由于多条链接在一起，去除了n-1个帧头信息，降低了有效信息的总长度，提高了输出数据的速度，从而达到加速输出的目的。

可见，本实施例通过先对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存储至对应的缓存中，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，最后对压缩数据进行封装处理得到待发送数据，发送待发送数据，而不是直接将行情数据解析后发送，提高了行情数据传输加速的效果，保持高效传输行情数据。

下面对本申请实施例提供的行情数据传输装置进行介绍，下文描述的行情数据传输装置与上文描述的行情数据传输方法可相互对应参照。

请参考图2，图2为本申请实施例所提供的一种行情数据传输装置的结构示意图。

本实施例中，该装置可以包括：

原始数据解析模块100，用于对接收到的原始行情数据进行解析处理，得到不同种类的行情数据并存入对应缓存；

数据压缩模块200，用于根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据；

数据发送模块300，用于对压缩数据进行封装处理得到待发送数据，发送待发送数据。

可选的，该数据发送模块300，可以包括：

头信息发送单元，用于当压缩数据对应的缓存进行压缩处理时，发送对应的封装头信息；

压缩数据发送单元，用于当封装头信息发送完成时，发送压缩数据，以便实现发送待发送数据。

可选的，该装置还可以包括：

拼接发送模块，用于当待发送数据发送完成时，发送其它压缩数据，以便接收端根据同一个封装头信息接收所有发送的压缩数据。

本申请实施例还提供一种计算设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上实施例所述的行情数据传输方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的行情数据传输方法的步骤。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种行情数据传输方法、行情数据传输装置、计算设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种行情数据传输方法，其特征在于，包括：

2.根据权利要求1所述的行情数据传输方法，其特征在于，根据预设循环扫描周期对扫描到的已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据，包括：

3.根据权利要求1或2所述的行情数据传输方法，其特征在于，所述对已写入行情数据的缓存中的数据进行压缩处理，得到压缩数据的步骤，包括：

4.根据权利要求3所述的行情数据传输方法，其特征在于，对所述压缩数据进行封装处理得到待发送数据，发送所述待发送数据，包括：

5.根据权利要求4所述的行情数据传输方法，其特征在于，还包括：

6.一种行情数据传输装置，其特征在于，包括：

7.根据权利要求6所述的行情数据传输装置，其特征在于，所述数据发送模块，包括：

8.根据权利要求7所述的行情数据传输装置，其特征在于，还包括：

9.一种计算设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的行情数据传输方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的行情数据传输方法的步骤。