CN110958265B - 一种基于行情数据实时转发的方法及装置 - Google Patents

Abstract

本发明公开了一种基于行情数据实时转发的方法及装置，所述方法包括如下步骤：步骤S1，发起连接请求与上级网关或其备用节点建立连接，以于建立连接后，接收上级网关发送的行情数据；步骤S2，获取并解析行情数据包，并重新组包，经过压缩算法处理将数据压缩，将数据包分为压缩前及压缩后两份数据，并遍历两种通道对应的下级连接，将行情数据包引用分配给对应连接，并增加发送任务；步骤S3，遍历发送任务，将各份行情数据包从对应连接上发送出去。

Description

一种基于行情数据实时转发的方法及装置

技术领域

本发明涉及数据实时处理技术领域，特别是涉及一种基于行情数据实时转发的方法及装置。

背景技术

随着信息技术快速发展，各行各业的信息化建设要求逐步提高，而对数据分析及传输领域的实时性及性能要求也越来越高。

以行情数据为例，随着各交易所行情提速，原单向行情小站、行情VDE(VanguardEnergy)合并为行情网关MDGW，原文件方式的行情改造为数据流行情模式，为用户提供更快的速度。而各证券公司、基金公司为了接入高速行情网络，广域接入需要更高带宽的专线，接入成本较高。基于行情实时性要求及成本因素，行情数据的高效传输的需求也越来越迫切。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于行情数据实时转发的方法及装置，以将行情数据快速接收及转发至众多下级节点，且在数据传输过程中不允许丢包乱序，并要求转发延迟足够低，以确保传输过程的高效，数据转发至下级后实时有效及稳定可靠。

为达上述目的，本发明提出一种基于行情数据实时转发的方法，包括如下步骤：

步骤S1，本级节点发起连接请求与上级网关或其备用节点建立连接，以于建立连接后，接收上级网关发送的行情数据；

步骤S2，本级节点获取并解析行情数据包，并重新组包，存入处理队列中；利用压缩算法对处理队列中的行情数据包压缩，将行情数据包分为压缩前及压缩后两份数据，分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，同时创建发送任务，并将创建的发送任务加入到发送任务队列；并遍历压缩通道和非压缩通道对应的下级连接，将对应的行情数据包引用分配给对应连接，并增加发送任务；

步骤S3，本级节点遍历发送任务，将各份行情数据包从对应连接上发送出去；

其中，本级节点等待下级节点的认证请求；校验所述下级节点的登陆信息是否可以通过；若不通过则发送认证失败的应答数据至下级节点，若通过则发送认证成功的应答数据至下级节点；于认证成功后，判断所述认证请求中请求数据类型，根据请求数据类型将当前连接归类至压缩通道和非压缩通道。

优选地，步骤S1进一步包括：

步骤S100，利用发送模块发起连接请求，若连接上级网关失败，则选择上级网关的备用节点继续尝试连接；

步骤S101，于连接成功后，发送认证请求，所述认证请求中包含请求数据类型；

步骤S102，若认证失败，则选择下一个备用节点继续尝试连接，并返回步骤S101，若认证成功，则等待并接收行情数据。

优选地，所述上级网关及备用节点开启服务监听端口，等待本级节点的连接；当接收到本级节点的连接请求时，返回连接确认反馈至本级节点，则连接成功，若本级节点未接收到上级网关或备用节点的连接确认反馈，则连接失败。

优选地，该解析行情数据包，并重新组包，存入处理队列中的步骤进一步包括：

步骤S200a，接收到行情数据后，将接收到的行情数据按顺序存入接收队列；

步骤S200b，解析线程定期根据接收队列数据，校验数据是否为完整行情数据包，若不完整，则继续等待接收队列获取新数据包，直至完整数据包；

步骤S200c，解析出完整数据包后，计算当前数据包校验和是否正确，如果校验失败，则说明当前数据接收有异常，断开当前连接并重新连接上级获取最新数据，同时记录异常日志；若数据校验成功，将当前数据包存入所述处理队列。

优选地，步骤S3进一步包括：

步骤S301，从发送任务队列获取发送任务；

步骤S302，遍历压缩和非压缩通道下的各个连接，开始发送数据；

步骤S303，若发送失败，则将当前行情数据包存入当前连接的发送缓存队列中，下一个行情数据包到达时将重新尝试发送，避免数据丢包；若发送完成，则继续遍历，直至当前任务对应的连接遍历完成，释放对应内存资源。

优选地，于发送过程中，若检测到当前连接的发送缓存队列已满，则表示当前连接接收异常或者网络异常，将断开与下级节点的当前连接，记录异常日志说明此线路异常。

为达到上述目的，本发明还提供一种基于行情数据实时转发的装置，包括：

发送模块，用于本级节点发起连接请求与上级网关或其备用节点建立连接；

接收及数据解析处理模块，用于本级节点在与上级网关或备用节点建立连接后，接收所述上级网关或备用节点发送的行情数据，获取并解析行情数据包，并重新组包，存入处理队列中；利用压缩算法对处理队列中的行情数据包压缩，将行情数据包分为压缩前及压缩后两份数据，分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，同时创建发送任务，并将创建的发送任务加入到发送任务队列；并遍历压缩通道和非压缩通道对应的下级连接，将对应的行情数据包引用分配给对应连接，并增加引用计数，同时增加发送任务；

发送任务处理模块，用于本级节点遍历发送任务，触发所述发送模块将各份行情数据包从对应连接上发送出去；

本级节点等待下级节点的认证请求；校验所述下级节点的登陆信息是否可以通过；若不通过则发送认证失败的应答数据至下级节点，若通过则发送认证成功的应答数据至下级节点；于认证成功后，判断所述认证请求中请求数据类型，根据请求数据类型将当前连接归类至压缩通道和非压缩通道。

与现有技术相比，本发明一种基于行情数据实时转发的方法及装置，通过将行情数据从网关(MDGW/VDE)接收至当前节点后，通过解析及组包压缩等处理后，实时转发至下级多个节点，从而达到节省主机资源和网络资源的同时，将行情数据高效传输至下级并使用的目的，本发明可将行情数据快速接收及转发至众多下级节点，且在数据传输过程中不允许丢包乱序，并要求转发延迟足够低，以确保传输过程的高效，数据转发至下级后实时有效及稳定可靠。

附图说明

图1为本发明一种基于行情数据实时转发的方法的步骤流程图；

图2为本发明所应用的架构的拓扑架构图；

图3为本发明一种基于行情数据实时转发的装置的系统架构图；

图4为本发明实施例中行情数据接收到转发的具体流程图；

图5为本发明实施例中下级节点向上级网关或备用节点连接认证的流程图；

图6为本发明实施例中上级网关或备用节点连接认证的流程图；

图7为本发明实施例中接收数据并解析处理的流程图；

图8为本发明实施例中数据组包及压缩的流程图；

图9为本发明实施例中数据发送的流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于行情数据实时转发的方法的步骤流程图。如图1所示，本发明一种基于行情数据实时转发的方法，包括如下步骤：

步骤S1，发起连接请求与上级网关建立连接，并接收行情数据。

图2为本发明所应用的架构的拓扑架构图。在图2中描述了几个主要的层级，图中每一个节点都包含发送模块和接收模块，因此可以多层级联，其中每层节点都包含有主用节点和备用节点(具体可根据硬件条件，条件宽裕的情况下，可以设置多个备用节点，一般一主一备即可)，如图2所示，实线表示主用节点的数据流向，虚线表示备用节点的数据流向，主用节点线路连接中断情况下可以自动切换至备用线路。

具体地，步骤S1进一步包括：

步骤S100，发送模块发起连接请求，若连接上级网关失败，则选择上级网关的备用节点继续尝试连接；

具体地说，上级网关及其备用节点会开启服务监听端口，等待下级节点的连接。当接收到下级节点的连接请求时，返回连接确认反馈至下级节点，则连接成功，若下级节点未接收到上级网关或备用节点的连接确认反馈，则连接失败。

步骤S101，于连接成功后，发送认证请求，所述认证请求中会包含请求数据类型；

步骤S102，若认证失败，则选择下一个备用节点继续尝试连接，并返回步骤101，若认证成功，则等待并接收行情数据。

具体地，当上级网关或备用节点与下级节点连接成功后，等待下级节点的认证请求，校验登陆信息是否可以通过，不通过则发送认证失败的应答数据至下级节点，通过则发送认证成功的应答数据至下级节点，并于认证成功后，判断认证请求中请求数据类型，根据请求数据类型将当前连接归类至压缩通道和非压缩通道中，至此连接认证完成，接下来则可以发送行情数据至下级节点。在本发明具体实施例中，认证请求的格式为接口规范彼此提前约定，认证请求数据包含：数据类型、用户名、密码、版本信息、数据长度、校验码等，所述请求的数据类型包括但不限于普通登陆、压缩登陆、注销、心跳等，例如当认证请求数据包中类型为压缩登陆，上级网关则根据此类型将当前下级的连接归类至压缩通道。

步骤S2，获取并解析行情数据包，并重新组包，经过压缩算法处理将数据压缩，将数据包分为压缩前及压缩后两份数据，并遍历两种通道对应的下级连接，将行情数据包引用分配给对应连接，并增加引用计数，同时增加发送任务。

具体地，步骤S2进一步包括：

步骤S200，解析行情数据包，并重新组包。

具体地，步骤S200进一步包括：

步骤S200a，接收到行情数据后，将接收到的行情数据按顺序存入接收队列；

步骤S200b，解析线程定期根据接收队列数据，校验数据是否为完整行情数据包，如果不完整，则继续等待接收队列获取新数据包，直至得到完整数据包；

步骤S200c，解析出完整数据包后，计算当前数据包checksum(校验和)是否正确，如果校验失败，则说明当前数据接收有异常，断开当前连接并重新连接上级获取最新数据，同时记录异常日志；若数据校验成功，将当前数据包存入处理队列。

步骤S201，利用压缩算法对处理队列中的行情数据包压缩，将行情数据包分为压缩前及压缩后两份数据，。

具体地，步骤S201进一步包括：

步骤S201a，从处理队列中获取行情数据包；

步骤S201b，设置组包大小并开始组包，例如设置组包大小为64KB，当队列不充足的情况下，则自动跳过本步骤组包，以确保实时性；

步骤S201c，利用压缩算法将组包后的行情数据包处理为压缩和不压缩两份。

步骤S202，遍历两种通道对应的下级连接，将对应的行情数据包引用分配给对应连接，并增加发送任务。具体地，分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，同时创建发送任务，并将创建的发送任务加入到发送任务队列。

步骤S3，遍历发送任务，将各份行情数据包从对应连接上发送出去。

具体地，步骤S3进一步包括：

步骤S301，触发发送模块从发送任务队列获取发送任务。

步骤S302，遍历压缩和非压缩通道下的各个连接，开始发送数据；

步骤S303，若发送失败，则将当前行情数据包存入当前连接的发送缓存队列中，下一个行情数据包到达时将重新尝试发送，避免数据丢包；若发送完成，则继续遍历，直至当前任务对应的连接遍历完成，释放对应内存资源。

优选地，于发送过程中，若检测到当前连接的发送缓存队列已满，则说明当前连接接收异常或者网络异常，将断开其与下级节点的当前连接，记录异常日志说明此线路异常。

图3为本发明一种基于行情数据实时转发的装置的系统架构图。如图3所示，本发明一种基于行情数据实时转发的装置，包括：

发送模块301，用于发起连接请求与上级网关建立连接。

仍参考图2，如图2所示为本发明所应用的架构的拓扑架构图。在图2中描述了几个主要的层级，图中每一个节点都包含发送模块和接收模块，因此可以多层级联，其中每层节点都包含有主用节点和备用节点，如图2所示，实线表示主用节点的数据流向，虚线表示备用节点的数据流向，主用节点线路连接中断情况下可以自动切换至备用线路，本发明之基于行情数据实时转发的装置可应用于架构中的任一节点。

发送模块301具体用于：

发起连接请求，若连接上级网关失败，则选择上级网关的备用节点继续尝试连接；

具体地说，上级网关及其备用节点会开启服务监听端口，等待下级节点的连接。当接收到下级节点的连接请求时，返回连接确认反馈至下级节点，则连接成功，若下级节点未接收到上级网关或备用节点的连接确认反馈，则连接失败。

于连接成功后，发送认证请求，所述认证请求中会包含请求数据类型；

若认证失败，则选择下一个备用节点继续尝试连接，若认证成功，则启动接收及数据解析处理模块302等待并接收行情数据。

具体地，当上级网关或备用节点与下级节点连接成功后，等待下级节点的认证请求，校验登陆信息是否可以通过，不通过则发送认证失败的应答数据至下级节点，通过则发送认证成功的应答数据至下级节点，并于认证成功后，判断认证请求中请求数据类型，根据请求数据类型将当前连接归类至压缩通道和非压缩通道中，至此连接认证完成，接下来则可以发送行情数据至下级节点。在本发明具体实施例中，认证请求的格式为接口规范彼此提前约定，认证请求数据包含：数据类型、用户名、密码、版本信息、数据长度、校验码等，所述请求的数据类型包括但不限于普通登陆、压缩登陆、注销、心跳等，例如当认证请求数据包中类型为压缩登陆，上级网关则根据此类型将当前下级的连接归类至压缩通道。

接收及数据解析处理模块302，用于接收行情数据，获取并解析行情数据包，并重新组包，经过压缩算法处理将数据压缩，将数据包分为压缩前及压缩后两份数据，并遍历两种通道对应的下级连接，将行情数据包引用分配给对应连接，并增加引用计数，同时增加发送任务。

具体地，接收及数据解析处理模块302进一步包括：

解析组包单元，用于解析行情数据包，并重新组包。

解析组包单元具体用于：

接收行情数据后，将接收到的行情数据按顺序存入接收队列；

通过解析线程定期根据接收队列数据，校验数据是否为完整行情数据包，如果不完整，则继续等待接收队列获取新数据包，直至完整数据包；

解析出完整数据包后，计算当前数据包checksum(校验和)是否正确，如果校验失败，则说明当前数据接收有异常，断开当前连接并重新连接上级获取最新数据，同时记录异常日志；若数据校验成功，将当前数据包存入处理队列。

压缩处理单元，用于利用压缩算法对处理队列中的行情数据包压缩，将行情数据包分为压缩前及压缩后两份数据。

压缩处理单元具体用于：

从处理队列中获取行情数据包；

设置组包大小并开始组包，例如设置组包大小为64KB，当队列不充足的情况下，则自动跳过本步骤组包，以确保实时性；

利用压缩算法将组包后的行情数据包处理为压缩和不压缩两份。

发送任务创建处理单元，用于遍历两种通道对应的下级连接，将对应的行情数据包引用分配给对应连接，并增加发送任务。具体地，发送任务创建处理单元分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，同时创建发送任务，并将创建的发送任务加入到发送任务队列。

发送任务处理模块303，用于遍历发送任务，触发发送模块301将各份行情数据包从对应连接上发送出去。

发送任务处理模块303具体用于：

触发发送模块301从发送任务队列获取发送任务。

遍历压缩和非压缩通道下的各个连接，开始发送数据；

若发送失败，则将当前行情数据包存入当前连接的发送缓存队列中，下一个行情数据包到达时将重新尝试发送，避免数据丢包；若发送完成，则发送下一发送任务，直至发送任务全部完成，释放对应内存资源。

优选地，于发送过程中，若检测到当前连接的发送缓存队列已满，则说明当前连接接收异常或者网络异常，将断开其与下级节点的当前连接，记录异常日志说明此线路异常。

实施例

图4为本发明实施例中行情数据接收到转发的具体流程图，过程如下：

首先，发起连接与上级网关建立连接，接收行情数据。

然后，解析接收队列中的行情数据，校验数据有效性并重新组包，若校验不成功，则表示数据异常断开连接，并选择下一个备用节点继续尝试连接，若校验成功，则重新组包处理。

接下来，预先将通道分为两种，压缩通道和非压缩通道，将新组包的数据添加至非压缩通道下各个连接，同时将新组包的数据经过高效压缩处理后，添加至压缩通道下的各个连接。

最后，遍历通道下的连接，将数据发送至对应连接的下级。

图5为本发明实施例中下级节点向上级网关或备用节点连接认证的流程图。其过程如下：

首先，由发送模块发起连接请求，连接上级网关如果失败，则选择下一个备用节点继续尝试连接；

连接上级网关成功后，则发送认证请求，所述认证请求中会包含请求数据类型，认证失败则选择下一个备用节点继续尝试连接；

认证成功后，等待接收行情数据。

图6为本发明实施例中上级网关或备用节点连接认证的流程图，其过程如下：

首先，开启服务监听端口，等待下级节点连接，连接成功后，等待下级节点发送的认证请求。

然后，解析下级节点发送过来的认证请求，校验登陆信息是否可以通过，不通过则发送认证失败的应答数据给下级节点。

认证成功后，判断认证请求中请求数据类型，根据请求将当前连接归类至压缩通道和非压缩通道中，至此连接认证完成，接下去可以发送行情数据。

图7为本发明实施例中接收数据并解析处理的流程图，其过程如下：

首先，接收行情数据后，将数据按顺序存入接收队列。

然后，通过解析线程定期根据接收队列数据，校验数据是否为完整行情数据包，如果不完整，则继续等待接收队列获取新数据包，直至完整数据包。

解析出完整数据包后，计算当前数据包checksum是否正确，如果校验失败，则说明当前数据接收有异常，断开当前连接并重新连接上级获取最新数据，同时记录异常日志。

最后，数据校验成功后，将当前数据存入处理队列。

图8为本发明实施例中数据组包及压缩的流程图，其过程如下：

首先，从处理队列中获取行情数据包。

然后，设置组包大小开始组包，如64KB，队列不充足的情况下，自动跳过组包，确保实时性。

最后，将行情数据包分为压缩和不压缩两份，分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，并增加引用计数，同时创建发送任务，加入发送任务队列，即遍历非压缩通道中的下级连接，将当前非压缩数据的地址记录到连接中，计数加一，遍历压缩通道中下级连接，将当前压缩数据的地址记录到连接中，计数加一，并以当前数据包为标识新建发送任务并加入发送任务队列，直至处理队列中的行情数据包均已处理完毕。

图9为本发明实施例中数据发送的流程图，过程如下：

首先，发送模块从发送任务队列获取任务。

然后，通过当前任务遍历压缩和非压缩通道下的各个连接，开始发送数据，如果发送失败，则将当前行情数据包存入当前连接的发送队列中，下一个行情数据包到达时将重新尝试发送，避免数据丢包；如果发送完成，则对引用计数减一处理，直至归零后，释放对应内存资源。如果检测到当前连接的发送缓存队列已满，则说明当前连接接收异常或者网络异常，如下级接收过慢或者网络异常，将断开下级的当前连接，记录异常日志说明此线路异常。

综上所述，本发明一种基于行情数据实时转发的方法及装置，通过将行情数据从网关(MDGW/VDE)接收至当前节点后，通过解析及组包压缩等处理后，实时转发至下级多个节点，从而达到节省主机资源和网络资源的同时，将行情数据高效传输至下级并使用的目的，本发明可将行情数据快速接收及转发至众多下级节点，且在数据传输过程中不允许丢包乱序，并要求转发延迟足够低，以确保传输过程的高效，数据转发至下级后实时有效及稳定可靠。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (7)

1.一种基于行情数据实时转发的方法，包括如下步骤：

步骤S1，本级节点发起连接请求与上级网关或其备用节点建立连接，以于建立连接后，接收上级网关发送的行情数据；

步骤S2，本级节点获取并解析行情数据包，并重新组包，存入处理队列中；利用压缩算法对处理队列中的行情数据包压缩，将行情数据包分为压缩前及压缩后两份数据，分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，同时创建发送任务，并将创建的发送任务加入到发送任务队列；并遍历压缩通道和非压缩通道对应的下级连接，将对应的行情数据包引用分配给对应连接，并增加发送任务；

步骤S3，本级节点遍历发送任务，将各份行情数据包从对应连接上发送出去；

其中，本级节点等待下级节点的认证请求；校验所述下级节点的登陆信息是否可以通过；若不通过则发送认证失败的应答数据至下级节点，若通过则发送认证成功的应答数据至下级节点；于认证成功后，判断所述认证请求中请求数据类型，根据请求数据类型将当前连接归类至压缩通道和非压缩通道。

2.如权利要求1所述的一种基于行情数据实时转发的方法，其特征在于，步骤S1进一步包括：

步骤S100，利用发送模块发起连接请求，若连接上级网关失败，则选择上级网关的备用节点继续尝试连接；

步骤S101，于连接成功后，发送认证请求，所述认证请求中包含请求数据类型；

步骤S102，若认证失败，则选择下一个备用节点继续尝试连接，并返回步骤S101，若认证成功，则等待并接收行情数据。

3.如权利要求2所述的一种基于行情数据实时转发的方法，其特征在于：所述上级网关及备用节点开启服务监听端口，等待本级节点的连接；当接收到本级节点的连接请求时，返回连接确认反馈至本级节点，则连接成功，若本级节点未接收到上级网关或备用节点的连接确认反馈，则连接失败。

4.如权利要求1所述的一种基于行情数据实时转发的方法，其特征在于，该解析行情数据包，并重新组包，存入处理队列中的步骤进一步包括：

步骤S200a，接收到行情数据后，将接收到的行情数据按顺序存入接收队列；

步骤S200b，解析线程定期根据接收队列数据，校验数据是否为完整行情数据包，若不完整，则继续等待接收队列获取新数据包，直至完整数据包；

步骤S200c，解析出完整数据包后，计算当前数据包校验和是否正确，如果校验失败，则说明当前数据接收有异常，断开当前连接并重新连接上级获取最新数据，同时记录异常日志；若数据校验成功，将当前数据包存入所述处理队列。

5.如权利要求1所述的一种基于行情数据实时转发的方法，其特征在于，步骤S3进一步包括：

步骤S301，从发送任务队列获取发送任务；

步骤S302，遍历压缩和非压缩通道下的各个连接，开始发送数据；

步骤S303，若发送失败，则将当前行情数据包存入当前连接的发送缓存队列中，下一个行情数据包到达时将重新尝试发送，避免数据丢包；若发送完成，则继续遍历，直至当前任务对应的连接遍历完成，释放对应内存资源。

6.如权利要求5所述的一种基于行情数据实时转发的方法，其特征在于:于发送过程中，若检测到当前连接的发送缓存队列已满，则表示当前连接接收异常或者网络异常，将断开与下级节点的当前连接，记录异常日志说明此线路异常。

7.一种基于行情数据实时转发的装置，包括：

发送模块，用于本级节点发起连接请求与上级网关或其备用节点建立连接；

接收及数据解析处理模块，用于本级节点在与上级网关或备用节点建立连接后，接收所述上级网关或备用节点发送的行情数据，获取并解析行情数据包，并重新组包，存入处理队列中；利用压缩算法对处理队列中的行情数据包压缩，将行情数据包分为压缩前及压缩后两份数据，分别将数据地址引用分配给压缩通道和非压缩通道下的各个连接，同时创建发送任务，并将创建的发送任务加入到发送任务队列；并遍历压缩通道和非压缩通道对应的下级连接，将对应的行情数据包引用分配给对应连接，并增加引用计数，同时增加发送任务；

发送任务处理模块，用于本级节点遍历发送任务，触发所述发送模块将各份行情数据包从对应连接上发送出去；

其中 ， 本级节点等待下级节点的认证请求；校验所述下级节点的登陆信息是否可以通过；若不通过则发送认证失败的应答数据至下级节点，若通过则发送认证成功的应答数据至下级节点；于认证成功后，判断所述认证请求中请求数据类型，根据请求数据类型将当前连接归类至压缩通道和非压缩通道。

Images