CN107424072A - 高速分布式股票实时行情推送系统及方法 - Google Patents

Abstract

本公开提供一种高速分布式股票实时行情推送系统及方法，推送系统包括至少一个用于接收存储股票实时行情的队列模块；至少一个用于从队列模块中分拣出与终端订阅的股票信息匹配的实时行情数据的推送模块；至少一个用于与终端建立连接、存储终端订阅股票信息的接入模块；至少一个用于控制推送模块与接入模块数据流转的分发模块。本公开支持千万级终端接入，能够极大地降低终端接入成本，在海量终端接入和高频繁股票交易的情况下，也能够实时将股票行情数据推送给终端；通过自定义的推送协议实现分布式股票行情推送，降低股票行情推送带宽，提高股票推送的实时性、准确性；同时分发模块之间通过互相配置构成集群，进行数据转发，实现无限横向扩展。

Description

高速分布式股票实时行情推送系统及方法

技术领域

本公开涉及数字通信领域，具体而言，涉及一种高速分布式股票实时行情推送系统及方法。

背景技术

随着智能操作系统广泛应用到智能手机、平板电脑以及智能电视中，现有的股票行情数据获取方式更多仍停留在PC(person computer个人计算机)时代，靠手动刷新页面的方式进行拉取。也有少数软件采用推送方式更新股票行情数据，但在面对高并发、海量终端压力情况下，延时偏高，数据丢失问题普遍存在。

因此，设计一种新的股票实时行情推送系统及方法是目前亟待解决的技术问题。

发明内容

本公开的目的在于提供一种高速分布式股票实时行情推送系统及方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得清晰，或者部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种高速分布式股票实时行情推送系统，其特征在于，包括：

至少一个用于接收和存储股票实时行情数据的队列模块；

至少一个用于从所述队列模块中分拣出与终端订阅的股票信息匹配的实时行情数据的推送模块；

至少一个用于与终端建立连接并存储终端订阅的股票信息的接入模块；以及

至少一个用于控制推送模块与接入模块数据流转的分发模块。

在本公开的一种示例性实施例中，使用队列存储实时行情数据。

在本公开的一种示例性实施例中，所述推送模块不间断循环的从队列模块中拉取实时行情数据。

在本公开的一种示例性实施例中，所述推送模块与队列模块的数量比为N:1，其中N为大于等于1的整数。

在本公开的一种示例性实施例中，所述接入模块与终端采用TCP长连接进行通信。

在本公开的一种示例性实施例中，所述分发模块可以与接入模块进行通信，获取接入模块所有的股票订阅信息，并缓存在所述分发模块内。

在本公开的一种示例性实施例中，所述推送模块可以与所述分发模块进行通信，获取所有终端订阅的股票信息集合。

在本公开的一种示例性实施例中，所述分发模块可以与多个接入模块建立连接。

在本公开的一种示例性实施例中，所述分发模块与接入模块之间、分发模块与分发模块之间都采用TCP长连接进行通信。

在本公开的一种示例性实施例中，所述分发模块为多个，所述多个分发模块两两之间相互连接并可以进行扩展。

根据本公开的第二方面，提供一种用于如上所述的高速分布式股票实时行情推送系统进行股票行情推送的方法，所述方法包括：

终端与所述接入模块建立TCP长连接，并向所述接入模块注册订阅股票信息；

所述分发模块通过轮询的方式收集所有终端订阅的股票，并缓存在所述分发模块内；

所述推送模块定时从所述分发模块获取所有的订阅股票集合，同时所述推送模块不间断的从所述队列模块中获取实时行情数据；

所述推送模块根据获取的实时行情数据与股票订阅集合进行匹配，将与终端订阅的股票信息匹配的实时行情数据推送到所述分发模块；

所述分发模块将接收到的实时行情数据推送给其它分发模块和所述接入模块。

在本公开的一种示例性实施例中，根据终端的网络状况、所属区域，跨机房部署所述分发模块，在不同区域之间扩展。

在本公开的一种示例性实施例中，不同区域的所述分发模块可以互相转发数据。相转发数据。

根据本公开的一些实施方式，支持千万级终端接入，能够极大地降低终端接入成本，在海量终端接入和高频繁股票交易的情况下，也能够及时推送股票行情；同时将关注相同股票的终端进行聚合，以此集合作为推送单元，大大提升股票行情的推送效率。

根据本公开的一些实施方式，分发模块之间通过互相配置构成集群，进行数据转发，实现无限横向扩展。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的结构框图。

图2示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的通信架构图。

图3示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的分布式扩展示意图。

图4示出本公开示例性实施例中一种高速分布式股票实时行情推送方法在高频繁股票交易下的拥塞控制流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。

需要指出的是，在附图中，为了图示的清晰可能会夸大层和区域的尺寸。而且可以理解，当元件或层被称为在另一元件或层“上”时，它可以直接在其他元件上，或者可以存在中间的层。另外，可以理解，当元件或层被称为在另一元件或层“下”时，它可以直接在其他元件下，或者可以存在一个以上的中间的层或元件。另外，还可以理解，当层或元件被称为在两层或两个元件“之间”时，它可以为两层或两个元件之间唯一的层，或还可以存在一个以上的中间层或元件。通篇相似的参考标记指示相似的元件。

本公开提供一种高速分布式股票实时行情推送系统及方法，推送系统包括至少一个用于接收存储股票实时行情的队列模块；至少一个用于从队列模块中分拣出与终端订阅的股票信息匹配的实时行情数据的推送模块；至少一个用于与终端建立连接、存储终端订阅股票信息的接入模块；至少一个用于控制推送模块与接入模块数据流转的分发模块。本公开支持千万级终端接入，能够极大地降低终端接入成本，在海量终端接入和高频繁股票交易的情况下，也能够实时将股票行情数据推送给终端；将关注相同股票的终端进行聚合，以此集合作为推送单元，大大提升股票行情的推送效率；通过自定义的推送协议实现分布式股票行情推送，降低股票行情推送带宽，提高股票推送的实时性、准确性；同时分发模块之间通过互相配置构成集群，进行数据转发，实现无限横向扩展。

下面结合附图对本公开的高速分布式股票实时行情推送系统进行具体说明，其中，图1示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的结构框图；图2示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的通信架构图；图3示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的分布式扩展示意图；图4示出本公开示例性实施例中一种高速分布式股票实时行情推送方法在高频繁股票交易下的拥塞控制流程图。

图1示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的结构框图。如图1所示，该高速分布式股票实时行情推送系统包括包括四个模块，分别为队列模块M100、推送模块M200、分发模块M300、接入模块M400。采用层级结构，推送模块、分发模块、接入模块可根据接入的终端M500数量和股票交易频度不停机进行横向扩展。其中终端可为智能手机、平板电脑、智能电视中以及PC等，但不限于此，可以为任何具有股票交易功能的终端设备。

具体来说，该高速分布式股票实时行情推送系统包括至少一个用于接收和存储股票实时行情数据的队列模块M100、至少一个用于从所述队列模块中分拣出与终端M500订阅的股票信息匹配的实时行情数据的推送模块M200、至少一个用于与终端建立连接并存储终端订阅的股票信息的接入模块M400；以及至少一个用于控制推送模块与接入模块数据流转的分发模块M300。

本公开的高速分布式股票实时行情推送系统的推送方法实现过程为：终端与接入模块建立TCP(Transmission Control Protocol，传输控制协议)长连接，并向该接入模块注册订阅股票信息；分发模块通过轮询的方式收集所有终端订阅的股票，并缓存在该模块内；推送模块同样定时的从分发模块获取所有的订阅股票集合；同时推送模块不间断从队列中获取股票实时行情；推送模块根据获取的实时行情数据与股票订阅集合进行匹配，将与终端订阅的股票信息匹配的实时行情数据推送到分发模块；分发模块将接收到行情数据推送给其它分发模块和接入模块；行情数据最终由接入模块直接推送终端。

如图1所示，接入模块M400只负责存储连接到该模块终端的股票订阅信息，将相应的行情推送给终端，采用无配置架构。可根据终端数量，无限扩展。

分发模块M300通过配置，划分所管辖的接入模块M400。实际使用中，可根据用户所在区域，跨机房的部署多个分发模块M300。分发模块M300之间通过互相配置构成集群，进行数据转发，实现无限横向扩展。

分发模块M300收集所管辖内的接入模块M400所有股票订阅信息，并通过互相转发，最终所有分发模块M300都持有全集群终端的股票订阅信息。

推送模块M200定时轮询分发模块M300收集到所有股票订阅信息，同时不间断的从队列模块M100的高速队列中获取实时行情数据。过滤出终端所订阅的行情数据，推送到分发模块300。其中，如图1中的交叉箭头所示，在必要的时候，可以由多个推送模块M200同时向同一个分发模块300推送行情数据(的不同部分)以提高推送效率，反之也可以由同一个推送模块M200同时向多个分发模块300推送(相同或不同的)行情数据，根据需要和效率而定，并无特别限制。

推送模块M200只将终端订阅的股票行情数据进行推送，最大利用推送资源，没有多余数据的传输，也大大节省了流量带宽。

在示例性实施例中，推送模块M200与队列模块M100的数量比为N:1，其中N为大于等于1的整数，通常来说N大于2。

以下分别结合图2-3、图4对海量终端连接下的分布式扩展、高频度股票交易下拥塞控制进行详细说明：

图3示出本公开示例性实施例中一种高速分布式股票实时行情推送系统的分布式扩展示意图；图4示出本公开示例性实施例中一种高速分布式股票实时行情推送方法在高频繁股票交易下的拥塞控制流程图。

股票行情推送具有两大特点：可订阅关注的股票总数是限定的，由现实世界交易所存在的股票总数决定；以及海量终端用户同一时刻订阅的股票会集中在一些热门股票。

本公开基于上述特点，采用分层架构：海量终端只与无配置、高性能的接入模块M400进行通信，终端将关注的股票订阅在与之相连的接入模块中。其特色在于，接入模块M400会实时根据终端的订阅信息，建立股票的订阅终端集合，将关注相同股票的终端进行聚合，以这样的终端集合作为一个推送单元进行行情分发。每个接入模块M400都会为其接入终端正在关注的每一只股票都维护一个这样的终端集合，终端离线、发送指定通信协议将从集合中移除。现实世界股票总数数量级恒定，该集合可以完全存储在接入模块M400的内存当中，使用LinkHashMap数据结构进行存储，在能够快速响应海量终端频繁的接入、离线的同时，又能在分发时提供快速的集合遍历效率。分发模块M300隔离了终端，推送模块M200只需与分发模块M300通信即可获取终端订阅股票的数量，且推送模块并不需要关心股票内的订阅终端集合。

分发模块M300与接入模块M400采用如图2所示的通信架构，分发模块M300与接入模块M400都会在启动时同时建立两个端口，一个专门用于对外服务，另一个专门用于内部通信。采用分开的端口，可以提高安全性，同时可以带来更高的灵活性，实际部署中还可以将两个端口监听到不同的网卡，实现内外流量隔离。分发模块M300对外端口M301采用http协议(HyperText Transfer Protocol超文本传输协议)便于对接，接入模块M400对外端口M401采用自制修改的MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)协议，节省带宽同时提高效率。分发模块M300对内端口M302和接入模块M400对内端口M402采用相同的通信协议，采用自定的二进制序列化协议，调用使用TCP长连接池方式，高效节流。

模块的扩展类似于积木搭建的方式，当终端较少时只需部署一个分发模块M300和一个接入模块M400针对全球的终端，当用户增多时可以适当增加接入模块M400，当向其它区域、海外扩充业务时，可以在全球各热门区域都分别部署，通过分发模块M300的内部通信端口扩展构成如图3所示的分布式架构。

图4示出本公开示例性实施例中一种高速分布式股票实时行情推送方法在高频繁股票交易下的拥塞控制流程图。

下面结合图4详细说明本公开的高速分布式股票实时行情推送方法在高频繁股票交易下的拥塞控制。

如图4所示，高频繁股票交易下的拥塞控制具体流程如下：

推送模块M200从外部队列M100取得数据后立即放入到模块内的队列中，该队列是一个内存队列，保证高速队列M100不会应为数据存储过多性能下降。

推送模块M200在启动时会开启三个循环，第一个用于循环的从分发模块M300中获取当前时刻接入终端关注的股票集合并缓存在内存中，第二个用于循环的从高速队列M100获取实时数据存入内部队列，第三个用于循环从内部队列中过滤实时行情数据进行推送。

推送模块M200第一个启动循环从分发模块M300获取终端所有关注的股票集合，其特色在于无需获取到每只股票具体的订阅终端，只需获取全部连接终端关注了哪些股票。连接终端有1万个还是1千万个，当他们获取的同一只股票一条实时行情数据时，数据都只会在队列模块M100、推送模块M200、分发模块M300、接入模块M400之间各流转一次，具体次数由系统模块总数决定，与终端接入数量无关。

推送模块M200第三个启动循环从内部队列获取行情数据，首先检测行情数据产生时间是否在3秒之内，超过3秒视为过期放弃此次行情数据推送。行情数据如果没有过期进一步检测该只股票是否有终端关注，获取第一个循环建立的股票集合，如果不在该集合内，视为该只股票没有终端关注，放弃此次行情数据推送。行情数据如果有终端关注，还需判断此次的行情数据相教于上一次的行情，各指标是否存在变化，如果没有变化，视为重复数据放弃此次推送。经过上述层层过滤，无效数据、过期数据、重复数据都一步步排除，流入到分发层M300的实时行情数据将大大减少，减轻下流压力。

分发模块M300在启动时会开启两个循环，第一个用于循环的从其它分发模块M300以及管辖内的接入模块M400获取当前时刻接入终端关注的股票集合并缓存在内存中，同推送模块M200一样，无需获取到每只股票具体的订阅终端，只需获取全部连接终端关注了哪些股票，此外分发模块M300还会统计每只股票当前的关注终端总数，用于数据分析和统计。

分发模块M300会根据当前的模块总数在启动时预设每秒分发行情数据的个数上限，在收到推送模块M200的推送数据时，先判断是否达到当前秒内的最大上限，达到上限自动放弃此次行情数据分发，并在日志中记录该错误提示。如果没有达到处理上限，则存入分发模块的内存队列。

分发模块M300启动时的第二个循环会从该队列中获取并再次过滤数据，首先检测行情数据取出的时间与存入队列的时间差值，大于1秒则认为系统产生拥塞放弃此次行情数据分发，在日志中记录该错误提示。运维人员可监控上述日志判断是否要进行模块扩展。最后分发模块M300启动多个线程将此行情数据同时推送到管辖内的接入模块M400和相互扩展的分发模块M300。

接入模块M400在收到分发模块M300的分发数据时，首先存入内部队列。接入模块M400在启动时会开启循环，获取队列中的行情数据。取出行情数据时，先查找该只股票在当前接入模块M400是否有关注终端集合，不存在终端集合，不进行任何操作，否则开启线程遍历终端集合，将行情数据依次推送给终端。

实现拥塞控制的核心思想是异步、线程模型。股票行情数据在各个环节的流转都使用了内部队列进行解耦，快速响应上游请求。在上游环节判断过期、重复、无效，减少内部流转。各层模块都设置自身处理能力，超出处理能力即时提示扩展。

通过以上的详细描述，本领域的技术人员易于理解，根据本公开实施例的系统和方法具有以下优点中的一个或多个。

首先，根据本公开的一些实施方式，支持千万级终端接入，能够极大地降低终端接入成本，在海量终端接入和高频繁股票交易的情况下，也能够及时推送股票行情；同时将关注相同股票的终端进行聚合，以此集合作为推送单元，大大提升股票行情的推送效率。

其次，根据本公开的一些实施方式，分发模块之间通过互相配置构成集群，进行数据转发，实现无限横向扩展。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种高速分布式股票实时行情推送系统，其特征在于，包括：

至少一个用于接收和存储股票实时行情数据的队列模块；

至少一个用于从所述队列模块中分拣出与终端订阅的股票信息匹配的实时行情数据的推送模块；

至少一个用于与终端建立连接并存储终端订阅的股票信息的接入模块；以及

至少一个用于控制推送模块与接入模块数据流转的分发模块。

2.根据权利要求1所述的高速分布式股票实时行情推送系统，其特征在于，使用队列存储实时行情数据。

3.根据权利要求1所述的高速分布式股票实时行情推送系统，其特征在于，所述推送模块与队列模块的数量比为N:1，其中N为大于等于1的整数。

4.根据权利要求1所述的高速分布式股票实时行情推送系统，其特征在于，所述分发模块可以与接入模块进行通信，获取接入模块所有的股票订阅信息，并缓存在所述分发模块内。

5.根据权利要求4所述的高速分布式股票实时行情推送系统，其特征在于，所述推送模块可以与所述分发模块进行通信，获取所有终端订阅的股票信息集合。

6.根据权利要求4所述的高速分布式股票实时行情推送系统，其特征在于，所述分发模块可以与多个接入模块建立连接。

7.根据权利要求6所述的高速分布式股票实时行情推送系统，其特征在于，所述接入模块与终端之间、分发模块与接入模块之间以及分发模块与分发模块之间都采用TCP长连接进行通信。

8.根据权利要求1所述的高速分布式股票实时行情推送系统，其特征在于，所述分发模块为多个，所述多个分发模块两两之间相互连接并可以进行扩展。

9.一种利用权利要求1～8之一所述的高速分布式股票实时行情推送系统进行股票行情推送的方法，其特征在于，所述方法包括：

终端与所述接入模块建立TCP长连接，并向所述接入模块注册订阅股票信息；

所述分发模块通过轮询的方式收集所有终端订阅的股票，并缓存在所述分发模块内；

所述推送模块定时从所述分发模块获取所有的订阅股票集合，同时所述推送模块不间断的从所述队列模块中获取实时行情数据；

所述推送模块根据获取的实时行情数据与股票订阅集合进行匹配，将与终端订阅的股票信息匹配的实时行情数据推送到所述分发模块；

所述分发模块将接收到的实时行情数据推送给其它分发模块和所述接入模块。

10.根据权利要求9所述的方法，其特征在于，根据终端的网络状况、所属区域，跨机房部署所述分发模块，在不同区域之间扩展，且不同区域的所述分发模块之间可以互相转发数据。