CN102790683A

CN102790683A - 一种实时行情数据处理方法、服务器及系统

Info

Publication number: CN102790683A
Application number: CN2011101265167A
Authority: CN
Inventors: 杨红刚; 孙学锋; 王元
Original assignee: Peking University Founder Group Co Ltd; Beijing Founder Electronics Co Ltd
Current assignee: Peking University Founder Group Co Ltd; Beijing Founder Electronics Co Ltd
Priority date: 2011-05-16
Filing date: 2011-05-16
Publication date: 2012-11-21

Abstract

本发明涉及一种实时行情数据处理方法、服务器及系统，属于数据处理技术领域。本发明所述服务器实时地抓取实时行情数据；然后将抓取的实时行情数据按照设定的存储结构和排序方式缓存到服务器的内存中；再根据客户端设置的参数，服务器将内存中符合参数条件的实时行情数据推送到客户端。本发明很好地改善了实时行情数据的访问与存储延迟，更好地符合当前各种在线行情提供系统对数据显示和保存速度的要求。

Description

一种实时行情数据处理方法、服务器及系统

技术领域

本发明涉及一种数据处理方法、服务器及系统，尤其是涉及一种实时行情数据处理方法、服务器及系统。

背景技术

实时行情数据如股票，期货，基金等是重要的信息资源，将信息准确及时地显示给用户是现在各种实时行情系统极其重要的任务。但是，随着实时行情数据来源的多样化，数据量越来越大，现有的实时行情系统利用传统的基于文件或者基于数据库的存储访问方式由于没有充分利用内存的效率，因此存在着很大的数据延迟，很难满足用户的需求。

发明内容

针对现有技术中存在的缺陷，本发明要解决的技术问题是提供一种实时行情数据处理方法、服务器及系统，该方法、服务器及系统能够很好地改善实时行情数据的访问与存储延迟，更好地符合当前各种在线行情提供系统对数据显示和保存速度的要求。

为解决上述技术问题，本发明采用的技术方案如下：

一种实时行情数据处理方法，包括以下步骤：

(1)服务器实时地抓取实时行情数据；

(2)将抓取的实时行情数据按照设定的存储结构和排序方式缓存到服务器的内存中；

(3)根据客户端设置的参数，服务器将内存中符合参数条件的实时行情数据推送到客户端。

一种实时行情数据处理服务器，包括用于实时地抓取实时行情数据的抓取装置；用于将抓取的实时行情数据按照设定的存储结构和排序方式缓存到内存中的缓存装置；用于根据客户端设置的参数将内存中符合参数条件的实时行情数据推送到客户端的推送装置。

一种实时行情数据处理系统，包括上述服务器和通过网络与所述服务器连接的若干客户端；所述客户端用于显示所述服务器推送的数据。

本发明所述方法、服务器及系统，通过将实时行情数据按照设定的存储结构和排序方式缓存到服务器内存的方式，充分发挥了内存的效率优势，大大提高了客户端从服务器获取实时行情数据的效率，很好地改善了实时行情数据的访问与存储延迟，满足了当前各种在线行情提供系统对数据显示和保存的速度要求。

附图说明

图1是具体实施方式中实时行情数据处理系统的结构框图；

图2是具体实施方式中实时行情数据处理服务器的结构框图；

图3是具体实施方式中实时行情数据处理方法的流程图；

图4是具体实施方式中服务器内存清理方法的流程图。

具体实施方式

下面结合具体实施方式和附图对本发明进行详细描述。

如图1所示，本实施方式中实时行情数据处理系统包括服务器1和通过网络与服务器1连接的若干客户端2，服务器1和客户端2为B/S(浏览器/服务器)结构或者C/S(客户/服务器)结构。

如图2所示，服务器1包括抓取装置11、缓存装置12、推送装置13、清理装置14和落盘装置15。

抓取装置11用于实时地抓取实时行情数据。缓存装置12用于将抓取的实时行情数据按照设定的存储结构和排序方式缓存到内存中。推送装置13用于根据客户端2设置的参数将内存中符合参数条件的实时行情数据推送到客户端2。清理装置14用于清理服务器内存中缓存的数据。落盘装置15用于将服务器内存中的实时行情数据按照预先设定的落盘时间和落盘间隔取出并存储到文件或数据库中。

客户端2用于显示服务器1推送的数据。

如图3所示，采用图1和图2所示系统对实时行情数据进行处理的方法包括以下步骤：

(1)抓取装置11实时地抓取实时行情数据。

服务器1的抓取装置11根据需要实时的从各种交易渠道获得正式发布的行情数据。抓取的方式可以根据配置文件进行相应的配置，如从交易端远程的ftp上抓取数据，从交易所对外开放的Socket服务器抓取数据，还可以从交易所提供的web网页上抓取数据等。抓取数据时可以根据数据的具体格式进行多线程抓取，并且采用事务性质方式，即同一批数据按事务性质由多线程顺序存入相应的存储单元，多个线程都成功存入后才算抓取成功。采用这种方式能够很好地协调多线程之间数据不一致的情况，克服了传统的按顺序抓取数据的时间延迟问题。

(2)缓存装置12将抓取的实时行情数据按照设定的存储结构和排序方式缓存到服务器的内存中。

定义实时行情数据在内存中的存储结构以便于存储，如二叉树、堆栈和队列等结构。在数据存储结构的选取时，可以根据配置信息选择数据在内存中的存储结构，也可以根据时间的业务情况选择存储结构。一般需要快速插入和检索的数据选择二叉树的存储结构，需要后进先出或有前置条件的数据选择堆栈的存储结构，需要按顺序获取的数据选择队列的存储结构，这样可以有效地加快数据的存储、访问和删除的时间。

定义实时行情数据的排序方式以便于数据检索，包括单重排序和多重排序。单重排序包括按时间排序，按优先级排序，按成交量排序，按权重排序，按市值排序等方式。一般行情数据以时间排序优先，但是也可以根据具体应用情况选择适合的排序方式。多重排序可以根据多个条件进行对等排序、主次排序和组合排序等。所述对等排序是指各个数据项按照内存中的存储顺序排序。所述主次排序是指按照给定条件(如：发布时间，数据优先级，产品代码等)设定数据的优先级，再按照优先级顺序进行排序。所述组合排序是指按照数据项各个字段(如产品代码、成交量、成交金额等)的大小进行“与”或“或”的组合进行排序。

(3)推送装置13根据客户端2配置的参数，将服务器1内存中符合参数条件的实时行情数据推送到客户端。

客户端配置的参数很灵活，如可以根据时间选择数据，也可以根据行情的产品代码选择数据，还可以根据成交量选择行情数据，还可以根据多种情况组合选择行情数据等等。

此外，上述还包括内存数据的实时清理过程，清理装置14按照条件对数据进行定时清理以免内存溢出。图4为内存中实时行情数据的定时清理过程的流程图，如图4所示，该过程包括以下步骤：

1)定时启动内存数据清理线程；

用户在对实时行情数据进行处理时，可以根据需要设定数据定时清理线程，以便清理不需要的数据，减少内存的浪费。

2)依次获取内存中的实时行情数据；

3)对获取的每一个实时行情数据，判断该实时行情数据是否符合设定的清理规则，如果符合，则进行清理；否则，不进行清理。

在进行数据清理时，用户可以根据需要设定数据的清理规则。例如：设置对成交时间超过一定时间的数据进行清理，或者对成交量为0的数据进行清理，或者产品已停止交易的数据进行清理等。及时地按照清理条件对数据进行定时清理，以免内存溢出。

上述方法还包括由落盘装置15对数据进行落盘的步骤，所述落盘是指将实时行情数据按照预先设定的落盘时间和落盘间隔从内存中取出并存储到文件或数据库中做永久的保存，以便以后查看历史数据和系统恢复。可以为服务器内存中每个实时行情数据分别指定落盘时间和落盘间隔，或者为服务器内存中所有实时行情数据统一指定集体落盘时间和落盘间隔。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种实时行情数据处理方法，包括以下步骤：

(1)服务器实时地抓取实时行情数据；

2.如权利要求1所述的实时行情数据处理方法，其特征在于：步骤(1)中所述实时行情数据从交易端远程的FTP上抓取，或者从交易所对外开放的Socket服务器上抓取，或者从交易所提供的web网页上抓取。

3.如权利要求2所述的实时行情数据处理方法，其特征在于：所述实时行情数据根据数据格式采用事务性质方式的多线程并行抓取。

4.如权利要求1所述的实时行情数据处理方法，其特征在于：步骤(2)中所述存储结构包括二叉树、堆栈和队列。

5.如权利要求4所述的实时行情数据处理方法，其特征在于：根据具体应用情况选择实时行情数据在内存中的存储结构，将需要快速插入和检索的实时行情数据采用二叉树存储，将需要后进先出或有前置条件的实时行情数据采用堆栈存储，将需要按照顺序获取的数据采用队列存储。

6.如权利要求1所述的实时行情数据处理方法，其特征在于：步骤(2)中所述排序方式包括单重排序和多重排序，所述单重排序包括按照时间排序、按照优先级排序、按照成交量排序，所述多重排序包括根据多个条件的对等排序、主次排序和组合排序。

7.如权利要求1所述的实时行情数据处理方法，其特征在于：步骤(3)中所述客户端是B/S结构的客户端或者C/S结构的客户端。

8.如权利要求1～7中任一项所述的实时行情数据处理方法，其特征在于：所述方法还包括清理服务器内存的步骤。

9.如权利要求8所述的实时行情数据处理方法，其特征在于：所述清理服务器内存采用的方法如下：

1)定时启动内存数据清理线程；

2)依次获取内存中的实时行情数据；

10.如权利要求1～7中任一项所述的实时行情数据处理方法，其特征在于：所述方法还包括数据落盘的步骤，将服务器内存中的实时行情数据按照预先设定的落盘时间和落盘间隔取出并存储到文件或数据库中。

11.如权利要求10所述的实时行情数据处理方法，其特征在于：为服务器内存中每个实时行情数据分别指定落盘时间和落盘间隔，或者为服务器内存中所有实时行情数据统一指定集体落盘时间和落盘间隔。

12.一种实时行情数据处理服务器(1)，其特征在于：所述服务器(1)包括用于实时地抓取实时行情数据的抓取装置(11)；用于将抓取的实时行情数据按照设定的存储结构和排序方式缓存到内存中的缓存装置(12)；用于根据客户端设置的参数将内存中符合参数条件的实时行情数据推送到客户端的推送装置(13)。

13.如权利要求12所述的实时行情数据处理服务器(1)，其特征在于：所述服务器(1)还包括用于清理服务器内存中缓存的数据的清理装置(14)。

14.如权利要求12所述的实时行情数据处理服务器(1)，其特征在于：所述服务器(1)还包括用于将服务器内存中的实时行情数据按照预先设定的落盘时间和落盘间隔取出并存储到文件或数据库中的落盘装置(15)。

15.一种实时行情数据处理系统，其特征在于：所述系统包括权利要求12～14中任一项所述的服务器(1)和通过网络与所述服务器(1)连接的若干客户端(2)；所述客户端(2)用于显示所述服务器(1)推送的数据。