CN113242253A - 一种证券行情侦听方式下的快速处理方法 - Google Patents
一种证券行情侦听方式下的快速处理方法 Download PDFInfo
- Publication number
- CN113242253A CN113242253A CN202110556092.1A CN202110556092A CN113242253A CN 113242253 A CN113242253 A CN 113242253A CN 202110556092 A CN202110556092 A CN 202110556092A CN 113242253 A CN113242253 A CN 113242253A
- Authority
- CN
- China
- Prior art keywords
- market
- tcp
- data
- serial number
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明属于金融证券行情领域,证券公司通过TCP直连交易所行情时,当TCP连接多时会占用过多的席位,所以有时会对某些行情采用侦听方式。侦听到的TCP数据往往会出现乱序重传,造成总体行情的延迟比较大。本发明提供了一种证券行情侦听方式下的快速处理方法,步骤S01:在FPGA上实现。对收到的TCP侦听数据复制两份,其中一份进入步骤S02处理;另一份进入步骤S03处理然后再对步骤S02和步骤S03处理后的数据进行去重处理后,输出的数据就可以做行情解码、计算等处理。本发明公开了一种证券行情侦听方式下的快速处理方法在侦听的基础上,对TCP数据进行实时监控,当出现不连续或者重复包时,进行特殊处理。则既保证了行情的低延迟,又解决了TCP乱序重传的问题。
Description
技术领域
本发明属于金融证券行情领域,涉及到证券行情侦听下的处理方式,尤其涉及证券行情侦听方式下的快速处理方法。
背景技术
在金融行情系统中,证券公司最直接的方式是通过TCP直连交易所行情系统获取行情数据。但是当TCP连接多时,就会占用过多的席位。在这种情况下可以采样侦听TCP的方式获取行情。因为是侦听,收到的TCP数据可能是乱序重传的,所以需要单独的逻辑用来处理TCP的乱序重传。如果在处理了乱序重传后,再处理行情信息,则侦听下的延迟和直连方式下一样,延迟比较大。
发明内容
1、所要解决的技术问题:
证券公司通过TCP直连交易所行情,TCP连接多时占用过多的席位,采用侦听方式,TCP数据会出现乱序,处理乱序后的行情,延迟比较大。
2、技术方案:
为了解决以上问题,本发明提供了一种证券行情侦听方式下的快速处理方法,包括以下步骤:步骤S01:a通过侦听方式获取证券行情信息到FPGA,FPGA将接收到的TCP数据复制两份,其中一份进入步骤S02处理;另一份进入步骤S03处理;步骤S02:对数据进行TCP的IP、PORT校验,同时输出每个TCP包的序列号、以及payload长度,然后进入到步骤S04;步骤S03:对TCP数据做IP、PORT校验、对TCP做乱序重传处理,保证输出的TCP数据序列号是连续的,然后进入到步骤S04;步骤S04:通过去重模块将步骤S02和步骤S03处理后的数据进行校验,去除重复的行情包;步骤S05:将步骤S04处理后的数据进行解码、计算和输出。
3、有益效果:
本发明公开了一种证券行情侦听方式下的快速处理方法在侦听的基础上,对TCP数据进行实时监控,当出现不连续或者重复包时,进行特殊处理。则既保证了行情的低延迟,又解决了TCP乱序重传的问题。
附图说明
图1是本发明处理方法的示意图。
具体实施方式
下面通过实施例对本发明进行详细说明。
实施例
一种证券行情侦听方式下的快速处理方法,步骤S01:在FPGA上实现。对收到的TCP侦听数据复制两份,其中一份进入步骤S02处理;另一份进入步骤S03处理然后再对步骤S02和步骤S03处理后的数据进行去重处理后,输出的数据就可以做行情解码、计算等处理。
步骤S02中对数据主要做TCP的IP、PORT校验,同时输出每个TCP包的序列号,以及payload长度。步骤S02对数据的处理记为:数据处理方法一,步骤S02处理后的数据记为数据1。
步骤S03中,对TCP数据做IP、PORT校验,还要对TCP做乱序重传处理,保证输出的TCP数据序列号是连续的。所以此处会需要一个较大的缓存,用于存储乱序时序列号大于断连时的数据包。步骤S03对数据的处理记为:数据处理方法二,步骤S03处理后的数据记为数据2。
步骤S04中去重方法为也就是去重逻辑为对数据1和数据2分别进行找行情报文,解析出行情报文头信息和行情payload数据。用行情序列号低16bit作为去重索引,高16bit作为比较值存入去重ram中。去重ram中除了存有行情序列号的高16bit,还会存2bit的标记信号,1bit用于标记该行情序列号是否出现过,另1bit用于标记该行情是否是完整的。数据1和数据2中的任一个解出行情序列号后,根据该行情序列号的低16bit作为地址读取ram,将ram中读出的16bit的行情序列号和当前行情序列号的高16bit对比,并结合2bit的标记信号,以确定该包是否已经输出过。如果已经输出过,则当前行情报文丢弃。如果没输出过,或者输出过但不完整,则将行情序列号的高16bit和2bit的标记信号回写ram。这样,在TCP乱序重传时,数据1中如果有些行情是完整的,就可以先传到后面处理,减少数据等待的延迟,数据2中对数据1中因乱序未出的行情进行补充,保证了行情数据的完整性。
虽然本发明已以较佳实施例公开如上,但它们并不是用来限定本发明的,任何熟习此技艺者,在不脱离本发明之精神和范围内,自当可作各种变化或润饰,因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。
Claims (2)
1.一种证券行情侦听方式下的快速处理方法,包括以下步骤:步骤S01:a通过侦听方式获取证券行情信息到FPGA,FPGA将接收到的TCP数据复制两份,其中一份进入步骤S02处理;另一份进入步骤S03处理;步骤S02:对数据进行TCP的IP、PORT校验,同时输出每个TCP包的序列号、以及payload长度,然后进入到步骤S04;步骤S03:对TCP数据做IP、PORT校验、对TCP做乱序重传处理,保证输出的TCP数据序列号是连续的,然后进入到步骤S04;步骤S04:通过去重模块将步骤S02和步骤S03处理后的数据进行校验,去除重复的行情包;步骤S05:将步骤S04处理后的数据进行解码、计算和输出。
2.如权利要求1所述的方法,其特征在于:步骤S04中,去重的方法为:对步骤S02和步骤S03获得的数据分别进行找行情报文,解析出行情报文头信息和行情payload数据,用一个ram存储一段时间内所出现的这些行情报文的去重值和状态,用行情序列号低16bit作为索引访问ram,高16bit作为去重值存入ram中,ram中还存有2bit的标记信号,1bit用于标记该行情序列号是否出现过,另1bit用于标记该行情是否是完整的,如果为1表示该行情还没结束TCP发生了乱序,如果为 0,表示是一个完整的行情报文;步骤S02和步骤S03处理后的数据中的任一个解出行情序列号后,根据该行情序列号的低16bit作为地址读取ram,将ram中读出的16bit的行情序列号和当前行情序列号的高16bit对比,并结合2bit的标记信号,以确定该包是否已经输出过,如果已经输出过,并且行情是完整的,则当前行情报文丢弃;如果输出过但是不完整,或者还没输出过,则将行情输出,并在行情输出结束后将序列号的高16bit和2bit的标记信号回写到ram中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110556092.1A CN113242253B (zh) | 2021-05-21 | 2021-05-21 | 一种证券行情侦听方式下的快速处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110556092.1A CN113242253B (zh) | 2021-05-21 | 2021-05-21 | 一种证券行情侦听方式下的快速处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113242253A true CN113242253A (zh) | 2021-08-10 |
CN113242253B CN113242253B (zh) | 2023-05-12 |
Family
ID=77138153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110556092.1A Active CN113242253B (zh) | 2021-05-21 | 2021-05-21 | 一种证券行情侦听方式下的快速处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113242253B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101227478A (zh) * | 2008-02-02 | 2008-07-23 | 中兴通讯股份有限公司 | 一种对抗链路乱序的方法 |
US20140108603A1 (en) * | 2012-10-16 | 2014-04-17 | Robert Bosch Gmbh | Distributed measurement arrangement for an embedded automotive acquisition device with tcp acceleration |
US20140164471A1 (en) * | 2006-01-19 | 2014-06-12 | Kenneth G. Keels | Apparatus and method for in-line insertion and removal of markers |
CN104780028A (zh) * | 2015-04-02 | 2015-07-15 | 京信通信技术(广州)有限公司 | 一种实现tcp数据报文重传的方法及设备 |
CN107682311A (zh) * | 2017-08-24 | 2018-02-09 | 东南大学 | 一种硬件实现的多链接tcp数据重组系统 |
CN112565115A (zh) * | 2020-11-27 | 2021-03-26 | 上海金仕达软件科技有限公司 | Tcp数据的传输方法、装置、计算机设备及存储介质 |
-
2021
- 2021-05-21 CN CN202110556092.1A patent/CN113242253B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140164471A1 (en) * | 2006-01-19 | 2014-06-12 | Kenneth G. Keels | Apparatus and method for in-line insertion and removal of markers |
CN101227478A (zh) * | 2008-02-02 | 2008-07-23 | 中兴通讯股份有限公司 | 一种对抗链路乱序的方法 |
US20140108603A1 (en) * | 2012-10-16 | 2014-04-17 | Robert Bosch Gmbh | Distributed measurement arrangement for an embedded automotive acquisition device with tcp acceleration |
CN104780028A (zh) * | 2015-04-02 | 2015-07-15 | 京信通信技术(广州)有限公司 | 一种实现tcp数据报文重传的方法及设备 |
CN107682311A (zh) * | 2017-08-24 | 2018-02-09 | 东南大学 | 一种硬件实现的多链接tcp数据重组系统 |
CN112565115A (zh) * | 2020-11-27 | 2021-03-26 | 上海金仕达软件科技有限公司 | Tcp数据的传输方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113242253B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2432155B1 (en) | Call list transmission processing method and system of charging system | |
US11637917B2 (en) | Processing of payload content with parallel validation | |
CN115344527B (zh) | 一种基于fpga的高速行情数据缓存方法 | |
JPS60148249A (ja) | メツセ−ジ除去方法 | |
CN112614331B (zh) | 抄读电能表事件的方法与电能表抄读事件系统 | |
US12003415B2 (en) | Message validation using data-link layer fields | |
CN112383418B (zh) | 一种基于fpga的以太网报文高速可靠传输的设计方法 | |
US7701846B2 (en) | Bad data packet capture device | |
CN114143119B (zh) | 一种基于fpga的行情低延时接口装置 | |
CN114422617B (zh) | 一种报文处理方法、系统及计算机可读存储介质 | |
CN113242253A (zh) | 一种证券行情侦听方式下的快速处理方法 | |
US7181675B2 (en) | System and method for checksum offloading | |
CN113973091A (zh) | 一种报文处理方法、网络设备以及相关设备 | |
EP3767882A1 (en) | Network traffic monitoring device | |
US9559857B2 (en) | Preprocessing unit for network data | |
US8625619B2 (en) | Domain gateway control system and method thereof | |
CN113938294B (zh) | 一种1bit应答的数据传输隔离装置 | |
US20210400125A1 (en) | Online application layer processing of network layer timestamps | |
CN107346271A (zh) | 备份数据块的方法和灾备端设备 | |
CN115514712A (zh) | 一种数据处理方法、装置、终端和网络侧设备 | |
US20240273086A1 (en) | High speed data packet pcap capture and storage with error detection-correction | |
US20030152073A1 (en) | Inbound data stream controller with pre-recognition of frame sequence | |
CN106909528A (zh) | 一种数据传输的调度方法及装置 | |
US20230403219A1 (en) | High speed data packet pcap capture and storage with error detection-correction | |
CN114296991B (zh) | 一种应用于Expander的CRC数据校验方法和校验电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |