CN102904820A - 一种带流量控制的可扩展的数据交互方法和系统 - Google Patents

Abstract

本发明涉计算机系统数据传输的实时数据交互及控制领域，具体的说是一种带流量控制的可扩展的数据交互方法和系统，包括证券交易所和市场参与者之间以数据库/dbf文件作为实时信息交互接口，市场参与者向数据库接口提交订单数据，交易所向数据库接口提交响应数据和执行报告数据，其特征在于报盘机自适应地控制单位时间内发往交易主机的请求数目，通过流量控制和防止数据洪峰冲击及接口数据库的数据库交互方法，避免短时间内给服务器带来巨大的数据压力，本发明与现有技术相比，实现了流量控制、防止数据洪峰及可扩展的数据库交互方法三者的统一，提高流速，防止数据洪峰冲垮程序，实时数据监测和检查，具有高性能、可扩展、低耦合等良好特性。

Description

一种带流量控制的可扩展的数据交互方法和系统

[技术领域]

本发明涉计算机系统数据传输的实时数据交互及控制领域，尤其是以数据库为接口的实时数据交互方法及系统，具体的说是一种带流量控制的可扩展的数据交互方法和系统。

[背景技术]

随着证券市场电子化的发展和证券创新业务的推陈出新，证券交易所和证券市场参与者之间的实时数据交互日益密切和频繁，交互的数据量也日益增大，据统计，上海证券市场单日的实时委托申报数量就高达2000多万笔；业务创新方面，融资融券、转融通、跨市场ETF、跨境ETF、场内交易货币式基金等证券创新业务也都在近年分批逐步推出，客观上都要求证券交易所和证券市场参与者计算机系统之间的实时数据交互接口具有高可吞吐量和高扩展性，因此，需要实现一套能在证券交易所和市场参与者之间有效进行消息交互的系统，并且依据需求这套系统实现需要支持流量控制。

常见的流量控制方法是控制绝对速度，诸如控制单位时间内一个登录点所能发起的消息事务数量，这样虽然可以实现流量控制，但是不够智能化，当服务器处理能力偶尔因故下降时，客户端无法察觉，依旧会以原有速度进行请求发送，造成服务器处理性能的进一步恶化，而如果服务器进行硬件扩容或软件改进提升了性能，还需要手工扩大每个登录点的流量控制值才能使得每个登录点分享到扩容的好处，手工操作繁杂且容易产生操作风险。

在传统的消息通讯中，如果服务器瞬间突然产生较大的TCP数据流量，通常客户端是顺序接收并处理的，其本质上是将数据堵塞在服务器端，使得服务器发送性能下降，必须缓存数据，此时如果接入的客户端很多，很有可能会带来服务器端的溢出，此外该方法不能支持客户端对不同等级业务数据的采用不同的处理优先级，而只能按网络接收顺序依次处理。

而在通信接口方面，目前国内证券交易所和证券市场参与者之间的交互接口是数据库接口或者dbf文件接口，交易所程序轮询该数据库的接口表以获得市场参与者写入的委托申报、撤单申报；市场参与者则轮询该数据库以获得交易所写入的执行报告和委托确认、公告数据等，传统方法中，该数据库表字段或者dbf文件字段的字段名称和长度是固定的，因此一旦推出新业务有些业务字段无法用现有定义字段复用，就不得不新增数据库表字段或者对原有字段的长度进行扩位，这些都给整个证券行业信息技术系统带来较大的升级风险。

在国际上，证券交易所和证券市场参与者之间是通常采用私有消息协议或者FIX协议两种方式进行通讯。私有消息协议同样面临扩展性难题，而FIX协议能有效实现业务的扩展性，FIX是国际证券行业最流行的金融信息交换协议，但FIX技术上也存在固有问题，包括会话机制复杂、交互双方耦合度高等，并且FIX在中国的应用尚且处于起步阶段，FIX所要求的消息协议交互机制和传统的数据库接口交互机制之间存在较大差异，接口从有形可落地的载体变成了无形的网络消息交互，对整个证券市场所有参与者的技术系统要求都大幅提高，从而很难在短期内推广。

因此设计一种既能保持灵活的业务扩展性又能兼容传承传统证券信息交互接口的新型证券数据交互接口成为一个亟待解决的问题。

[发明内容]

本发明的目的在于克服上述缺陷，提供一套证券交易数据交互系统及一种基于数据库接口的证券信息交换方法，从而支持证券交易所和市场参与者之间的实时高效可靠数据交互要求并支持流速控制、防止数据洪峰冲击等额外需求。

为实现上述目的，设计一种带流量控制的可扩展的数据交互方法，包括证券交易所和市场参与者之间以数据库/dbf文件作为实时信息交互接口，市场参与者向数据库接口提交订单数据，交易所向数据库接口提交响应数据和执行报告数据，其特征在于报盘机自适应地控制单位时间内发往交易主机的请求数目，通过流量控制和防止数据洪峰冲击及接口数据库的数据库交互方法，避免短时间内给服务器带来巨大的数据压力；

所述的数据库交互方法包括报盘机流量控制方法，所述的报盘机流量控制方法基于在途请求数目控制的流量控制方法，即消息发起方主动查看已经发送给服务器端却又未收到响应的请求数目，定义为在途请求数目，然后依据每个客户端登录用户所预先授权的在途请求数目上限值来进行判断，若会话连接的在途请求数目已经超过上限值，则该登录的客户端主动暂停消息发送，直至收到服务器端响应后在途请求数目恢复到上限值之下才开始继续发送后续消息；

所述的数据库交互方法还包括防止数据洪峰冲击的方法：为了避免短时间内服务器端主动推送的大量次要业务数据造成客户端的计算机资源用于次要数据的持续高速处理，而将主要业务数据处理顺序放到了次要业务数据之后，该方法是先收下网络上收到的所有次要业务数据并放置在有限长度的队列中，当队列长度超过指定值时，收到的所有次要业务数据直接丢弃不做任何处理，对主要业务数据则收到后交给指定的数据处理模块依次处理，对丢失的次要业务数据需要在客户端系统繁忙程度降低后再通过主动缺口填补的方式向服务器重新取得，避免数据的丢失。

所述的报盘机流量控制方法如下：

（1）市场参与者向数据库写入订单；

（2）报盘机读取订单；

（3）判断在途订单请求数目是否超过上限，所述的在途订单请求数目上限数据是登录时报盘机从交易系统主机获取的：

（a）当在途订单请求数目超过上限值时，则报盘机休息片刻后再重复尝试读取订单并发送；

（b）当在途订单请求数目没有超过上限值时，则报盘机向通信服务器发送订单；

（4）增加在途订单请求数目；

（5）接收响应；

（6）判断响应是否已经收到，如果没有接收到响应，则重复尝试读取订单并发送；

（7）增加在途订单请求数目；

（8）报盘机将响应写回数据库。

所述的防止数据洪峰冲击的方法操作如下：

（1）报盘机接收交易主机推送的数据；

（2）判断业务数据的级别；

（3）对优先级高的业务数据，直接将收到的消息加入待处理数据队列；

（4）然后其他模块从待处理数据队列移除头部数据进行处理；

（5）对优先级低的业务数据，需要判断待处理数据队列是否超过上限：

（a）当待处理数据队列没有超过上限，则依照步骤（3）类似处理；

（b）当待处理数据队列超过上限，则丢弃业务数据；

（6）丢弃业务数据会通过缺口填补的方式进行重传，既错开了数据高峰期，又保证数据不丢失。

所述的可扩展的数据库交互方法如下：

（1）定义接口数据库的具体表结构，为了清晰定义接口数据库，先对数据格式进行定义，然后再定义表结构；

（2）依据字段类型分类定义数据格式：

（a）对于字符型字段，以 CX格式表示，其中X代表长度；

（b）对于整数数字型字段，以NX格式表示，其中X代表数字型字符串总长度；

（c）对于带小数数字型字段，以NX (Y)格式表示，其中X代表数字型字符串总长度，Y代表小数位数，X包括一位小数点，整数部分最多不超过X-Y-1位，小数部分最多不超过Y位，带小数数字型字段应包括所有小数位，如：N8(3)的123，填写为123.000。

（3）然后用上述数据格式定义表结构，示范表结构中的消息路由标识1（routerFlg1）和消息路由标识2（routerFlg2）用于路由，报盘机通过内部私有协议将上述字段生成请求发送给交易主机群，交易主机群根据消息路由标识1（routerFlg1）+消息路由标识2（routerFlg2）判断将该消息路由到哪台交易主机，消息文本（reqtext）等字段是一个包括STEP消息的大文本字段，其定义格式符合简化的STEP规范，存放的是具体业务数据。

所述的STEP消息文本格式封装由消息头、消息体组成，消息头和消息体均采用依次排列“标签=字段取值<SOH>”的方式组织，其中标签为数字字符，前后不得有空格，消息中字段取值除非特别声明，均以可打印ASCII码字符串表示，不得采用全角字母字符，<SOH>为字段界定符，其值为不可打印字符ASCII码：十六进制的0x01，当字符型字段值为空，则采用“标签= <SOH>”的方式表示（等号后与分隔符间有一个空格），当数字型字段值为空，采用缺省取值0；

当传输数组类的信息时，消息文本支持“重复组”，字段在重复组里多次出现，通常字段名前缀为“No”字符的字段指明出现的次数，并位于重复组的开始处，除重复组内字段外任何其他字段不能多次出现；

所述的消息头结构由消息体长度和消息类型两部分组成，消息体长度中第一个字段，其值是计算出的消息长度字段分隔符后面的字符数，包含其他字段分隔符<SOH>；

消息类型取值分三类：

（a）8 =申报响应或执行报告（Execution Report）；

（b）D =申报（NewOrder Single）；

（c）其他取值参见具体业务规范。

本发明与现有技术相比，实现了流量控制、防止数据洪峰及可扩展的数据库交互方法三者的统一，提高了证券行业计算机处理大流量数据的速度性能，具有高性能、可扩展、低耦合等良好特性，在流量控制方面具有如下有益效用：

1.提高流速，具体的说由于控制的是在途请求数据，而不是控制单位时间内发送消息数目的绝对值，因此通过提升一个单位时间内客户端和服务器端的消息交互次数可以提高流速；

2.客户端自动弹性地适应服务器的处理能力，避免了计算机通信系统中经常出现“负反馈”现象，即服务器因故处理能力下降，客户端因收不到响应而加速重复发送数据，从而进一步带来服务器的处理性能下降，最终导致服务器崩溃。当服务器从故障恢复或者服务器进行了一次软件、硬件升级带来处理能力改善后，服务器给所有客户端的响应时间都会缩短，从而在途请求数目下降，所有客户端的消息发送速度自动上升。

在防止数据洪峰方面，1.避免短时间内的数据洪峰带来客户端程序的溢出，防止冲垮程序；2.提升客户端的用户体验，以免在数据处理高峰时程序响应用户操作的时间延迟加大；3.客户端优先处理优先级别高的业务数据；4.除主要业务数据外，确保所有次要业务数据也不丢失。

在可扩展的数据库交互方面，1.所有消息均在数据库留痕，便于实时数据监测和检查；2.在STEP大文本之外，数据库表设计了会话层字段以方便实现消息路由而不需要对STEP大文本字段进行解析，提升了消息处理效率；3.适度削减了STEP报文中不必要的会话字段，简化了实现并提升了性能。

[附图说明]

图1为本发明中证券交易所和市场参与者信息交互系统架构；

图2为本发明证券报盘机控制流速方法流程图；

图3为本发明证券报盘机防止数据洪峰方法流程图。

[具体实施方式]

为使本发明目的、原理、特征和优点更加清晰，下面结合附图和实施例对本发明作进一步阐述，其涉及的方法对本领域技术人员来说是可以实现的。

随着电子化证券市场的普及，在数据传输交互过程中不可避免地会出现数据流量超过系统负荷，导致服务器故障等种种问题，为此本发明设计了一套证券交易数据系统，如图1所示，由证券交易主机、通信服务器、证券报盘机、接口数据库及市场参与者系统组成支链结构，证券交易主机可按其负荷情况决定其支链数目，且通信服务器亦可在其负荷承载范围内连接支链，在图1中证券交易主机连接了两条支链，每条支链中通信服务器、证券报盘机、接口数据库及市场参与者系统呈串联结构。

该系统的操作运行过程包括三个方法，分别为流量控制技术方法、防止数据洪峰方法及可扩展的数据库交互方法，下面分别简述上述方法的原理：

A.本发明提供的流量控制技术是基于在途请求数目控制的流量控制方法，即消息发起方主动查看已经发送给服务器端却又未收到响应的请求数目（定义为在途请求数目），然后依据每个客户端登录用户所预先授权的在途请求数目上限值来进行判断，若会话连接的在途请求数目已经超过上限值，则该登录的客户端主动暂停消息发送，直至收到服务器端响应后在途请求数目恢复到上限值之下才开始继续发送后续消息；

该方法原理的具体实现依靠证券报盘机，证券报盘机流量控制方法如图2所示，

（1）市场参与者向数据库写入订单；

（2）报盘机读取订单；

（3）判断在途订单请求数目是否超过上限，所述的在途订单请求数目上限数据是登录时报盘机从交易系统主机获取的：

（a）当在途订单请求数目超过上限值时，则报盘机休息片刻后再重复尝试读取订单并发送；

（b）当在途订单请求数目没有超过上限值时，则报盘机向通信服务器发送订单；

（4）增加在途订单请求数目；

（5）接收响应；

（6）判断响应是否已经收到，如果没有接收到响应，则重复尝试读取订单并发送。

（7）增加在途订单请求数目；

（8）报盘机将响应写回数据库。

B.本发明提供的防止数据洪峰冲击的办法是为了避免短时间内服务器端主动推送的大量次要业务数据造成客户端的计算机资源用于次要数据的持续高速处理，而将主要业务数据处理顺序放到了次要业务数据之后，该方法是先收下网络上收到的所有次要业务数据并放置在有限长度的队列中，当队列长度超过指定值时，收到的所有次要业务数据直接丢弃不做任何处理，对主要业务数据则收到后交给指定的数据处理模块依次处理，对丢失的次要业务数据需要在客户端系统繁忙程度降低后再通过主动缺口填补的方式向服务器重新取得，避免数据的丢失；

该方法原理的具体实现也是依靠证券报盘机，所述的防止数据洪峰冲击的方法操作如图3所示：

（1）报盘机接收交易主机推送的数据；

（2）判断业务数据的级别；

（3）对优先级高的业务数据，直接将收到的消息加入待处理数据队列；

（4）然后其他模块从待处理数据队列移除头部数据进行处理；

（5）对优先级低的业务数据，需要判断待处理数据队列是否超过上限：

（a）当待处理数据队列没有超过上限，则依照步骤（3）类似处理；

（b）当待处理数据队列超过上限，则丢弃业务数据；

（6）丢弃业务数据会通过缺口填补的方式进行重传，既错开了数据高峰期，又保证数据不丢失。

C.本发明提供的可扩展的数据库交互方法是通过把传统的数据库交互方式和STEP消息交互方式相结合，将STEP的会话层和应用层相互分离，以数据库作为STEP会话层的实现，继承STEP应用层的语法和消息定义，从而使得该交互方法既有传统数据库接口的稳定、易追踪、易备份特点，又兼具STEP消息协议的开放、标准化、易扩展、多业务支持、灵活等诸多优势，该方法也可以依据同样道理扩展到dbf、文本文件等类似的证券信息交互接口上。

该方法原理的具体实现依靠接口数据库，所述的可扩展的数据库交互方法如下：

（1）定义接口数据库的具体表结构，为了清晰定义接口数据库，先对数据格式进行定义，然后再定义表结构；

（2）依据字段类型分类定义数据格式：

（a）对于字符型字段，以 CX格式表示，其中X代表长度；

（b）对于整数数字型字段，以NX格式表示，其中X代表数字型字符串总长度；

（c）对于带小数数字型字段，以NX (Y)格式表示，其中X代表数字型字符串总长度，Y代表小数位数，X包括一位小数点，整数部分最多不超过X-Y-1位，小数部分最多不超过Y位，带小数数字型字段应包括所有小数位，如：N8(3)的123，填写为123.000。

（3）然后用上述数据格式定义表结构，

在表结构中包含的字段具体如表1所示：

表1  证券交易所和市场参与者信息交互接口数据库的表结构

表1中，消息路由标识1（routerFlg1）和消息路由标识2（routerFlg2）用于路由，报盘机通过内部私有协议将上述字段生成请求发送给交易主机群，交易主机群根据消息路由标识1（routerFlg1）结合消息路由标识2（routerFlg2）判断将该消息文本（reqtext）路由到哪台交易主机。

以证券市场的股票委托申报业务作为例，证券公司作为证券经纪商将证券投资者的股票委托申报发送给交易所，接受交易所市场的撮合处理，然后接收交易所撮合结果的整个过程中，当证券经纪商将股票委托申报发送给交易所后，在接口数据库形成如表2字段记录：

表2  市场参与者提交的委托申报信息的数据库记录示例

表2中，routerFlg1填写TRD表示证券普通交易委托申报，routerFlg2填写600000表示该笔股票交易委托业务的标的证券为浦发银行，reqtext则表示具体细节业务字段，示例中具体表达的含义如表3所示:

表3 具体reqtext的STEP文本字段定义如下：

在上述接口数据库表结构中消息文本（reqtext）字段是一个包括STEP消息的大文本字段，所述的STEP消息文本格式封装如表4所示由消息头、消息体组成，而消息头结构如表5所示由消息体长度和消息类型两部分组成：

表4  STEP消息整体结构

表5  简化的STEP消息头

消息头和消息体均采用依次排列“标签=字段取值<SOH>”的方式组织，其中标签为数字字符，前后不得有空格，消息中字段取值除非特别声明，均以可打印ASCII码字符串表示，不得采用全角字母字符，<SOH>为字段界定符，其值为不可打印字符ASCII码：十六进制的0x01，当字符型字段值为空，则采用“标签= <SOH>”的方式表示（等号后与分隔符间有一个空格），当数字型字段值为空，采用缺省取值0；

当传输数组类的信息时，消息文本支持“重复组”，字段在重复组里多次出现，通常字段名前缀为“No”字符的字段指明出现的次数，并位于重复组的开始处，除重复组内字段外任何其他字段不能多次出现；

当股票交易业务进行扩展时，比如需要在委托中添加投资者账户信息，接口数据库表结构设计的优势在于扩展系统时，无需变更交互接口数据库表结构，只需要对reqtext的STEP文本字段进行扩展，直接在reqtext加若干个tag（比如tag 1 Account，tag 581 AccountType），扩展后的STEP文本字段如表6所示：

表6 扩展后的reqtext的STEP文本字段定义如下：

可见，这种接口数据库方法，既可以保证数据接口的稳定性，对提升证券交易所计算机系统和市场参与者的计算机系统稳定性大有裨益，又能轻松扩展，以较小的代价实现接口升级。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种带流量控制的可扩展的数据交互方法，包括证券交易所和市场参与者之间以数据库/dbf文件作为实时信息交互接口，市场参与者向数据库接口提交订单数据，交易所向数据库接口提交响应数据和执行报告数据，其特征在于报盘机自适应地控制单位时间内发往交易主机的请求数目，通过流量控制和防止数据洪峰冲击及接口数据库的数据库交互方法，避免短时间内给服务器带来巨大的数据压力；

所述的数据库交互方法包括报盘机流量控制方法，所述的报盘机流量控制方法基于在途请求数目控制的流量控制方法，即消息发起方主动查看已经发送给服务器端却又未收到响应的请求数目，定义为在途请求数目，然后依据每个客户端登录用户所预先授权的在途请求数目上限值来进行判断，若会话连接的在途请求数目已经超过上限值，则该登录的客户端主动暂停消息发送，直至收到服务器端响应后在途请求数目恢复到上限值之下才开始继续发送后续消息；

所述的数据库交互方法还包括防止数据洪峰冲击的方法：为了避免短时间内服务器端主动推送的大量次要业务数据造成客户端的计算机资源用于次要数据的持续高速处理，而将主要业务数据处理顺序放到了次要业务数据之后，该方法是先收下网络上收到的所有次要业务数据并放置在有限长度的队列中，当队列长度超过指定值时，收到的所有次要业务数据直接丢弃不做任何处理，对主要业务数据则收到后交给指定的数据处理模块依次处理，对丢失的次要业务数据需要在客户端系统繁忙程度降低后再通过主动缺口填补的方式向服务器重新取得，避免数据的丢失。

2.如权利要求1所述的一种带流量控制的可扩展的数据交互方法，其特征在于

所述的报盘机流量控制具体方法如下：

（1）市场参与者向数据库写入订单；

（2）报盘机读取订单；

（3）判断在途订单请求数目是否超过上限，所述的在途订单请求数目上限数据是登录时报盘机从交易系统主机获取的：

（a）当在途订单请求数目超过上限值时，则报盘机休息片刻后再重复尝试读取订单并发送；

（b）当在途订单请求数目没有超过上限值时，则报盘机向通信服务器发送订单；

（4）增加在途订单请求数目；

（5）接收响应；

（6）判断响应是否已经收到，如果没有接收到响应，则重复尝试读取订单并发送；

（7）增加在途订单请求数目；

（8）报盘机将响应写回数据库。

3.如权利要求1所述的一种带流量控制的可扩展的数据交互方法，其特征在于

所述的防止数据洪峰冲击的具体方法操作如下：

（1）报盘机接收交易主机推送的数据；

（2）判断业务数据的级别；

（3）对优先级高的业务数据，直接将收到的消息加入待处理数据队列；

（4）然后其他模块从待处理数据队列移除头部数据进行处理；

（5）对优先级低的业务数据，需要判断待处理数据队列是否超过上限：

（a）当待处理数据队列没有超过上限，则依照步骤（3）类似处理；

（b）当待处理数据队列超过上限，则丢弃业务数据；

（6）丢弃业务数据会通过缺口填补的方式进行重传，既错开了数据高峰期，又保证数据不丢失。

4.如权利要求1所述的一种带流量控制的可扩展的数据交互方法，其特征在于

所述的可扩展的数据库交互方法具体如下：

（1）定义接口数据库的具体表结构，为了清晰定义接口数据库，先对数据格式进行定义，然后再定义表结构；

（2）依据字段类型分类定义数据格式：

（a）对于字符型字段，以 CX格式表示，其中X代表长度；

（b）对于整数数字型字段，以NX格式表示，其中X代表数字型字符串总长度；

（c）对于带小数数字型字段，以NX (Y)格式表示，其中X代表数字型字符串总长度，Y代表小数位数，X包括一位小数点，整数部分最多不超过X-Y-1位，小数部分最多不超过Y位，带小数数字型字段应包括所有小数位，如：N8(3)的123，填写为123.000。

（3）然后用上述数据格式定义表结构，示范表结构中的消息路由标识1（routerFlg1）和消息路由标识2（routerFlg2）用于路由，报盘机通过内部私有协议将上述字段生成请求发送给交易主机群，交易主机群根据消息路由标识1（routerFlg1）+消息路由标识2（routerFlg2）判断将该消息路由到哪台交易主机，消息文本（reqtext）等字段是一个包括STEP消息的大文本字段，其定义格式符合简化的STEP规范，存放的是具体业务数据。

所述的STEP消息文本格式封装由消息头、消息体组成，消息头和消息体均采用依次排列“标签=字段取值<SOH>”的方式组织，其中标签为数字字符，前后不得有空格，消息中字段取值除非特别声明，均以可打印ASCII码字符串表示，不得采用全角字母字符，<SOH>为字段界定符，其值为不可打印字符ASCII码：十六进制的0x01，当字符型字段值为空，则采用“标签= <SOH>”的方式表示（等号后与分隔符间有一个空格），当数字型字段值为空，采用缺省取值0；

当传输数组类的信息时，消息文本支持“重复组”，字段在重复组里多次出现，通常字段名前缀为“No”字符的字段指明出现的次数，并位于重复组的开始处，除重复组内字段外任何其他字段不能多次出现；

所述的消息头结构由消息体长度和消息类型两部分组成，消息体长度中第一个字段，其值是计算出的消息长度字段分隔符后面的字符数，包含其他字段分隔符<SOH>；

消息类型取值分三类：

（a）8 =申报响应或执行报告（Execution Report）；

（b）D =申报（NewOrder Single）；

（c）其他取值参见具体业务规范。

Images