CN103368790A - 一种针对电子交易系统的性能延迟监测方法及其系统 - Google Patents
一种针对电子交易系统的性能延迟监测方法及其系统 Download PDFInfo
- Publication number
- CN103368790A CN103368790A CN2013102487582A CN201310248758A CN103368790A CN 103368790 A CN103368790 A CN 103368790A CN 2013102487582 A CN2013102487582 A CN 2013102487582A CN 201310248758 A CN201310248758 A CN 201310248758A CN 103368790 A CN103368790 A CN 103368790A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- statistical analysis
- message data
- trade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
一种针对电子交易系统的性能延迟监测方法及其系统，包括以下步骤：报文数据采集、解码及关键字提取、关联分析、统计分析和结果存储及输出。本发明通过旁路接入的方式，在不影响交易网络本身性能的条件下，实现数据密集型交易指令逐条实时测量与监控，测量和分析的精度达到微秒级（10-6秒）；在交易高峰期大数据量下，也能准确实时的进行报文数据采集、解码及关键字提取、关联分析、统计分析和结果展示，界面最小刷新粒度达到1秒；本发明充分考虑了金融交易网络容灾备份的特性，采用分布式部署、集中管理的方式，对交易系统中可能出现的主备切换，主中心系统与灾备中心系统之间的数据备份等场景都进行了严密的监控和测量。
Description
技术领域
本发明涉及属于信息技术领域，特别是一种针对电子交易系统的性能延迟监测方法及其系统。
背景技术
实时交易系统具有交易时间相对集中、交易指令和数据密集的特点，对交易系统处理速度具有很高的要求。近年来，国内外资本市场的快速发展和算法交易技术（尤其是高频交易）在全世界范围内的应用，使得低交易延时领域面临着巨大的技术挑战。例如：世界各大证券、期货交易所、投资机构等在追求极低的电子交易平台延时方面展开了激烈的竞争，交易系统延时已经向微秒级时代迈进。从市场和技术角度，加强交易系统延时实时测量监控，统计分析系统的性能瓶颈的需求也越来越迫切，对于渐入微秒级的交易系统而言，建立起一个高精度的延时测量体系，准确评价交易系统各个环节的订单处理延迟，将有助于更加全面、科学的监控交易系统性能状态，确保未来系统的性能在可测量、可评价的范围内得到持续改善，以进一步提升交易系统性能管理水平。
发明内容
本发明的目的是解决现有交易系统延迟测量监控手段匮乏，交易系统性能状态、各环节订单处理时延不透明等问题，提供一种精度高、速度快的针对电子交易系统的性能延迟监测方法及其系统。
本发明解决现有技术问题所采用的技术方案： 一种针对电子交易系统的性能延迟监测方法，包括以下步骤：
a) 报文数据采集：在含有电子交易系统的交易网络中部署数据采集系统，所述数据采集系统是在交易网络的数据交换机上部署交换机镜像流量采集探针，通过所述交换机镜像流量采集探针对电子交易系统的数据流逐笔采集以获取交易过程中各个环节的报文数据；
b) 解码及关键字段提取：将采集到的报文数据发送至数据处理系统，所述数据处理系统包括解码引擎模块和关键字提取模块，所述解码引擎模块通过解码器对所述报文数据根据电子交易系统中交易协议的格式进行实时解码处理并生成解码信息，同时关键字提取模块将交易协议中的消息体字段提取出来，所述消息体字段由解码信息中的一个或多个字段组成且所述字段在交易网络中唯一确定；
c) 关联分析：所述数据处理系统处理后的数据信息传入关联分析系统，所述关联分析系统中设有关联分析服务器，该关联分析服务器根据解码引擎模块所传送的解码信息，对交易网络中每一笔操作将具有相同消息体字段的报文数据进行关联处理和跟踪，对每个交易环节中具有相同消息体字段的报文数据进行串联，重组为一条完整的报文数据作为交易信息记录；
d) 统计分析：将关联分析系统输出的跟踪重组后的交易信息记录由统计分析模块根据预定义的KPI指标，进行质量计算和统计并输出结果数据；所述统计分析模块进行质量计算和统计的方法为通过步骤b、c的两个交易环节的报文个数和时间的差值得到所输出的结果数据，所述结果数据包括每个交易环节的延迟、丢包、抖动的报文数量；
e) 结果存储及输出：将统计分析后的结果数据存入数据库中，并由报表统计模块输出，以提供统一的展示和查询。
数据采集系统采用7*24小时不间断实时数据采集的方式。
所述交易网络包括主中心和分布在不同地区交易网络中的灾备中心，所述主中心和灾备中心所在的交易网络中的报文数据分别经报文数据采集、解码和关联分析步骤，将关联分析后输出的报文数据分别存储于主中心的数据存储系统和灾备中心的数据存储系统中并统一传输至统计关联分析系统中进行关联统计分析，并将结果数据存入中央存储器中，由报表统计模块输出。
一种针对电子交易系统的性能延迟监测系统，包括含有电子交易系统的交易网络，所述监控系统还包括以下部分：
报文数据采集系统：所述报文数据采集系统设置于所述交易网络的数据交换机上，用于采集电子交易系统的报文数据；所述报文数据采集系统包括交换机镜像流量采集探针，所述流量采集探针部署于数据交换机的每一电子交易节点上；
数据处理系统：包括解码引擎模块和关键字提取模块，用于报文数据采集系统中采集到的报文数据根据交易协议的格式进行实时解码处理并生成解码信息，并将交易协议中的消息体字段提取出来，所述消息体字段由解码信息中的一个或多个字段组成且所述字段在交易网络中唯一确定；
关联分析系统：包括关联分析服务器，用于根据解码引擎模块所传送的解码信息，对交易网络中每一笔操作将具有相同消息体字段的报文数据进行关联处理和跟踪；
统计分析系统：包括统计分析模块，用于将关联分析系统输出的跟踪重组后的交易信息记录根据预定义的KPI指标，对比关联分析前后的报文个数和时间的差值得到每个交易环节的延迟、丢包、抖动的报文数量；
数据库：用于结果数据存储，所述结果数据为由统计分析系统得到的每个交易环节的延迟、丢包、抖动的报文数量；
所述报文数据采集系统、数据处理系统、关联分析系统、统计分析系统及数据库依次通过网络连接。
所述交易网络包括主中心和分布在不同地区交易网络中的灾备中心，所述主中心和灾备中心均包括相互独立的报文数据采集系统、数据处理系统、关联分析系统和存储系统，所述主中心的存储系统和灾备中心的存储系统中的数据统一通过网络与同一统计分析系统连接，所述统计分析系统通过中央存储器将统计分析后的结果保存并通过由报表统计模块输出。
本发明的有益效果在于：本发明通过旁路接入的方式，在不影响交易网络本身性能的条件下，实现数据密集型交易指令逐条实时测量与监控，测量和分析的精度达到微秒级（10-6秒）；在交易高峰期大数据量下，也能准确实时的进行报文数据采集、协议解码、关联分析、统计入库和结果展示，界面最小刷新粒度达到1秒；本发明充分考虑了金融交易网络容灾备份的特性，采用分布式部署、集中管理的方式，对交易系统中可能出现的主备切换，主中心系统与灾备中心系统之间的数据备份等场景都进行了严密的监控和测量。
附图说明
图1 是本发明的数据采集系统的部署结构图。
图2 是本发明单机状态下内部处理流程图。
图3 是本发明的分布式部署的架构图。
具体实施方式
以下结合具体实施例及附图对本发明进行说明：
实施例1：对于单机状态下的电子交易系统来说：如图1-2所示，
一种针对电子交易系统的性能延迟监测方法，包括以下步骤：
1）报文数据采集：如图1所示，在含有电子交易系统的交易网络中部署数据采集系统，所述数据采集系统是在交易网络的数据交换机上部署交换机镜像流量（SPAN）采集探针，通过所述交换机镜像流量采集探针对电子交易系统的数据流逐笔采集以获取交易过程中各个环节的报文数据；在不影响到交易系统本身性能的情况下，数据采集系统采用7*24小时不间断实时数据采集的方式，以达到实时采集的目的。
2）解码及关键字提取：将采集到的报文数据发送至数据处理系统，所述数据处理系统包括解码引擎模块和关键字提取模块，所述解码引擎模块通过解码器对所述报文数据根据电子交易系统中交易协议的格式（如：FTCP/FTMP/FTSP等）进行实时解码处理并生成解码信息，同时关键字提取模块将交易协议中的消息体字段提取出来作为关键字，其中，作为关键字的消息体字段是业务报文的唯一标识，它由已解码报文（即解码信息）中一个或多个字段组成，且在交易网络的不同模块的处理过程中不会改变，例如，在股票交易中，一笔订单的关键字（即消息体字段）可由“席位号+本地号”两个字段组成，一笔成交单的关键字（即消息体字段）是由“成交号”一个字段组成，关键字的提取就是从已解码的报文中提取此类相应的字段；
3）关联分析：所述数据处理系统处理后的数据信息传入关联分析系统，所述关联分析系统中设有关联分析服务器，该关联分析服务器根据解码引擎模块所传送的解码信息，对交易网络中每一笔操作将具有相同消息体字段的报文数据进行关联处理和跟踪，对每个交易环节中具有相同消息体字段的报文数据进行串联，重组为一条完整的报文数据作为交易信息记录；
4）统计分析：将关联分析系统输出的跟踪重组后的交易信息记录由统计分析模块根据预定义的KPI指标，进行质量计算和统计并输出结果数据；所述统计分析模块进行质量计算和统计的方法为通过步骤b、c的两个交易环节的报文个数和时间的差值得到每个交易环节的延迟、丢包、抖动的报文数量（即结果数据）；
5）结果存储及输出：将统计分析后输出的每个交易环节的延迟、丢包、抖动的报文数量存入数据库中，并由Web Server报表统计模块输出，以提供统一的展示和查询。
系统使用人员可根据本发明的报表统计模块所输出的交易中每个环节的延迟、丢包、抖动的报文数量，从而准确判断电子交易系统中性能延迟的情况。
实施例2：因考虑到金融交易网络容灾备份的特性，对于包括主中心和灾备中心的交易网络， 本发明的监测方法的实现方式如下：
主中心和灾备中心所在的交易网络中的报文数据分别经实施例1中的报文数据采集、解码和关联分析步骤，将输出的数据分别存储于主中心的数据存储系统和灾备中心的数据存储系统中并统一传输至实施例1中所述的统计关联分析系统中经过分析服务器进行关联统计分析，将结果存入中央数据库中，由Web Server提供统一的展示和查询。
一种针对电子交易系统的性能延迟监测系统，包括含有电子交易系统的交易网络，所述监控系统还包括以下部分：
报文数据采集系统：所述报文数据采集系统设置于所述交易网络的数据交换机上，用于采集电子交易系统的报文数据；报文数据采集系统包括交换机镜像流量采集探针，图1 是本发明的数据采集系统的部署结构图，如图1所示，流量采集探针部署于数据交换机的每一电子交易节点上；
数据处理系统：包括解码引擎模块和关键字提取模块，用于报文数据采集系统中采集到的报文数据根据交易协议的格式进行实时解码处理并生成解码信息，并将交易协议中的消息体字段提取出来；
关联分析系统：包括关联分析服务器，用于根据解码引擎模块所传送的解码信息，对交易网络中每一笔操作将具有相同消息体字段的报文数据进行关联处理和跟踪；
统计分析系统：包括统计分析模块，用于将关联分析系统输出的跟踪重组后的交易信息记录根据预定义的KPI指标，对比关联分析前后的报文个数和时间的差值得到每个交易环节的延迟、丢包、抖动的报文数量；
数据库：用于结果数据存储，所述结果数据为由统计分析系统得到的每个交易环节的延迟、丢包、抖动的报文数量；
所述报文数据采集系统、数据处理系统、关联分析系统、统计分析系统及数据库依次通过网络连接。
考虑到金融交易网络容灾备份的特性，在上述监测系统的基础上的一种优选的实施方式为：交易网络包括主中心和分布在不同地区交易网络中的灾备中心，所述主中心和灾备中心均包括相互独立的报文数据采集系统、数据处理系统、关联分析系统和存储系统，所述主中心的存储系统和灾备中心的存储系统中的数据统一通过网络与同一统计分析系统连接，所述统计分析系统通过中央存储器将统计分析后的结果数据保存并通过由Web Server报表统计模块输出。
以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (5)
1.一种针对电子交易系统的性能延迟监测方法，其特征在于，包括以下步骤：
a)报文数据采集：在含有电子交易系统的交易网络中部署数据采集系统，所述数据采集系统是在交易网络的数据交换机上部署交换机镜像流量采集探针，通过所述交换机镜像流量采集探针对电子交易系统的数据流逐笔采集以获取交易过程中各个环节的报文数据；
b)解码及关键字段提取：将采集到的报文数据发送至数据处理系统，所述数据处理系统包括解码引擎模块和关键字提取模块，所述解码引擎模块通过解码器对所述报文数据根据电子交易系统中交易协议的格式进行实时解码处理并生成解码信息，同时关键字提取模块将交易协议中的消息体字段提取出来，所述消息体字段由解码信息中的一个或多个字段组成且所述字段在交易网络中唯一确定；
c)关联分析：所述数据处理系统处理后的数据信息传入关联分析系统，所述关联分析系统中设有关联分析服务器，该关联分析服务器根据解码引擎模块所传送的解码信息，对交易网络中每一笔操作将具有相同消息体字段的报文数据进行关联处理和跟踪，对每个交易环节中具有相同消息体字段的报文数据进行串联，重组为一条完整的报文数据作为交易信息记录；
d)统计分析：将关联分析系统输出的跟踪重组后的交易信息记录由统计分析模块根据预定义的KPI指标，进行质量计算和统计并输出结果数据；所述统计分析模块进行质量计算和统计的方法为通过步骤b、c的两个交易环节的报文个数和时间的差值得到所输出的结果数据，所述结果数据包括每个交易环节的延迟、丢包、抖动的报文数量；
e)结果存储及输出：将统计分析后的结果数据存入数据库中，并由报表统计模块输出，以提供统一的展示和查询。
2.根据权利要求1所述的一种针对电子交易系统的性能延迟监测方法，其特征在于，数据采集系统采用7*24小时不间断实时数据采集的方式。
3.根据权利要求1所述的一种针对电子交易系统的性能延迟监测方法，其特征在于，所述交易网络包括主中心和分布在不同地区交易网络中的灾备中心，所述主中心和灾备中心所在的交易网络中的报文数据分别经报文数据采集、解码和关联分析步骤，将关联分析后输出的报文数据分别存储于主中心的数据存储系统和灾备中心的数据存储系统中并统一传输至统计关联分析系统中进行关联统计分析，并将结果数据存入中央存储器中，由报表统计模块输出。
4.一种针对电子交易系统的性能延迟监测系统，包括含有电子交易系统的交易网络，其特征在于，所述监控系统还包括以下部分：
报文数据采集系统：所述报文数据采集系统设置于所述交易网络的数据交换机上，用于采集电子交易系统的报文数据；所述报文数据采集系统包括交换机镜像流量采集探针，所述流量采集探针部署于数据交换机的每一电子交易节点上；
数据处理系统：包括解码引擎模块和关键字提取模块，用于报文数据采集系统中采集到的报文数据根据交易协议的格式进行实时解码处理并生成解码信息，并将交易协议中的消息体字段提取出来，所述消息体字段由解码信息中的一个或多个字段组成且所述字段在交易网络中唯一确定；
关联分析系统：包括关联分析服务器，用于根据解码引擎模块所传送的解码信息，对交易网络中每一笔操作将具有相同消息体字段的报文数据进行关联处理和跟踪；
统计分析系统：包括统计分析模块，用于将关联分析系统输出的跟踪重组后的交易信息记录根据预定义的KPI指标，对比关联分析前后的报文个数和时间的差值得到每个交易环节的延迟、丢包、抖动的报文数量；
数据库：用于结果数据存储，所述结果数据为由统计分析系统得到的每个交易环节的延迟、丢包、抖动的报文数量；
所述报文数据采集系统、数据处理系统、关联分析系统、统计分析系统及数据库依次通过网络连接。
5.根据权利要求4所述的一种针对电子交易系统的性能延迟监测系统，其特征在于：所述交易网络包括主中心和分布在不同地区交易网络中的灾备中心，所述主中心和灾备中心均包括相互独立的报文数据采集系统、数据处理系统、关联分析系统和存储系统，所述主中心的存储系统和灾备中心的存储系统中的数据统一通过网络与同一统计分析系统连接，所述统计分析系统通过中央存储器将统计分析后的结果保存并通过由报表统计模块输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310248758.2A CN103368790B (zh) | 2013-06-21 | 2013-06-21 | 一种针对电子交易系统的性能延迟监测方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310248758.2A CN103368790B (zh) | 2013-06-21 | 2013-06-21 | 一种针对电子交易系统的性能延迟监测方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103368790A true CN103368790A (zh) | 2013-10-23 |
| CN103368790B CN103368790B (zh) | 2016-03-23 |
Family
ID=49369375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310248758.2A Active CN103368790B (zh) | 2013-06-21 | 2013-06-21 | 一种针对电子交易系统的性能延迟监测方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103368790B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052358A (zh) * | 2017-12-12 | 2018-05-18 | 上海天旦网络科技发展有限公司 | 一种分布式部署的系统和方法 |
| CN109656574A (zh) * | 2018-11-27 | 2019-04-19 | 深圳华锐金融技术股份有限公司 | 交易时延度量方法、装置、计算机设备及存储介质 |
| CN111679969A (zh) * | 2020-05-07 | 2020-09-18 | 上海正网信息技术有限公司 | 一种高频交易过程中的延迟测试方法及系统 |
| CN111667267B (zh) * | 2020-05-29 | 2023-04-18 | 中国工商银行股份有限公司 | 一种区块链交易风险识别方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1734474A1 (en) * | 2005-06-15 | 2006-12-20 | Cinnober Financial Technology AB | Systems and methods for preventing server and network overload |
| CN102496107A (zh) * | 2002-02-14 | 2012-06-13 | Z·佩森 | 一种分布式资本系统的装置和方法 |
-
2013
- 2013-06-21 CN CN201310248758.2A patent/CN103368790B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102496107A (zh) * | 2002-02-14 | 2012-06-13 | Z·佩森 | 一种分布式资本系统的装置和方法 |
| EP1734474A1 (en) * | 2005-06-15 | 2006-12-20 | Cinnober Financial Technology AB | Systems and methods for preventing server and network overload |
Non-Patent Citations (1)
| Title |
|---|
| 林浒，蔡光起，李凤宪，钟利明，郭锐锋: "实时化的Linux系统及其实时性能的研究", 《小型微计算机系统》, vol. 25, no. 8, 31 August 2004 (2004-08-31) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052358A (zh) * | 2017-12-12 | 2018-05-18 | 上海天旦网络科技发展有限公司 | 一种分布式部署的系统和方法 |
| CN108052358B (zh) * | 2017-12-12 | 2021-07-13 | 上海天旦网络科技发展有限公司 | 一种分布式部署的系统和方法 |
| CN109656574A (zh) * | 2018-11-27 | 2019-04-19 | 深圳华锐金融技术股份有限公司 | 交易时延度量方法、装置、计算机设备及存储介质 |
| CN109656574B (zh) * | 2018-11-27 | 2021-10-29 | 深圳华锐金融技术股份有限公司 | 交易时延度量方法、装置、计算机设备及存储介质 |
| CN111679969A (zh) * | 2020-05-07 | 2020-09-18 | 上海正网信息技术有限公司 | 一种高频交易过程中的延迟测试方法及系统 |
| CN111667267B (zh) * | 2020-05-29 | 2023-04-18 | 中国工商银行股份有限公司 | 一种区块链交易风险识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103368790B (zh) | 2016-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220137612A1 (en) | Transformer fault diagnosis and positioning system based on digital twin | |
| CN106528951B (zh) | 一种动力电池寿命预测及安全预警的方法和装置 | |
| CN107645403A (zh) | 终端规则引擎装置、终端规则运行方法 | |
| CN103368790A (zh) | 一种针对电子交易系统的性能延迟监测方法及其系统 | |
| CN107193266A (zh) | 一种大数据的平台监控系统 | |
| CN112632127B (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
| CN110162445A (zh) | 基于主机日志及性能指标的主机健康评价方法及装置 | |
| CN109772753B (zh) | 动力电池分选系统和方法 | |
| CN103348557B (zh) | 现场响应系统 | |
| CN105099798A (zh) | 一种基于指标体系的主站运行在线监测与评估方法 | |
| CN104735142B (zh) | 一种大数据实时处理与存储系统及其处理方法 | |
| CN112286962A (zh) | 一种用电信息采集终端抄表成功率统计方法与系统 | |
| CN106067142A (zh) | 一种电能质量数据表示方法 | |
| CN108243046A (zh) | 一种基于数据稽核的业务质量评估方法及装置 | |
| Zhang et al. | Adaptive failure prediction using long short-term memory in optical network | |
| US20210067613A1 (en) | Data transmission method for creating data structure facilitating data transmission and reception | |
| CN110377757B (zh) | 一种实时知识图谱构建系统 | |
| CN104598574A (zh) | 一种海量gps数据存储的方法及装置 | |
| CN104299065B (zh) | 一种调度自动化主备系统间模型正确性校验的方法 | |
| WO2023061209A1 (zh) | 内存故障的预测方法、电子设备和计算机可读存储介质 | |
| CN105427490A (zh) | 一种网页信息提取声光告警方法 | |
| CN111030882A (zh) | 一种基于智能变电站业务报文的网络质量测量方法及系统 | |
| CN103344824A (zh) | 基于时标量测的电能量积分方法 | |
| CN108389134A (zh) | 证券投资组合的监控系统及方法 | |
| CN106777313A (zh) | 基于全息时标量测电网数据计算值及计算值分量分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20161222 Address after: 116023 Dalian International Finance Center, block A, Dalian, Liaoning, No. 129 Convention and Exhibition Road, Shahekou District Patentee after: DCE Address before: 116023 floor, building, No. 129, Exhibition Road, Liaoning, Dalian, China Patentee before: Feng Die Patentee before: Zhong Liming Patentee before: Pang Yanguang Patentee before: Zuo Tao |