CN116545893A - 自适应的交易行情网络流量解析系统、方法及介质 - Google Patents

自适应的交易行情网络流量解析系统、方法及介质 Download PDF

Info

Publication number
CN116545893A
CN116545893A CN202310444211.3A CN202310444211A CN116545893A CN 116545893 A CN116545893 A CN 116545893A CN 202310444211 A CN202310444211 A CN 202310444211A CN 116545893 A CN116545893 A CN 116545893A
Authority
CN
China
Prior art keywords
module
network
network traffic
message queue
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310444211.3A
Other languages
English (en)
Inventor
李正浩
姚阳子健
王巍
周海水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eccom Network System Co ltd
Original Assignee
Eccom Network System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eccom Network System Co ltd filed Critical Eccom Network System Co ltd
Priority to CN202310444211.3A priority Critical patent/CN116545893A/zh
Publication of CN116545893A publication Critical patent/CN116545893A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Technology Law (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种自适应的交易行情网络流量解析系统、方法及介质,包括:采集器模块:用于对接带有高精度硬件时间戳的网络镜像流量;消息队列模块:用于传递网络流量数据;计算模块:用于完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;计算控制模块:用于控制计算模块;系统控制模块:用于控制计算模块、消息队列模块和采集器模块,通过各模块的上报数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。本发明通过集中的系统控制模块,来实现各模块间控制平面消息集中管理,利用采集器、消息队列和计算模块的动态变更能力,实现自适应的交易行情网络流量解析能力,可减少人员介入操作。

Description

自适应的交易行情网络流量解析系统、方法及介质
技术领域
本发明涉及数据处理技术领域,具体地,涉及一种自适应的交易行情网络流量解析系统、方法及介质。
背景技术
在证券和期货量化交易市场,交易柜台系统和行情解码系统的处理时延已经达到微秒us甚至纳秒ns级别,现有的分析工具常基于服务器操作系统自带软件时间戳进行标记,且均为事后数据分析,已经无法精准和及时地监测出交易柜台系统和行情解码系统在网络层面的真实处理时延。
为准确感知真实处理时延,利用监控分析系统,通过网络镜像流量,借助交换机标记的硬件高精度时间戳,根据特定的模型和算法分析数据包后以可视化的方式将网络链路上全部应用系统的时延和流量情况进行实时展现。
专利文献CN105976245A(申请号:CN201610278845.6)公开了一种模拟交易系统及方法,其中系统包括客户端、多个交易服务器、多个结算服务器、控制服务器、行情服务器,其中,交易服务器,用于接收用户发送的JSON交易请求或JSON请求,将JSON交易请求进行格式转换,并对各个结算服务器进行调度,将格式转换后的JSON交易请求转发到选中的结算服务器;所述结算服务器,用于接收并解析所述交易主站转发的格式转换后的所述JSON交易请求或所述JSON查询请求,通过查询预设MS-SQL数据库中存储的行情信息后,利用预设的交易规则对所述JSON交易请求或所述JSON查询请求进行相应的处理。
监控分析系统部署过程中,因为需要在网络中配置镜像交换机以完成网络镜像流量的功能,拥有镜像流量后还需要对系统中分析模型和算法进行手动调整,当客户现场网络环境多变动时,会产生大量需要人员介入的变更活动,带来了极大的不便。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种自适应的交易行情网络流量解析系统、方法及介质。
根据本发明提供的自适应的交易行情网络流量解析系统,包括:
采集器模块:用于对接带有高精度硬件时间戳的网络镜像流量,包括网络流量的接入、对特定硬件时间戳的解码、根据网络流量的五元组信息进行分流和重定向、将分流后的网络流量发送至消息队列模块;
消息队列模块:用于传递网络流量数据,通过物理和逻辑上的隔离,使通过五元组信息分流后的不同的网络流量流向对应的不同的计算模块;
计算模块:用于存储多个分析模型和算法,以完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;
计算控制模块:用于控制计算模块;
系统控制模块:用于控制计算模块、消息队列模块和采集器模块,通过各模块的上报数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。
优选的,所述采集器模块包括:在启动时接受预定配置,对已知五元组的网络流量进行预定消息队列的目的地配置,在按预定配置工作的同时,使用相关接口将系统控制模块网络流量的变更进行上报,并接收上报的网络流量五元组后续消息队列目的队列的具体信息。
优选的,所述消息队列模块包括:在启动时接受预定配置,分配不同队列所需资源,在按预定配置工作的同时,暴露相关接口以接收系统控制模块对于队列的动态调整。
优选的,所述计算模块包括:存储有不同种类的预先配置,根据不同的网络流量使用不同类型的分析模型和算法以应对需求,同时接受计算控制模块的动态控制。
优选的,所述计算控制模块包括:根据预先配置信息在系统启动时启动对应的计算模块,并维护相关状态,同时暴露相关接口用以动态接收系统控制模块启停系统计算模块。
根据本发明提供的自适应的交易行情网络流量解析方法,包括:
采集步骤:对接带有高精度硬件时间戳的网络镜像流量,包括网络流量的接入、对特定硬件时间戳的解码、根据网络流量的五元组信息进行分流和重定向;
传递步骤:传递网络流量数据,通过预设物理和逻辑上的隔离,对通过五元组信息分流后的不同的网络流量进行相应计算;
计算步骤:通过存储的多个分析模型和算法,完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;
控制步骤:通过获得的数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。
优选的,所述采集步骤包括:接受预定配置,对已知五元组的网络流量进行预定消息队列的目的地配置,在按预定配置工作的同时,使用相关接口将网络流量的变更进行上报,并接收上报的网络流量五元组后续消息队列目的队列的具体信息。
优选的,所述传递步骤包括:接受预定配置,分配不同队列所需资源,在按预定配置工作的同时,暴露相关接口以接收对于组件的动态调整。
优选的,所述计算步骤包括:存储有不同种类的预先配置,根据不同的网络流量使用不同类型的分析模型和算法以应对需求。
根据本发明提供的存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现所述的方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
(1)本发明利用网络流量采集器中根据网络流量五元组信息进行不同消息队列的定向发送的技术,对于新增和长时间未出现的旧五元组信息进行识别和标记,实现网络流量变更的自动发现和上报,可以减少人员介入操作;
(2)本发明利用传输镜像数据的消息队列的动态变更队列特性,实现变更流量从采集器到计算模块之间的动态数据通路,可动态调整可减少人员介入操作;
(3)本发明利用计算模块分隔隔离不同类型的分析模型和相关算法,实现不同类型的网络流量仅需对应的计算模块即可完成相关计算,达到在系统运行时可以动态启停不同计算模块来计算不同网路网络流量的效果,降低了故障影响范围;
(4)本发明新增集中的系统控制模块,来实现各模块间控制平面消息集中管理,利用采集器、消息队列和计算模块的动态变更能力,实现自适应的交易行情网络流量解析能力,可减少人员介入操作。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本系统实现目标粗略步骤流程图;
图2为本系统模块间关联示意图;
图3为本发明系统流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例:
如图2,为本系统模块间关联示意图,本发明提供了一种自适应的交易行情网络流量解析系统,包括:
采集器模块:用于对接带有高精度硬件时间戳的网络镜像流量,包括网络流量的接入,对特定硬件时间戳的解码,根据网络流量的五元组信息进行分流和重定向,将分流后的网络流量发送至消息队列模块。启动时,该模块将接受预定配置,对已知五元组的网络流量进行预定消息队列的目的地配置。按预定配置工作的同时,该模块会使用相关接口将系统控制模块网络流量的变更进行上报,并接受上报的网络流量五元组后续消息队列目的队列的具体信息。
消息队列模块:用于传递网络流量数据,通过物理和逻辑上的隔离,使通过五元组信息分流后的不同的网络流量流向对应的不同的计算模块。启动时,该模块将接受预定配置,与先分配不同队列所需资源。按预定配置工作的同时,该模块会暴露相关接口以接收系统控制模块对于队列的动态调整。
计算模块:用于存储若干分析模型和算法,以完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据。该模块拥有不同种类的预先配置,通常根据不同的网络流量使用不同类型的分析计算模块以应对需求,即系统中同时存在多个分析计算模块,且类型不同。同时,该模块接收分析计算控制模块的动态控制。
计算控制模块:用于控制系统内分析计算模块。该模块拥有预先配置,根据配置信息在系统启动时启动对应的分析计算模块,并维护相关状态。同时,暴露相关接口用以动态接受系统控制模块启停系统内分析计算模块。
系统控制模块:用于控制系统内分析计算模块、消息队列模块和网络流量采集器模块。通过各模块的上报数据判断系统内交易行情网络流量解析通路情况,结合预设配置进行系统内组件调整的指令动态下发。
图1为本系统实现目标粗略步骤的简单罗列,下面对整个流程进行解释说明:
新五元组流量上报:当采集器模块检测发现新五元组流量时,通过接口向系统控制模块上报新流量信息;
系统控制模块变更下发:系统控制模块接收上报新流量信息后根据预设内容对消息队列模块和计算控制模块进行变更规划并下发规划;
变更:计算控制模块根据系统控制模块下发变更执行变更计划并返回相关消息;
采集器变更:当系统控制模块接收到变更完成信息后对采集器模块下发变更消息使新网络流量进入新建的特定队列中以供后续计算。
图3为系统流程图,具体为:
步骤1:通过采集器模块输入网络流量,判断流量五元组是否为新,若是则执行步骤2,否则执行步骤3;
步骤2:将新五元组信息上传系统控制模块,系统控制模块根据预设程序向消息列队和控制模块下发变更,判断变更是否完成,若否则等待变更完成,变更完成后将五元组列队信息下发采集器模块,然后执行步骤3;
步骤3:将网络流量发送至特定列队,由特定分析计算模块接收并处理,然后返回步骤1,继续执行。
根据本发明提供的自适应的交易行情网络流量解析方法,包括:采集步骤:对接带有高精度硬件时间戳的网络镜像流量,包括网络流量的接入、对特定硬件时间戳的解码、根据网络流量的五元组信息进行分流和重定向;传递步骤:传递网络流量数据,通过预设物理和逻辑上的隔离,对通过五元组信息分流后的不同的网络流量进行相应计算;计算步骤:通过存储的多个分析模型和算法,完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;控制步骤:通过获得的数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。
所述采集步骤包括:接受预定配置,对已知五元组的网络流量进行预定消息队列的目的地配置,在按预定配置工作的同时,使用相关接口将网络流量的变更进行上报,并接收上报的网络流量五元组后续消息队列目的队列的具体信息。所述传递步骤包括:接受预定配置,分配不同队列所需资源,在按预定配置工作的同时,暴露相关接口以接收对于组件的动态调整。所述计算步骤包括:存储有不同种类的预先配置,根据不同的网络流量使用不同类型的分析模型和算法以应对需求。
根据本发明提供的存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现所述的方法的步骤。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种自适应的交易行情网络流量解析系统,其特征在于,包括:
采集器模块:用于对接带有高精度硬件时间戳的网络镜像流量,包括网络流量的接入、对特定硬件时间戳的解码、根据网络流量的五元组信息进行分流和重定向、将分流后的网络流量发送至消息队列模块;
消息队列模块:用于传递网络流量数据,通过物理和逻辑上的隔离,使通过五元组信息分流后的不同的网络流量流向对应的不同的计算模块;
计算模块:用于存储多个分析模型和算法,以完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;
计算控制模块:用于控制计算模块;
系统控制模块:用于控制计算模块、消息队列模块和采集器模块,通过各模块的上报数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。
2.根据权利要求1所述的自适应的交易行情网络流量解析系统,其特征在于,所述采集器模块包括:在启动时接受预定配置,对已知五元组的网络流量进行预定消息队列的目的地配置,在按预定配置工作的同时,使用相关接口将系统控制模块网络流量的变更进行上报,并接收上报的网络流量五元组后续消息队列目的队列的具体信息。
3.根据权利要求1所述的自适应的交易行情网络流量解析系统,其特征在于,所述消息队列模块包括:在启动时接受预定配置,分配不同队列所需资源,在按预定配置工作的同时,暴露相关接口以接收系统控制模块对于队列的动态调整。
4.根据权利要求1所述的自适应的交易行情网络流量解析系统,其特征在于,所述计算模块包括:存储有不同种类的预先配置,根据不同的网络流量使用不同类型的分析模型和算法以应对需求,同时接受计算控制模块的动态控制。
5.根据权利要求1所述的自适应的交易行情网络流量解析系统,其特征在于,所述计算控制模块包括:根据预先配置信息在系统启动时启动对应的计算模块,并维护相关状态,同时暴露相关接口用以动态接收系统控制模块启停系统计算模块。
6.一种自适应的交易行情网络流量解析方法,其特征在于,包括:
采集步骤:对接带有高精度硬件时间戳的网络镜像流量,包括网络流量的接入、对特定硬件时间戳的解码、根据网络流量的五元组信息进行分流和重定向;
传递步骤:传递网络流量数据,通过预设物理和逻辑上的隔离,对通过五元组信息分流后的不同的网络流量进行相应计算;
计算步骤:通过存储的多个分析模型和算法,完成对于特定五元组的网络流量解析,获得用户展现阶段需要的数据;
控制步骤:通过获得的数据判断交易行情网络流量解析通路情况,结合预设配置进行组件调整的指令动态下发。
7.根据权利要求6所述的自适应的交易行情网络流量解析方法,其特征在于,所述采集步骤包括:接受预定配置,对已知五元组的网络流量进行预定消息队列的目的地配置,在按预定配置工作的同时,使用相关接口将网络流量的变更进行上报,并接收上报的网络流量五元组后续消息队列目的队列的具体信息。
8.根据权利要求6所述的自适应的交易行情网络流量解析方法,其特征在于,所述传递步骤包括:接受预定配置,分配不同队列所需资源,在按预定配置工作的同时,暴露相关接口以接收对于组件的动态调整。
9.根据权利要求6所述的自适应的交易行情网络流量解析方法,其特征在于,所述计算步骤包括:存储有不同种类的预先配置,根据不同的网络流量使用不同类型的分析模型和算法以应对需求。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求6至9中任一项所述的方法的步骤。
CN202310444211.3A 2023-04-23 2023-04-23 自适应的交易行情网络流量解析系统、方法及介质 Pending CN116545893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310444211.3A CN116545893A (zh) 2023-04-23 2023-04-23 自适应的交易行情网络流量解析系统、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310444211.3A CN116545893A (zh) 2023-04-23 2023-04-23 自适应的交易行情网络流量解析系统、方法及介质

Publications (1)

Publication Number Publication Date
CN116545893A true CN116545893A (zh) 2023-08-04

Family

ID=87456950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310444211.3A Pending CN116545893A (zh) 2023-04-23 2023-04-23 自适应的交易行情网络流量解析系统、方法及介质

Country Status (1)

Country Link
CN (1) CN116545893A (zh)

Similar Documents

Publication Publication Date Title
US10747592B2 (en) Router management by an event stream processing cluster manager
CA2810009C (en) Sticky order routers
CN108306804A (zh) 一种Ethercat主站控制器及其通信方法和系统
EP1960890A2 (en) System and method for dynamically simulating value stream and network maps
US20140115153A1 (en) Apparatus for monitoring data distribution service (dds) and method thereof
CN105577499A (zh) 决策协调方法、执行装置和决策协调器
CN111222034A (zh) 一种数据移动化显示方法、装置及云服务器
CN104410699A (zh) 一种开放式云计算资源管理方法及系统
CN103457763A (zh) 基于策略的多通道信息分发方法和系统及自动化运维平台
CN104219280A (zh) 一种智能应用数据传输通道
CN102567006B (zh) 应用业务的扩展方法、装置及系统
CN116260738B (zh) 设备监控方法及相关设备
CN110322612A (zh) 业务数据处理方法、装置、计算设备及存储介质
CN116545893A (zh) 自适应的交易行情网络流量解析系统、方法及介质
CN116011991B (zh) 基于代理和备份技术的多人协同任务保障方法
CN109547334B (zh) 一种用于机联网消息通信的服务系统及其实施方法
CN116366651A (zh) 基于app的配置管理的优化方法
CN105335362A (zh) 实时数据的处理方法及系统、即时处理系统
CN113627963B (zh) 一种电力精细化运营规则库创建方法
CN110515595B (zh) 一种航空电子分布式管理系统的资源建模及管理方法
CN107909460B (zh) 头寸同步方法、设备、数据中心及存储介质
CN116319598B (zh) 时间敏感机械手臂控制方法、交换机及存储介质
CN103377299B (zh) 提供电网线路的三维可视化服务的方法及系统
CN116599965B (zh) 通信方法、通信装置、电子设备和可读存储介质
WO2024032239A1 (zh) 应用调度方法、云服务平台以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination