CN114070720B - 一种基于异步长连接技术的数据前置系统、方法及介质 - Google Patents

一种基于异步长连接技术的数据前置系统、方法及介质 Download PDF

Info

Publication number
CN114070720B
CN114070720B CN202111219788.1A CN202111219788A CN114070720B CN 114070720 B CN114070720 B CN 114070720B CN 202111219788 A CN202111219788 A CN 202111219788A CN 114070720 B CN114070720 B CN 114070720B
Authority
CN
China
Prior art keywords
data
module
executing
monitoring
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111219788.1A
Other languages
English (en)
Other versions
CN114070720A (zh
Inventor
高强
王霄南
孙浩亮
生伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Financial Information Technology Co Ltd
Original Assignee
Inspur Financial Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Financial Information Technology Co Ltd filed Critical Inspur Financial Information Technology Co Ltd
Priority to CN202111219788.1A priority Critical patent/CN114070720B/zh
Publication of CN114070720A publication Critical patent/CN114070720A/zh
Application granted granted Critical
Publication of CN114070720B publication Critical patent/CN114070720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

本发明公开了一种基于异步长连接技术的数据前置系统、方法及介质，所述系统包括初始化模块、数据发送模块、数据收取模块、数据处理模块、日志输出模块和监控修复模块；初始化模块用于读取配置文件，得到初始参数；数据发送模块用于执行数据发送操作；数据收取模块用于执行数据收取操作；数据处理模块用于获取初始数据，并执行处理操作，得到处理数据；对处理数据执行发送操作或者执行保存操作；日志输出模块用于获取日志信息，并对日志信息执行信息输出操作；监控修复模块用于执行监控修复操作；通过上述方式，本发明基于异步长连接技术，配置互不影响的数据收取链路和数据发送链路，提升了数据处理能力，并保证了系统运行的高效率和低故障率。

Description

一种基于异步长连接技术的数据前置系统、方法及介质
技术领域
本发明涉及数据传输技术领域，特别是涉及一种基于异步长连接技术的数据前置系统、方法及介质。
背景技术
随着大数据时代的到来，一方面数据量激增，大量数据需要高效稳定的传输，另一方面系统大集中趋势越来越普遍，越来越明显，多类型，多种类的终端数据往往集中发往一个数据前置系统，如此高及多类型的数据量，使金融数据前置已经不再单一针对某种业务，而是要同时处理多类型、多业务的大批量数据流。
鉴于此发展趋势，金融数据前置对大数据的高效稳定处理能力要求越来越高，因此急需设计出一种高效稳定的金融数据前置系统。
发明内容
本发明的目的在于通过异步长连接技术，配置两条数据链路子系统，分别专门处理数据的收取和数据的发送，保证数据前置系统的高效运行。
为实现上述目的，本发明采用的一个技术方案是：提供一种基于异步长连接技术的数据前置系统，包括：初始化模块、数据发送模块、数据收取模块、数据处理模块、日志输出模块和监控修复模块；
所述初始化模块用于读取配置文件，得到初始参数；
所述数据发送模块用于执行第一参数初始化操作，并获取第一初始化白名单；根据所述初始参数执行第一消息队列启动操作，得到第一系统消息队列；根据所述第一初始化白名单和所述第一系统消息队列，执行数据发送操作；
所述数据收取模块用于执行第二参数初始化操作，并获取第二初始化白名单；根据所述初始参数执行第二消息队列启动操作，得到第二系统消息队列；根据所述第二初始化白名单和所述第二系统消息队列，执行数据收取操作；
所述数据处理模块用于获取所述数据发送模块和所述数据收取模块的初始数据，根据所述初始参数对所述初始数据执行处理操作，得到处理数据；并对所述处理数据执行发送操作或者执行保存操作；
所述日志输出模块用于获取所述初始化模块、所述数据发送模块、所述数据收取模块、所述数据处理模块和所述监控修复模块的日志信息，并对所述日志信息执行信息输出操作；
所述监控修复模块用于对所述数据发送模块、所述数据收取模块和所述数据处理模块执行监控修复操作。
进一步，所述数据处理模块包括收取数据处理单元、发送数据处理单元、数据校验单元、数据筛选单元和数据发送单元；
所述收取数据处理单元用于获取所述数据收取模块的所述初始数据，并对所述初始数据执行接收数据格式化操作，得到接收格式化数据；并根据所述初始参数对所述接收格式化数据执行数据组合操作，得到完整接收数据；
所述发送数据处理单元用于获取所述数据发送模块的所述初始数据，并对所述初始数据执行发送数据格式化操作，得到发送格式化数据；并根据所述初始参数对所述发送格式化数据执行数据分包操作，得到待发送数据；
所述数据校验单元用于对所述完整接收数据和所述待发送数据执行数据校验操作，得到数据校验结果；并根据所述数据校验结果执行第一警告操作或者执行数据其他处理操作；
所述数据筛选单元用于获取数据筛选策略，并根据所述筛选策略对所述完整接收数据执行数据筛选操作，得到筛选数据；对所述筛选数据执行所述保存操作或者将所述筛选数据发送至所述第二系统消息队列；
所述数据发送单元用于对所述待发送数据执行数据发送操作。
进一步，所述监控修复模块包括收取数据监控单元、发送数据监控单元、数据处理监控单元、日志输出监控单元、消息队列监控单元和异常修复单元；
所述收取数据监控单元用于对所述数据收取模块执行数据收取监控操作，得到数据收取监控结果；
所述发送数据监控单元用于对所述数据发送模块执行数据发送监控操作，得到数据发送监控结果；
所述数据处理监控单元用于对所述数据处理模块执行数据处理监控操作，得到数据处理监控结果；
所述日志输出监控单元用于对所述日志输出模块执行日志输出监控操作，得到日志输出监控结果；
所述消息队列监控单元用于对所述第一系统消息队列和所述第二系统消息队列执行消息队列监控操作，得到消息队列监控结果；
所述异常修复单元用于根据所述数据收取监控结果和或所述数据发送监控结果和或所述数据处理监控结果和或日志输出监控结果和或所述消息队列监控结果执行异常检测修复操作。
进一步，所述数据发送模块根据所述初始参数，执行第一异步长连接通讯链路建立操作，得到第一异步长连接通讯链路；
当所述第一异步长连接通讯链路建立成功时，所述数据发送模块通过所述第一异步长连接通讯链路执行所述数据发送操作；
当所述第一异步长连接通讯链路建立失败时，所述数据发送模块循环执行所述第一异步长连接通讯链路建立操作，直到所述第一异步长连接通讯链路建立成功。
进一步，所述数据收取模块根据所述初始参数，执行第二异步长连接通讯链路建立操作，得到第二异步长连接通讯链路；
当所述第二异步长连接通讯链路建立成功时，所述数据收取模块根据所述第二异步长连接通讯链路执行系统连接操作；
当所述第二异步长连接通讯链路建立失败时，所述数据收取模块循环执行所述第二异步长连接通讯链路建立操作，直到所述第二异步长连接通讯链路建立成功。
进一步，所述数据校验结果包括第一校验结果和第二校验结果；
所述数据校验单元获取所述完整接收数据或者所述待发送数据的校验值，并根据所述校验值对所述完整接收数据或者所述待发送数据进行校验；
当所述校验值正确时，得到所述第一校验结果，并对所述完整接收数据或者所述待发送数据执行所述数据其他处理操作；
当所述校验值错误时，得到所述第二校验结果，并执行所述第一警告操作。
进一步，所述筛选数据包括第一筛选数据和第二筛选数据；
当所述数据筛选单元得到所述第一筛选数据时，则将所述第一筛选数据保存至所述第一系统消息队列或者所述第二系统消息队列；
当所述数据筛选单元得到所述第二筛选数据时，则将所述第二筛选数据保存至数据存储组件中。
进一步，所述收取数据监控单元、所述发送数据监控单元、所述数据处理监控单元、所述日志输出监控单元和所述消息队列监控单元分别对所述数据发送模块、所述数据接收模块、所述数据处理模块、所述日志输出模块和所述第一系统消息队列及所述第二系统消息队列的运行进行监控；
当出现异常时，所述异常修改单元执行所述异常检测修复操作。
一种基于异步长连接技术的数据前置方法，包括以下步骤：
初始化：读取配置文件，得到初始参数；
开启监控：对监控子系统执行启动操作，执行监控操作；
数据收取：根据所述初始参数，执行第二异步长连接通讯链路建立操作，得到第二异步长连接通讯链路；获取第二初始化白名单；根据所述第二初始化白名单和所述第二异步长连接通讯链路，执行数据收取操作；
数据发送：根据所述初始参数，执行第一异步长连接通讯链路建立操作，得到第一异步长连接通讯链路；获取第一初始化白名单；根据所述第一初始化白名单和所述第一异步长连接通讯链路，执行数据发送操作；
数据处理：获取所述数据收取操作和所述数据发送操作的数据，并对所述数据执行处理操作；
异常修复：根据所述监控操作的结果，执行异常修复操作。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的一种基于异步长连接技术的数据前置方法的步骤。
本发明的有益效果是：
1、本发明所述的基于异步长连接技术的数据前置系统，可以实现通过异步长连接技术，配置数据收取链路和数据发送链路，分别负责收取数据和发送数据，使得数据的收取和发送分离开，互不干涉，为高并发的海量数据处理提供全面的分离保障，保证了系统运行的高效率和低故障率；
2、本发明所述的基于异步长连接技术的数据前置方法，可以实现对数据的传输进行监控，并在监控到异常时，可以通过设置的处理方案对异常进行及时修复，保证系统的稳定运行，提升工作效率，降低了人工维护成本；
3、本发明所述的基于异步长连接技术的数据前置介质，可以实现多个模块之间的稳定配合，很大程度的提高了数据处理的能力、数据分析的能力和异常自我修复的能力，提供了一套稳定的数据前置处理系统。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述的一种基于异步长连接技术的数据前置系统的示意图；
图2是本发明实施例1所述的一种基于异步长连接技术的数据前置系统的数据处理模块的示意图；
图3是本发明实施例1所述的一种基于异步长连接技术的数据前置系统的监控修复模块的示意图；
图4是本发明实施例2所述的一种基于异步长连接技术的数据前置方法的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，“异步长连接”、“初始化模块”、“数据发送模块”、“数据收取模块”、“数据处理模块”、“日志输出模块”、“监控修复模块”、“配置文件”、“初始参数”、“第一参数初始化操作”、“第一初始化白名单”、“第一消息队列启动操作”、“第一系统消息队列”、“数据发送操作”、“第二参数初始化操作”、“第二初始化白名单”、“第二消息队列启动操作”、“第二系统消息队列”、“数据收取操作”、“初始数据”、“处理数据”、“日志信息”、“日志输出操作”、“监控修复操作”、“收取数据处理单元”、“发送数据处理单元”、“数据校验单元”、“数据筛选单元”、“数据发送单元”、“接收数据格式化操作”、“接收格式化数据”、“数据组合操作”、“完整接收数据”、“发送数据格式化操作”、“发送格式化数据”、“数据分包操作”、“待发送数据”、“数据校验操作”、“数据校验结果”、“第一警告操作”、“数据其他处理操作”、“数据筛选策略”、“筛选数据”、“收取数据监控单元”、“发送数据监控单元”、“数据处理监控单元”、“日志输出监控单元”、“消息队列监控单元”、“异常修复单元”、“数据收取监控操作”、“数据收取监控结果”、“数据发送监控操作”、“数据发送监控结果”、“数据处理监控操作”、“数据处理监控结果”、“日志输出监控操作”、“日志输出监控结果”、“消息队列监控操作”、“消息队列监控结果”、“异常检测修复操作”、“第一异步长连接通讯链路建立操作”、“第一异步长连接通讯链路”、“第二异步长连接通讯链路建立操作”、“第二异步长连接通讯链路”、“第一校验结果”、“第二校验结果”、“校验值”、“第一筛选数据”、“第二筛选数据”等术语应做广义理解。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
实施例1
本发明实施例提供一种基于异步长连接技术的数据前置系统，请参阅图1至图3，包括：初始化模块、数据发送模块、数据收取模块、数据处理模块、日志输出模块和监控修复模块；
初始化模块：
初始化模块用于读取配置文件，得到初始参数；
具体地，初始化模块在系统启动时，初始化系统环境，检测系统环境和内核版本号，检测所有相关依赖包和异步长连接所需要的底层库，测试数据库版本，并连接数据库系统。
系统启动后，初始化模块读取配置文件，得到初始参数，初始参数包括异步通讯端口、连接超时时间、消息队列编号、长连接心跳包数据、心跳包间隔时间、数据包是否分包以及分包数据大小等参数。
数据收取模块：
数据收取模块用于执行第二参数初始化操作，并获取第二初始化白名单；根据初始参数执行第二消息队列启动操作，得到第二系统消息队列；根据第二初始化白名单和第二系统消息队列，执行数据收取操作；
具体地，数据收取模块获取数据库中第二初始化白名单，并初始化相关参数，如异步长连接需要的对方的IP地址、端口号、心跳包内容以及检测网络是否连通和对方端口号是否可以使用等；
需要说明的是，本发明的系统只允许在第二初始化白名单列表中的IP地址和端口号进行通讯。
获取初始参数中的消息队列编号，并通过消息队列编号启动第二系统消息队列；根据第二初始化白名单和第二系统消息队列执行数据收取操作；
接收到其他系统连接请求时，数据收取模块根据初始参数建立第二异步长连接通讯链路；
当第二异步长连接通讯链路建立成功时，数据收取模块通过第二异步长连接通讯链路与其他系统之间建立连接，并获取其他系统发送过来的数据；需要说明的是，此处只是简单的收取数据，并不做数据处理；
当第二异步长连接通讯链路建立失败时，数据收取模块则返回等待，等待其他系统发起连接请求，循环执行第二异步长连接通讯链路建立操作，直到第二异步长连接通讯链路建立成功。
数据发送模块：
数据发送模块用于执行第一参数初始化操作，并获取第一初始化白名单；根据初始参数执行第一消息队列启动操作，得到第一系统消息队列；根据第一初始化白名单和第一系统消息队列，执行数据发送操作；
具体地，数据发送模块获取数据库中第一初始化白名单，并初始化相关参数，如异步长连接需要的我方监听端口号、心跳包内容、数据接收规则以及检测网络是否连通等；
需要说明的是，本发明的系统只允许在第一初始化白名单列表中的IP地址和端口号进行通讯。
获取初始参数中的消息队列编号，并通过消息队列编号启动第一系统消息队列；根据第一初始化白名单和第一系统消息队列执行数据发送操作；
数据发送模块根据初始参数建立第一异步长连接通讯链路；
当第一异步长连接通讯链路建立成功时，数据发送模块通过第一异步长连接通讯链路发送数据；
当第一异步长连接通讯链路建立失败时，数据发送模块循环执行异步长连接通讯链路建立操作，直到异步长连接通讯链路建立成功。
数据处理模块：
数据处理模块用于获取数据发送模块和数据收取模块的初始数据，根据初始参数对初始数据执行处理操作，得到处理数据；并对处理数据执行发送操作或者执行保存操作；数据处理模块包括收取数据处理单元、发送数据处理单元、数据校验单元、数据筛选单元和数据发送单元；
收取数据处理单元：
收取数据处理单元用于获取数据收取模块的初始数据，并对初始数据执行接收数据格式化操作，得到接收格式化数据；并根据初始参数对接收格式化数据执行数据组合操作，得到完整接收数据；
具体地，收取数据处理单元获取数据收取模块接收的初始数据，将初始数据进行格式化处理，得到接收格式化数据；获取初始参数中的数据包是否分包参数，如果没有分包，则格式化后的数据即为完整接收数据；如果分包，则根据数据包的编号，将格式化后的数据进行重新排列并整合，得到完整接收数据。
为了更清楚地解释本发明，此处进行举例说明，假设接收到数据为多个数据包，数据包的编号为1，2，3，其中编号为3的数据包中的日期格式为20210102，那么需要将日期格式化为2021年1月2日，再按照数据包编号为1，2，3的顺序将数据包重新排列整合，得到了完整的接收数据。
发送数据处理单元：
发送数据处理单元用于获取数据发送模块的初始数据，并对初始数据执行发送数据格式化操作，得到发送格式化数据；并根据初始参数对发送格式化数据执行数据分包操作，得到待发送数据；
具体地，发送数据处理单元获取数据发送模块的初始数据，将初始数据进行格式化处理，得到发送格式化数据；获取初始参数中是否分包参数，如果需要分包，则获取初始参数中的分包大小，并将发送格式化数据按照分包大小进行分包，得到待发送数据；如果不需要分包，则发送格式化数据即为发送数据。
为了更清楚地解释本发明，此处进行举例说明，假设发送数据为10M的数据包，并且初始参数中的是否分包的参数值为需要分包，分包发小为2M，那么需要将发送数据进行分包，并且分包大小为2M，即可以得到5个数据包，且每个数据包的大小为2M，并且按照原有发送数据的顺序，将5个数据包按顺序进行编号。
数据校验单元：
数据校验单元用于对完整接收数据和待发送数据执行数据校验操作，得到数据校验结果；并根据数据校验结果执行第一警告操作或者执行数据其他处理操作；
具体地，数据校验单元获取完整接收数据和待发送数据的校验值，并根据该校验值对完整接收数据和待发送数据进行校验：
当校验值正确时，得到第一校验结果，即完整接收数据或者待发送数据正确，则进行后续处理；
当校验值错误时，得到第二校验结果，即完整接收数据或者待发送数据出现错误，发出警告，提示数据错误。
数据筛选单元：
数据筛选单元用于获取数据筛选策略，并根据筛选策略对完整接收数据执行数据筛选操作，得到筛选数据；对筛选数据执行保存操作或者将筛选数据发送至第二系统消息队列；
具体地，数据筛选单元获取数据筛选策略，并根据筛选策略对完整接收数据进行筛选：
当完整接收数据为第一筛选数据时，即该数据为临时数据，那么将该第一筛选数据保存至第一系统消息队列或者第二系统消息队列中；
当完整接收数据为第二筛选数据时，即该数据为重要数据，那么将该第二筛选数据保存在数据存储组件中；此处的数据存储组件可以选择数据库。
数据发送单元：
数据发送单元用于对待发送数据执行数据发送操作；
具体地，数据发送单元将待发送数据发送至与数据发送模块连接的其他系统中。
日志输出模块：
日志输出模块用于获取初始化模块、数据发送模块、数据收取模块、数据处理模块和监控修复模块的日志信息，并对日志信息执行信息输出操作；
具体地，日志输出模块获取该系统中初始化模块、数据发送模块、数据收取模块、数据处理模块和监控修复模块的日志信息，并将这些日志信息输出到指定的位置，便于后续对日志进行查阅。
监控修复模块：
监控修复模块用于对数据发送模块、数据收取模块和数据处理模块执行监控修复操作；监控修复模块包括收取数据监控单元、发送数据监控单元、数据处理监控单元、日志输出监控单元、消息队列监控单元和异常修复单元；
收取数据监控单元：
收取数据监控单元用于对数据收取模块执行数据收取监控操作，得到数据收取监控结果；
具体地，收取数据监控单元对数据收取模块进行数据收取监控，当数据收取模块在接收数据出现异常时，记录异常信息，生成数据收取监控结果。
为了更清楚地解释本发明，此处进行举例说明，例如数据收取模块在收取数据时进程崩溃，那么需要记录进程崩溃信息，生成数据收取监控结果。
发送数据监控单元：
发送数据监控单元用于对数据发送模块执行数据发送监控操作，得到数据发送监控结果；
具体地，发送数据监控单元对数据发送模块进行数据发送监控，当数据发送模块在发送数据出现异常时，记录异常信息，生成数据发送监控结果。
数据处理监控单元：
数据处理监控单元用于对数据处理模块执行数据处理监控操作，得到数据处理监控结果；
具体地，数据处理监控单元对数据处理模块进行数据处理监控，当数据处理模块在处理数据出现异常时，记录异常信息，生成数据处理监控结果。
日志输出监控单元：
日志输出监控单元用于对日志输出模块执行日志输出监控操作，得到日志输出监控结果；
具体地，日志输出监控单元对日志输出模块进行日志输出监控，当日志输出模块在输出日志出现异常时，记录异常信息，生成日志输出监控结果。
消息队列监控单元：
消息队列监控单元用于对第一系统消息队列和第二系统消息队列执行消息队列监控操作，得到消息队列监控结果；
具体地，消息队列监控单元对第一系统消息队列和第二系统消息队列进行消息队列监控，当第一系统消息队列和或第二系统消息队列在传输数据时出现异常，记录异常信息，生成消息队列监控结果。
为了更清楚地解释本发明，此处进行举例说明，假设监控到第一系统消息队列在传输数据时出现进程瘫痪，那么需要记录第一系统消息队列进程瘫痪；假设监控到第二系统消息队列在传输数据时出现数据冗余，那么需要记录第二系统消息队列数据冗余。
异常修复单元：
异常修复单元用于根据数据收取监控结果和或数据发送监控结果和或数据处理监控结果和或日志输出监控结果和或消息队列监控结果执行异常检测修复操作；
具体地，异常修复单元根据获取到的监控结果，分别进行异常修复。
为了更清楚地解释本发明，此处进行举例说明，假设异常修复单元接收到监控结果为数据收取模块进程崩溃，那么异常修复单元对数据收取模块进行检测，诊断进程运行的具体情况，如果无法处理，则重启数据收取模块；假设异常修复单元接收到监控结果为日志输出模块容量报警，那么异常修复单元对日志输出模块输出的日志进行压缩备份转移处理。
需要说明的是，上述的各个模块或者各个单元中的举例仅仅是为了更清楚地解释本发明的执行过程，所以不能因为上述的举例而限制本发明的保护范围。
实施例2
本发明实施例还提供一种基于异步长连接技术的数据前置方法，请参阅图4，包括以下步骤：
S100、初始化：
在系统启动时，初始化系统环境，检测系统环境和内核版本号，检测所有相关依赖包和异步长连接所需要的底层库，测试数据库版本，并连接数据库系统。
系统启动后，读取配置文件，得到初始参数，初始参数包括异步通讯端口、连接超时时间、消息队列编号、长连接心跳包数据、心跳包间隔时间、数据包是否分包以及分包数据大小等参数。
S200、开启监控：
开启监控子系统，对数据收取步骤进行数据收取监控，当接收数据出现异常时，记录异常信息，生成数据收取监控结果；
对数据发送步骤进行数据发送监控，当发送数据出现异常时，记录异常信息，生成数据发送监控结果；
对数据处理步骤进行数据处理监控，当处理数据出现异常时，记录异常信息，生成数据处理监控结果；
对该系统中日志输出子系统进行日志输出监控，当输出日志出现异常时，记录异常信息，生成日志输出监控结果；
对该系统中的第一系统消息队列和第二系统消息队列进行消息队列监控，当第一系统消息队列和或第二系统消息队列在传输数据时出现异常，记录异常信息，生成消息队列监控结果。
为了更清楚地解释本发明，此处进行举例说明，假设监控到第一系统消息队列在传输数据时出现进程瘫痪，那么需要记录第一系统消息队列进程瘫痪；假设监控到第二系统消息队列在传输数据时出现数据冗余，那么需要记录第二系统消息队列数据冗余。
S300、数据收取：
获取数据库中第二初始化白名单，并初始化相关参数，如异步长连接需要的对方的IP地址、端口号、心跳包内容以及检测网络是否连通和对方端口号是否可以使用等；
需要说明的是，本发明的系统只允许在第二初始化白名单列表中的IP地址和端口号进行通讯。
获取初始参数中的消息队列编号，并通过消息队列编号启动第二系统消息队列；根据第二初始化白名单和第二系统消息队列执行数据收取操作；
接收到其他系统连接请求时，根据初始参数建立第二异步长连接通讯链路；
当第二异步长连接通讯链路建立成功时，通过第二异步长连接通讯链路与其他系统之间建立连接，并获取其他系统发送过来的数据；需要说明的是，此处只是简单的收取数据，并不做数据处理；
当第二异步长连接通讯链路建立失败时，返回等待，等待其他系统发起连接请求，循环执行第二异步长连接通讯链路建立操作，直到第二异步长连接通讯链路建立成功。
S400、数据发送：
获取数据库中第一初始化白名单，并初始化相关参数，如异步长连接需要的我方监听端口号、心跳包内容、数据接收规则以及检测网络是否连通等；
需要说明的是，本发明的系统只允许在第一初始化白名单列表中的IP地址和端口号进行通讯。
获取初始参数中的消息队列编号，并通过消息队列编号启动第一系统消息队列；根据第一初始化白名单和第一系统消息队列执行数据发送操作；
根据初始参数建立第一异步长连接通讯链路；
当第一异步长连接通讯链路建立成功时，通过第一异步长连接通讯链路发送数据；
当第一异步长连接通讯链路建立失败时，循环执行异步长连接通讯链路建立操作，直到异步长连接通讯链路建立成功。
S500、数据处理：
获取接收的初始数据，将初始数据进行格式化处理，得到接收格式化数据；获取初始参数中的数据包是否分包参数，如果没有分包，则格式化后的数据即为完整接收数据；如果分包，则根据数据包的编号，将格式化后的数据进行重新排列并整合，得到完整接收数据。
为了更清楚地解释本发明，此处进行举例说明，假设接收到数据为多个数据包，数据包的编号为1，2，3，其中编号为3的数据包中的日期格式为20210102，那么需要将日期格式化为2021年1月2日，再按照数据包编号为1，2，3的顺序将数据包重新排列整合，得到了完整的接收数据。
获取发送的初始数据，将初始数据进行格式化处理，得到发送格式化数据；获取初始参数中是否分包参数，如果需要分包，则获取初始参数中的分包大小，并将发送格式化数据按照分包大小进行分包，得到待发送数据；如果不需要分包，则发送格式化数据即为发送数据。
为了更清楚地解释本发明，此处进行举例说明，假设发送数据为10M的数据包，并且初始参数中的是否分包的参数值为需要分包，分包发小为2M，那么需要将发送数据进行分包，并且分包大小为2M，即可以得到5个数据包，且每个数据包的大小为2M，并且按照原有发送数据的顺序，将5个数据包按顺序进行编号。
获取完整接收数据和待发送数据的校验值，并根据该校验值对完整接收数据和待发送数据进行校验：
当校验值正确时，得到第一校验结果，即完整接收数据或者待发送数据正确，则进行后续处理；
当校验值错误时，得到第二校验结果，即完整接收数据或者待发送数据出现错误，发出警告，提示数据错误。
获取数据筛选策略，并根据筛选策略对完整接收数据进行筛选：
当完整接收数据为第一筛选数据时，即该数据为临时数据，那么将该第一筛选数据保存至第一系统消息队列或者第二系统消息队列中；
当完整接收数据为第二筛选数据时，即该数据为重要数据，那么将该第二筛选数据保存在数据存储组件中；此处的数据存储组件可以选择数据库
S600、异常修复：
根据获取到的监控结果，分别进行异常修复。
为了更清楚地解释本发明，此处进行举例说明，假设接收到监控结果为接收数据的进程崩溃，那么对接收数据进行进行检测，诊断进程运行的具体情况，如果无法处理，则重启子系统；假设接收到监控结果为日志输出容量报警，那么对日志进行压缩备份转移处理。
需要说明的是，上述的各个步骤中的举例仅仅是为了更清楚地解释本发明的执行过程，所以不能因为上述的举例而限制本发明的保护范围。
实施例3
本实施例3具有一种计算机可读存储介质，所述存储介质用于储存将上述实施例2所述的基于异步长连接技术的数据前置方法实现所用的计算机软件指令，其包含用于基于异步长连接技术的数据前置方法所设置的程序；具体地，该可执行程序可以内置于实施例1所述的基于异步长连接技术的数据前置系统中，这样，基于异步长连接技术的数据前置系统就可以通过执行内置的可执行程序实现所述实施例2的基于异步长连接技术的数据前置方法。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于异步长连接技术的数据前置系统，其特征在于，包括：初始化模块、数据发送模块、数据收取模块、数据处理模块、日志输出模块和监控修复模块；
所述初始化模块用于读取配置文件，得到初始参数；
所述数据发送模块根据所述初始参数，执行第一异步长连接通讯链路建立操作，得到第一异步长连接通讯链路；
所述数据发送模块用于执行第一参数初始化操作，并获取第一初始化白名单；根据所述初始参数执行第一消息队列启动操作，得到第一系统消息队列；根据所述第一初始化白名单和所述第一系统消息队列，执行数据发送操作；
所述数据收取模块根据所述初始参数，执行第二异步长连接通讯链路建立操作，得到第二异步长连接通讯链路；
所述数据收取模块用于执行第二参数初始化操作，并获取第二初始化白名单；根据所述初始参数执行第二消息队列启动操作，得到第二系统消息队列；根据所述第二初始化白名单和所述第二系统消息队列，执行数据收取操作；
所述数据处理模块用于获取所述数据发送模块和所述数据收取模块的初始数据，根据所述初始参数对所述初始数据执行处理操作，得到处理数据；并对所述处理数据执行发送操作或者执行保存操作；
所述日志输出模块用于获取所述初始化模块、所述数据发送模块、所述数据收取模块、所述数据处理模块和所述监控修复模块的日志信息，并对所述日志信息执行信息输出操作；
所述监控修复模块用于对所述数据发送模块、所述数据收取模块和所述数据处理模块执行监控修复操作。
2.根据权利要求1所述的一种基于异步长连接技术的数据前置系统，其特征在于：
所述数据处理模块包括收取数据处理单元、发送数据处理单元、数据校验单元、数据筛选单元和数据发送单元；
所述收取数据处理单元用于获取所述数据收取模块的所述初始数据，并对所述初始数据执行接收数据格式化操作，得到接收格式化数据；并根据所述初始参数对所述接收格式化数据执行数据组合操作，得到完整接收数据；
所述发送数据处理单元用于获取所述数据发送模块的所述初始数据，并对所述初始数据执行发送数据格式化操作，得到发送格式化数据；并根据所述初始参数对所述发送格式化数据执行数据分包操作，得到待发送数据；
所述数据校验单元用于对所述完整接收数据和所述待发送数据执行数据校验操作，得到数据校验结果；并根据所述数据校验结果执行第一警告操作或者执行数据其他处理操作；
所述数据筛选单元用于获取数据筛选策略，并根据所述筛选策略对所述完整接收数据执行数据筛选操作，得到筛选数据；对所述筛选数据执行所述保存操作或者将所述筛选数据发送至所述第二系统消息队列；
所述数据发送单元用于对所述待发送数据执行数据发送操作。
3.根据权利要求2所述的一种基于异步长连接技术的数据前置系统，其特征在于：
所述监控修复模块包括收取数据监控单元、发送数据监控单元、数据处理监控单元、日志输出监控单元、消息队列监控单元和异常修复单元；
所述收取数据监控单元用于对所述数据收取模块执行数据收取监控操作，得到数据收取监控结果；
所述发送数据监控单元用于对所述数据发送模块执行数据发送监控操作，得到数据发送监控结果；
所述数据处理监控单元用于对所述数据处理模块执行数据处理监控操作，得到数据处理监控结果；
所述日志输出监控单元用于对所述日志输出模块执行日志输出监控操作，得到日志输出监控结果；
所述消息队列监控单元用于对所述第一系统消息队列和所述第二系统消息队列执行消息队列监控操作，得到消息队列监控结果；
所述异常修复单元用于根据所述数据收取监控结果和或所述数据发送监控结果和或所述数据处理监控结果和或日志输出监控结果和或所述消息队列监控结果执行异常检测修复操作。
4.根据权利要求1所述的一种基于异步长连接技术的数据前置系统，其特征在于：
当所述第一异步长连接通讯链路建立成功时，所述数据发送模块通过所述第一异步长连接通讯链路执行所述数据发送操作；
当所述第一异步长连接通讯链路建立失败时，所述数据发送模块循环执行所述第一异步长连接通讯链路建立操作，直到所述第一异步长连接通讯链路建立成功。
5.根据权利要求1所述的一种基于异步长连接技术的数据前置系统，其特征在于：
当所述第二异步长连接通讯链路建立成功时，所述数据收取模块根据所述第二异步长连接通讯链路执行系统连接操作；
当所述第二异步长连接通讯链路建立失败时，所述数据收取模块循环执行所述第二异步长连接通讯链路建立操作，直到所述第二异步长连接通讯链路建立成功。
6.根据权利要求2所述的一种基于异步长连接技术的数据前置系统，其特征在于：所述数据校验结果包括第一校验结果和第二校验结果；
所述数据校验单元获取所述完整接收数据或者所述待发送数据的校验值，并根据所述校验值对所述完整接收数据或者所述待发送数据进行校验；
当所述校验值正确时，得到所述第一校验结果，并对所述完整接收数据或者所述待发送数据执行所述数据其他处理操作；
当所述校验值错误时，得到所述第二校验结果，并执行所述第一警告操作。
7.根据权利要求6所述的一种基于异步长连接技术的数据前置系统，其特征在于：所述筛选数据包括第一筛选数据和第二筛选数据；
当所述数据筛选单元得到所述第一筛选数据时，则将所述第一筛选数据保存至所述第一系统消息队列或者所述第二系统消息队列；
当所述数据筛选单元得到所述第二筛选数据时，则将所述第二筛选数据保存至数据存储组件中。
8.根据权利要求3所述的一种基于异步长连接技术的数据前置系统，其特征在于：
所述收取数据监控单元、所述发送数据监控单元、所述数据处理监控单元、所述日志输出监控单元和所述消息队列监控单元分别对所述数据发送模块、所述数据接收模块、所述数据处理模块、所述日志输出模块和所述第一系统消息队列及所述第二系统消息队列的运行进行监控；
当出现异常时，所述异常修改单元执行所述异常检测修复操作。
9.一种基于异步长连接技术的数据前置方法，其特征在于，包括以下步骤：
初始化：读取配置文件，得到初始参数；
开启监控：对监控子系统执行启动操作，执行监控操作；
数据收取：根据所述初始参数，执行第二异步长连接通讯链路建立操作，得到第二异步长连接通讯链路；获取第二初始化白名单；根据所述第二初始化白名单和所述第二异步长连接通讯链路，执行数据收取操作；
数据发送：根据所述初始参数，执行第一异步长连接通讯链路建立操作，得到第一异步长连接通讯链路；获取第一初始化白名单；根据所述第一初始化白名单和所述第一异步长连接通讯链路，执行数据发送操作；
数据处理：获取所述数据收取操作和所述数据发送操作的数据，并对所述数据执行处理操作；
异常修复：根据所述监控操作的结果，执行异常修复操作。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求9所述的一种基于异步长连接技术的数据前置方法步骤。
CN202111219788.1A 2021-10-20 2021-10-20 一种基于异步长连接技术的数据前置系统、方法及介质 Active CN114070720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111219788.1A CN114070720B (zh) 2021-10-20 2021-10-20 一种基于异步长连接技术的数据前置系统、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111219788.1A CN114070720B (zh) 2021-10-20 2021-10-20 一种基于异步长连接技术的数据前置系统、方法及介质

Publications (2)

Publication Number Publication Date
CN114070720A CN114070720A (zh) 2022-02-18
CN114070720B true CN114070720B (zh) 2024-03-29

Family

ID=80234907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111219788.1A Active CN114070720B (zh) 2021-10-20 2021-10-20 一种基于异步长连接技术的数据前置系统、方法及介质

Country Status (1)

Country Link
CN (1) CN114070720B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115378857B (zh) * 2022-08-17 2024-03-26 中国银行股份有限公司 一种异步长挂分布式架构的测试方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684370A (zh) * 2018-09-07 2019-04-26 平安普惠企业管理有限公司 日志数据处理方法、系统、设备及存储介质
CN111815245A (zh) * 2020-07-21 2020-10-23 上海东普信息科技有限公司 数据通信方法、装置、系统、设备及存储介质
CN112035494A (zh) * 2020-08-07 2020-12-04 中国电子科技集团公司第十五研究所 基于数据链路动态构造的数据交换方法和系统
CN112335191A (zh) * 2018-09-27 2021-02-05 松下电器（美国）知识产权公司 数据发送中涉及的用户设备和基站
CN112887234A (zh) * 2019-11-29 2021-06-01 英特尔公司 通信链路重新训练

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684370A (zh) * 2018-09-07 2019-04-26 平安普惠企业管理有限公司 日志数据处理方法、系统、设备及存储介质
CN112335191A (zh) * 2018-09-27 2021-02-05 松下电器（美国）知识产权公司 数据发送中涉及的用户设备和基站
CN112887234A (zh) * 2019-11-29 2021-06-01 英特尔公司 通信链路重新训练
CN111815245A (zh) * 2020-07-21 2020-10-23 上海东普信息科技有限公司 数据通信方法、装置、系统、设备及存储介质
CN112035494A (zh) * 2020-08-07 2020-12-04 中国电子科技集团公司第十五研究所 基于数据链路动态构造的数据交换方法和系统

Also Published As

Publication number Publication date
CN114070720A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US7308609B2 (en) Method, data processing system, and computer program product for collecting first failure data capture information
US7770073B2 (en) Apparatus, system, and method for responsive acquisition of remote debug data
US8990634B2 (en) Reporting of intra-device failure data
US6430714B1 (en) Failure detection and isolation
US7020801B2 (en) Systems and methods for analyzing bus data
CN114070720B (zh) 一种基于异步长连接技术的数据前置系统、方法及介质
US8347142B2 (en) Non-disruptive I/O adapter diagnostic testing
CN110011854B (zh) Mds故障处理方法、装置、存储系统及计算机可读存储介质
JP2009025971A (ja) 情報処理装置、ログデータ収集システム
CN116149932A (zh) 软件系统状态的检测方法、装置及电子设备
EP1662704B1 (en) Monitoring system, apparatus to be monitored, monitoring apparatus and monitoring method
JP2723073B2 (ja) コンピュータシステムの障害ログ情報取得方式
CN111611142A (zh) 信息收集方法、装置及存储介质
JP2001067248A (ja) 障害ログの採取方式及びその方法
CN117630841A (zh) 雷达故障诊断方法和系统
CN114968829B (zh) 全链路压力测试方法、电子设备和存储介质
WO2023221520A1 (zh) 数据接入方法、装置、电子设备及存储介质
KR100570835B1 (ko) 통신망에서의 장애정보 관리 방법
CN117235021A (zh) 一种信息存储方法、客户端及服务端
KR20170127876A (ko) 로그 결함 분석 기반 장애 대응 시스템 및 방법
CN115396529A (zh) 多通道通信方法、装置、终端设备及存储介质
JP6072519B2 (ja) システム試験支援装置
CN117493053A (zh) 故障检测方法及相关装置
JP2000013468A (ja) Ｌａｎプロトコル解析方法
CN116991724A (zh) 基于监控日志的接口测试方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant