CN116962132A - 数据处理方法、装置、存储介质和计算机设备 - Google Patents

数据处理方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN116962132A
CN116962132A CN202210811127.6A CN202210811127A CN116962132A CN 116962132 A CN116962132 A CN 116962132A CN 202210811127 A CN202210811127 A CN 202210811127A CN 116962132 A CN116962132 A CN 116962132A
Authority
CN
China
Prior art keywords
data
source
processing
access source
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210811127.6A
Other languages
English (en)
Inventor
黎俊飞
王雪刚
龙志翔
陈松平
郗小满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Jiangxi Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Jiangxi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Jiangxi Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210811127.6A priority Critical patent/CN116962132A/zh
Publication of CN116962132A publication Critical patent/CN116962132A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/024—Standardisation; Integration using relational databases for representation of network management data, e.g. managing via structured query language [SQL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据处理方法、装置、存储介质和计算机设备。该方法包括：根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。

Description

数据处理方法、装置、存储介质和计算机设备
【技术领域】
本发明实施例涉及数据处理技术领域，具体涉及一种数据处理方法、装置、存储介质和计算机设备。
【背景技术】
在互联网高并发中，大部分的写操作都将导致数据的传输效率低。比如商品秒杀、优惠券抢购、抽奖等情况下，若没有高效的处理机制，请求包会堵塞在链路上，导致系统雪崩，从而降低了数据处理效率。
【发明内容】
有鉴于此，本发明实施例提供了一种数据处理方法、装置、存储介质和计算机设备，用以解决现有技术中数据处理效率低的问题。
第一方面，本发明实施例提供了一种数据处理方法，包括：
根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；
根据所述至少一个接入源数据，生成至少一个处理源数据；
将所述至少一个处理源数据保存至落地源。
在一种可能的实现方式中，所述接入源包括第一接入源，所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据之前，还包括：
通过source connector组件与中间件，从所述第一接入源中采集至少一个所述采集数据。
在一种可能的实现方式中，所述接入源包括第二接入源，所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据之前，还包括：
通过Kafka connector组件与中间件，从所述第二接入源中采集至少一个所述采集数据。
在一种可能的实现方式中，所述接入源包括第三接入源，所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据之前，还包括：
通过Confluent schema registry组件与中间件，从所述第三接入源中采集至少一个采集数据；
所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据，包括：
通过Confluent schema registry组件，对所述至少一个采集数据进行反序列处理，生成每个所述采集数据对应的所述接入源数据。
在一种可能的实现方式中，所述根据所述至少一个接入源数据，生成至少一个处理源数据，包括：
通过Kafka Streaming组件，对所述接入源数据进行预设处理，生成处理源数据。
在一种可能的实现方式中，所述将所述至少一个处理源数据保存至落地源，包括：
通过传输组件与中间件，将所述至少一个处理源数据传输至落地源，以使所述落地源保存所述至少一个处理源数据；或者，
通过传输组件与中间件，将所述至少一个处理源数据保存至落地源。
在一种可能的实现方式中，所述将所述至少一个处理源数据保存至落地源之后，还包括：
获取通知消息；
显示所述通知消息；或者，将所述通知消息发送至用户设备。
第二方面，本发明实施例提供了一种数据处理装置，包括：
第一生成模块，用于根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；
第二生成模块，用于根据所述至少一个接入源数据，生成至少一个处理源数据；
保存模块，用于将所述至少一个处理源数据保存至落地源。
第三方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面或第一方面任一可能的实现方式中的数据处理方法。
第四方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现上述第一方面或第一方面任一可能的实现方式中的数据处理方法的步骤。
本发明实施例提供的一种数据处理方法、装置、存储介质和计算机设备的技术方案中，根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种数据处理方法的流程图；
图2为本发明实施例提供的一种数据处理方法的示意图；
图3为本发明实施例提供的另一种数据处理方法的示意图；
图4为本发明实施例提供的另一种数据处理方法的流程图；
图5为本发明实施例提供的一种与接入源进行通信连接的流程图；
图6为本发明实施例提供的另一种数据处理方法的流程图；
图7为本发明实施例提供的另一种数据处理方法的流程图；
图8为本发明实施例提供的另一种数据处理装置的结构示意图；
图9为本发明实施例提供的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述数目等，但这些数目不应限于这些术语。这些术语仅用来将数目彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一数目也可以被称为第二数目，类似地，第二数目也可以被称为第一数目。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
数据处理包括数据传输，数据传输技术主要分为两类，一类是离线批处理，另一类是实时数据传输。离线批处理所涉及到的工具包括sqoop，sqoop是一个开源的离线数据传输工具；sqoop主要用于海杜普(Hadoop)与传统数据库之间的数据传输，导致sqoop的适配场景局限。实时数据采集和传输所涉及到的系统包括flume系统，所涉及到的平台包括Kafka平台。flume系统是由Cloudera提供的一个高可用的、高可靠的、高分布式的海量日志采集、聚合和传输的系统，能够实时采集日志；flume系统采集数据的速度与下游处理数据的速度通常不同步，flume系统通过消息中间件对数据进行缓冲。Kafka平台是一个高吞吐量的分布式发布订阅消息平台，也是一个开源流处理平台，通常是由Scala语言和Java语言编写而成的；Kafka平台具有水平扩展和高吞吐率的特点，可以处理消费者在网站中的所有动作流数据。
目前市场上的数据处理工具主要包括DataPipeline、水壶(Kettle)、拓蓝(Talend)、信息企业数据集成(Informatica Enterprise Data Integration)、DataX和Oracle Goldengate等。
DataPipeline是一个自动化数据聚合的服务提供商为企业提供数据资产管理的数据质量平台，企业通过DataPipeline可以将资源集中在对自身业务的分析上。DataPipeline具有数据质量分析、质量校验、质量监控等多个功能。DataPipeline通过上述功能保证了数据的完整性、一致性、准确性及唯一性，彻底解决了数据孤岛和数据定义进化的问题。但是，DataPipeline是一个由原厂实施运行服务并提供售后服务的平台，运行服务和售后服务的成本是无法预估的，而且，DataPipeline也无法满足对业务场景进行二次开发的需求，从而降低了数据处理的效率。
Kettle是一个国外开源的数据抽取、转换和加载(Extraction TransformationLoading，ETL)工具，是一个通过纯java语言编写得到的工具，可以在微软视窗操作系统(Microsoft Windows)、Linux操作系统、尤尼斯(Unix)操作系统上运行，通过Kettle使数据抽取功能更加高效稳定。Kettle采用服务器-客户机(Client-Server，C/S)模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，需要发布到生产环境。而线上生产环境没有界面，需要通过日志来调试，导致效率低且费时费力。而且Kettle的主从架构非高可用，且架构扩展性低、容错性低，不适用于大数据场景。Kettle无法实现数据的实时处理，易用性低，稳定性低，从而降低了数据处理的效率。
Talend，是一个可运行于Hadoop集群之间的工具，可直接生成MapReduce代码供Hadoop运行，且Talend还支持可进行并发事务处理的Hadoop2.0，从而降低了部署难度和成本，加快了分析速度。其中，MapReduce是一种分布式计算框架，包括面向记录的数据处理(Key-Value)功能。但Talend不支持自动断点续传，对问题部位的定位仍依赖日志，导致Talend的易用性低且稳定性不高，从而降低了数据处理的效率。
Informatica Enterprise Data Integration包括信息动力中心(InformaticaPowerCenter)和信息电力交易所(Informatica Power Exchange)两大产品，是一个高性能的、可充分扩展的平台，几乎可以解决所有的数据集成项目和企业集成方案。InformaticaEnterprise Data Integration也是C/S客户端模式，开发和上线隔离，需要受过专业训练的工程师才能使用Informatica Enterprise Data Integration，导致InformaticaEnterprise Data Integration的应用难度大，且易用性不高。Informatica EnterpriseData Integration虽然支持数据实时处理，但是主流应用都是基于时间戳等方式对数据做批处理，同步效率尚不可知，稳定性也不够高，且不支持自动断点续传，从而降低了数据处理的效率。
DataX是一个离线数据同步工具或平台，是有关DataWorks的数据集成功能的开源性工具或平台，具有数据同步的功能，能够稳定高效的实现各种异构数据源之间的数据同步。各种异构数据源包括关系型数据源、Hadoop Distributed File System(HDFS)、Hive、ADS、Hadoop Database(HBase)、表格存储(TableStore，OTS)、MaxCompute(ODPS)、分布式关系型数据库服务(Distributed Relational Database Service，DRDS)等；其中，关系型数据源包括MySQL、Oracle、SqlServer、PostgreSQL(pg)；HDFS是基于Java的分布式文件系统，允许用户在Hadoop集群里跨多个节点(node)存储大的数据；Hive是基于Hadoop的一个数据仓库工具，具有数据提取、转化、加载的功能，支持存储、查询和分析存储在Hadoop中的大规模数据；AnalyticDB(原ADS)是一个支持海量数据实时高并发在线分析(Realtime OLAP)的分析型数据库；Hbase是一种开源的，可伸缩的，严格一致性(并非最终一致性)的分布式存储系统；Tablestore是提供海量结构化数据存储以及快速的查询和分析服务的非关系型的多模型数据库；ODPS是适用于数据分析场景的企业级软件，即服务(Software as aService，SaaS)模式云数据仓库；DRDS是一款基于MySQL存储的、采用分库分表技术进行水平扩展的分布式联机事务处理过程(On-Line Transaction Processing，OLTP)的数据库服务。DataX是以脚本的方式运行的，没有图形开发界面和监控界面。工程师需要对DataX进行充分的学习后，才能运用DataX实现不同异构数据源之间数据同步的功能。DataX的学习成本高、易用性低、稳定性低且运维成本较高，从而降低了数据处理的效率。
Oracle GoldenGate软件是一个基于日志的结构化数据复制软件，支持高可用性解决方案，支持实时数据集成、事务性更改数据捕获、数据复制、数据转换以及运营和分析企业系统之间的验证等功能。Oracle GoldenGate能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，能够达到亚秒级的数据延迟。OracleGoldenGate主要用于数据备份和灾备，没有图形化的界面，操作皆为命令行方式，可配置能力差，因此应用难度较高，从而降低了数据处理的效率。
为了提高数据处理的效率，图1为本发明实施例提供的一种数据处理方法的流程图，如图1所示，该方法包括：
步骤101、根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据。
本发明实施例的各步骤可以由计算机设备执行。其中，计算机设备包括但不限于服务器、物理主机、虚拟机、云主机等。其中，物理主机包括操作系统为linux操作系统的物理主机，物理主机平板电脑、linux操作系统的便携式PC或linux操作系统的台式机等。
图2为本发明实施例提供的一种数据处理方法的示意图，如图2所示，图2示出了展示层、基础层、业务层、存储层、核心层与接入源。
在一种可能的实现方式中，展示层、基础层、业务层、存储层、核心层与接入源所在的设备可以是同一个设备，展示层、基础层、业务层、存储层、核心层与接入源所在的设备为计算机设备。在另一种可能的实现方式中，展示层、基础层、业务层、存储层、核心层、接入源所在的设备不是同一个设备，例如，展示层所在的设备为第一电子设备，基础层、业务层与核心层所在的设备为计算机设备，接入源所在的设备为第二电子设备，存储层所在的设备为第三电子设备，其中，第一电子设备、第二电子设备或第三电子设备包括但不限于服务器、手机、平板电脑、便携式PC、台式机、可穿戴设备等。从而支持集群模式或单机模式，通过简单的配置适配各种业务场景，延长了平均服务时间，降低故障率，提高了数据处理的可用性。
本发明实施例中，并不对展示层、基础层、业务层、存储层、核心层或接入源所在的设备是否是同一个设备进行限定。
本发明实施例中，接入源包括第一接入源、第二接入源或第三接入源。接入源包括但不限于关系数据库、文件、接入平台、网页、消息总线等，其中，关系数据库包括但不限于mysql数据库、pg数据库、oracle数据库等；文件包括但不限于txt类型的文件或excel类型的文件；接入平台包括但不限于Kafka平台；消息总线包括但不限于activemq。例如，如图2所示，接入源包括关系数据库、文件、Kafka平台、Http或activemq，其中，关系数据库包括mysql数据库、pg数据库或oracle数据库。
步骤102、根据至少一个接入源数据，生成至少一个处理源数据。
本发明实施例中，图3为本发明实施例提供的另一种数据处理方法的示意图，如图3所示，图3示出了接入源为第三电子设备的关系数据库，计算机设备通过sourceconnector组件采集至少一个接入源数据；根据至少一个接入源数据生成第一主题(topic)，第一主题包括至少一个接入源数据。例如，接入源数据的数量为X个，X为大于或等于1的整数，计算机设备根据X个接入源数据生成第一主题，第一主题包括X个接入源数据。
计算机设备根据第一主题，生成至少一个第二主题，包括：计算机设备根据至少一个处理源数据生成至少一个第二主题，第二主题包括至少一个处理源数据。例如，处理源数据的数量为Y个，Y为大于或等于1且小于或等于X的整数；第二主题的数量为Z个，Z为大于或等于1且小于或等于Y的整数。计算机设备根据Y个处理源数据生成Z个第二主题。
步骤103、将至少一个处理源数据保存至落地源。
本发明实施例中，落地源包括但不限于落地源数据库、落地源服务器、落地源存储介质、落地源平台等。其中，落地源数据库包括但不限于mysql数据库、oracle数据库等；落地源服务器包括但不限于PostgreSQL服务器；落地源存储介质包括但不限于http sever；落地源平台包括但不限于Kafka平台。PostgreSQL服务器是一个功能强大的、开源的对象-关系型数据库服务器。
如图2所示，存储层示出了多个落地源，落地源包括mysql数据库、oracle数据库、PostgreSQL服务器、http sever或Kafka平台。其中，mysql数据库、oracle数据库、httpsever或Kafka平台所在的设备可以是计算机设备，也可以是第二电子设备，第二电子设备包括落地源服务器。
在一种可能的实现方式中，如图2所示，步骤103之后，还包括：将至少一个处理源数据发送至业务系统，以使业务系统对至少一个处理源数据进行业务处理，业务处理包括但不限于筛选、计算、修改、融合等。例如，业务处理可以是筛选、计算、修改、融合中的任意一个或几个的组合。
本发明实施例提供了一种数据处理方法，根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。
图4为本发明实施例提供的另一种数据处理方法的流程图，如图4所示，该方法包括：
步骤201、获取接入源连接消息。
本发明实施例中，计算机设备基于安全令牌接收用户设备发送的接入源连接消息；或者，响应于用户输入的点击接入源按钮的操作，生成接入源连接消息。
安全令牌在数据传输中起到了数据隔离的作用，可预防内外部系统的探测，可在一定程度上降低系统被侵入的风险。在传输过程中，组件会将非法令牌的请求拒绝，只允许组件生成的令牌传输数据。安全令牌包括JSON WEB TOKEN(JWT)，JWT作为安全令牌，实现了统一的安全认证与鉴权，使得微服务之间能够按需隔离和安全互通。
如图2所示，展示层示出了6个按钮，6个按钮的内容分别是首页、数据源管理、元数据管理、数据接入管理、任务管理、监控中心。展示层所在的设备包括显示屏。
若展示层所在的设备为第一电子设备，第一电子设备包括显示屏，第一电子设备的显示屏上显示首页按钮、数据源管理按钮、元数据管理按钮、数据接入管理按钮、任务管理按钮与监控中心按钮。用户点击数据源管理按钮，第一电子设备响应于用户输入的点击数据源管理按钮的操作，显示至少一个接入源按钮。例如，接入源按钮包括但不限于关系数据库按钮、文件按钮、接入平台按钮、网页按钮、消息总线按钮等。用户可点击任意一个接入源按钮，第一电子设备响应于用户输入的点击接入源按钮的操作，生成接入源连接消息。例如，接入源连接消息包括但不限于关系数据库连接消息、文件连接消息、接入平台连接消息、网页连接消息、消息总线连接消息等，用户点击文件按钮，选定文件作文接入源，第一电子设备响应于用户输入的点击文件按钮的操作，生成文件连接消息。第一电子设备将接入源连接消息，发送至计算机设备。计算机设备基于安全令牌接收用户设备发送的接入源连接消息。
若展示层所在的设备为计算机设备，计算机设备包括显示屏，计算机设备的显示屏上显示首页按钮、数据源管理按钮、元数据管理按钮、数据接入管理按钮、任务管理按钮与监控中心按钮。用户点击数据源管理按钮，计算机设备响应于用户输入的点击数据源管理按钮的操作，显示至少一个接入源按钮。用户可点击任意一个接入源按钮，计算机设备响应于用户输入的点击接入源按钮的操作，基于安全令牌，生成接入源连接消息。
展示层所在的设备通过html、Javascript(js)等页面技术，在显示屏上显示首页按钮、数据源管理按钮、元数据管理按钮、数据接入管理按钮、任务管理按钮与监控中心按钮，从而使用户通过点击不同的按钮便可达不同的目的，易用性增强，操作难度降低，用户体验好，且支持定制化开发，学习成本低，应用难度低，运维成本可控。
步骤202、根据接入源连接消息与接入源进行通信连接。
本发明实施例中，接入源连接消息包括接入源标识信息与网关信息。图5为本发明实施例提供的一种与接入源进行通信连接的流程图，如图5所示，步骤202具体可包括：
步骤2021、判断预先设置的通关范围信息内是否包括网关信息，若是，则执行步骤2022；若否，则执行步骤2023。
本发明实施例中，接入源标识信息是唯一标识接入源的信息，例如，接入源标识信息包括但不限于接入源的名称和/或编号。若展示层所在的设备为第一电子设备，网关信息包括但不限于第一电子设备的互联网协议(Internet Protocol，IP)地址(address)、子网掩码(subnet mask)等。若展示层所在的设备为计算机设备，网关信息包括但不限于计算机设备的IP address、subnet mask等。
如图2所示，基础层示出了统一网关服务、统一服务器中心与权限管理。计算机设备在统一网关服务中预先设置了通关范围信息，通关范围信息包括至少一个IP address和与该IP address对应的subnet mask。计算机设备判断通关范围信息内是否包括接入源连接消息中的IP address与subnet mask，若判断出通关范围信息内是否包括接入源连接消息中的IP address与subnet mask，则执行步骤2022；若判断出通关范围信息内不包括接入源连接消息中的IP address与subnet mask，则执行步骤2023。
步骤2022、根据接入源标识信息与接入源建立通信连接。
本发明实施例中，计算机设备判断出预先设置的通关范围信息内包括网关信息，在步骤2022之前，还包括：计算机设备根据接入源连接消息确定出该接入源连接消息对应的服务为数据服务。
在一种可能的实现方式中，接入源连接消息还包括用户信息，在步骤2022之前，还包括：计算机设备根据用户信息，查找出用户信息对应的权限为第一权限；判断第一权限是否在业务范围权限内；若判断出第一权限在业务范围权限内，则与业务系统建立通信连接。
步骤2023、结束流程。
本发明实施例中，计算机设备判断出预先设置的通关范围信息内不包括网关信息，表明计算机设备接收到的该接入源连接消息是一个无效的消息，甚至是一个非法的消息。
步骤203、通过source connector组件与中间件，从第一接入源中采集至少一个采集数据。
本发明实施例中，第一接入源包括但不限于关系数据库。
Source：可将数据导入到Kafka平台的工具。连接器(Connector)：可从Kafka平台或其它系统中复制数据，用户可自定义创建从系统中拉取(pull)数据或将数据推送(push)到系统中的Connector。例如，source connector组件为用户创建的连接器组件，sourceconnector组件可将其它系统中的数据导入到Kafka平台。source connector组件包括JavaDatabase Connectivity(JDBC)source connector组件，计算机设备可通过JDBC sourceconnector组件将关系数据库中的数据导入到Kafka平台。source connector组件为虚拟的、可用于数据传输的组件。
中间件包括Apache avro。Apache avro是一个基于二进制数据传输的、高性能的、数据序列化的、支持大批量的数据交换的中间件。在传输的过程中，Avro对数据进行了二进制序列化处理，从而节约了数据存储空间和网络传输带宽，减少了请求包堵塞在链路上导致系统雪崩的情况，加快了数据传输的速度。
步骤204、根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据。
本发明实施例中，计算机设备将从第一接入源中采集的采集数据作为接入源数据。步骤204还包括：计算机设备根据至少一个接入源数据生成第一话题，第一话题包括至少一个接入源数据，从而使至少一个接入源数据可以用于低延迟的流处理。
步骤205、通过Kafka Streaming组件，对接入源数据进行预设处理，生成处理源数据。
本发明实施例中，预设处理包括但不限于筛选、计算、修改、融合等。例如，预设处理可以是筛选、计算、修改、融合中的任意一个或几个的组合。
Kafka Streaming是一个实时流计算库，依靠现有的Kafka集群，提供分布式的、高容错的、抽象DSL的实时流计算，具有数据处理的功能，与spark streaming相似。sparkstreaming可以灵活的选择任何类型的系统，包括具有lambda架构的系统。但sparkstreaming的延迟范围从几毫秒到几秒不等，无法实现更短时间的实时处理。KafkaStreaming可以实现毫秒级的实时处理，由于Kafka Streaming可通过事件驱动，KafkaStreaming提供了高级的容错能力，有最佳的可伸缩性。Kafka Streaming组件是一个虚拟的、可对数据进行实时处理的工具组件，从而加快了数据处理的速度，提高了数据处理效率。
步骤205还包括：计算机设备根据至少一个处理源数据，生成至少一个第二话题，第二话题包括至少一个处理源数据。
例如，接入源数据包括重要类型数据或普通类型数据。计算机设备从至少一个接入源数据中，筛选出至少一个重要类型数据和/或至少一个普通类型数据。计算机设备若筛选出至少一个重要类型数据与至少一个普通类型数据，计算机设备根据至少一个重要类型数据，生成第二重要话题；根据至少一个普通类型数据，生成第二普通话题。
计算机设备通过第一话题将至少一个接入源数据传输至Kafka Streaming组件，且计算机设备通过第二话题将至少一个处理源数据传输至落地源。topic支持多种方式的增量拉取数据，从而加快了数据传输的速度。topic具有副本机制，会对接收到的数据进行备份，将接收到的数据所在的topic作为领导者(leader)topic，将备份的数据所在的topic作为跟随者(follower)topic。在通过Kafka Streaming组件对接入源数据进行预设处理出错，或发生接入源数据和/或处理源数据丢失的情况时，会将leader topic对应的任意一个follower topic作为新的leader topic，支持自动断点续传，降低了故障率，从而加快了数据传输的速度。
步骤206、通过传输组件与中间件，将至少一个处理源数据传输至落地源，以使落地源保存至少一个处理源数据；或者，通过传输组件与中间件，将至少一个处理源数据保存至落地源。
本发明实施例中，若落地源所在的设备为第三电子设备，计算机通过输出组件与中间件，将至少一个处理源数据传输至第三电子设备。第三电子设备保存至少一个处理源数据。如图2所示，若第三电子设备为PostgreSQL服务器，PostgreSQL服务器接收并保存至少一个处理源数据。若第三电子设备包括落地源数据库、落地源存储介质、落地源平台中至少一个，第三电子设备接收至少一个处理源数据，将至少一个处理源数据保存至落地源数据库、落地源存储介质或落地源平台。
若落地源所在的设备为计算机设备，计算机设备包括落地源数据库、落地源存储介质、落地源平台中至少一个，计算机设备通过传输组件与中间件，将至少一个处理源数据保存至落地源数据库、落地源存储介质或落地源平台。
传输组件包括sink connector组件。Sink：可将Kafka平台中的数据导出的工具。sink connector组件，是一个虚拟的、可用于数据传输的组件，可用于导出数据。例如，服务器通过sink connector组件将Kafka平台中的topic中的数据导出到Hadoop DistributedFile System(HDFS)文件中。
若落地源所在的设备为第三电子设备，计算机设备通过sink connector组件与中间件，将至少一个处理源数据传输至第三电子设备，以使第三电子设备保存至少一个处理源数据。若落地源所在的设备为计算机设备，计算机设备包括落地源数据库、落地源存储介质、落地源平台中至少一个，计算机设备通过sink connector组件与中间件，将至少一个处理源数据保存至落地源数据库、落地源存储介质或落地源平台。
如图3所示，计算机设备通过sink connector组件与中间件，将第二话题中的至少一个处理源数据保存至落地源数据库。
步骤207、获取通知消息。
本发明实施例中，若落地源所在的设备为计算机设备，计算机设备根据至少一个处理源数据生成通知消息。若落地源所在的设备为第三电子设备，第三电子设备根据至少一个处理源数据生成通知消息；将通知消息发送至计算机设备。计算机设备接收通知消息。通知消息包括redis形式的通知消息或Representational State Transfer(restful)形式的通知消息。
在一种可能的实现方式中，若处理源数据包括重要类型数据或普通类型数据，通知消息包括重要通知消息。若落地源所在的设备为计算机设备，计算机设备根据至少一个重要类型数据生成第一通知消息。若落地源所在的设备为第三电子设备，第三电子设备根据至少一个重要类型数据生成重要通知消息；将重要通知消息发送至计算机设备。计算机设备接收重要通知消息。
步骤208、显示通知消息；或者，将通知消息发送至用户设备。
本发明实施例中，用户设备包括第一电子设备。若展示层所在的设备为计算机设备，计算机设备显示通知消息。若展示层所在的设备为第一电子设备，计算机设备将通知消息发送至第一电子设备；第一电子设备接收并显示通知消息。例如，当通知消息为restful形式的通知消息时，计算机设备通过restful形式的接口将restful形式的通知消息发送至第一电子设备；第一电子设备接收并显示restful形式的通知消息。计算机设备通过restful形式的接口可以将restful形式的通知消息以短信的方式或软件消息推送的方式发送至第一电子设备。
本发明实施例提供了一种数据处理方法，根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。
图6为本发明实施例提供的另一种数据处理方法的流程图，如图6所示，该方法包括：
步骤301、获取接入源连接消息。
步骤302、根据接入源连接消息与接入源进行通信连接。
本发明实施例中，步骤301至步骤302可参考图5所示的步骤201至步骤202。
步骤303、通过Kafka connector组件与中间件，从第二接入源中采集至少一个采集数据。
本发明实施例中，第二接入源包括但不限于文件。
Kafka connector是一种用于在Kafka和其它系统之间可扩展的可靠的流式传输数据的工具。Kafka connector组件，是一个虚拟的、可用于数据传输的组件。Kafkaconnect组件能够快速的将大量数据移入或移出Kafka平台，从而加快了数据传输的速度。
步骤304、根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据。
步骤305、通过Kafka Streaming组件，对接入源数据进行预设处理，生成处理源数据。
本发明实施例中，步骤304至步骤305可参考图5所示的步骤204至步骤205。
步骤306、通过传输组件与中间件，将至少一个处理源数据传输至落地源，以使落地源保存至少一个处理源数据；或者，通过传输组件与中间件，将至少一个处理源数据保存至落地源。
本发明实施例中，传输组件包括Kafka connector组件。
计算机设备通过Kafka connector组件与中间件，将至少一个处理源数据传输至落地源，以使落地源保存至少一个处理源数据；或者，通过Kafka connector组件与中间件，将至少一个处理源数据保存至落地源。
步骤307、获取通知消息。
步骤308、显示通知消息；或者，将通知消息发送至用户设备。
本发明实施例中，步骤307至步骤308可参考图5所示的步骤207至步骤208。
本发明实施例提供了一种数据处理方法，根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。
图7为本发明实施例提供的另一种数据处理方法的流程图，如图7所示，该方法包括：
步骤401、获取接入源连接消息。
步骤402、根据接入源连接消息与接入源进行通信连接。
本发明实施例中，步骤401至步骤402可参考图5所示的步骤201至步骤202。
步骤403、通过Confluent schema registry组件与中间件，从第三接入源中采集至少一个采集数据。
本发明实施例中，第三接入源包括但不限于接入平台、网页、消息总线等。Confluent schema registry组件为虚拟的、可用于数据传输的组件。
步骤404、根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据。
本发明实施例中，计算机设备通过Confluent schema registry组件，对至少一个采集数据进行序列化处理，生成每个采集数据对应的接入源数据，其中，序列化处理包括序列处理或反序列处理。步骤404还包括：计算机设备根据至少一个接入源数据生成第一话题，第一话题包括至少一个接入源数据，从而使至少一个接入源数据可以用于低延迟的流处理。
步骤405、通过Kafka Streaming组件，对接入源数据进行预设处理，生成处理源数据。
本发明实施例中，步骤405可参考图5所示的步骤205。
步骤406、通过传输组件与中间件，将至少一个处理源数据传输至落地源，以使落地源保存至少一个处理源数据；或者，通过传输组件与中间件，将至少一个处理源数据保存至落地源。
本发明实施例中，传输组件包括Confluent schema registry组件。
计算机设备通过Confluent schema registry组件与中间件，将至少一个处理源数据传输至落地源，以使落地源保存至少一个处理源数据；或者，通过Confluent schemaregistry组件与中间件，将至少一个处理源数据保存至落地源。
步骤407、获取通知消息。
步骤408、显示通知消息；或者，将通知消息发送至用户设备。
本发明实施例中，步骤407至步骤408可参考图5所示的步骤207至步骤208。
本发明实施例提供了一种数据处理方法，根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。
图8为本发明实施例提供的另一种数据处理装置的结构示意图，如图8所示，该装置包括：第一生成模块11、第二生成模块12与保存模块13。第一生成模块11与第二生成模块12连接，第二生成模块12与保存模块13连接。
第一生成模块11用于根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；第二生成模块12用于根据至少一个接入源数据，生成至少一个处理源数据；保存模块13用于将至少一个处理源数据保存至落地源。
本发明实施例中，该装置还包括：第一采集模块14。第一采集模块14与第一生成模块11连接。
接入源包括第一接入源，第一采集模块14用于通过source connector组件与中间件，从第一接入源中采集至少一个采集数据。
本发明实施例中，该装置还包括：第二采集模块15。第二采集模块15与第一生成模块11连接。
接入源包括第二接入源，第二采集模块15用于通过Kafka connector组件与中间件，从第二接入源中采集至少一个采集数据。
本发明实施例中，该装置还包括：第三采集模块16。第三采集模块16与第一生成模块11连接。
接入源包括第三接入源，第三采集模块16用于通过Confluent schema registry组件与中间件，从第三接入源中采集至少一个采集数据。第一生成模块11具体用于通过Confluent schema registry组件，对至少一个采集数据进行序列化处理，生成每个采集数据对应的接入源数据。
本发明实施例中，第二生成模块12具体用于通过Kafka Streaming组件，对接入源数据进行预设处理，生成处理源数据。
本发明实施例中，保存模块13具体用于通过传输组件与中间件，将至少一个处理源数据传输至落地源，以使落地源保存至少一个处理源数据；或者，通过传输组件与中间件，将至少一个处理源数据保存至落地源。
本发明实施例中，该装置还包括：第一获取模块17，该装置还包括：显示模块18或发送模块19。第一获取模块17与保存模块13、显示模块18、发送模块19连接。
第一获取模块17用于获取通知消息；显示模块18用于显示通知消息；发送模块19用于将通知消息发送至用户设备。
本发明实施例中，该装置还包括：第二获取模块20与连接模块21连接。连接模块21与第一采集模块14、第二采集模块15、第三采集模块16连接。
第二获取模块20用于获取接入源连接消息；连接模块21用于根据接入源连接消息与接入源进行通信连接。
本发明实施例中，连接模块21包括判断子模块211与建立子模块212。判断子模块211与建立子模块212连接。
接入源连接消息包括接入源标识信息与网关信息，判断子模块211用于判断预先设置的通关范围信息内是否包括网关信息；建立子模块212用于若判断子模块211判断出通关范围信息包括网关信息，则根据接入源标识信息与接入源建立通信连接。
本发明实施例中，第二获取模块20包括接收子模块201或生成子模块202。
接收子模块201用于基于安全令牌接收用户设备发送的接入源连接消息；生成子模块202用于响应于用户输入的点击接入源按钮的操作，生成接入源连接消息。
本发明实施例中，预设处理包括筛选、计算、修改、融合中至少一个。
本发明实施例提供了一种数据处理装置，根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；根据至少一个接入源数据，生成至少一个处理源数据；将至少一个处理源数据保存至落地源，从而提高了数据处理效率。
本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述数据处理方法的实施例的各步骤，具体描述可参见上述数据处理方法的实施例。
本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述数据处理方法的实施例的各步骤，具体描述可参见上述数据处理方法的实施例。
图9为本发明实施例提供的一种计算机设备的示意图。如图9所示，该实施例的计算机设备30包括：处理器31、存储器32以及存储在存储器32中并可在处理器31上运行的计算机程序33，该计算机程序33被处理器31执行时实现实施例中的应用于数据处理方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器31执行时实现实施例中应用于数据处理装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备30包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图9仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器32可以是计算机设备30的内部存储单元，例如计算机设备30的硬盘或内存。存储器32也可以是计算机设备30的外部存储设备，例如计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器32还可以既包括计算机设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及计算机设备30所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；
根据所述至少一个接入源数据，生成至少一个处理源数据；
将所述至少一个处理源数据保存至落地源。
2.根据权利要求1所述的方法，其特征在于，所述接入源包括第一接入源，所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据之前，还包括：
通过source connector组件与中间件，从所述第一接入源中采集至少一个所述采集数据。
3.所述根据权利要求1所述的方法，其特征在于，所述接入源包括第二接入源，所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据之前，还包括：
通过Kafka connector组件与中间件，从所述第二接入源中采集至少一个所述采集数据。
4.所述根据权利要求1所述的方法，其特征在于，所述接入源包括第三接入源，所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据之前，还包括：
通过Confluent schema registry组件与中间件，从所述第三接入源中采集至少一个采集数据；
所述根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据，包括：
通过Confluent schema registry组件，对所述至少一个采集数据进行序列化处理，生成每个所述采集数据对应的所述接入源数据。
5.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个接入源数据，生成至少一个处理源数据，包括：
通过Kafka Streaming组件，对所述接入源数据进行预设处理，生成处理源数据。
6.根据权利要求1所述的方法，其特征在于，所述将所述至少一个处理源数据保存至落地源，包括：
通过传输组件与中间件，将所述至少一个处理源数据传输至落地源，以使所述落地源保存所述至少一个处理源数据；或者，
通过传输组件与中间件，将所述至少一个处理源数据保存至落地源。
7.根据权利要求1所述的方法，其特征在于，所述将所述至少一个处理源数据保存至落地源之后，还包括：
获取通知消息；
显示所述通知消息；或者，将所述通知消息发送至用户设备。
8.一种数据处理装置，其特征在于，包括：
第一生成模块，用于根据从接入源中获取的至少一个采集数据，生成至少一个接入源数据；
第二生成模块，用于根据所述至少一个接入源数据，生成至少一个处理源数据；
保存模块，用于将所述至少一个处理源数据保存至落地源。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。
10.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至7中任意一项所述的数据处理方法。
CN202210811127.6A 2022-07-11 2022-07-11 数据处理方法、装置、存储介质和计算机设备 Pending CN116962132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210811127.6A CN116962132A (zh) 2022-07-11 2022-07-11 数据处理方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210811127.6A CN116962132A (zh) 2022-07-11 2022-07-11 数据处理方法、装置、存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN116962132A true CN116962132A (zh) 2023-10-27

Family

ID=88453570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210811127.6A Pending CN116962132A (zh) 2022-07-11 2022-07-11 数据处理方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN116962132A (zh)

Similar Documents

Publication Publication Date Title
CN110300056B (zh) 一种实时响应式api网关及其请求处理方法
CN110971655B (zh) 离线客户端重放和同步
US10423469B2 (en) Router management by an event stream processing cluster manager
JP7360395B2 (ja) 入力および出力スキーママッピング
CN111090699A (zh) 业务数据的同步方法和装置、存储介质、电子装置
CN111796983B (zh) 一种体彩异常交易请求的监控系统及方法
US9037905B2 (en) Data processing failure recovery method, system and program
US11436066B2 (en) System for offline object based storage and mocking of rest responses
CN106713391B (zh) 一种session信息的共享方法和共享系统
US9609031B1 (en) Propagating state information to network nodes
CN111338893A (zh) 进程日志处理方法、装置、计算机设备以及存储介质
US20130227568A1 (en) Systems and methods involving virtual machine host isolation over a network
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
US20210377182A1 (en) Mobile supercloud computing system and method
CN112069264A (zh) 异构数据源采集方法、装置、电子设备及存储介质
JP2024026143A (ja) 最終的に一貫性のあるデータベース複製への切り替え
CN113535668A (zh) 日志数据处理方法及装置
CN112417050A (zh) 数据同步方法和装置、系统、存储介质及电子装置
CN113065953A (zh) 一种基于分布式的期货中继交易系统
CN116962132A (zh) 数据处理方法、装置、存储介质和计算机设备
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
CN113032477B (zh) 基于gtid的长距离数据同步方法、装置及计算设备
US20160162559A1 (en) System and method for providing instant query
CN107330089B (zh) 跨网络结构化数据收集系统
CN111858260A (zh) 信息显示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination