CN115130794A - 一种数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

一种数据处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115130794A
CN115130794A CN202110319311.4A CN202110319311A CN115130794A CN 115130794 A CN115130794 A CN 115130794A CN 202110319311 A CN202110319311 A CN 202110319311A CN 115130794 A CN115130794 A CN 115130794A
Authority
CN
China
Prior art keywords
data
change
target
data source
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110319311.4A
Other languages
English (en)
Inventor
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110319311.4A priority Critical patent/CN115130794A/zh
Publication of CN115130794A publication Critical patent/CN115130794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备及计算机可读存储介质，所述方法包括：监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源；在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录；根据所述数据变更记录，确定所述第一数据源的变更数据；对所述变更数据进行流计算，得到目标业务的目标数据。利用本申请实施例提供的技术方案至少可以提高数据处理的效率和实时性，提高目标数据的精准性。

Description

一种数据处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。
背景技术
指标监测系统可以实现指标数据的监测，满足多种应用场景的管理需求。相关技术通过定期采集至少一个数据源的数据，对至少一个数据源的数据进行离线计算，得到指标监测系统所需的指标数据。可见，相关技术无法对至少一个数据源中的数据进行实时处理，所获得的指标数据的实时性和精准性无法满足指标监测系统与时俱进的应用需求，例如现场指挥和实时决策参考。
发明内容
本申请提供了一种数据处理方法、装置、设备及计算机可读存储介质，至少提高数据处理的效率和实时性，提高目标数据的实时性和精准性。
一方面，本申请提供了一种数据处理方法，所述方法包括：
监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源；
在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录；
根据所述数据变更记录，确定所述第一数据源的变更数据；
对所述变更数据进行流计算，得到目标业务的目标数据。
另一方面提供了一种数据处理装置，所述装置包括：
监测模块，用于监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源；
获取模块，用于在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录；
确定模块，用于根据所述数据变更记录，确定所述第一数据源的变更数据；
流计算模块，用于对所述变更数据进行流计算，得到目标业务的目标数据。
另一方面提供了一种数据处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上所述的数据处理方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的数据处理方法。
本申请提供的数据处理方法、装置、设备及计算机可读存储介质，具有如下技术效果：
本申请通过监测第一数据源的数据变更信息，可以及时获知第一数据源是否存在数据变更，以便及时获取数据变更记录。在数据变更信息指示第一数据源存在数据变更的情况下，获取数据变更记录，根据数据变更记录，确定第一数据源的变更数据，可实现变更数据的实时获取。对变更数据进行流计算，得到目标业务的目标数据，可实现变更数据的实时处理，所获得的目标数据实时性得到提高，目标数据的精准性也相应得到提高，能够满足多种应用场景的应用需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的一种变更数据的获得方法的流程示意图；
图3是本申请实施例提供的另一种变更数据的获得方法的流程示意图；
图4是本申请实施例提供的一种流处理系统的系统框图；
图5是本申请实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图；
图6是本申请实施例提供的一种数据处理装置的结构示意图；
图7是本申请实施例提供的一种数据处理方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下介绍本申请一种数据处理方法，图1是本申请实施例提供的一种数据处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述方法可以包括：
S101：监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源。
本说明书实施例中，所述第一数据源可以包括数据库，上述数据库的类型包括但不限于RMDB(Relational Model Database，关系型数据库)和NoSQL(Not only SQL，非关系型数据库)。可以理解，上述数据库不具备数据推送能力。
在实际应用中，由于RDMB具有保持数据的一致性、数据更新的开销小、技术成熟和使用方便的优点，其被广泛地应用于计算机技术领域。考虑到实际应用需求，本说明书实施例中的第一数据源优选为RMDB。常用的RMDB包括 MySQL、PostgreSQL和Oracle。
本说明书实施例中，可作用于所述第一数据源的数据变更操作可以包括但不限于数据更新操作(Update)、数据新增操作(Insert)和数据删除操作(Delete)。
本说明书实施例中，所述数据变更信息可以为二进制日志文件，用于存储所述第一数据源存在数据变更的情况下、同步生成相应的二进制数据流。
可以理解，所述数据变更信息可以用于指示所述第一数据源是否存在数据变更。
本说明书实施例中，可以采用CDC(Change Data Capture，改变数据捕获) 技术监测(监听)第一数据源的数据变更信息。
以城市指标监测系统的黄河水质监测业务的应用场景为例，为了及时得到至少一个数据源的数据，根据至少一个数据源的数据计算黄河水质指标数据。在至少一个数据源包括RMDB的情况下，可以采用CDC组件监听RMDB的二进制日志文件，及时获知RMDB中的数据变更情况。
本说明书实施例中，通过监测第一数据源的数据变更信息，能够及时发现第一数据源存在数据变更，减少数据处理的延时。
S103：在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录。
本说明书实施例中，还可以采用上述CDC技术读取所述第一数据源存在数据变更的情况下、同步生成的数据变更记录。
本说明书实施例中，上述CDC技术的实现方式可以包括但不限于时间戳方式、快照方式、触发器方式和日志方式。
其中，上述时间戳方式适用的数据库需要设置插入时间戳和更新时间戳，还需要将数据库表的列设置为可以自增，通过插入时间戳记录数据创建的时间，通过更新时间戳记录数据最后一次被更新的时间，以通过查询插入时间戳和更新时间戳各自对应的列，捕获数据变更记录。
其中，上述快照方式适用于Oracle，可以通过Oracle自带的物化视图技术来实现，在Oracle存在数据变更的情况下，比较快照表和源表来捕获数据变更记录。
其中，上述触发器方式适用于关系型数据库，作用于关系型数据库的数据变更操作可以触发触发器，以使触发器捕获数据变更记录。
其中，上述日志方式适用于多种类型的数据库，通过监听数据库的二进制日志文件，可以捕获二进制日志文件中发生变更的二进制数据流(数据变更记录)。
在实际应用中，具体采用哪种CDC技术可基于所述第一数据源的类型而定。
本说明书实施例中，考虑到日志方式适用多种类型的数据库，CDC技术的实现方式优选为日志方式。
在一个可选的实施例中，在第一数据源为Oracle的情况下，需要对Oracle 做适配，以实现CDC技术对Oracle的变更数据进行数据捕获。
在一个具体的实施例中，所述数据变更记录可以为所述第一数据源存在数据变更的情况下，同步生成的二进制日志文件。其中，上述二进制日志文件包括与数据变更相关的二进制数据流。
在一个可选的实施例中，所述第一数据源设置有转码工具，可以通过转码工具将上述二进制数据流转换为字节码数据流。相应的，所述数据变更记录还可以为字节码数据流。
以城市指标监测系统的黄河水质监测业务的应用场景为例，由于RMDB无法主动推送数据，在CDC组件监听到RMDB的二进制日志文件存在变更(指示RMDB发生数据变更)的情况下，CDC组件捕获二级制日志文件中新增的二进制数据流(数据变更记录)，从新增的二进制数据流中获取变更数据。
本说明书实施例中，在所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录，可根据数据变更记录，获得所述第一数据源的变更数据，为后续对变更数据进行流计算提供条件。
S105：根据所述数据变更记录，确定所述第一数据源的变更数据。
本说明书实施例中，根据RMDB存在数据变更的情况下、同步生成的二进制日志文件，可以确定RMDB中的变更数据。
在实际应用中，计算机无法直接识别二进制日志文件，得到变更数据。
基于此，在一个具体的实施例中，如图2所示，所述根据所述数据变更记录，确定所述第一数据源的变更数据包括：
S201：解析所述数据变更记录，得到数据变更事件。
本说明书实施例中，所述数据变更事件可以为事件流日志文件，上述事件流日志文件的编码语句为MySQL语句，便于计算机直接识别。
在实际应用中，数据库的二进制日志文件的编码为UTF-8编码，可以采用 UTF-8编码的解码规则对数据库存在数据变更的情况下、同步生成的二进制数据流进行解析，得到事件流日志文件。
S203：获取预设的存储配置信息。
本说明书实施例中，所述预设的存储配置信息可以包括至少一个字段的字段标识和所述至少一个字段的存储结构。
具体的，上述字段标识可以包括但不限于字段名称和字段ID(IdentityDocument，身份标识)，上述至少一个字段的存储结构可以为表结构。
该预设的存储配置信息的一种具体实现方式可以参照表1。
表1
Calss:Tinc{ 定义对象Tinc
cloumA:a； 为对象Tinc配置属性a
cloumB:b； 为对象Tinc配置属性b
cloumC:c； 为对象Tinc配置属性c
} 结束
如表1所示，所述预设的存储配置信息包括三个字段a、b和c，该三个字段a、b和c的存储结构可以为对象。通过将三个字段a、b和c配置为对象Tinc 的属性，可实现字段a、b和c的存储封装。
S205：根据所述预设的存储配置信息对所述数据变更事件进行配置，得到所述第一数据源的变更数据。
本说明书实施例中，根据预设的存储配置信息的至少一个字段的字段标识和至少一个字段的存储结构，对所述数据变更事件进行配置，得到所述第一数据源的变更数据。
在一个具体的实施例中，如图3所示，所述根据所述预设的存储配置信息对所述数据变更事件进行配置，得到所述第一数据源的变更数据包括：
S301：根据所述至少一个字段的字段标识，从所述数据变更事件中确定出与所述至少一个字段对应的属性数据。
本说明书实施例中，可以预先设置至少一个字段的字段标识。
在一个可选的实施例中，事件流文件中的每个属性数据对应的数据标识唯一，上述数据标识可以表征每个属性数据的数据属性。
根据至少一个字段的字段标识和数据变更事件中至少一个属性数据对应的数据属性，可以从数据变更事件中确定出与所述至少一个字段对应的属性数据。
以城市指标监测系统的黄河水质监测业务的应用场景为例，城市指标监测系统包括黄河水质监测业务，为了获得与黄河水质相关的上游水质测量值、中游水质测量值和下游水质测量值。可以预先设置对象“黄河水质”，在对象“黄河水质”中配置三个字段，该三个字段的字段标识分别为“上游水质”、“中游水质”和“下游水质”。事件流日志文件中的上游水质测量值、中游水质测量值和下游水质测量值分别对应的数据标识为“上游水质”、“中游水质”和“下游水质”。根据三个字段的字段标识“上游水质”、“中游水质”和“下游水质”，从事件流日志文件中确定出与“上游水质”对应的上游水质测量值、与“中游水质”对应的中游水质测量值和与“下游水质”对应的下游水质测量值。
S303：根据所述至少一个字段的存储结构，对所述至少一个字段对应的属性数据进行存储封装，得到所述第一数据源的变更数据。
本说明书实施例中，根据至少一个字段的存储结构，可以将所述至少一个字段对应的属性数据封装为对象，以对象的形式对至少一个字段进行存储。
可以理解，至少一个字段对应的属性数据为所述第一数据源的变更数据。对所述至少一个字段对应的属性数据进行存储封装，便于至少一个字段对应的属性数据的统一存储和传输。
以城市指标监测系统的黄河水质监测业务的应用场景为例，可以通过将上游水质测量值配置为字段“上游水质”的属性值，将中游水质测量值配置为字段“上游水质”的属性值，将中游水质测量值配置为字段“上游水质”的属性值，将上游水质测量值、中游水质测量值和下游水质测量值的存储封装进对象“黄河水质”中。
本说明书实施例中，通过分析数据变更记录，得到第一数据源的变更数据，能够在第一数据源无法主动推送数据的情况下，及时获取第一数据源中的变更数据，减少变更数据获取的延时，提高变更数据获取的实时性，进而提高变更数据的实时性和精准性。还将与黄河水质相关的变更数据进行存储封装，便于对变更数据进行传输，提高变更数据的传输效率。
S107：对所述变更数据进行流计算，得到目标业务的目标数据。
本说明书实施例中，所述变更数据为动态数据，所述流计算用于对动态数据进行计算。
本说明书实施例中，所述目标业务的目标数据可以为所述指标监测业务的指标数据。以城市指标监测系统的黄河水质监测业务的应用场景为例，黄河水质监测业务的指标数据为黄河水质指标数据。
具体的，对上述对象“黄河水质”中存储封装的上游水质测量值、中游水质测量值和下游水质测量值进行流计算，可以得到黄河水质指标数据。
本说明书实施例中，对第一数据源的变更数据进行流计算，可以对第一数据源的变更数据进行实时性处理，提高变更数据的实时性和精准性。
在一个具体的实施例中，上述方法还包括：
接收第二数据源发送的实时数据，所述第二数据源为具备数据推送能力的数据源。
相应的，所述对所述变更数据进行流计算，得到目标业务的目标数据包括：
对所述变更数据和所述实时数据进行流计算，得到所述目标业务的所述目标数据。
本说明书实施例中，所述第二数据源可以包括但不限于IOT(Internet OfThings，物联网)设备和第三方系统。其中，IOT设备可以包括多种传感器，第三方系统可以包括互联网大数据平台。
本说明书实施例中，所述第二数据源的实时数据为动态数据。
本说明书实施例中，可以结合第二数据源的实时数据，对第一数据源的变更数据和第二数据源的实时数据进行流计算，得到目标业务的业务数据。
以第二数据源为水质传感器为例，接收水质传感器采集的实时上游水质测量值、实时中游水质测量值和实时下游水质测量值。对上述对象“黄河水质”中存储封装的上游水质测量值、中游水质测量值和下游水质测量值，以及水质传感器采集的实时上游水质测量值、实时中游水质测量值和实时下游水质测量值进行流计算，得到黄河水质监测业务的黄河水质指标数据。
在一个可选的实施例中，在第一数据源的变更数据和第二数据源的实时数据属于同一类别的数据的情况下，还可以将第二数据源的实时数据与第一数据源的变更数据进行存储封装。
例如，还可以将实时上游水质测量值、实时中游水质测量值和实时下游水质测量值也封装进对象“黄河水质”，在黄河水质指标数据的情况下，对上述对象“黄河水质”中存储封装的上游水质测量值、中游水质测量值和下游水质测量值、实时中游水质测量值和实时下游水质测量值进行流计算，得到黄河水质监测业务的黄河水质指标数据。
本说明书实施例中，通过对同类别的数据进行存储封装，便于对同类别的数据进行传输和处理，提高数据的传输效率和处理效率。
本说明书实施例中，对多种数据源的数据进行流计算，得到目标业务的目标数据，可以对多种数据源源数据进行实时性处理，提高目标数据的精准性和实时性。
在一个具体的实施例中，所述对所述变更数据和所述实时数据进行流计算，得到所述目标业务的所述目标数据包括：
将所述变更数据和所述实时数据推送给流处理系统，以使所述流处理系统对所述变更数据和所述实时数据进行流计算，得到目标业务的目标数据。
本说明书实施例中，所述流处理系统可以基于流处理引擎工具来实现。其中，所述流处理引擎工具可以包括但不限于HazeIcast Jet和Flink。
本说明书实施例中，为了实现变更数据和实时数据的实时推送，可以通过消息中间件将变更数据和实时数据推送给流处理系统。
在一个具体的实施例中，所述将所述变更数据和所述实时数据推送给流处理系统包括：
将所述变更数据发送给消息中间件中、与所述第一数据源对应的第一消息组件，以使所述第一消息组件将所述变更数据推送给所述流处理系统；
将所述实时数据发送给所述消息中间件中、与所述第二数据源对应的第二消息组件，以使所述第二消息组件将所述实时数据推送给所述流处理系统。
本说明书实施例中，所述消息中间件包括至少两个消息组件，上述至少两个消息组件包括第一消息组件和第二消息组件，上述消息组件的类型可以包括 Kafka消息组件、Redis消息组件和RabbitMQ消息组件。
本说明书实施例中，预先建立第一数据源与第一消息组件的第一对应关系，以及第二数据源与第二消息组件的第二对应关系。根据第一对应关系，将第一数据源的变更数据发送给第一消息组件。根据第二对应关系，将第二数据源的实时数据发送给第二消息组件。
在一个可选的实施例中，消息中间件还可以对第一数据源的变更数据和第二数据源的实时数据进行封装，得到实体事件消息，将实体事件消息推送给流处理系统的数据/订阅存储模块，从而提高变更数据和实时数据的传输效率。
本说明书实施例中，所述流处理系统包括数据订阅/存储模块，由上述数据订阅/存储模块接收第一消息组件推送的变更数据和第二消息组件推送的实时数据。
在一个具体的实施例中，上述方法还包括：
显示所述目标业务的所述目标数据；
或者，
在所述目标数据不满足所述预设条件的情况下，输出预警信号；
或者，
根据所述目标业务的业务需求，确定所述目标数据对应的目标业务系统，将所述目标数据发送至所述目标业务系统，以使所述目标业务系统对所述目标数据进行业务处理。
在一个可选的实施例中，根据目标业务的业务需求，从至少一个业务系统中确定所述目标数据对应的目标业务系统。
在一个可选的实施例中，可以将目标数据显示在大屏上，便于用户直观地观察目标数据的变化趋势。例如，将一天24小时内实时输出的多个黄河水质指标数据以折线图的形式显示在大屏上，便于城市规划人员直观地观察黄河的水质变化情况。
在一个可选的实施例中，还可以在目标数据不满足预设条件的情况下，进行指标预警。具体的，所述预设条件包括：低于第一阈值；或者，高于第二阈值。例如，在黄河水质指标数据包括细菌数的情况下，若细菌数高于第二阈值，则进行指标预警。上述指标预警的方式可以包括但不限于灯光预警和声音预警。
在一个可选的实施例中，还可以将目标数据发送给目标业务系统，供目标业务系统进行相关业务处理。例如，将黄河水质指标数据发送给排污净化系统，为排污净化系统的排污净化业务提供参考。
如图4所示，为本申请实施例提供的一种数据处理系统的系统框图。具体的，该数据处理系统包括数据中台和流处理系统。具体的，该数据处理系统可以为城市指标监测系统。
具体的，数据中台包括第一数据源、第二数据源、CDC组件和消息中间件。其中，第一数据源为RMDB，第二数据源为IOT设备和第三方系统。其中，消息中间件包括消息组件1、消息组件2和消息组件3。具体的，上述消息组件1、消息组件2和消息组件3可以为Kafka消息组件。
其中，CDC组件监听RMDB的二进制日志文件，在RMDB的二进制日志文件指示RMDB存在数据变更的情况下，CDC组件从二进制日志文件中读取 RMDB同步生成的二进制数据流(UTF-8编码)，根据二进制数据流的编码格式对二进制数据流进行解码，得到MySQL语句编写的事件流日志文件。CDC 组件根据预设的存储配置信息对事件流日志文件进行配置，得到RMDB的变更数据，将变更数据发送给对应的消息组件1。该Kafka消息组件将变更数据发送给流处理系统的数据订阅/存储模块。
其中，消息组件2用于接收IOT设备发送的实时数据，将IOT设备发送的实时数据推送给流处理系统的数据订阅/存储模块。消息组件3用于接收第三方系统发送的实时数据，将第三方系统发送的实时数据推送给流处理系统的数据订阅/存储模块。
流处理系统还包括Stream SQL模块(结构化语句查询流处理模块)、Data Frame模块(数据框架模块)、Stream ML模块(机器学习流处理模块)和Mlib 模块(机器学习库模块)这四个数据处理模块。其中，Stream SQL模块可以用于对SQL语句进行流处理。Data Frame模块可以用于建立数据索引。Stream ML 模块可以用于对数据进行深度学习，Mlib模块为Stream ML模块的开源代码库。
在实际应用中，流处理系统的数据订阅/存储模块可以根据目标业务的业务需求，从上述四个数据处理模块中确定出变更数据和实时数据对应的目标数据处理模块，将变更数据和实时数据发送给对应的目标数据处理模块进行数据处理，得到目标业务的目标数据，对目标数据进行实时输出。具体的，可以在大屏上显示目标数据，进行大屏指标态势分析；可以在目标数据不满足预设条件的情况下，进行指标预警；还可以发送给其他业务系统，以使其他业务系统进行相关的业务处理。
在此需要说明的是，本申请实施例提供的数据处理系统的系统框图不限于图4中所描述的系统框图。
本申请实施例涉及的数据处理系统还可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。
以分布式系统为区块链系统为例，参见图5，图5是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图，由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端形成，节点之间形成组成的点对点(P2P，Peer ToPeer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。
本说明书实施例中，通过CDC技术从第一数据源获取变更数据，可以减少变更数据的获取延时，为后续变更数据的实时处理提供条件。通过对变更数据进行流计算，实现变更数据的实时处理，使得所获得的目标数据的实时性和准确性能够满足多个应用场景的需求。
利用本说明书实施例中的数据处理方法部署城市指标监测系统，无需依赖第三方，可提高城市指标监测系统的部署简易性，降低城市指标监测系统的部署成本，提高城市指标监测系统对各项城市指标的感知能力，实时精确定位城市治理问题，及时对城市运行状态全方位监控和预警。
如图6所示，本申请实施例还提供了一种数据处理装置，所述装置包括：
监测模块601，用于监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源；
获取模块603，用于在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录；
确定模块605，用于根据所述数据变更记录，确定所述第一数据源的变更数据；
流计算模块607，用于对所述变更数据进行流计算，得到目标业务的目标数据。
在一个可选的实施例中，所述确定模块605包括：
解析单元，用于解析所述数据变更记录，得到数据变更事件；
获取单元，用于获取预设的存储配置信息；
配置单元，用于根据所述预设的存储配置信息对所述数据变更事件进行配置，得到所述第一数据源的变更数据。
在一个可选的实施例中，所述预设的存储配置信息包括至少一个字段的字段标识和所述至少一个字段的存储结构；所述配置单元包括：
确定子单元，用于根据所述至少一个字段的字段标识，从所述数据变更事件中确定出与所述至少一个字段对应的属性数据；
存储封装子单元，用于根据所述至少一个字段的存储结构，对所述至少一个字段对应的属性数据进行存储封装，得到所述第一数据源的变更数据。
在一个可选的实施例中，所述装置还包括：
接收模块，用于接收第二数据源发送的实时数据，所述第二数据源为具备数据推送能力的数据源；
相应的，所述流计算模块607包括：
流计算单元，用于对所述变更数据和所述实时数据进行流计算，得到所述目标业务的所述目标数据。
在一个可选的实施例中，所述流计算单元包括：
推送子单元，用于将所述变更数据和所述实时数据推送给流处理系统，以使所述流处理系统对所述变更数据和所述实时数据进行流计算，得到目标业务的目标数据。
在一个可选的实施例中，所述推送子单元还包括：
第一推送子子单元，用于将所述变更数据发送给消息中间件中、与所述第一数据源对应的第一消息组件，以使所述第一消息组件将所述变更数据推送给所述流处理系统；
第二推送子子单元，用于将所述实时数据发送给所述消息中间件中、与所述第二数据源对应的第二消息组件，以使所述第二消息组件将所述实时数据推送给所述流处理系统。
在一个可选的实施例中，所述装置还包括：
显示模块，用于显示所述目标业务的所述目标数据；
输出模块，用于在所述目标数据不满足所述预设条件的情况下，输出预警信号；
发送模块，用于根据所述目标业务的业务需求，确定所述目标数据对应的目标业务系统，将所述目标数据发送至所述目标业务系统，以使所述目标业务系统对所述目标数据进行业务处理。
所述的装置实施例中的装置与方法实施例基于同样地发明构思。
本申请实施例还提供了一种数据处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如上方法实施例提供的数据处理方法。
所述的设备实施例中的设备与方法实施例基于同样地发明构思。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如上方法实施例提供的数据处理方法。
所述的计算机可读存储介质实施例中的存储介质与方法实施例基于同样地发明构思。
本申请实施例提供了一种数据处理服务器，该数据处理服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的数据处理方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图7是本申请实施例提供的一种数据处理方法的服务器的硬件结构框图。如图7所示，该服务器700 可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)710(处理器710可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器730，一个或一个以上存储应用程序723或数据722的存储介质720(例如一个或一个以上海量存储设备)。其中，存储器730和存储介质720可以是短暂存储或持久存储。存储在存储介质720的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器710可以设置为与存储介质720通信，在服务器700上执行存储介质720中的一系列指令操作。服务器700还可以包括一个或一个以上电源760，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口740，和/或，一个或一个以上操作系统721，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
输入输出接口740可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器700的通信供应商提供的无线网络。在一个实例中，输入输出接口740包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口740可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种数据处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的数据处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的数据处理方法、装置、设备及计算机可读存储介质的实施例可见，本申请中通过CDC技术从数据库中获取变更数据，将变更数据发送给消息中间件，实现变更数据的实时获取。通过消息中间件接收IOT设备和第三方系统发送的实时数据，将变更数据和实时数据推送给流计算系统，利用流计算系统对变更数据和实时数据进行流计算，得到目标业务的目标数据，实现变更数据和实时数据的实时处理，所获得的目标数据的实时性和准确性得到提高，满足实时性要求高的应用场景的需求。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源；
在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录；
根据所述数据变更记录，确定所述第一数据源的变更数据；
对所述变更数据进行流计算，得到目标业务的目标数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据变更记录，确定所述第一数据源的变更数据包括：
解析所述数据变更记录，得到数据变更事件；
获取预设的存储配置信息；
根据所述预设的存储配置信息对所述数据变更事件进行配置，得到所述第一数据源的变更数据。
3.根据权利要求2所述的方法，其特征在于，所述预设的存储配置信息包括至少一个字段的字段标识和所述至少一个字段的存储结构；所述根据所述预设的存储配置信息对所述数据变更事件进行配置，得到所述第一数据源的变更数据包括：
根据所述至少一个字段的字段标识，从所述数据变更事件中确定出与所述至少一个字段对应的属性数据；
根据所述至少一个字段的存储结构，对所述至少一个字段对应的属性数据进行存储封装，得到所述第一数据源的变更数据。
4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
接收第二数据源发送的实时数据，所述第二数据源为具备数据推送能力的数据源；
相应的，所述对所述变更数据进行流计算，得到目标业务的目标数据包括：
对所述变更数据和所述实时数据进行流计算，得到所述目标业务的所述目标数据。
5.根据权利要求4所述的方法，其特征在于，所述对所述变更数据和所述实时数据进行流计算，得到所述目标业务的所述目标数据包括：
将所述变更数据和所述实时数据推送给流处理系统，以使所述流处理系统对所述变更数据和所述实时数据进行流计算，得到目标业务的目标数据。
6.根据权利要求5所述的方法，其特征在于，所述将所述变更数据和所述实时数据推送给流处理系统包括：
将所述变更数据发送给消息中间件中、与所述第一数据源对应的第一消息组件，以使所述第一消息组件将所述变更数据推送给所述流处理系统；
将所述实时数据发送给所述消息中间件中、与所述第二数据源对应的第二消息组件，以使所述第二消息组件将所述实时数据推送给所述流处理系统。
7.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
显示所述目标业务的所述目标数据；
或者，
在所述目标数据不满足所述预设条件的情况下，输出预警信号；
或者，
根据所述目标业务的业务需求，确定所述目标数据对应的目标业务系统，将所述目标数据发送至所述目标业务系统，以使所述目标业务系统对所述目标数据进行业务处理。
8.一种数据处理装置，其特征在于，所述装置包括：
监测模块，用于监测第一数据源的数据变更信息，所述第一数据源为不具备数据推送能力的数据源；
获取模块，用于在所述数据变更信息指示所述第一数据源存在数据变更的情况下，获取所述第一数据源同步生成的数据变更记录；
确定模块，用于根据所述数据变更记录，确定所述第一数据源的变更数据；
流计算模块，用于对所述变更数据进行流计算，得到目标业务的目标数据。
9.一种数据处理设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的数据处理方法。
CN202110319311.4A 2021-03-25 2021-03-25 一种数据处理方法、装置、设备及计算机可读存储介质 Pending CN115130794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110319311.4A CN115130794A (zh) 2021-03-25 2021-03-25 一种数据处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110319311.4A CN115130794A (zh) 2021-03-25 2021-03-25 一种数据处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115130794A true CN115130794A (zh) 2022-09-30

Family

ID=83374256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110319311.4A Pending CN115130794A (zh) 2021-03-25 2021-03-25 一种数据处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115130794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357671A (zh) * 2022-10-19 2022-11-18 成都飞机工业（集团）有限责任公司 一种飞机装配数据构建方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115357671A (zh) * 2022-10-19 2022-11-18 成都飞机工业（集团）有限责任公司 一种飞机装配数据构建方法、装置、设备及介质
CN115357671B (zh) * 2022-10-19 2023-01-10 成都飞机工业（集团）有限责任公司 一种飞机装配数据构建方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111158977B (zh) 一种异常事件根因定位方法及装置
CN110633277A (zh) 时序数据存储方法、装置、计算机设备和存储介质
CN107634848A (zh) 一种采集分析网络设备信息的系统和方法
CN103873506A (zh) 存储集群中的数据块去重系统及方法
CN112559475A (zh) 数据实时捕获和传输方法及系统
CN113806191A (zh) 一种数据处理方法、装置、设备及存储介质
CN115130794A (zh) 一种数据处理方法、装置、设备及计算机可读存储介质
CN111753032B (zh) 一种地图路网数据的处理方法以及相关装置
CN113434312A (zh) 数据血缘关系处理方法及装置
CN111949705A (zh) 慢查询统计分析方法、装置和系统
CN114443437A (zh) 告警根因输出方法、装置、设备、介质和程序产品
CN111506769A (zh) 视频文件的处理方法、装置、存储介质及电子装置
CN113162960A (zh) 一种数据处理方法、装置、设备及介质
CN114387124B (zh) 一种核电工业互联网平台的时序数据存储方法
CN114760077B (zh) 基于区块链的异常数据检测方法、装置、存储介质及网关
CN116303379A (zh) 一种数据处理方法、系统及计算机储存介质
CN114860543A (zh) 异常检测方法、装置、设备与计算机可读存储介质
CN113114718A (zh) 物联网中的数据传输方法和系统及其物联网设备与终端
CN114296785A (zh) 一种日志数据建模方法及系统
CN108829563B (zh) 一种告警方法和告警装置
CN110430093B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN117950949B (zh) 微服务日志存储方法、装置、电子设备和计算机可读介质
CN118260167B (zh) 气象数据产品加工流程监控方法、系统、设备及存储介质
EP2913958A1 (en) Preprocessing of network traces for temporal analysis
CN110851325B (zh) 基于Hive表监控数据仓库的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination