CN113515532B - 基于数据交换的变更处理方法、装置、设备及存储介质 - Google Patents

基于数据交换的变更处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113515532B
CN113515532B CN202110514180.5A CN202110514180A CN113515532B CN 113515532 B CN113515532 B CN 113515532B CN 202110514180 A CN202110514180 A CN 202110514180A CN 113515532 B CN113515532 B CN 113515532B
Authority
CN
China
Prior art keywords
change
interface
data source
cataloging
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110514180.5A
Other languages
English (en)
Other versions
CN113515532A (zh
Inventor
郭钊铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110514180.5A priority Critical patent/CN113515532B/zh
Publication of CN113515532A publication Critical patent/CN113515532A/zh
Application granted granted Critical
Publication of CN113515532B publication Critical patent/CN113515532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据领域，公开了一种基于数据交换的变更处理方法、装置、设备及存储介质。该方法包括：获取供应方数据源的目标版本元数据与上一版本元数据，并基于目标版本元数据与上一版本元数据，对供应方数据源进行变更检测，得到检测结果；根据检测结果，判断供应方数据源是否发生变更；若供应方数据源发生变更，则获取供应方数据源，并抽取供应方数据源中的架构信息，根据架构信息，对架构信息对应的结构编目进行变更处理；根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理。本发明提升了数据交换的同步变更处理效率。

Description

基于数据交换的变更处理方法、装置、设备及存储介质
技术领域
本发明涉及大数据领域，尤其涉及一种基于数据交换的变更处理方法、装置、设备及存储介质。
背景技术
数据交换平台是指将分散建设的若干应用信息系统进行整合，通过计算机网络构建的信息交换平台，它使若干个应用子系统进行信息/数据的传输及共享，提高信息资源的利用率，成为进行信息化建设的基本目标，保证分布异构系统之间互联互通，建立中心数据库，完成数据的抽取、集中、加载、展现，构造统一的数据处理和交换。因而具有：数据集成功能，能够识别不同的应用系统类型以及数据接口，可以方便地与各类型的数据库、文件、消息街口等建立集成机制，实现数据通信及数据交换机制；信息集成功能，解决跨多系统之间信息的有序交换，任意系统之间可以实现主动发送、请求/应答、订阅/发布交换模式，并通过路由控制实现分布式网络中的信息交换；可靠通信功能，提供传输可靠性保障，支持断点续传、网络容错，在系统运行出现故障时保障数据可靠；支持应用的实时、定时、主动、被动模式，实现同步/异步消息通信；支持数据高速传输，适应网络传输速率，提供透明压缩传输功能。
目前数据交换平台基本满足了客户的数据共享交换要求，但是在一些发生版本变更的特殊场景下，将会发生订阅失败。一般而言，对元数据表或服务接口进行变更，为了保持订阅的一致性，通常采用手动操作。但是就存在两个方面问题：首先，传统系统建设需要在线下投入许多人力进行沟通和梳理，不仅仅耗费巨大的时间和精力，整理出的数据内容也不佳；其次，数据需求变更时，需要维护多个版本的数据需求，但取到合适的数据会延迟应用系统的上线。综上所述，即供应方数据源发生变更时，订阅方的数据订阅内容无法及时得到同步变更。
发明内容
本发明的主要目的在于解决供应方数据源发生变更时，无法及时更新至订阅方的问题。
本发明第一方面提供了一种基于数据交换的变更处理方法，包括：获取供应方数据源的目标版本元数据与上一版本元数据，并基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果；根据所述检测结果，判断所述供应方数据源是否发生变更；若所述供应方数据源发生变更，则获取所述供应方数据源，并抽取所述供应方数据源中的架构信息，其中，所述架构信息包括所述物理表结构信息和所述接口信息；若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目；根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理。
可选的，在本发明第一方面的第一种实现方式中，所述基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果包括：对所述目标版本元数据与所述上一版本元数据进行对比，得到对比结果，其中，所述对比结果包括第一对比结果和第二对比结果；根据所述第一对比结果，对所述供应方数据源中的结构化数据进行变更检测，得到第一检测结果，以及根据所述第二对比结果，对所述供应方数据源中的服务接口进行变更检测，得到第二检测结果，其中，所述检测结果包括第一检测结果和第二检测结果。
可选的，在本发明第一方面的第二种实现方式中，所述抽取所述供应方数据源中的架构信息，根据所述架构信息，对所述架构信息对应的结构编目进行变更处理包括：若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目，其中，所述架构信息包括所述物理表结构信息和所述接口信息。
可选的，在本发明第一方面的第三种实现方式中，所述根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理包括：根据变更后的结构变更编目或接口变更编目，在所述供应方数据源的预设变更临时表中创建订阅申请变更记录；将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表；根据同步后的编目申请主表，创建所述订阅方数据源对应的编目订阅表，并将所述编目订阅表发送至订阅方。
可选的，在本发明第一方面的第四种实现方式中，所述根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目包括：对比所述物理表结构信息与上一版本元数据对应的预置物理表结构信息，得到表结构信息的对比结果；根据所述表结构信息的对比结果，确定所述结构化数据中待变更的结构编目指标；将所述结构编目指标写入上一版本元数据对应的预置结构编目中，得到变更后结构化数据对应的结构变更编目。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目包括：对比所述接口参数与上一版本元数据对应的预置接口参数，得到接口参数的对比结果；根据所述接口参数的对比结果，确定所述服务接口中待变更的接口编目指标；将所述接口编目指标写入上一版本元数据对应的预置接口编目中，得到变更后所述服务接口对应的接口变更编目。
可选的，在本发明第一方面的第六种实现方式中，在所述若审核通过，则将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表之后，还包括：判断所述编目申请主表的编目编码格式与所述订阅申请变更内容对应的编目编码格式是否相同；若不相同，则采用所述订阅申请变更内容对应的编目编码格式，对所述编目申请主表的编目编码格式进行修改。
本发明第二方面提供了一种基于数据交换的变更处理装置，包括：检测模块，用于获取供应方数据源的目标版本元数据与上一版本元数据，并基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果；判别模块，用于根据所述检测结果，判断所述供应方数据源是否发生变更；变更模块，用于若所述供应方数据源发生变更，则获取所述供应方数据源，并抽取所述供应方数据源中的架构信息，其中，所述架构信息包括所述物理表结构信息和所述接口信息；若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目；同步模块，用于根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理。
可选的，在本发明第二方面的第一种实现方式中，所述检测模块包括：对比单元，用于对所述目标版本元数据与所述上一版本元数据进行对比，得到对比结果，其中，所述对比结果包括第一对比结果和第二对比结果；检测单元，用于根据所述第一对比结果，对所述供应方数据源中的结构化数据进行变更检测，得到第一检测结果，以及根据所述第二对比结果，对所述供应方数据源中的服务接口进行变更检测，得到第二检测结果，其中，所述检测结果包括第一检测结果和第二检测结果。
可选的，在本发明第二方面的第二种实现方式中，所述变更模块包括：结构变更单元，用于若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；接口变更单元，用于若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目，其中，所述架构信息包括所述物理表结构信息和所述接口信息。
可选的，在本发明第二方面的第三种实现方式中，可选的，在本发明第二方面的第三种实现方式中，所述同步模块404还包括：创建单元，用于根据变更后的结构变更编目或接口变更编目，在所述供应方数据源的预设变更临时表中创建订阅申请变更记录；同步单元，用于将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表；根据同步后的编目申请主表，创建所述订阅方数据源对应的编目订阅表，并将所述编目订阅表发送至订阅方。
可选的，在本发明第二方面的第四种实现方式中，所述结构变更单元还用于：对比所述物理表结构信息与上一版本元数据对应的预置物理表结构信息，得到表结构信息的对比结果；根据所述表结构信息的对比结果，确定所述结构化数据中待变更的结构编目指标；将所述结构编目指标写入上一版本元数据对应的预置结构编目中，得到变更后结构化数据对应的结构变更编目。
可选的，在本发明第二方面的第五种实现方式中，所述接口变更单元还用于：对比所述接口参数与上一版本元数据对应的预置接口参数，得到接口参数的对比结果；根据所述接口参数的对比结果，确定所述服务接口中待变更的接口编目指标；将所述接口编目指标写入上一版本元数据对应的预置接口编目中，得到变更后所述服务接口对应的接口变更编目。
可选的，在本发明第二方面的第六种实现方式中，所述基于数据交换的变更处理装置还包括：格式修正模块，用于判断所述编目申请主表的编目编码格式与所述订阅申请变更内容对应的编目编码格式是否相同；若不相同，则采用所述订阅申请变更内容对应的编目编码格式，对所述编目申请主表的编目编码格式进行修改。
本发明第三方面提供了一种基于数据交换的变更处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于数据交换的变更处理设备执行上述的基于数据交换的变更处理方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于数据交换的变更处理方法。
本发明提供的技术方案中，首先通过当前版本和上一版本的元数据进行变更检测，即可判别供应方数据源是否发生变更，而无需直接对数据源进行检测；在变更检测过程中，分为结构化数据的元数据检测和服务接口的元数据检测，两者其一发生变更，都可以通过对其对应的编目进行变更处理，然后将编目变更同步到订阅方，此处以编目变更作为中介，将供应方数据源的变更及时同步到订阅方，提升数据交换的变更同步效率。
附图说明
图1为本发明基于数据交换的变更处理方法的第一个实施例示意图；
图2为本发明基于数据交换的变更处理方法的第二个实施例示意图；
图3为本发明基于数据交换的变更处理装置的一个实施例示意图；
图4为本发明基于数据交换的变更处理装置的另一个实施例示意图；
图5为本发明基于数据交换的变更处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于数据交换的变更处理方法、装置、设备及存储介质，获取供应方数据源的目标版本元数据与上一版本元数据，并基于目标版本元数据与上一版本元数据，对供应方数据源进行变更检测，得到检测结果；根据检测结果，判断供应方数据源是否发生变更；若供应方数据源发生变更，则获取供应方数据源，并抽取供应方数据源中的架构信息，根据架构信息，对架构信息对应的结构编目进行变更处理；根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理。本发明提升了数据交换的同步变更处理效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于数据交换的变更处理方法的第一个实施例包括：
101、获取供应方数据源的目标版本元数据与上一版本元数据；
可以理解的是，本发明的执行主体可以为基于数据交换的变更处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，在为各中间件、订阅接收方进行变更前，需要确定目标版本数据源与上一版本数据源，并在确定之后调用MySQL(关系型数据库管理系统)的接口函数获取目标版本数据源与上一版本数据源；数据源包括结构化数据、服务接口，二者的共同点是能够为订阅方提供数据支持，响应于订阅方的订阅请求，向订阅方提供订阅申请表中请求的内容数据；数据源包括结构化数据的数据源与服务接口的接口参数。
本实施例中MySQL是一种关系型数据库管理系统，其特点在于将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性；本实施例中的结构化数据是指由二维表结构来逻辑表达和实现的数据，且该结构化数据严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理；且本实施例中涉及到的服务接口是指自动化系统与另一个自动化系统或人之间的共享边界，能够实现数据交换的一种格式。本实施例中的数据源是指描述数据的数据，对数据及信息资源的描述性信息。
具体的，在PHP(Pre Hypertext Preprocessor，超文本预处理器)实例中，通过调用SELECT VERSION()、SELECT DATABASE()、SELECT USER()、SHOW STATUS、SHOWVARIABLES函数获得MySQL数据库中的数据源。
本实施例中，供应方数据源具有多元性，指代包括结构化数据、服务接口，这些数据源能够响应于订阅方的数据请求，将数据传递给订阅方。
102、基于目标版本元数据与上一版本元数据，对供应方数据源进行变更检测，得到检测结果根据，并检测结果，判断供应方数据源是否发生变更；
本实施例中，每个预设周期内或者人工在后台操作触发检测任务；例如，设定在每天凌晨一点自动开始检测；或者遇到订阅方报告无法获取数据时，在后台WEB管理页面主动发起检测任务。
本实施例中，检测任务具体是指：从供应方抽取数据源的目标版本数据源，从历史版本库中抽取数据源的上一版本数据源；其中数据源包括结构化数据的数据源与服务接口的接口参数。
本实施例中，从目标版本数据源中确定检测字段，调用检测函数，对目标版本数据源与上一版本数据源依次在检测字段上进行变更检测。
具体的，当前获得目标版本数据源[A、B、C、D]，与上一版本数据源[A、B、C、D]；调用检测函数，A-A对比检测,B-B对比检测,C-C对比检测,D-D’对比检测，最终获得变更检测的结果。
本实施例中，目标结构化数据是指目标的由二维表结构来逻辑表达和实现的数据，其严格地遵循数据格式与长度规范。MySQL从物理结构上可以分为日志文件和数据索引文件，物理表结构信息包括日志信息与数据索引信息。
本实施例中，若在上一步的检测中，发现结构化数据发生了变更，则调动接口函数获取目标结构化数据，并通过MySQL的指令读取目标结构化数据中的目标元数据，再从目标元数据中抽取目标字段作为目标物理表结构信息。
103、若供应方数据源发生变更，则获取供应方数据源，并抽取供应方数据源中的架构信息，其中，架构信息包括物理表结构信息和接口信息；
本实施例中，接口参数是指为调用接口所必要提供的结构信息、基本信息，头部信息等。若在变更检测中，发现服务接口变更，则在预置管理界面中获取目标服务接口，并按照预置规则，抽取服务接口中的目标接口参数。
104、若供应方数据源中的结构化数据发生变更，则抽取结构化数据中的物理表结构信息；
本实施例中，临时表是用来临时存储表格等信息的，在下线后或固定周期后将自动删除临时表内的内容。订阅申请变更记录包含订阅方编码、订阅方原请求、订阅方目标请求等。
订阅方总是通过编目信息确定请求信息，因此需要将编目同步至各终端；故而将变更后的结构化数据编目或服务接口编目汇总为订阅申请变更记录，并将其置于临时表中。
105、根据物理表结构信息，对结构化数据对应的结构编目进行变更处理，得到结构变更编目；
本实施例中，对于结构编目的变更，具体可以通过以下步骤实现：
(1)对比物理表结构信息与上一版本元数据对应的预置物理表结构信息，得到表结构信息的对比结果；
(2)根据表结构信息的对比结果，确定结构化数据中待变更的结构编目指标；
(3)将结构编目指标写入上一版本元数据对应的预置结构编目中，得到变更后结构化数据对应的结构变更编目。
本实施例的数据访问接口以ODBC(Open Database Connectivity,开放数据库互连)为例，ODBC是开放式数据库互连，是一种实现应用程序和关系数据库之间通讯的方法标准，是一个接口标准。所以它实际上是一种标准，符合标准的数据库就可以通过SQL语言编写的命令对数据库进行操作，但只能针对关系数据库进行操作(如SQL Server，Oracle，Access，Excel等)。服务器通过向该接口发送请求获得数据回应。
比如，服务器检测到结构化数据发生变更时，则向数据访问接口发送数据访问请求，数据访问接口接收到数据访问请求时，将返回供应方数据源中对应的目标元数据。
本实施例中，在数据访问接口返回目标物理表结构信息之后，读取目标物理表结构信息，将无关的参数与字段剔除，将各结构化参数从目标物理表结构信息中抽取出来。然后将抽取出的结构化参数按照一定格式储存起来。
比如目标物理表结构信息包含A、B、C、D、E、F、G字段，被数据访问接口读取后，将各字段一一列出，抽取其中的结构化参数A、B、C、D，最后按照顺序储将结构化参数储存为目标结构化数据[A、B、C、D]。
106、若供应方数据源中的服务接口发生变更，则抽取服务接口中的接口参数；
107、根据接口参数，对服务接口对应的接口编目进行变更处理，得到接口变更编目；
本实施例中，对于接口编目的变更，具体可以通过以下步骤实现：
(1)对比接口参数与上一版本元数据对应的预置接口参数，得到接口参数的对比结果；
(2)根据接口参数的对比结果，确定服务接口中待变更的接口编目指标；
(3)将接口编目指标写入上一版本元数据对应的预置接口编目中，得到变更后服务接口对应的接口变更编目。
本实施例中，各自读取目标接口参数与上一版本接口参数，得到各自版本的接口参数，依次对比各参数的差异，得到接口参数的对比结果。
比如，目标接口参数包含字段ABCD，而上一版本接口参数包括ABCD’，依次对比A-A、B-B、C-C、D-D’，得到接口参数对比结果D-D’。
本实施例中，包含差异化字段信息的对比结果包括多个字段，通过抽取与编目相关的字段，可以确定目标结构化数据中待变更编目指标。
比如，在包含差异化字段信息的对比结果中，含有差异化字段A-A’，B-B’，C-C’。其中B-B’，C-C’是编目变更字段，抽取其中的B-B’，C-C’作为待变更编目指标。
本实施例中，调用MySQL的SELECT指令获取上一版本接口参数，从接口参数中抽取接口编目；将待变更编目指标写入获得的上一版本接口编目中，得到了最近服务接口对应的接口编目。
例如，将上一步骤获取到的待变更编目指标(B’，C’)写入上一版本接口编目(包含A、B、C)中，获得变更后接口编目(包含A，B’，C’)。
108、根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理；
本实施例中，按照一定的标准和规则，对某范围内文献信息资源每种实体的外部特征和内容特征进行分析、选择、描述，并予以记录成为款目，继而将款目按一定顺序组织成为目录或书目，而该书目或目录就叫编目。
具体的，将上一步获取得到的目标物理表结构信息进行解析，获得目标物理表结构信息中的解析结果，根据解析得到的各项结果，确定待变更的结构编目，结合目标结构化数据与待变更的结构编目，对相应的结构编目进行修改。
本实施例中，将上一步获取得到的目标服务接口的接口参数进行解析，获得目标接口参数中的解析结果，根据解析得到的各项结果，确定待变更的接口编目，结合最服务接口与待变更的接口编目，对相应的接口编目进行修改。
本实施例中，编目订阅申请顾名思义是指意在基于订阅方自己的数据需求而根据数据源提供方提供的编目，所制作的申请表。
具体的，将得到的编目作为参考，在临时表中新增一条订阅申请变更记录，该申请应包含申请的基本信息、申请指标、附件信息等。依据预设规则对该变更记录进行审核，若审核通过，则将订阅变更申请内容同步至编目申请主表中。根据订阅申请变更记录，形成一份订阅方接受表，并向订阅方发送该订阅方接受表。
本发明实施例中，首先通过当前版本和上一版本的元数据进行变更检测，即可判别供应方数据源是否发生变更，而无需直接对数据源进行检测；在变更检测过程中，分为结构化数据的元数据检测和服务接口的元数据检测，两者其一发生变更，都可以通过对其对应的编目进行变更处理，然后将编目变更同步到订阅方，此处以编目变更作为中介，将供应方数据源的变更及时同步到订阅方，提升数据交换的变更同步效率。
请参阅图2，本发明实施例中基于数据交换的变更处理方法的第二个实施例包括：
201、获取供应方数据源的目标版本元数据与上一版本元数据；
202、对目标版本元数据与上一版本元数据进行对比，得到对比结果，其中，对比结果包括第一对比结果和第二对比结果；
本实施例中，数据源内容包括结构化数据中的表名、表字段个数、表字段名称、表字段类型、表字段长度、字段是否可为空；与服务接口中的接口名称、接口请求方式、请求参数、返回结果格式。
具体的，调用函数读取目标版本结构化数据与上一版本结构化数据内容的表名、表字段个数、表字段名称、表字段类型、表字段长度、字段是否可为空；或调用函数读取目标版本服务接口与上一版本服务接口内容的接口名称、接口请求方式、请求参数、返回结果格式。
具体的，基于上一步读取的数据源内容，将目标版本数据源与上一版本数据源的内容字段依次对比，获得数据源的新旧版本之间的差异结果，根据差异结果获得对比结果。
比如：上一版本数据源读取结果包括A、B、C、D，而目标版本数据源的读取结果包括A、B、C、D’，调用函数依次对比A-A,B-B,C-C,D-D’,最后汇总对比结果，得到D与D’具有差异。当读取的是结构化数据的时候，获得的是第一对比结果，当读取的是服务接口的时候，获得的是第二对比结果。
203、根据第一对比结果，对供应方数据源中的结构化数据进行变更检测，得到第一检测结果，以及根据第二对比结果，对供应方数据源中的服务接口进行变更检测，得到第二检测结果，其中，检测结果包括第一检测结果和第二检测结果；
本实施例中，当对比结果为第一对比结果，则读取第一对比结果内的差异化字段；若第一对比结果中存在差异化字段，则确定结构化数据发生了变更；若第一对比结果中不存在则确定结构化数据没有发生变更。
当对比结果为第二对比结果，则读取第二对比结果内的差异化字段；若第二对比结果中存在差异化字段，则确定服务接口发生了变更；若第二对比结果中不存在则确定服务接口没有发生变更。
204、根据检测结果，判断供应方数据源是否发生变更；
205、若供应方数据源发生变更，则获取供应方数据源，并抽取供应方数据源中的架构信息，根据架构信息，对架构信息对应的结构编目进行变更处理；
206、根据变更后的结构变更编目或接口变更编目，在供应方数据源的预设变更临时表中创建订阅申请变更记录；
本实施例中，为了保证变更的安全性，若需要将变更记录同步至订阅方，则应经过审核，确保订阅信息的安全性。
比如，将订阅申请变更记录返回到WEB管理界面，弹出审核请求，主动审查在临时表中的订阅申请变更记录是否合法等，预设审核规则的具体内容与判定标准由管理人员决定。
207、将订阅申请变更记录中的订阅申请变更内容同步至供应方数据源的预设编目申请主表；
在本实施例中，例如经过上一步的审核，并且通过审核后，首先读取订阅变更记录中的各字段，包括订阅方编码、订阅方原请求、订阅方目标请求等，将其依次写入预置编目申请主表中。
208、判断编目申请主表的编目编码格式与订阅申请变更内容对应的编目编码格式是否相同；
209、若不相同，则采用订阅申请变更内容对应的编目编码格式，对编目申请主表的编目编码格式进行修改；
本实施例中，分别读取编目申请表中的预置编目编码格式与订阅申请变更内容对应的编目编码格式，获得各自的字段，然后依次对比各字段之间的差异，并根据差异结果，判断编目申请表中的预置编目编码格式与订阅申请变更内容对应的编目编码格式是否相同。
本实施例中，若得到不相同的对比结果，则根据订阅申请变更内容对应的编目编码格式，将编目申请表中的预置编目编码格式修改为目标编目编码格式。
210、根据同步后的编目申请主表，创建订阅方数据源对应的编目订阅表，并将编目订阅表发送至订阅方。
本实施例中，响应于订阅方的请求，在同步后的编目申请表中，抽取部分目标编目字段，并将其创建为订阅方数据源对应的订阅接受表，根据订阅接受表的订阅方编码，将订阅方接收表发送至订阅方。
例如，订阅方发送订阅变更的请求，该请求包含订阅方编码，订阅方请求字段(A、B、C、D)等，服务器接受到该请求后在目标的编目申请主表中抽取订阅方所需的目标编目字段。其中若该字段落入编目申请主表中，则正常从编目申请主表中抽取编目；若存在字段未在该编目申请主表中，则向后台提交报错信息，并向订阅方发送错误代码。
本发明实施例中，详细介绍了通过对元数据的对比，确定供应方数据源是否发生了变更，而无需直接对数据源进行检测，提升变更检测效率和数据源安全性；另一方面通过将变更编目同步至订阅方，以编目订阅表的方式及时变更订阅方的数据订阅更为便捷。
上面对本发明实施例中基于数据交换的变更处理方法进行了描述，下面对本发明实施例中基于数据交换的变更处理装置进行描述，请参阅图3，本发明实施例中基于数据交换的变更处理装置一个实施例包括：
检测模块301，用于获取供应方数据源的目标版本元数据与上一版本元数据，并基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果；
判别模块302，用于根据所述检测结果，判断所述供应方数据源是否发生变更；
变更模块303，用于若所述供应方数据源发生变更，则获取所述供应方数据源，并抽取所述供应方数据源中的架构信息，其中，所述架构信息包括所述物理表结构信息和所述接口信息；若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目；
同步模块304，用于根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理。
本发明实施例中，首先通过当前版本和上一版本的元数据进行变更检测，即可判别供应方数据源是否发生变更，而无需直接对数据源进行检测；在变更检测过程中，分为结构化数据的元数据检测和服务接口的元数据检测，两者其一发生变更，都可以通过对其对应的编目进行变更处理，然后将编目变更同步到订阅方，此处以编目变更作为中介，将供应方数据源的变更及时同步到订阅方，提升数据交换的变更同步效率。
请参阅图4，本发明实施例中基于数据交换的变更处理装置的另一个实施例包括：
检测模块301，用于获取供应方数据源的目标版本元数据与上一版本元数据，并基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果；
判别模块302，用于根据所述检测结果，判断所述供应方数据源是否发生变更；
变更模块303，用于若所述供应方数据源发生变更，则获取所述供应方数据源，并抽取所述供应方数据源中的架构信息，其中，所述架构信息包括所述物理表结构信息和所述接口信息；若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目；
同步模块304，用于根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理。
具体的，所述检测模块301包括：
对比单元3011，用于对所述目标版本元数据与所述上一版本元数据进行对比，得到对比结果，其中，所述对比结果包括第一对比结果和第二对比结果；
检测单元3012，用于根据所述第一对比结果，对所述供应方数据源中的结构化数据进行变更检测，得到第一检测结果，以及根据所述第二对比结果，对所述供应方数据源中的服务接口进行变更检测，得到第二检测结果，其中，所述检测结果包括第一检测结果和第二检测结果。
具体的，所述变更模块403包括：
结构变更单元3031，用于若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；
接口变更单元3032，用于若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目，其中，所述架构信息包括所述物理表结构信息和所述接口信息。
具体的，所述同步模块304还包括：
创建单元3041，用于根据变更后的结构变更编目或接口变更编目，在所述供应方数据源的预设变更临时表中创建订阅申请变更记录；
同步单元3042，用于将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表；根据同步后的编目申请主表，创建所述订阅方数据源对应的编目订阅表，并将所述编目订阅表发送至订阅方。
具体的，所述结构变更单元3031还用于：
对比所述物理表结构信息与上一版本元数据对应的预置物理表结构信息，得到表结构信息的对比结果；
根据所述表结构信息的对比结果，确定所述结构化数据中待变更的结构编目指标；
将所述结构编目指标写入上一版本元数据对应的预置结构编目中，得到变更后结构化数据对应的结构变更编目。
具体的，所述接口变更单元3032还用于：
对比所述接口参数与上一版本元数据对应的预置接口参数，得到接口参数的对比结果；
根据所述接口参数的对比结果，确定所述服务接口中待变更的接口编目指标；
将所述接口编目指标写入上一版本元数据对应的预置接口编目中，得到变更后所述服务接口对应的接口变更编目。
具体的，所述基于数据交换的变更处理装置还包括：
格式修正模块305，用于判断所述编目申请主表的编目编码格式与所述订阅申请变更内容对应的编目编码格式是否相同；若不相同，则采用所述订阅申请变更内容对应的编目编码格式，对所述编目申请主表的编目编码格式进行修改。
本发明实施例中，详细介绍了结构化数据的获取方式，在结构化数据库中可以便捷地获取数据源的结构化数据，提升后续数据变更处理的效率，然后通过预置物理表结构信息和预置接口参数判断物理表结构信息的对比，判断数据源的结构化数据和服务接口是否发生了变更，并通过编目变更表示数据源的变更，以便于后续处理订阅方的订阅变更；另外，也详细介绍了通过对元数据的对比，确定供应方数据源是否发生了变更，而无需直接对数据源进行检测，提升变更检测效率和数据源安全性；另一方面通过将变更编目同步至订阅方，以编目订阅表的方式及时变更订阅方的数据订阅更为便捷。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于数据交换的变更处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于数据交换的变更处理设备进行详细描述。
图5是本发明实施例提供的一种基于数据交换的变更处理设备的结构示意图，该基于数据交换的变更处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于数据交换的变更处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于数据交换的变更处理设备500上执行存储介质530中的一系列指令操作。
基于数据交换的变更处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于数据交换的变更处理设备结构并不构成对基于数据交换的变更处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于数据交换的变更处理设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于数据交换的变更处理方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于数据交换的变更处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于数据交换的变更处理方法，其特征在于，所述基于数据交换的变更处理方法包括：
获取供应方数据源的目标版本元数据与上一版本元数据，并基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果；
根据所述检测结果，判断所述供应方数据源是否发生变更；
若所述供应方数据源发生变更，则获取所述供应方数据源，并抽取所述供应方数据源中的架构信息，其中，所述架构信息包括物理表结构信息和接口信息；
若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；
根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；
若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；
根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目；
根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理；
所述基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果包括：
对所述目标版本元数据与所述上一版本元数据进行对比，得到对比结果，其中，所述对比结果包括第一对比结果和第二对比结果；
根据所述第一对比结果，对所述供应方数据源中的结构化数据进行变更检测，得到第一检测结果，以及根据所述第二对比结果，对所述供应方数据源中的服务接口进行变更检测，得到第二检测结果，其中，所述检测结果包括第一检测结果和第二检测结果。
2.根据权利要求1所述的基于数据交换的变更处理方法，其特征在于，所述根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目包括：
对比所述物理表结构信息与上一版本元数据对应的预置物理表结构信息，得到表结构信息的对比结果；
根据所述表结构信息的对比结果，确定所述结构化数据中待变更的结构编目指标；
将所述结构编目指标写入上一版本元数据对应的预置结构编目中，得到变更后结构化数据对应的结构变更编目。
3.根据权利要求1所述的基于数据交换的变更处理方法，其特征在于，所述根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目包括：
对比所述接口参数与上一版本元数据对应的预置接口参数，得到接口参数的对比结果；
根据所述接口参数的对比结果，确定所述服务接口中待变更的接口编目指标；
将所述接口编目指标写入上一版本元数据对应的预置接口编目中，得到变更后所述服务接口对应的接口变更编目。
4.根据权利要求1所述的基于数据交换的变更处理方法，其特征在于，所述根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理包括：
根据变更后的结构变更编目或接口变更编目，在所述供应方数据源的预设变更临时表中创建订阅申请变更记录；
将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表；
根据同步后的编目申请主表，创建所述订阅方数据源对应的编目订阅表，并将所述编目订阅表发送至订阅方。
5.根据权利要求4所述的基于数据交换的变更处理方法，其特征在于，在所述将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表之后，还包括：
判断所述编目申请主表的编目编码格式与所述订阅申请变更内容对应的编目编码格式是否相同；
若不相同，则采用所述订阅申请变更内容对应的编目编码格式，对所述编目申请主表的编目编码格式进行修改。
6.一种基于数据交换的变更处理装置，其特征在于，所述基于数据交换的变更处理装置包括：
检测模块，用于获取供应方数据源的目标版本元数据与上一版本元数据，并基于所述目标版本元数据与所述上一版本元数据，对所述供应方数据源进行变更检测，得到检测结果；
判别模块，用于根据所述检测结果，判断所述供应方数据源是否发生变更；
变更模块，用于若所述供应方数据源发生变更，则获取所述供应方数据源，并抽取所述供应方数据源中的架构信息，其中，所述架构信息包括物理表结构信息和接口信息；若所述供应方数据源中的结构化数据发生变更，则抽取所述结构化数据中的物理表结构信息；根据所述物理表结构信息，对所述结构化数据对应的结构编目进行变更处理，得到结构变更编目；若所述供应方数据源中的服务接口发生变更，则抽取所述服务接口中的接口参数；根据所述接口参数，对所述服务接口对应的接口编目进行变更处理，得到接口变更编目；
同步模块，用于根据变更后的结构变更编目或接口变更编目，对订阅方数据源进行编目订阅申请的变更处理；
所述检测模块包括：
对比单元，用于对所述目标版本元数据与所述上一版本元数据进行对比，得到对比结果，其中，所述对比结果包括第一对比结果和第二对比结果；
检测单元，用于根据所述第一对比结果，对所述供应方数据源中的结构化数据进行变更检测，得到第一检测结果，以及根据所述第二对比结果，对所述供应方数据源中的服务接口进行变更检测，得到第二检测结果，其中，所述检测结果包括第一检测结果和第二检测结果。
7.根据权利要求6所述的基于数据交换的变更处理装置，所述同步模块包括：
创建单元，用于根据变更后的结构变更编目或接口变更编目，在所述供应方数据源的预设变更临时表中创建订阅申请变更记录；
同步单元，用于将所述订阅申请变更记录中的订阅申请变更内容同步至所述供应方数据源的预设编目申请主表；根据同步后的编目申请主表，创建所述订阅方数据源对应的编目订阅表，并将所述编目订阅表发送至订阅方。
8.根据权利要求6所述的基于数据交换的变更处理装置，所述变更模块包括：结构变更单元，所述结构变更单元用于：
对比所述物理表结构信息与上一版本元数据对应的预置物理表结构信息，得到表结构信息的对比结果；
根据所述表结构信息的对比结果，确定所述结构化数据中待变更的结构编目指标；
将所述结构编目指标写入上一版本元数据对应的预置结构编目中，得到变更后结构化数据对应的结构变更编目。
9.一种基于数据交换的变更处理设备，其特征在于，所述基于数据交换的变更处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于数据交换的变更处理设备执行如权利要求1-5中任意一项所述的基于数据交换的变更处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述基于数据交换的变更处理方法。
CN202110514180.5A 2021-05-12 2021-05-12 基于数据交换的变更处理方法、装置、设备及存储介质 Active CN113515532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110514180.5A CN113515532B (zh) 2021-05-12 2021-05-12 基于数据交换的变更处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110514180.5A CN113515532B (zh) 2021-05-12 2021-05-12 基于数据交换的变更处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113515532A CN113515532A (zh) 2021-10-19
CN113515532B true CN113515532B (zh) 2024-01-19

Family

ID=78064354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110514180.5A Active CN113515532B (zh) 2021-05-12 2021-05-12 基于数据交换的变更处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113515532B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330080A (zh) * 2017-07-03 2017-11-07 北京希嘉创智教育科技有限公司 一种数据处理方法、装置及应用其的计算机设备
CN111752633A (zh) * 2020-06-18 2020-10-09 支付宝(杭州)信息技术有限公司 代码加载方法、装置及设备
CN112131231A (zh) * 2020-08-27 2020-12-25 中信银行股份有限公司 一种分布式数据库编目管理方法、系统、电子设备和可读存储介质
WO2021027363A1 (zh) * 2019-08-15 2021-02-18 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459718B2 (en) * 2017-03-08 2019-10-29 Salesforce.Com, Inc. Techniques and architectures for maintaining metadata version controls

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330080A (zh) * 2017-07-03 2017-11-07 北京希嘉创智教育科技有限公司 一种数据处理方法、装置及应用其的计算机设备
WO2021027363A1 (zh) * 2019-08-15 2021-02-18 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质
CN111752633A (zh) * 2020-06-18 2020-10-09 支付宝(杭州)信息技术有限公司 代码加载方法、装置及设备
CN112131231A (zh) * 2020-08-27 2020-12-25 中信银行股份有限公司 一种分布式数据库编目管理方法、系统、电子设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式异构数据库同步系统的研究与应用;林源;陈志泊;;计算机工程与设计(24);全文 *

Also Published As

Publication number Publication date
CN113515532A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
US11573938B2 (en) Systems and methods for indexing source code in a search engine
US8924426B2 (en) Joining tables in a mapreduce procedure
CN109800207B (zh) 日志解析方法、装置、设备及计算机可读存储介质
JP2019220195A (ja) データ記憶サービスを実装するシステム及び方法
CN108121827B (zh) 一种全量数据的同步方法及装置
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
CN103036956A (zh) 一种分布式组态化海量数据归档系统及实现方法
CN105468720A (zh) 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN109669925B (zh) 非结构化数据的管理方法及装置
US9515948B2 (en) Techniques for generically accessing data
WO2017174013A1 (zh) 数据存储管理方法、装置及数据存储系统
CN108241724A (zh) 一种元数据管理方法和装置
CN109902114A (zh) Es集群数据复用方法、系统、计算机装置及存储介质
CN112416991A (zh) 一种数据处理方法、装置以及存储介质
US10671358B2 (en) Systems and methods for indexing source code in a search engine
CN110659283A (zh) 数据标签处理方法、装置、计算机设备及存储介质
CN109947759A (zh) 一种数据索引建立方法、索引检索方法及装置
CN109299225A (zh) 日志检索方法、系统、终端及计算机可读存储介质
CN114661823A (zh) 数据同步的方法、装置、电子设备及可读存储介质
CN113672692B (zh) 数据处理方法、装置、计算机设备和存储介质
CN114153910A (zh) 数据采集方法、装置及电子装置、计算机程序产品
US11657088B1 (en) Accessible index objects for graph data structures
CN110019169B (zh) 一种数据处理的方法及装置
CN113515532B (zh) 基于数据交换的变更处理方法、装置、设备及存储介质
CN113761079A (zh) 数据访问方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant