CN116860871B - 统一处理源数据的元数据标准化方法、设备及存储介质 - Google Patents
统一处理源数据的元数据标准化方法、设备及存储介质 Download PDFInfo
- Publication number
- CN116860871B CN116860871B CN202310690139.2A CN202310690139A CN116860871B CN 116860871 B CN116860871 B CN 116860871B CN 202310690139 A CN202310690139 A CN 202310690139A CN 116860871 B CN116860871 B CN 116860871B
- Authority
- CN
- China
- Prior art keywords
- data
- template
- metadata
- database
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000011425 standardization method Methods 0.000 title claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000012805 post-processing Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000002688 persistence Effects 0.000 claims abstract description 7
- 230000003139 buffering effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007792 addition Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的一种统一处理源数据的元数据标准化方法、设备及存储介质，包括模板前置处理、数据中间处理和数据后置处理；模板前置处理步骤，用于处理元数据模板匹配工作，为数据中间处理区准备好装配模板，模板匹配包含格式规则校验、模板存量判断、模板新增及覆盖；数据中间处理步骤，用于根据元数据模板及数据库日志连接器的选择对数据库日志信息进行监听并组装成标准化的日志信息的JSON消息体结构；数据后置处理步骤，包括接受标准化的消息体格式数据将其缓冲在消息队列中，并提供持久化保留、消费消息位置保留、状态监控和消费统计。本发明实现了数据实时同步针对数据库日志信息标准化的工作，为下游对接系统提供了便利，更高效、便捷的进行接入。
Description
技术领域
本发明涉及元数据处理技术领域，具体涉及一种统一处理源数据的元数据标准化方法。
背景技术
在实时数据同步场景中，需要处理多个异构数据源的数据同步；异构数据源主要包含RDBMS、NoSQL等结构化数据源，不同的数据源导致了数据在实时同步到数据平台时，需要处理不同的元数据格式信息，导致了数据同步的复杂和繁琐性，存在重复构造轮子的问题；从而影响了数据同步过程中的准确度、模型的匹配速度等等；例如：在处理SQLServer、Oracle、MySQL等数据库的实时数据同步，需要根据每个数据库的元数据信息和特征单独处理数据同步。
元数据标准化的目标是把不同的异构数据源的元数据信息处理成统一的标准格式；通过扫描源数据的元信息将不同的数据库整理成统一模板，按照统一标准格式进行数据输出。
元数据标准化的好处：主要是为了数据平台以及下游业务系统处理数据同步及数据分析时能够高效对接，避免因为数据格式产生一些数据偏差，提高数据精准度，更好地、更便捷的使数据流动起来，更好地为企业数据赋能。
就目前开源的同步工具和方案中，都只注重了端到端的同步，并不注重数据同步内容在内容格式上的统一，特别在异构系统和数据平台的数据共享过程中，针对机构和企业内部会对消息的格式化处理单独处理和开发，进一步造成开发资源浪费，同时统一的消息格式也是数据标准化内容之一。
发明内容
本发明提出的一种统一处理源数据的元数据标准化方法及设备，可至少解决背景技术中的技术问题之一。
为实现上述目的，本发明采用了以下技术方案：
一种统一处理源数据的元数据标准化方法，包括模板前置处理步骤、数据中间处理步骤和数据后置处理步骤；
模板前置处理步骤，用于处理元数据模板匹配工作，为数据中间处理区准备好装配模板，模板匹配包含格式规则校验、模板存量判断、模板新增及覆盖；
数据中间处理步骤，用于根据元数据模板及数据库日志连接器的选择对数据库日志信息进行监听并组装成标准化的日志信息的JSON消息体结构；
数据后置处理步骤，包括接受标准化的消息体格式数据将其缓冲在消息队列中，并提供持久化保留、消费消息位置保留、状态监控和消费统计。
进一步地，所述元数据模板匹配，通过人工编辑预准备的JSON模板，包含了数据同步表对象的表名、操作类型、操作时间、字段；在将元数据模板通过在线导入的方式导入系统，通过模板规则的校验后，在通过其模板的表名和字段内容判断是否存在存量模板信息，最终确定是否将其覆盖和新增。
进一步地，创建新的元数据模板必须匹配信息的模板校验规则；其中校验规则根据通用要素和增加的新的特殊要素对新增模板进行校验，符合规则的将其保留至元数据模板库；
元数据模板校验是异步进行操作，将元数据模板库所有满足待比对的模板逐一进行筛选，通过任务并发进行模板内容比对，最后将校验是否通过的结果写入比对结果库。
进一步地，数据中间处理步骤中根据元数据模板及数据库日志连接器的选择对数据库日志信息进行监听并组装成标准化的日志信息的JSON消息体结构；包含数据库JDBC连接信息、数据库日志连接器加载、数据消息体装配，不同的模板和连接器可以适配不同的业务应用场景。
进一步地，数据库JDBC连接信息是数据中间区进行数据处理的首要条件，有两个目的：一是检测数据库是否可以正常连接，二是通过JDBC的连接信息可以注入到数据库连接器中加载源数据库的元数据信息。
进一步地，数据库日志连接器，是处理源数据的元数据获取、数据库日志的解析以及数据库增、删、改的监听工作；
连接器以插件的形式存在，导入系统后，根据创建选择的数据库连接去匹配对应的连接器；
连接器同模板信息进行解耦，在处理数据装配工作的时候针对选择的具体元数据模板进行匹配组装。
进一步地，数据消息体装配工作在对应的数据库连接器中完成，分三个步骤：
1）通过JDBC连接器信息加载表对象的表名、字段名、长度、注释这些信息；
2）配置数据库监听器读取数据库的事实日志信息；
3）根据元数据模板装配日志信息的JSON结构体，最后将装配好的消息进行标准化输出。
进一步地，所述数据后置处理步骤中，
在实时数据同步场景中，对数据中间处理步骤处理后的数据进行状态及内容保留，提升系统的健壮性和稳定性；
在消息队列中针对数据消费失败的数据会将消费失败的消息位置信息进行持久化保留，消息内容数据在消息队列中是按顺序存放的，最大化支持消息的一致性特性。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
由上述技术方案可知，本发明的统一处理源数据的元数据标准化方法及设备，实现了数据实时同步针对数据库日志信息标准化的工作，为下游对接系统提供了便利，更高效、便捷的进行接入。
具体的说，其中元数据标准化的实践对数据工程有两个个方面的意义。第一，解决了技术元数据关于消息元数据标准的统一，技术元数据包含所有数据工程对象的设计数据，通常只关注到了一些表对象和指标量化的设计过程，对于传输介质的标准并未纳入，消息元数据标准的统一弥补了这一空白；第二，避免了重复开发和资源浪费，在数据同步场景中，除了汇集数据，还有转换数据，交换数据，共享数据等多个场景，在端到端的实时数据同步中涉及不同的数据源的处理，如果针对每一种数据源都去针对的处理消息格式的转换，不仅造成开发资源浪费而且无法统一进行管理，无法达到解耦和复用的要求，元数据标准的统一使得对接的系统可以直接复用格式进行数据转换，使得数据流动更加便捷。
附图说明
图1为本发明流程框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的统一处理源数据的元数据标准化方法，包括以下步骤，包括模板前置处理步骤、数据中间处理步骤和数据后置处理步骤。
模板前置处理步骤，主要用来处理元数据模板匹配等工作，为数据中间处理区准备好装配模板，模板匹配包含格式规则校验、模板存量判断、模板新增及覆盖等内容。
其中，元数据模板匹配，通过人工编辑预准备的JSON模板，包含了数据同步表对象的表名、操作类型（增、删、改）、操作时间、字段等主要元素。在将元数据模板通过在线导入的方式导入系统，通过模板规则的校验后，在通过其模板的表名和字段等内容判断是否存在存量模板信息，最终确定是否将其覆盖和新增。
元数据模板可呈现多样化，可根据不同的源数据库的特性构造，创建新的元数据模板必须匹配信息的模板校验规则。其中校验规则根据通用要素和增加的新的特殊要素对新增模板进行校验，符合规则的将其保留至元数据模板库。
其中，元数据模板校验是异步进行操作，将元数据模板库所有满足待比对的模板逐一进行筛选，通过任务并发进行模板内容比对，最后将校验是否通过的结果写入比对结果库。
元数据模板库可能存在同名不同内容，同内容不同名的情况，这两种情况需要单独处理，同名不同内容需要变更其对象模板名，同内容不同名需要将同内容的模板进行覆盖。
模板前置处理区元数据模板匹配选择的的不同，影响着数据中间处理区的日志信息装配工作。
数据中间处理步骤，主要根据元数据模板及数据库日志连接器的选择对数据库日志信息进行监听并组装成标准化的日志信息的JSON消息体结构。包含数据库JDBC连接信息、数据库日志连接器加载、数据消息体装配等工作。不同的模板和连接器可以适配不同的业务应用场景。
如：选择模板前置处理区关于时序数据库的模板和PG数据库连接器进行装配，此输出的消息体适合处理物联网的数据。
其中，数据库JDBC连接信息是数据中间区进行数据处理的首要条件，主要有两个目的：一是检测数据库是否可以正常连接，二是通过JDBC的连接信息可以注入到数据库连接器中加载源数据库的元数据信息。
关于数据库日志连接器，主要是处理源数据的元数据获取、数据库日志的解析以及数据库增、删、改的监听工作。连接器以插件的形式存在，导入系统后，根据创建选择的数据库连接去匹配对应的连接器。例如：处理MySQL的实时同步，就通过其JDBC的连接驱动匹配到对应的MySQL日志连接器。连接器同模板信息进行解耦，在处理数据装配工作的时候针对选择的具体元数据模板进行匹配组装。
其中，数据消息体装配工作在对应的数据库连接器中完成，主要分三个步骤：1、通过JDBC连接器信息加载表对象的表名、字段名、长度、注释等信息；2、配置数据库监听器读取数据库的事实日志信息；3、根据元数据模板装配日志信息的JSON结构体。最后将装配好的消息进行标准化输出。
数据中间处理区的数据装配工作是本系统的核心内容，可根据不同的业务场景定制不同的模板进组装，实现数据消息的可定制化功能。
数据后置处理步骤，主要接受标准化的消息体格式数据将其缓冲在消息队列中，并提供持久化保留、消费消息位置保留、状态监控和消费统计。
在实时数据同步场景中，由于数据是时时刻刻产生，需要对数据中间处理区处理后的数据进行状态及内容保留，提升系统的健壮性和稳定性。
在消息队列中针对数据消费失败的数据会将消费失败的消息位置信息进行持久化保留，消息内容数据在消息队列中是按顺序存放的，最大化支持消息的一致性特性。
其中，对数据的消费情况通过消费的条数、频率等维度进行统计，将统计结果保留至监控库，以供运维实施观测数据消费情况。
预期的效果：
列如，A业务系统，正在同步表1，提供以同步的表对象的消费统计：
表1待同步总数已同步总数剩余同步总数 错误数状态
Aaa 1000099990010正常。
综上所述，本发明实施例的统一处理源数据的元数据标准化方法，实现了数据实时同步针对数据库日志信息标准化的工作，为下游对接系统提供了便利，更高效、便捷的进行接入。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一统一处理源数据的元数据标准化方法。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述统一处理源数据的元数据标准化方法。
上述电子设备提到的通信总线可以是外设部件互连标准（英文：PeripheralComponent Interconnect，简称：PCI）总线或扩展工业标准结构（英文：Extended IndustryStandard Architecture，简称：EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（英文：Random Access Memory，简称：RAM），也可以包括非易失性存储器（英文：Non-Volatile Memory，简称：NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（英文：Central ProcessingUnit，简称：CPU）、网络处理器（英文：Network Processor，简称：NP）等；还可以是数字信号处理器（英文：Digital Signal Processing，简称：DSP）、专用集成电路（英文：ApplicationSpecific Integrated Circuit，简称：ASIC）、现场可编程门阵列（英文：Field-Programmable Gate Array，简称：FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种统一处理源数据的元数据标准化方法，其特征在于，包括模板前置处理步骤、数据中间处理步骤和数据后置处理步骤；
模板前置处理步骤，用于处理元数据模板匹配工作，为数据中间处理区准备好装配模板，模板匹配包含格式规则校验、模板存量判断、模板新增及覆盖；
数据中间处理步骤，用于根据元数据模板及数据库日志连接器的选择对数据库日志信息进行监听并组装成标准化的日志信息的JSON消息体结构；
数据后置处理步骤，包括接受标准化的消息体格式数据将其缓冲在消息队列中，并提供持久化保留、消费消息位置保留、状态监控和消费统计；
所述元数据模板匹配，通过人工编辑预准备的JSON模板，包含了数据同步表对象的表名、操作类型、操作时间、字段；在将元数据模板通过在线导入的方式导入系统，通过模板规则的校验后，在通过其模板的表名和字段内容判断是否存在存量模板信息，最终确定是否将其覆盖和新增；
数据中间处理步骤中根据元数据模板及数据库日志连接器的选择对数据库日志信息进行监听并组装成标准化的日志信息的JSON消息体结构；包含数据库JDBC连接信息、数据库日志连接器加载、数据消息体装配，不同的模板和连接器适配不同的业务应用场景；
数据库日志连接器，是处理源数据的元数据获取、数据库日志的解析以及数据库增、删、改的监听工作；
连接器以插件的形式存在，导入系统后，根据创建选择的数据库连接去匹配对应的连接器；
连接器同模板信息进行解耦，在处理数据装配工作的时候针对选择的具体元数据模板进行匹配组装；
数据消息体装配工作在对应的数据库连接器中完成，分三个步骤：
1）通过JDBC连接器信息加载表对象的表名、字段名、长度、注释这些信息；
2）配置数据库监听器读取数据库的事实日志信息；
3）根据元数据模板装配日志信息的JSON结构体，最后将装配好的消息进行标准化输出；
创建新的元数据模板必须匹配信息的模板校验规则；其中校验规则根据通用要素和增加的新的特殊要素对新增模板进行校验，符合规则的将其保留至元数据模板库；
元数据模板校验是异步进行操作，将元数据模板库所有满足待比对的模板逐一进行筛选，通过任务并发进行模板内容比对，最后将校验是否通过的结果写入比对结果库。
2.根据权利要求1所述的统一处理源数据的元数据标准化方法，其特征在于：数据库JDBC连接信息是数据中间区进行数据处理的首要条件，有两个目的：一是检测数据库是否正常连接，二是通过JDBC的连接信息注入到数据库连接器中加载源数据库的元数据信息。
3.根据权利要求1所述的统一处理源数据的元数据标准化方法，其特征在于：所述数据后置处理步骤中，
在实时数据同步场景中，对数据中间处理步骤处理后的数据进行状态及内容保留，提升系统的健壮性和稳定性；
在消息队列中针对数据消费失败的数据会将消费失败的消息位置信息进行持久化保留，消息内容数据在消息队列中是按顺序存放的，最大化支持消息的一致性特性。
4.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述方法的步骤。
5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310690139.2A CN116860871B (zh) | 2023-06-12 | 2023-06-12 | 统一处理源数据的元数据标准化方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310690139.2A CN116860871B (zh) | 2023-06-12 | 2023-06-12 | 统一处理源数据的元数据标准化方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116860871A CN116860871A (zh) | 2023-10-10 |
| CN116860871B true CN116860871B (zh) | 2024-04-05 |
Family
ID=88218053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310690139.2A Active CN116860871B (zh) | 2023-06-12 | 2023-06-12 | 统一处理源数据的元数据标准化方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116860871B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344306A (zh) * | 2018-07-27 | 2019-02-15 | 中国科学院计算机网络信息中心 | 一种领域多标准元数据定制化在线汇交与服务方法及系统 |
| EP3968248A1 (en) * | 2020-09-15 | 2022-03-16 | Siemens Aktiengesellschaft | Device, computing platform and method of analyzing log files of an industrial plant |
| CN115269519A (zh) * | 2022-07-29 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种日志检测方法、装置及电子设备 |
| CN115525292A (zh) * | 2022-10-10 | 2022-12-27 | 中国电信股份有限公司 | 低代码开发方法及装置、可读存储介质、电子设备 |
| CN115809302A (zh) * | 2023-02-21 | 2023-03-17 | 合肥喆塔科技有限公司 | 元数据处理方法、装置、设备及存储介质 |
| CN116226067A (zh) * | 2022-12-29 | 2023-06-06 | 中国邮政储蓄银行股份有限公司 | 日志管理方法、日志管理装置、处理器和日志平台 |
-
2023
- 2023-06-12 CN CN202310690139.2A patent/CN116860871B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344306A (zh) * | 2018-07-27 | 2019-02-15 | 中国科学院计算机网络信息中心 | 一种领域多标准元数据定制化在线汇交与服务方法及系统 |
| EP3968248A1 (en) * | 2020-09-15 | 2022-03-16 | Siemens Aktiengesellschaft | Device, computing platform and method of analyzing log files of an industrial plant |
| CN115269519A (zh) * | 2022-07-29 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种日志检测方法、装置及电子设备 |
| CN115525292A (zh) * | 2022-10-10 | 2022-12-27 | 中国电信股份有限公司 | 低代码开发方法及装置、可读存储介质、电子设备 |
| CN116226067A (zh) * | 2022-12-29 | 2023-06-06 | 中国邮政储蓄银行股份有限公司 | 日志管理方法、日志管理装置、处理器和日志平台 |
| CN115809302A (zh) * | 2023-02-21 | 2023-03-17 | 合肥喆塔科技有限公司 | 元数据处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116860871A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7783591B2 (en) | Coordinated data conversion systems and methods | |
| CN111813804B (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
| WO2018001200A1 (zh) | 数据处理方法、集群管理器、资源管理器、数据处理系统 | |
| CN111562885A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| US7283986B2 (en) | End-to-end business integration testing tool | |
| CN110297820B (zh) | 一种数据处理方法、装置、设备和存储介质 | |
| CN116860871B (zh) | 统一处理源数据的元数据标准化方法、设备及存储介质 | |
| EP3999917B1 (en) | Method and system for generating a digital representation of asset information in a cloud computing environment | |
| US20100077025A1 (en) | Workflow automation & request processing | |
| US7856344B2 (en) | Method for transforming overlapping paths in a logical model to their physical equivalent based on transformation rules and limited traceability | |
| CN113050925B (zh) | 区块链智能合约修复方法及装置 | |
| US20050065978A1 (en) | Incremental non-chronological synchronization of namespaces | |
| CN112099806A (zh) | 一种基于CICD的sql自动化审核上线及执行方法 | |
| CN113392085A (zh) | 一种分布式文件批量处理方法及平台 | |
| CN113220237A (zh) | 一种分布式存储方法、装置、设备及存储介质 | |
| CN113157320A (zh) | 一种业主主导的bim正向设计标准化应用方法 | |
| CN118118219A (zh) | 基于运管平台的公网ip白名单管理方法和设备 | |
| CN113568682B (zh) | 规则数据校验方法、装置、计算机设备和存储介质 | |
| CN112988555B (zh) | 接口测试方法、装置、设备及存储介质 | |
| CN117609158A (zh) | 一种总装pfmea文件快速生成系统及生成方法 | |
| CN113220528A (zh) | 资源对象的管理方法、电子设备及存储介质 | |
| CN118277464A (zh) | 数字化交付多标准映射转换方法、系统、介质及设备 | |
| CN116955414A (zh) | 低代码平台的数据查询方法及相关系统 | |
| CN117520404A (zh) | 元数据接入方法、装置、电子设备及存储介质 | |
| CN115809343A (zh) | 模型逻辑承接核对方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |