CN114546998A - 数据中台的数据处理方法、装置、设备及可读存储介质 - Google Patents
数据中台的数据处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114546998A CN114546998A CN202210037312.4A CN202210037312A CN114546998A CN 114546998 A CN114546998 A CN 114546998A CN 202210037312 A CN202210037312 A CN 202210037312A CN 114546998 A CN114546998 A CN 114546998A
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- data center
- processing method
- center station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000011161 development Methods 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 20
- 238000012790 confirmation Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据中台的数据处理方法、装置、电子设备及计算机可读存储介质。该数据中台的数据处理方法，包括：在识别到数据源的情况下，采集数据源中的元数据；对元数据进行质量校验；在元数据质量校验通过的情况下，将元数据同步至数据中台；对数据中台中同步的元数据执行数据开发操作。根据本申请实施例，能够从海量数据的数据库中筛选出有效的、全面的数据库。
Description
技术领域
本申请属于数据处理领域，尤其涉及一种数据中台的数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
大数据时代，数据量越来越多，数据形式日益复杂，而以数据仓库为代表的、现有的数据存储和处理技术无法满足海量、多样的数据处理需求的背景下产生的。“数据湖”是将复杂的事物具象化，偏技术一些，以一个形象的名字，反应了它在大数据存储和大数据处理方面的优势和能力。
数据湖作为一个集中的存储库，可以在其中存储任何形式(结构化和非结构化)、任意规模的数据。在数据湖中，可以不对存储的数据进行结构化，只有在使用数据的时候，再利用数据湖强大的大数据查询、处理、分析等组件对数据进行处理和应用。因此，数据湖具备运行不同类型数据分析的能力。
数据中台从技术的层面承接了数据湖的技术，通过人工智能(ArtificialIntelligence，AI)与数据技术相结合，对海量、多源、多样的数据进行自动采集、处理、存储、计算，同时统一标准和口径，把数据统一之后，以标准形式存储，形成大数据资产层，以满足前台数据分析和应用的需求。
但是，目前的数据中台的技术在发展过程中尚存在一定的缺陷，如何从海量数据的数据库中筛选出有效的、全面的数据库非常关键。
因此，如何从海量数据的数据库中筛选出有效的、全面的数据库是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种数据中台的数据处理方法、装置、电子设备及计算机可读存储介质，能够从海量数据的数据库中筛选出有效的、全面的数据库。
第一方面，本申请实施例提供一种数据中台的数据处理方法，包括：
在识别到数据源的情况下，采集数据源中的元数据；
对元数据进行质量校验；
在元数据质量校验通过的情况下，将元数据同步至数据中台；
对数据中台中同步的元数据执行数据开发操作。
可选的，采集数据源中的元数据，包括：
获取预先设置的需要采集的表信息；其中，表信息是通过前端编辑组件设置的；
依据表信息，采集数据源中与表信息对应的元数据。
可选的，方法还包括：
定时识别获取元数据的变更信息；
向目标用户发送变更信息对应的通知信息。
可选的，对元数据进行质量校验，包括：
对元数据的完整性和/或唯一性进行质量校验。
可选的，方法还包括：
在元数据质量校验不通过的情况下，对元数据进行自动修正。
可选的，对元数据进行自动修正，包括：
向目标用户发送自动修正确认请求；
在接收到自动修正确认请求对应的确认信息后，对元数据进行自动修正。
可选的，对数据中台中同步的元数据执行数据开发操作，包括：
根据预先识别的元数据规则，对数据中台中同步的元数据进行数据清洗；
将关联数据加工成数据宽表，并创建应用程序编程接口(ApplicationProgramming Interface，API)；其中，应用程序编程接口用于访问数据宽表。
第二方面，本申请实施例提供了一种数据中台的数据处理装置，包括：
采集模块，用于在识别到数据源的情况下，采集数据源中的元数据；
质量校验模块，用于对元数据进行质量校验；
数据同步模块，用于在元数据质量校验通过的情况下，将元数据同步至数据中台；
数据开发操作执行模块，用于对数据中台中同步的元数据执行数据开发操作。
可选的，采集模块，用于：
获取预先设置的需要采集的表信息；其中，表信息是通过前端编辑组件设置的；
依据表信息，采集数据源中与表信息对应的元数据。
可选的，装置还包括：
信息识别获取模块，用于定时识别获取元数据的变更信息；
通知信息发送模块，用于向目标用户发送变更信息对应的通知信息。
可选的，质量校验模块，用于：对元数据的完整性和/或唯一性进行质量校验。
可选的，装置还包括：
数据修正模块，用于在元数据质量校验不通过的情况下，对元数据进行自动修正。
可选的，数据修正模块，用于：
向目标用户发送自动修正确认请求；
在接收到自动修正确认请求对应的确认信息后，对元数据进行自动修正。
可选的，数据开发操作执行模块，用于：
根据预先识别的元数据规则，对数据中台中同步的元数据进行数据清洗；
将关联数据加工成数据宽表，并创建应用程序编程接口；其中，应用程序编程接口用于访问数据宽表。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面所示的数据中台的数据处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的数据中台的数据处理方法。
本申请实施例的数据中台的数据处理方法、装置、电子设备及计算机可读存储介质，能够从海量数据的数据库中筛选出有效的、全面的数据库。
该数据中台的数据处理方法，在识别到数据源的情况下，采集数据源中的元数据；对元数据进行质量校验；在元数据质量校验通过的情况下，将元数据同步至数据中台；对数据中台中同步的元数据执行数据开发操作。
可见，该方法对元数据进行质量校验，也即数据经数据质量控制后进行集成和开发，且经过数据同步处理，故能够从海量数据的数据库中筛选出有效的、全面的数据库。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的数据中台的数据处理方法的流程示意图；
图2是本申请一个实施例提供的数据中台的数据处理装置的结构示意图；
图3是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
数据中台从技术的层面承接了数据湖的技术，通过人工智能(ArtificialIntelligence，AI)与数据技术相结合，对海量、多源、多样的数据进行自动采集、处理、存储、计算，同时统一标准和口径，把数据统一之后，以标准形式存储，形成大数据资产层，以满足前台数据分析和应用的需求。
但是，目前的数据中台的技术在发展过程中尚存在一定的缺陷，如何从海量数据的数据库中筛选出有效的、全面的数据库非常关键。
为了解决现有技术问题，本申请实施例提供了一种数据中台的数据处理方法、装置、设备及计算机可读存储介质。下面首先对本申请实施例所提供的数据中台的数据处理方法进行介绍。
图1示出了本申请一个实施例提供的数据中台的数据处理方法的流程示意图。如图1所示，该数据中台的数据处理方法，包括：
S101、在识别到数据源的情况下，采集数据源中的元数据。
在一个实施例中，采集数据源中的元数据，包括：
获取预先设置的需要采集的表信息；其中，表信息是通过前端编辑组件设置的；
依据表信息，采集数据源中与表信息对应的元数据。
在一个实施例中，方法还包括：
定时识别获取元数据的变更信息；
向目标用户发送变更信息对应的通知信息。
元数据采集是将数据从一个地方拷贝到另一个地方的过程。具体的，该过程包括：
(1)从数据库中选择数据源，设置是否启用表过滤。通过前端编辑组件设置需要采集的表信息，达到按需采集的目的。
(2)设定是否定时执行能够定时获取数据源端元数据变化，设置好周期和时间。
(3)中台AI智能程序识别到数据源，自动进行元数据采集工作，并能识别到元数据变更(即表结构或者字段变化)并自动通知对应管理维护人员。
S102、对元数据进行质量校验。
S103、在元数据质量校验通过的情况下，将元数据同步至数据中台。
在一个实施例中，对元数据进行质量校验，包括：
对元数据的完整性和/或唯一性进行质量校验。
在一个实施例中，方法还包括：
在元数据质量校验不通过的情况下，对元数据进行自动修正。
在一个实施例中，对元数据进行自动修正，包括：
向目标用户发送自动修正确认请求；
在接收到自动修正确认请求对应的确认信息后，对元数据进行自动修正。
步骤S102和S103是数据集成的步骤，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
在数据集成中，AI智能程序在识别到元数据信息时会自动进行数据集成作业，将数据同步至数据中台或其他存储介质，在此过程中会对数据的质量自动进行校验(包括数据的完整性、惟一性校验等)，对于校验不通过的数据会进行自动修正，并发起流程给对应的数据管理员进行确认，确认无问题，则自动修正。对于校验通过的数据同步至数据中台，并在加工的过程中会对字段的命名进行统一。
S104、对数据中台中同步的元数据执行数据开发操作。
在一个实施例中，对数据中台中同步的元数据执行数据开发操作，包括：
根据预先识别的元数据规则，对数据中台中同步的元数据进行数据清洗；
将关联数据加工成数据宽表，并创建应用程序编程接口(ApplicationProgramming Interface，API)；其中，应用程序编程接口用于访问数据宽表。
为了从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
AI智能程序根据S101中自动识别的元数据规则，对S103中同步的数据进行自动清洗，将关联数据自动加工成数据宽表，并自动创建API接口，通过该接口即可访问已加工的数据。
该数据中台的数据处理方法，在识别到数据源的情况下，采集数据源中的元数据；对元数据进行质量校验；在元数据质量校验通过的情况下，将元数据同步至数据中台；对数据中台中同步的元数据执行数据开发操作。
可见，该方法对元数据进行质量校验，也即数据经数据质量控制后进行集成和开发，且经过数据同步处理，故能够从海量数据的数据库中筛选出有效的、全面的数据库。而且，数据集中存储，可以保证业务数据一致性。
图2示出了本申请实施例提供的数据中台的数据处理装置的结构示意图。如图2所示，该数据中台的数据处理装置，包括：
采集模块201，用于在识别到数据源的情况下，采集数据源中的元数据；
质量校验模块202，用于对元数据进行质量校验；
数据同步模块203，用于在元数据质量校验通过的情况下，将元数据同步至数据中台；
数据开发操作执行模块204，用于对数据中台中同步的元数据执行数据开发操作。
在一个实施例中，采集模块201，用于：
获取预先设置的需要采集的表信息；其中，表信息是通过前端编辑组件设置的；
依据表信息，采集数据源中与表信息对应的元数据。
在一个实施例中，装置还包括：
信息识别获取模块，用于定时识别获取元数据的变更信息；
通知信息发送模块，用于向目标用户发送变更信息对应的通知信息。
在一个实施例中，质量校验模块202，用于：对元数据的完整性和/或唯一性进行质量校验。
在一个实施例中，装置还包括：
数据修正模块，用于在元数据质量校验不通过的情况下，对元数据进行自动修正。
在一个实施例中，数据修正模块，用于：
向目标用户发送自动修正确认请求；
在接收到自动修正确认请求对应的确认信息后，对元数据进行自动修正。
在一个实施例中，数据开发操作执行模块204，用于：
根据预先识别的元数据规则，对数据中台中同步的元数据进行数据清洗；
将关联数据加工成数据宽表，并创建应用程序编程接口；其中，应用程序编程接口用于访问数据宽表。
图2所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
图3示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在电子设备的内部或外部。在特定实施例中，存储器302可以是非易失性固态存储器。
在一个实施例中，存储器302可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种数据中台的数据处理方法。
在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图3所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的数据中台的数据处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据中台的数据处理方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种数据中台的数据处理方法，其特征在于，包括：
在识别到数据源的情况下，采集所述数据源中的元数据；
对所述元数据进行质量校验；
在所述元数据质量校验通过的情况下，将所述元数据同步至数据中台；
对所述数据中台中同步的元数据执行数据开发操作。
2.根据权利要求1所述的数据中台的数据处理方法，其特征在于，所述采集所述数据源中的元数据，包括：
获取预先设置的需要采集的表信息；其中，所述表信息是通过前端编辑组件设置的；
依据所述表信息，采集所述数据源中与所述表信息对应的元数据。
3.根据权利要求1所述的数据中台的数据处理方法，其特征在于，所述方法还包括：
定时识别获取所述元数据的变更信息；
向目标用户发送所述变更信息对应的通知信息。
4.根据权利要求1所述的数据中台的数据处理方法，其特征在于，所述对所述元数据进行质量校验，包括：
对所述元数据的完整性和/或唯一性进行质量校验。
5.根据权利要求1所述的数据中台的数据处理方法，其特征在于，所述方法还包括：
在所述元数据质量校验不通过的情况下，对所述元数据进行自动修正。
6.根据权利要求5所述的数据中台的数据处理方法，其特征在于，所述对所述元数据进行自动修正，包括：
向目标用户发送自动修正确认请求；
在接收到所述自动修正确认请求对应的确认信息后，对所述元数据进行自动修正。
7.根据权利要求1所述的数据中台的数据处理方法，其特征在于，所述对所述数据中台中同步的元数据执行数据开发操作，包括：
根据预先识别的元数据规则，对所述数据中台中同步的元数据进行数据清洗；
将关联数据加工成数据宽表，并创建应用程序编程接口；其中，所述应用程序编程接口用于访问所述数据宽表。
8.一种数据中台的数据处理装置，其特征在于，包括：
采集模块，用于在识别到数据源的情况下，采集所述数据源中的元数据；
质量校验模块，用于对所述元数据进行质量校验；
数据同步模块，用于在所述元数据质量校验通过的情况下，将所述元数据同步至数据中台；
数据开发操作执行模块，用于对所述数据中台中同步的元数据执行数据开发操作。
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的数据中台的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的数据中台的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037312.4A CN114546998A (zh) | 2022-01-13 | 2022-01-13 | 数据中台的数据处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037312.4A CN114546998A (zh) | 2022-01-13 | 2022-01-13 | 数据中台的数据处理方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114546998A true CN114546998A (zh) | 2022-05-27 |
Family
ID=81670972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210037312.4A Pending CN114546998A (zh) | 2022-01-13 | 2022-01-13 | 数据中台的数据处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114546998A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3435235A1 (en) * | 2016-03-22 | 2019-01-30 | Alibaba Group Holding Limited | Method and device for executing data recovery operation |
| CN112395325A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据治理方法、系统、终端设备及存储介质 |
| CN112396404A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据中台系统 |
| CN112612802A (zh) * | 2020-12-19 | 2021-04-06 | 前海飞算科技(深圳)有限公司 | 一种实时数据中台的处理方法、装置及平台 |
| CN113672591A (zh) * | 2021-07-27 | 2021-11-19 | 北京明略昭辉科技有限公司 | 数据迁移方法、系统、存储介质及电子设备 |
| CN113760947A (zh) * | 2020-12-24 | 2021-12-07 | 北京京东尚科信息技术有限公司 | 一种数据中台、数据处理方法、装置、设备及存储介质 |
-
2022
- 2022-01-13 CN CN202210037312.4A patent/CN114546998A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3435235A1 (en) * | 2016-03-22 | 2019-01-30 | Alibaba Group Holding Limited | Method and device for executing data recovery operation |
| CN112395325A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据治理方法、系统、终端设备及存储介质 |
| CN112396404A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据中台系统 |
| CN112612802A (zh) * | 2020-12-19 | 2021-04-06 | 前海飞算科技(深圳)有限公司 | 一种实时数据中台的处理方法、装置及平台 |
| CN113760947A (zh) * | 2020-12-24 | 2021-12-07 | 北京京东尚科信息技术有限公司 | 一种数据中台、数据处理方法、装置、设备及存储介质 |
| CN113672591A (zh) * | 2021-07-27 | 2021-11-19 | 北京明略昭辉科技有限公司 | 数据迁移方法、系统、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114020581A (zh) | 基于拓扑优化FP-Growth算法的告警关联方法 | |
| CN111224807B (zh) | 分布式日志处理方法、装置、设备及计算机存储介质 | |
| CN114036147A (zh) | 数据仓库构建方法、装置、设备及存储介质 | |
| CN114546998A (zh) | 数据中台的数据处理方法、装置、设备及可读存储介质 | |
| CN113297583B (zh) | 漏洞风险分析方法、装置、设备及存储介质 | |
| CN114153734A (zh) | 埋点数据管理方法及相关设备 | |
| CN113472640B (zh) | 一种智能网关信息处理方法及系统 | |
| CN115905145A (zh) | 文件处理方法、装置、设备及计算机存储介质 | |
| CN113238911B (zh) | 告警处理方法及装置 | |
| CN114372072A (zh) | 数据存储方法、装置、设备、计算机存储介质及程序产品 | |
| CN112258023A (zh) | 一种航班计划管理方法、系统及存储介质 | |
| CN109246297B (zh) | 一种确定移动终端恢复出厂设置时间的方法、装置及存储介质 | |
| CN112148574A (zh) | 一种性能数据采集方法、计算机设备及存储介质 | |
| CN110532561B (zh) | 数据检测方法及装置、存储介质、电子装置 | |
| CN108965214B (zh) | 数据处理方法、装置及计算机存储介质 | |
| CN112734802B (zh) | 一种轨迹获取方法及装置 | |
| CN112527621A (zh) | 测试路径构建方法、装置、设备及存储介质 | |
| CN115278371A (zh) | 视频质差内容源的定位方法、装置、设备及存储介质 | |
| CN113660499A (zh) | 基于视频数据的热力图生成方法及系统 | |
| CN116700775A (zh) | 一种软件版本打包方法、装置、设备、介质及产品 | |
| CN116680273A (zh) | 一种数据存储方法、装置、设备及计算机可读介质 | |
| CN115640290A (zh) | 数据分层方法、装置、设备及计算机存储介质 | |
| CN114201390A (zh) | 埋点测试方法及相关设备 | |
| CN113470795A (zh) | 数据跟踪方法、系统、服务器及存储介质 | |
| CN113688278A (zh) | 信息处理方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220527 |
|
| RJ01 | Rejection of invention patent application after publication |