CN109254989A - 一种基于元数据驱动的弹性etl架构设计的方法及装置 - Google Patents

一种基于元数据驱动的弹性etl架构设计的方法及装置 Download PDF

Info

Publication number
CN109254989A
CN109254989A CN201810984157.0A CN201810984157A CN109254989A CN 109254989 A CN109254989 A CN 109254989A CN 201810984157 A CN201810984157 A CN 201810984157A CN 109254989 A CN109254989 A CN 109254989A
Authority
CN
China
Prior art keywords
data
engine
transfer area
etl
metadatabase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810984157.0A
Other languages
English (en)
Other versions
CN109254989B (zh
Inventor
杨清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Neusoft Wang Hai Technology Co Ltd
Original Assignee
Beijing Neusoft Wang Hai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Neusoft Wang Hai Technology Co Ltd filed Critical Beijing Neusoft Wang Hai Technology Co Ltd
Priority to CN201810984157.0A priority Critical patent/CN109254989B/zh
Publication of CN109254989A publication Critical patent/CN109254989A/zh
Application granted granted Critical
Publication of CN109254989B publication Critical patent/CN109254989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于元数据驱动的弹性ETL架构设计的方法及装置，其能够解决改进现有ETL架构的技术问题；包括如下步骤：设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算；将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎；根据所述中转区存储与计算服务的运算能力选择数据操作接口；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。本发明可为ETL架构增加弹性扩展能力，切换数据操作接口方式更为简单。

Description

一种基于元数据驱动的弹性ETL架构设计的方法及装置
技术领域
本发明涉及微服务架构技术领域，具体涉及一种基于元数据驱动的弹性ETL架构设计的方法及装置。
背景技术
ETL(Extract-Transform-Load)是指从数据源获取数据，并对数据进行清洗转换，最终加载到目标数据库或者数据仓库的过程。BI分析，数据挖掘往往需要ETL工具将大量数据从传统的操作环境中分离出来，使分散、零乱、标准不统一的操作数据转换成集成、统一的信息。一个设计良好，功能强大，高效灵活的ETL产品可以快速的按照目标系统的数据要求，采集、转换和输出高质量的数据。现有技术中的ETL架构简单或者无架构，数据的采集，清洗转换，输出往往是一整段程序逻辑，元数据管理不够，不便于ETL过程的维护和管理；现有技术中的ETL架构在目标数据库上运行ETL逻辑，加重了目标数据库的负担，对目标数据本身系统的运行产生性能影响；进一步地，在ETL过程执行中，如果出现错误或者异常，很难定位，查错比较困难，缺少链路监控；进一步地，现有ETL架构开发成本高，基本上每上一个业务都需要写程序逻辑，因此无形中增加了企业的研发成本；此外，现有ETL架构在数据计算接口方面，兼容性偏低，在实现中转区存储与计算服务时难以满足弹性扩展数据操作接口的使用需求，进而无形中增加企业在搭建ETL架构时的操作成本。
因此，提供一种基于元数据驱动的弹性ETL架构设计的方法及装置，用于解决上述技术问题中的至少一种，成为本领域亟待解决的技术问题。
发明内容
本发明的目的在于克服上述不足，提供一种基于元数据驱动的弹性ETL架构设计的方法及装置，其能够解决改进现有ETL架构的技术问题。
为了实现上述目的，一方面，本发明采用的技术方案为：一种基于元数据驱动的弹性ETL架构设计的方法，所述方法包括如下步骤：
设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算；将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎；根据所述中转区存储与计算服务的运算能力选择数据操作接口；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。
优选地，所述数据抽取引擎用于按照所述元数据库内的元数据提供的抽取规则，获取各种异构数据源，并将数据抽取成统一格式的标准数据集。
优选地，所述数据转换引擎用于按照所述元数据库内的元数据提供的转换规则，对数据中转区中存储的数据进行转换处理，得到相应的数据结果。
优选地，所述数据转换引擎将数据分成类处理：第一类，对数据值的处理和转换；第二类，对数据进行规则校验并过滤；第三类，数据表结构的转换。
优选地，所述数据加载引擎用于按照元数据库内提供的数据规则加载元数据、处理数据加载环境，并将数据缓冲区中的结果数据加载到目标数据库中。
优选地，所述数据加载引擎支持将数据加载到Oracle、SqlServer、Mysql、HDFS或Hive中。
优选地，当所述数据操作接口为多个时，所述中转区存储与计算服务采用改和/或调用参数的方式切换所述数据操作接口。
优选地，所述中转区存储与计算服务对于数量级在1000万以下的数据处理，采用与Mysql、SqlServer或Oracle相适配的数据操作接口。
优选地，所述中转区存储与计算服务对于数量级大于等于1000万的大数据处理时，采用与Hive相适配的数据操作接口。
另一方面，本发明还提供一种基于元数据驱动的弹性ETL架构设计的装置，包括：用于设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算的装置；用于将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎的装置；用于根据所述中转区存储与计算服务的运算能力选择数据操作接口的装置；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。
本发明的有益效果为：
1、建立全面的数据ETL过程的元数据模型并对元数据进行管理，所有的ETL逻辑通过元数据配置描叙，ETL过程的维护，就是元数据的维护。
2、引入了数据中转区，ETL过程变成了从各种异构数据源中抽取数据加载到数据中转区，然后对数据中转区中的数据进行清洗转换操作，最后加载到目标数据库或者数据仓库。通过增加数据中转区大大减轻了目标数据库的负担，提高了数据转换效率。
3、对ETL过程中的数据抽取，清洗转换，数据加载进行全链路监控，便于数据ETL过程调试和运维。
4、应用实施过程中针对不同的数据量级，采取不同的中转区存储和计算方案，中转区存储与计算服务适配对应的存储和计算接口，弹性扩展ETL能力，全面平衡业务目标、ETL效率要求、经济效益等指标。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明基于元数据驱动的弹性ETL架构设计的方法的设计原理图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
图1所示本发明基于元数据驱动的弹性ETL架构设计的方法的设计原理图，其中，基于元数据驱动的弹性ETL架构设计的方法，包括如下步骤：
设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算；
将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎；
根据所述中转区存储与计算服务的运算能力选择数据操作接口；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。
具体的，在上述方案中，数据抽取引擎，数据转换引擎，数据加载引擎均在元数据指导下调用中转区存储与计算服务来完成数据的存储和计算；中转区存储与计算服务的能力直接决定了ETL的处理能力；对于数据量级在1000万以下的数据处理，可以采用Mysql、SqlServer、Oracle存储数据，相应的中转区存储与计算服务分别适配Mysql、SqlServer、Oracle数据的大批量数据操作接口；对于大大数据的处理，数据中转区适配分布式存储与分布式计算接口；分布式存储和分布是计算可以灵活扩大集群规模来达到数据存储和数据处理的要求；ETL处理能力升级，只需要更换数据库或者数据仓库，元数据不用变动。上述方法可为ETL架构增加弹性扩展能力，切换数据操作接口方式更为简单。
上述技术方案中技术关键点：基于元数据驱动ETL架构相关方案，以及ETL能力弹性扩展相关方案所带来的有益效果如下：
1、建立全面的数据ETL过程的元数据模型并对元数据进行管理，所有的ETL逻辑通过元数据配置描叙，ETL过程的维护，就是元数据的维护。
2、引入了数据中转区，ETL过程变成了从各种异构数据源中抽取数据加载到数据中转区，然后对数据中转区中的数据进行清洗转换操作，最后加载到目标数据库或者数据仓库。通过增加数据中转区大大减轻了目标数据库的负担，提高了数据转换效率；
3、对ETL过程中的数据抽取，清洗转换，数据加载进行全链路监控，便于数据ETL过程调试和运维。
4、应用实施过程中针对不同的数据量级，采取不同的中转区存储和计算方案，中转区存储与计算服务适配对应的存储和计算接口，弹性扩展ETL能力，全面平衡业务目标、ETL效率要求、经济效益等指标。
进一步地，在本实施例的其中一个优选技术方案中，所述数据抽取引擎用于按照所述元数据库内的元数据提供的抽取规则，获取各种异构数据源，并将数据抽取成统一格式的标准数据集。
进一步地，在本实施例的其中一个优选技术方案中，所述数据转换引擎用于按照所述元数据库内的元数据提供的转换规则，对数据中转区中存储的数据进行转换处理，得到相应的数据结果。
进一步地，在本实施例的其中一个优选技术方案中，所述数据转换引擎将数据分成类处理：第一类，对数据值的处理和转换；第二类，对数据进行规则校验并过滤；第三类，数据表结构的转换。
进一步地，在本实施例的其中一个优选技术方案中，所述数据加载引擎用于按照元数据库内提供的数据规则加载元数据、处理数据加载环境，并将数据缓冲区中的结果数据加载到目标数据库中。
进一步地，在本实施例的其中一个优选技术方案中，所述数据加载引擎支持将数据加载到Oracle、SqlServer、Mysql、HDFS或Hive中。
进一步地，在本实施例的其中一个优选技术方案中，当所述数据操作接口为多个时，所述中转区存储与计算服务采用改和/或调用参数的方式切换所述数据操作接口。
进一步地，在本实施例的其中一个优选技术方案中，所述中转区存储与计算服务对于数量级在1000万以下的数据处理，采用与Mysql、SqlServer或Oracle相适配的数据操作接口。
进一步地，在本实施例的其中一个优选技术方案中，所述中转区存储与计算服务对于数量级大于等于1000万的大数据处理时，采用与Hive相适配的数据操作接口。
为更进一步充分公开本方案，并实现本方案所陈述的相关功能，本发明还提供一种基于元数据驱动的弹性ETL架构设计的装置，包括：用于设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算的装置；用于将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎的装置；用于根据所述中转区存储与计算服务的运算能力选择数据操作接口的装置；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。
为更进一步解释本发明上述技术方案，针对上述技术方案的一个有效应用例如下：
1、科室成本核算，需要从会计系统，物流系统，固定资产系统，人力系统，His收费系统等获取全成本数据，并按照统一的标准的科室维护进行核算与分析。
2、配置抽取元数据：首先我们需要配置各数据来源系统的数据源连接元数据，通过扫描或者手工录入，excel导入等方式建立维护数据模型元数据，然后设置抽取表对应关系、抽取字段对应关系元数据，抽取规则元数据；
3、配置转换元数据：科室字典数据与标准科室对照等转换元数据，标记转换字段元数据，转换结果数据模型元数据；
4、加载元数据：数据输出数据源元数据，数据输出表对应、字段对应元数据，数据输出策略元数据；
5、定时任务与ETL流程：ETL运行周期元数据、ETL执行流程元数据(一般按照抽取，转换，加载顺序流程执行)；
6、启动定时任务后，定时触发ETL流程运行，流程引擎按照元数据配置逻辑调用抽取引擎、转换引擎、加载引擎执行数据的ETL过程，最后成本核算系统数据库获取到科室标准统一的全成本原始数据。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种基于元数据驱动的弹性ETL架构设计的方法，所述方法包括如下步骤：
设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算；
将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎；
根据所述中转区存储与计算服务的运算能力选择数据操作接口；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。
2.根据权利要求1所述的方法，其特征在于，所述数据抽取引擎用于按照所述元数据库内的元数据提供的抽取规则，获取各种异构数据源，并将数据抽取成统一格式的标准数据集。
3.根据权利要求1所述的方法，其特征在于，所述数据转换引擎用于按照所述元数据库内的元数据提供的转换规则，对数据中转区中存储的数据进行转换处理，得到相应的数据结果。
4.根据权利要求3所述的方法，其特征在于，所述数据转换引擎将数据分成类处理：第一类，对数据值的处理和转换；第二类，对数据进行规则校验并过滤；第三类，数据表结构的转换。
5.根据权利要求1所述的方法，其特征在于，所述数据加载引擎用于按照元数据库内提供的数据规则加载元数据、处理数据加载环境，并将数据缓冲区中的结果数据加载到目标数据库中。
6.根据权利要求5所述的方法，其特征在于，所述数据加载引擎支持将数据加载到Oracle、SqlServer、Mysql、HDFS或Hive中。
7.根据权利要求1所述的方法，其特征在于，当所述数据操作接口为多个时，所述中转区存储与计算服务采用改和/或调用参数的方式切换所述数据操作接口。
8.根据权利要求1所述的方法，其特征在于，所述中转区存储与计算服务对于数量级在1000万以下的数据处理，采用与Mysql、SqlServer或Oracle相适配的数据操作接口。
9.根据权利要求1所述的方法，其特征在于，所述中转区存储与计算服务对于数量级大于等于1000万的大数据处理时，采用与Hive相适配的数据操作接口。
10.一种基于元数据驱动的弹性ETL架构设计的装置，其特征在于，包括：用于设置元数据库，所述元数据库用于指导数据引擎调用中转区存储与计算服务，来完成数据的存储和计算的装置；
用于将所述数据引擎划分为：数据抽取引擎、数据转换引擎和数据加载引擎的装置；
用于根据所述中转区存储与计算服务的运算能力选择数据操作接口的装置；所述数据操作接口包括：Mysql、SqlServer、Oracle和Hive中的至少一种。
CN201810984157.0A 2018-08-27 2018-08-27 一种基于元数据驱动的弹性etl架构设计的方法及装置 Active CN109254989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810984157.0A CN109254989B (zh) 2018-08-27 2018-08-27 一种基于元数据驱动的弹性etl架构设计的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810984157.0A CN109254989B (zh) 2018-08-27 2018-08-27 一种基于元数据驱动的弹性etl架构设计的方法及装置

Publications (2)

Publication Number Publication Date
CN109254989A true CN109254989A (zh) 2019-01-22
CN109254989B CN109254989B (zh) 2020-11-20

Family

ID=65049053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810984157.0A Active CN109254989B (zh) 2018-08-27 2018-08-27 一种基于元数据驱动的弹性etl架构设计的方法及装置

Country Status (1)

Country Link
CN (1) CN109254989B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704527A (zh) * 2019-10-10 2020-01-17 北京东软望海科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN111125243A (zh) * 2019-11-12 2020-05-08 望海康信(北京)科技股份公司 数据一致性校验系统及方法
CN112579705A (zh) * 2019-09-27 2021-03-30 北京国双科技有限公司 元数据采集方法、装置、计算机设备和存储介质
CN113535758A (zh) * 2021-09-09 2021-10-22 浩鲸云计算科技股份有限公司 一种把传统数据库脚本批量转换上云的大数据系统和方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040280A (zh) * 2004-08-31 2007-09-19 国际商业机器公司 元数据管理
US20120151597A1 (en) * 2010-12-14 2012-06-14 International Business Machines Corporation De-Identification of Data
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及系统
US8892505B2 (en) * 2010-10-28 2014-11-18 Hewlett-Packard Development Company, L.P. Method for scheduling a task in a data warehouse
CN105122243A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 用于半结构化数据的可扩展分析平台
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN106708993A (zh) * 2016-12-16 2017-05-24 武汉中地数码科技有限公司 基于大数据技术的空间数据存储处理中间件框架实现方法
CN106897411A (zh) * 2017-02-20 2017-06-27 广东奡风科技股份有限公司 基于Spark技术的ETL系统及其方法
CN107220310A (zh) * 2017-05-11 2017-09-29 中国联合网络通信集团有限公司 一种数据库数据管理系统、方法及装置
CN107402976A (zh) * 2017-07-03 2017-11-28 国网山东省电力公司经济技术研究院 一种基于多元异构模型的电网多源数据融合方法及系统
CN107515927A (zh) * 2017-08-24 2017-12-26 深圳市云房网络科技有限公司 一种房地产用户行为分析平台
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
US20180101584A1 (en) * 2016-10-07 2018-04-12 Sudeep Pattnaik Clinical data aggregation architecture and platform
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法
CN108304538A (zh) * 2018-01-30 2018-07-20 广东奡风科技股份有限公司 一种完全基于分布式内存计算的etl系统及其方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040280A (zh) * 2004-08-31 2007-09-19 国际商业机器公司 元数据管理
US8892505B2 (en) * 2010-10-28 2014-11-18 Hewlett-Packard Development Company, L.P. Method for scheduling a task in a data warehouse
US20120151597A1 (en) * 2010-12-14 2012-06-14 International Business Machines Corporation De-Identification of Data
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及系统
CN105122243A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 用于半结构化数据的可扩展分析平台
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
US20180101584A1 (en) * 2016-10-07 2018-04-12 Sudeep Pattnaik Clinical data aggregation architecture and platform
CN106708993A (zh) * 2016-12-16 2017-05-24 武汉中地数码科技有限公司 基于大数据技术的空间数据存储处理中间件框架实现方法
CN106897411A (zh) * 2017-02-20 2017-06-27 广东奡风科技股份有限公司 基于Spark技术的ETL系统及其方法
CN107220310A (zh) * 2017-05-11 2017-09-29 中国联合网络通信集团有限公司 一种数据库数据管理系统、方法及装置
CN107402976A (zh) * 2017-07-03 2017-11-28 国网山东省电力公司经济技术研究院 一种基于多元异构模型的电网多源数据融合方法及系统
CN107515927A (zh) * 2017-08-24 2017-12-26 深圳市云房网络科技有限公司 一种房地产用户行为分析平台
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法
CN108304538A (zh) * 2018-01-30 2018-07-20 广东奡风科技股份有限公司 一种完全基于分布式内存计算的etl系统及其方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579705A (zh) * 2019-09-27 2021-03-30 北京国双科技有限公司 元数据采集方法、装置、计算机设备和存储介质
CN110704527A (zh) * 2019-10-10 2020-01-17 北京东软望海科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN111125243A (zh) * 2019-11-12 2020-05-08 望海康信(北京)科技股份公司 数据一致性校验系统及方法
CN113535758A (zh) * 2021-09-09 2021-10-22 浩鲸云计算科技股份有限公司 一种把传统数据库脚本批量转换上云的大数据系统和方法
CN113535758B (zh) * 2021-09-09 2021-12-24 浩鲸云计算科技股份有限公司 一种把传统数据库脚本批量转换上云的大数据系统和方法

Also Published As

Publication number Publication date
CN109254989B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN109254989A (zh) 一种基于元数据驱动的弹性etl架构设计的方法及装置
CN109739894B (zh) 补充元数据描述的方法、装置、设备及存储介质
CN101510203B (zh) 基于拆分机制并行处理实现大数据量高性能处理的方法
CN102947804B (zh) 当追踪数据处理系统时的键配置
CN107220757B (zh) 一种规则配置及解析的系统和方法
CN108038239A (zh) 一种异构数据源规范化处理方法、装置及服务器
CN108664635B (zh) 数据库统计信息的获取方法、装置、设备和存储介质
CN103425672A (zh) 一种数据库索引的建立方法及装置
CN102521218B (zh) 文件合成方法及装置
CN109684332A (zh) 一种数据宽表生成方法、装置及系统
CN110399377A (zh) Sql的优化方法、装置、电子设备及计算机可读存储介质
CN109376196A (zh) 一种redo日志批量同步方法及装置
CN111400288A (zh) 数据质量检查方法及系统
CN102819589A (zh) 一种基于etl的数据优化方法及设备
CN110858506A (zh) 自动排班方法、装置、设备及计算机存储介质
CN104392050A (zh) 三维模型零件比对系统及其方法
CN112905446A (zh) 测试用例的生成方法、装置、设备和存储介质
CN108255467A (zh) 按照工作流顺序执行服务的方法、装置及系统
CN114756629B (zh) 基于sql的多源异构数据交互分析引擎及方法
CN113535481B (zh) 数据的回溯方法、装置和非易失性计算机可读存储介质
CN117032722B (zh) 基于api文档的代码生成方法
CN108874395A (zh) 一种组件化流处理过程中的硬编译方法及装置
WO2024082530A1 (zh) 一种数字孪生数据模型驱动的高性能虚拟仿真方法及系统
CN115712843B (zh) 基于人工智能的数据匹配检测处理方法及系统
CN110019501A (zh) 一种数据采集方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 801-2, floor 8, building 3, No. 22, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Wanghai Kangxin (Beijing) Technology Co.,Ltd.

Address before: Room 07, Room 2, Building B, 12 Hongda North Road, Beijing Daxing District, Beijing

Applicant before: BEIJING NEUSOFT VIEWHIGH TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant