CN110825453B - 基于大数据平台的数据处理方法及装置 - Google Patents
基于大数据平台的数据处理方法及装置 Download PDFInfo
- Publication number
- CN110825453B CN110825453B CN201911022607.9A CN201911022607A CN110825453B CN 110825453 B CN110825453 B CN 110825453B CN 201911022607 A CN201911022607 A CN 201911022607A CN 110825453 B CN110825453 B CN 110825453B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- plug
- configuration information
- file corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000011144 upstream manufacturing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
- G06F9/44526—Plug-ins; Add-ons
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种基于大数据平台的数据处理方法及装置，其中方法包括：加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本发明无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件满足数据处理需求，有效提高数据处理效率，减少工作量，降低成本。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及基于大数据平台的数据处理方法及装置。
背景技术
随着计算机和网络技术的发展，电子设备的普及，越来越多的用户使用网络，为此产生了大量的数据，为了快速从海量数据中获得真正的业务价值，大数据平台应运而生。
现有的基于大数据平台的数据处理通常都需要开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节通常需要专业的人员参与，并且需要根据实际的业务需求单独开发，耗时长，工作量大且成本高。
发明内容
本发明实施例提供一种基于大数据平台的数据处理方法，用以进行数据处理，提高数据处理效率，减少处理工作量，降低成本，该方法包括：
加载数据；
读取所述数据对应的配置文件中一个或多个插件的配置信息；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。
本发明实施例提供一种基于大数据平台的数据处理装置，用以进行数据处理，提高数据处理效率，减少处理工作量，降低成本，该装置包括：
加载模块，用于加载数据；
读取模块，用于读取所述数据对应的配置文件中一个或多个插件的配置信息；
处理模块，用于根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据平台的数据处理方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据平台的数据处理方法。
相对于现有技术中通过开发代码、各环节通常需要专业的人员参与，并且需要根据实际的业务需求单独开发的方案而言，本发明实施例通过加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本发明实施例基于大数据平台的数据处理无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件的思想，满足数据处理需求，有效提高数据处理效率，减少处理工作量，降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中基于大数据平台的数据处理方法示意图；
图2为本发明实施例中基于大数据平台的数据处理方法示意图；
图3为本发明实施例中根据插件的配置信息对DataFrame格式的数据进行处理的示意图；
图4为本发明实施例中基于大数据平台的数据处理装置结构图；
图5为本发明实施例中基于大数据平台的数据处理装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
如前所述，现有的基于大数据平台的数据处理存在如下问题：1、通常都需要专业人员参与，数据源类型多、数据处理过程复杂、性能优化难度大，限制了普通用户的使用；2、通常都需要开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节通常需要专业的人员参与，处理效率低，工作量大，成本高；3、数据处理的流程一般包括读取、处理、写入三个环节，每个环节通常都需要根据实际的业务需求单独开发，功能重用度低，成本高。
为了提高数据处理效率，减少处理工作量，降低成本，本发明实施例提供一种基于大数据平台的数据处理方法，如图1所示，该方法可以包括：
步骤101、加载数据；
步骤102、读取所述数据对应的配置文件中一个或多个插件的配置信息；
步骤103、根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。
由图1所示可以得知，本发明实施例通过加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本发明实施例基于大数据平台的数据处理无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件的思想，满足数据处理需求，有效提高数据处理效率，减少处理工作量，降低成本。
具体实施时，加载数据。
实施例中，在加载数据过程中，以API接口的方式对外发布。通过该API接口，仅需使用者读取数据即可完成数据的加载。
具体实施时，读取所述数据对应的配置文件中一个或多个插件的配置信息。
发明人发现，现有的基于大数据平台的数据处理通常都需要开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节通常需要专业的人员参与，并且需要根据实际的业务需求单独开发，耗时长，工作量大且成本高，因此，本发明实施例基于插件的思想，只需要通过配置文件即可实现数据处理的逻辑，从而满足各种数据处理需求，无需开发代码，有效提高数据处理效率，减少处理工作量，降低成本。
实施例中，所述数据对应的配置文件中一个或多个插件的配置信息中，定义了数据处理的操作内容。
具体实施时，根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。
实施例中，若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理。对于每个插件，在进行处理时需要首先加载上游数据，然后根据该插件的配置信息对该上游数据进行处理，处理后的结果将作为下一个插件的上游数据。
实施例中，对所述数据进行处理还包括：sql语句处理。
实施例中，对所述数据进行处理还包括：正则表达式处理，基于一组分隔符拆分数据处理，使用分隔符对字段进行分割处理，缓存数据处理，取topn处理，将一行分裂为多行处理，每行数据增加唯一的id处理，sql语句处理，多个字段连接处理，替换处理，排序处理其中之一或任意组合，如表1所示。
表1
| 插件名 | 插件对应的处理 |
| grok | 正则表达式处理 |
| dissect | 基于一组分隔符拆分数据处理 |
| sep | 使用分隔符对字段进行分割处理 |
| cache | 缓存数据处理，用于优化 |
| topn | 取topn处理 |
| explode | 将一行分裂为多行处理 |
| rowid | 每行数据增加唯一的id处理 |
| sql | Sql语句处理 |
| concat | 多个字段连接处理 |
| replace | 替换处理 |
| sort | 排序处理 |
如图2所示，图1中基于大数据平台的数据处理方法，还包括：
步骤104、对处理后的数据进行存储。
实施例中，在存储数据过程中，以API接口的方式对外发布。通过该API接口，仅需使用者保存数据即可完成数据的存储。处理后的数据将保存至目标存储中。
实施例中，加载数据之后，将所述数据转换为DataFrame格式的数据；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，包括：根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述DataFrame格式的数据进行处理；
对处理后的数据进行存储，包括：对处理后的DataFrame格式的数据进行存储。
实施例中，若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理。对于每个插件，在进行处理时需要首先加载上游DataFrame格式的数据，然后根据该插件的配置信息对该上游数据进行插件处理，将处理后的结果转化为DataFrame格式的数据，并作为下一个插件的上游数据，如图3所示。
实施例中，各功能通过插件管理，每个插件基于API接口实现具体的功能。可以基于开放的API自定义插件，方便扩展。
下面给出一个具体实施例，说明本发明实施例基于大数据平台的数据处理的具体应用。在本实施例中，数据处理以抽象类的方式提供，伪代码如下：
本实施例中，使用流程如下：定义实现类，此实现类继承上面定义的trait类Ingest，实现数据加载和数据存储的方法即可，数据处理的逻辑只需要在配置文件配置即可。
示例伪代码如下：
调用：
val etl:Ingest＝new EtlDemo//实例化实现类
etl.access//调用trait中定义的主调方法
本实施例中，配置文件如下所示：
上述配置文件定义了两个插件，其中一个插件中的配置信息定义了sep，用于以竖线分隔符对数据进行解析。解析的字段为message，使用竖线对message字段解析为多个字段，每个字段对应的列分别为name,sex,province,age,addr，处理后的数据注册为Spark的表。如message字段的数据如表2所示，使用sep解析后的数据如表3所示。
表2
表3
| name | sex | province | age | addr |
| xiaojiang | male | jiangsu | 22 | nanjing |
| xiaohe | male | jiangsu | 23 | suzhou |
| hehe | female | beijing | 24 | chaoyang |
处理后的数据注册为Spark的表，表名为user_info，用于后续调用。
本实施例中，另一个插件中的配置信息定义了sql，用于执行sql脚本。使用sql实现各类数据处理、数据分析等功能，本例中，基于上一例注册的表user_info统计每个省的性别分别情况。处理后的数据如表4所示。
表4
| province | sex | cnt |
| jiangsu | male | 2 |
| beijing | female | 1 |
基于同一发明构思，本发明实施例还提供了一种基于大数据平台的数据处理装置，如下面的实施例所述。由于这些解决问题的原理与基于大数据平台的数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图4为本发明实施例中基于大数据平台的数据处理装置的结构图，如图4所示，该装置包括：
加载模块401，用于加载数据；
读取模块402，用于读取所述数据对应的配置文件中一个或多个插件的配置信息；
处理模块403，用于根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。
一个实施例中，如图5所示，图4中的基于大数据平台的数据处理装置，还包括：
存储模块404，用于对处理后的数据进行存储。
一个实施例中，所述加载模块401进一步用于：加载数据之后，将所述数据转换为DataFrame格式的数据；
所述处理模块403进一步用于：根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述DataFrame格式的数据进行处理；
所述存储模块404进一步用于：对处理后的DataFrame格式的数据进行存储。
一个实施例中，所述处理模块403进一步用于：若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理。
综上所述，本发明实施例通过加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本发明实施例基于大数据平台的数据处理无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件的思想，满足数据处理需求，有效提高数据处理效率，减少处理工作量，降低成本。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于大数据平台的数据处理方法，其特征在于，包括：
加载数据；
读取所述数据对应的配置文件中一个或多个插件的配置信息；所述数据对应的配置文件中一个或多个插件的配置信息中定义数据处理的操作内容；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，包括：若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理；对于每个插件，在进行处理时需要首先加载上游数据，然后根据该插件的配置信息对该上游数据进行处理，处理后的结果将作为下一个插件的上游数据；其中，每个插件为基于开放的API自定义插件，基于API接口实现具体的功能。
2.如权利要求1所述的方法，其特征在于，还包括：对处理后的数据进行存储。
3.如权利要求2所述的方法，其特征在于，加载数据之后，将所述数据转换为DataFrame格式的数据；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，包括：根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述DataFrame格式的数据进行处理；
对处理后的数据进行存储，包括：对处理后的DataFrame格式的数据进行存储。
4.一种基于大数据平台的数据处理装置，其特征在于，包括：
加载模块，用于加载数据；
读取模块，用于读取所述数据对应的配置文件中一个或多个插件的配置信息；所述数据对应的配置文件中一个或多个插件的配置信息中定义数据处理的操作内容；
处理模块，用于根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理；
所述处理模块进一步用于：若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理；对于每个插件，在进行处理时需要首先加载上游数据，然后根据该插件的配置信息对该上游数据进行处理，处理后的结果将作为下一个插件的上游数据；其中，每个插件为基于开放的API自定义插件，基于API接口实现具体的功能。
5.如权利要求4所述的装置，其特征在于，还包括：
存储模块，用于对处理后的数据进行存储。
6.如权利要求5所述的装置，其特征在于，所述加载模块进一步用于：加载数据之后，将所述数据转换为DataFrame格式的数据；
所述处理模块进一步用于：根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述DataFrame格式的数据进行处理；
所述存储模块进一步用于：对处理后的DataFrame格式的数据进行存储。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一所述方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911022607.9A CN110825453B (zh) | 2019-10-25 | 2019-10-25 | 基于大数据平台的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911022607.9A CN110825453B (zh) | 2019-10-25 | 2019-10-25 | 基于大数据平台的数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110825453A CN110825453A (zh) | 2020-02-21 |
| CN110825453B true CN110825453B (zh) | 2023-12-05 |
Family
ID=69550534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911022607.9A Active CN110825453B (zh) | 2019-10-25 | 2019-10-25 | 基于大数据平台的数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825453B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112068898B (zh) * | 2020-09-01 | 2024-04-19 | 上海熙菱信息技术有限公司 | 一种可配置插件式服务集成系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999537A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 一种数据迁移系统和方法 |
| CN103810008A (zh) * | 2014-02-19 | 2014-05-21 | 迈普通信技术股份有限公司 | 插件加载方法及系统 |
| CN106250571A (zh) * | 2016-10-11 | 2016-12-21 | 北京集奥聚合科技有限公司 | 一种etl数据处理的方法及系统 |
| CN108509447A (zh) * | 2017-02-24 | 2018-09-07 | 北京国双科技有限公司 | 数据处理方法及装置 |
| CN108762824A (zh) * | 2018-04-18 | 2018-11-06 | 青岛海尔科技有限公司 | 一种基于配置文件的设备逻辑处理方法及装置 |
| CN108897691A (zh) * | 2018-06-29 | 2018-11-27 | 百度在线网络技术（北京）有限公司 | 基于接口模拟服务的数据处理方法、装置、服务器和介质 |
| CN109491718A (zh) * | 2018-09-13 | 2019-03-19 | 北京米文动力科技有限公司 | 一种插件加载方法及设备 |
| CN110032400A (zh) * | 2018-01-09 | 2019-07-19 | 武汉斗鱼网络科技有限公司 | 一种加载插件的方法及电子终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557486A (zh) * | 2015-09-25 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 一种数据的存储方法和装置 |
-
2019
- 2019-10-25 CN CN201911022607.9A patent/CN110825453B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999537A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 一种数据迁移系统和方法 |
| CN103810008A (zh) * | 2014-02-19 | 2014-05-21 | 迈普通信技术股份有限公司 | 插件加载方法及系统 |
| CN106250571A (zh) * | 2016-10-11 | 2016-12-21 | 北京集奥聚合科技有限公司 | 一种etl数据处理的方法及系统 |
| CN108509447A (zh) * | 2017-02-24 | 2018-09-07 | 北京国双科技有限公司 | 数据处理方法及装置 |
| CN110032400A (zh) * | 2018-01-09 | 2019-07-19 | 武汉斗鱼网络科技有限公司 | 一种加载插件的方法及电子终端 |
| CN108762824A (zh) * | 2018-04-18 | 2018-11-06 | 青岛海尔科技有限公司 | 一种基于配置文件的设备逻辑处理方法及装置 |
| CN108897691A (zh) * | 2018-06-29 | 2018-11-27 | 百度在线网络技术（北京）有限公司 | 基于接口模拟服务的数据处理方法、装置、服务器和介质 |
| CN109491718A (zh) * | 2018-09-13 | 2019-03-19 | 北京米文动力科技有限公司 | 一种插件加载方法及设备 |
Non-Patent Citations (3)
| Title |
|---|
| "WebGIS Resolution for Management Information System of Disaster Prevention";Chen Yanhua 等;《2009 International Forum on Information Technology and Applications》;全文 * |
| 沈琦 等."基于大数据处理的ETL框架的研究与设计".《电子设计工程》.2016,(第02期),全文. * |
| 秦树鑫 等.《指挥信息系统与技术》.2016,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110825453A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109739894B (zh) | 补充元数据描述的方法、装置、设备及存储介质 | |
| Li et al. | Fast and accurate short read alignment with Burrows–Wheeler transform | |
| US8209703B2 (en) | Apparatus and method for dataflow execution in a distributed environment using directed acyclic graph and prioritization of sub-dataflow tasks | |
| Ediger et al. | Tracking structure of streaming social networks | |
| US10430469B2 (en) | Enhanced document input parsing | |
| CN107729423B (zh) | 一种大数据处理方法及装置 | |
| CN102750309B (zh) | 一种基于Hadoop的并行化SVM求解方法 | |
| Schätzle et al. | Large-scale bisimulation of RDF graphs | |
| CN107291716B (zh) | 一种链路数据校验方法及装置 | |
| CN109857803B (zh) | 数据同步方法、装置、设备、系统及计算机可读存储介质 | |
| CN108268586B (zh) | 跨多数据表的数据处理方法、装置、介质和计算设备 | |
| CN109871311B (zh) | 一种推荐测试用例的方法和装置 | |
| CN111950263B (zh) | 一种日志解析方法、系统及电子设备 | |
| US11288266B2 (en) | Candidate projection enumeration based query response generation | |
| CN110825453B (zh) | 基于大数据平台的数据处理方法及装置 | |
| CN114691356A (zh) | 数据并行处理方法、装置、计算机设备及可读存储介质 | |
| CN111767320A (zh) | 数据血缘关系确定方法及装置 | |
| CN110609924A (zh) | 基于图数据的全量关系计算方法、装置、设备及存储介质 | |
| CN114385173A (zh) | 编译方法、装置、设备及存储介质 | |
| Wang et al. | Anonymization for multiple released social network graphs | |
| CN110580255A (zh) | 一种存储并检索数据的方法以及系统 | |
| CN111026736B (zh) | 数据血缘管理方法及装置、数据血缘解析方法及装置 | |
| CN113515547B (zh) | 多关联实时数据流的乱序处理方法、装置、介质和设备 | |
| CN113032368A (zh) | 一种数据迁移方法、装置、存储介质及平台 | |
| CN109543024B (zh) | 一种文本处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |