CN111949680A - 数据处理方法、装置、计算机设备及存储介质 - Google Patents
数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111949680A CN111949680A CN201910414685.7A CN201910414685A CN111949680A CN 111949680 A CN111949680 A CN 111949680A CN 201910414685 A CN201910414685 A CN 201910414685A CN 111949680 A CN111949680 A CN 111949680A
- Authority
- CN
- China
- Prior art keywords
- data
- data source
- data processing
- parameter information
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 256
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001914 filtration Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000013501 data transformation Methods 0.000 claims description 5
- 230000000712 assembly Effects 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Abstract
本发明公开了一种数据处理方法、装置、计算机设备及存储介质，属于数据处理技术领域。所述方法包括：基于数据源配置界面，获取数据源的参数信息；基于所述数据源的参数信息，对所述数据源进行数据采集；基于数据流程配置界面，生成数据处理流程；基于所述数据处理流程，对采集到的数据进行处理。本发明通过可视化的配置界面实现数据处理，无需编写代码，降低了数据处理的成本，提高了数据处理的效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。
背景技术
ETL(Extract-Transform-Load，抽取-清洗转换-加载)是将业务系统的数据经过抽取(采集)、清洗转换之后加载(存储)到数据仓库的过程，目的是将企业中分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。其中，业务系统包含各种数据库，这些数据库既为业务系统提供数据支撑，同时也作为数据仓库的数据源。
目前，程序员预先根据业务，编写数据抽取过程的代码、数据转换过程的代码以及数据加载过程的代码，从而得到ETL流程，然后计算机设备通过执行这些代码，来实现数据处理。
上述技术中通过编写代码来实现数据处理，需要程序员根据业务编写相关代码，这种方式对程序员的编码水平要求较高，且代码不利于维护和更新，当业务变化时需要重新编写代码，数据处理的成本高、效率低。
发明内容
本发明实施例提供了一种数据处理方法、装置、计算机设备及存储介质，可以解决相关技术中数据处理过程所存在的成本高、效率低的问题。所述技术方案如下：
第一方面，提供了一种数据处理方法，所述方法包括：
基于数据源配置界面，获取数据源的参数信息；
基于所述数据源的参数信息，对所述数据源进行数据采集；
基于数据流程配置界面，生成数据处理流程；
基于所述数据处理流程，对采集到的数据进行处理。
在一种可能实现方式中，所述基于数据源配置界面，获取数据源的参数信息，包括：
获取在所述数据源配置界面上输入的参数信息；
当基于所述输入的参数信息与所述数据源连接成功时，将所述输入的参数信息作为所述数据源的参数信息。
在一种可能实现方式中，所述基于所述数据源的参数信息，对所述数据源进行数据采集，包括：
基于所述数据源的参数信息，采集所述数据源的元数据信息，所述数据源的元数据信息用于描述所述数据源以及所述数据源中的数据表；
显示所述数据源的元数据信息；
对所述数据源中被选中的至少一个数据表进行数据采集；
将采集到的数据存储到数据仓库中。
在一种可能实现方式中，所述数据源的参数信息包括所述数据源的IP(InternetProtocol，互联网协议)地址、端口、用户名和密码；
所述基于所述数据源的参数信息，采集所述数据源的元数据信息，包括：
基于所述数据源的IP地址、端口、用户名和密码，与所述数据源建立连接；
基于建立的所述连接，采集所述数据源的元数据信息。
在一种可能实现方式中，所述数据源的元数据信息包括所述数据源的名称、所述数据源中数据表的名称和字段信息，所述字段信息包括字段的名称、类型和描述信息。
在一种可能实现方式中，所述数据处理流程用于基于多个数据处理组件进行数据处理，
所述基于数据流程配置界面，生成数据处理流程，包括：
基于所述数据流程配置界面，获取所述多个数据处理组件的处理顺序；
基于所述多个数据处理组件的处理顺序，生成所述数据处理流程，所述数据处理流程为所述多个数据处理组件按照所述处理顺序进行数据处理。
在一种可能实现方式中，所述方法还包括：
当接收到对所述多个数据处理组件中任一数据处理组件的配置指令时，基于所述任一数据处理组件的组件配置界面，获取所述任一数据处理组件的参数信息。
在一种可能实现方式中，所述多个数据处理组件包括读数据表组件、SQL(SparkStructured Query Language，结构化查询语言)组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；
所述读数据表组件用于读取数据源中数据表的数据；
所述SQL组件用于基于SQL语句进行数据处理；
所述过滤筛选组件用于对数据进行过滤筛选；
所述数据合并组件用于对不同数据表的数据进行合并；
所述数据转换组件用于将数据的初始格式转换为目标格式。
第二方面，提供了一种数据处理装置，所述装置包括：
获取模块，用于基于数据源配置界面，获取数据源的参数信息；
采集模块，用于基于所述数据源的参数信息，对所述数据源进行数据采集；
生成模块，用于基于数据流程界面配置，生成数据处理流程；
处理模块，用于基于所述数据处理流程，对采集到的数据进行处理。
在一种可能实现方式中，所述获取模块用于：
获取在所述数据源配置界面上输入的参数信息；
当基于所述输入的参数信息与所述数据源连接成功时，将所述输入的参数信息作为所述数据源的参数信息。
在一种可能实现方式中，所述采集模块用于：
基于所述数据源的参数信息，采集所述数据源的元数据信息，所述数据源的元数据信息用于描述所述数据源以及所述数据源中的数据表；
显示所述数据源的元数据信息；
对所述数据源中被选中的至少一个数据表进行数据采集；
将采集到的数据存储到数据仓库中。
在一种可能实现方式中，所述数据源的参数信息包括所述数据源的互联网协议IP地址、端口、用户名和密码；
所述采集模块用于基于所述数据源的IP地址、端口、用户名和密码，与所述数据源建立连接；基于建立的所述连接，采集所述数据源的元数据信息。
在一种可能实现方式中，所述数据源的元数据信息包括所述数据源的名称、所述数据源中数据表的名称和字段信息，所述字段信息包括字段的名称、类型和描述信息。
在一种可能实现方式中，所述数据处理流程用于基于多个数据处理组件进行数据处理，所述生成模块用于：
基于所述数据流程配置界面，获取所述多个数据处理组件的处理顺序；
基于所述多个数据处理组件的处理顺序，生成所述数据处理流程，所述数据处理流程为所述多个数据处理组件按照所述处理顺序进行数据处理。
在一种可能实现方式中，所述获取模块还用于当接收到对所述多个数据处理组件中任一数据处理组件的配置指令时，基于所述任一数据处理组件的组件配置界面，获取所述任一数据处理组件的参数信息。
在一种可能实现方式中，所述多个数据处理组件包括读数据表组件、SQL()组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；
所述读数据表组件用于读取数据源中数据表的数据；
所述SQL组件用于基于SQL语句进行数据处理；
所述过滤筛选组件用于对数据进行过滤筛选；
所述数据合并组件用于对不同数据表的数据进行合并；
所述数据转换组件用于将数据的初始格式转换为目标格式。
第三方面，提供了一种计算机设备，包括一个或多个处理器和一个或多个存储器；所述一个或多个存储器，用于存放至少一条指令；所述一个或多个处理器，用于执行所述一个或多个存储器上所存放的至少一条指令，实现第一方面任一种实现方式所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有至少一条指令，所述至少一条指令被处理器执行时实现第一方面任一种实现方式所述的方法步骤。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过可视化的数据源配置界面，配置数据源的参数信息，基于配置好的参数信息，对数据源进行数据采集，通过可视化的数据流程配置界面，配置数据处理流程，从而基于配置好的数据处理流程进行数据处理。上述方案通过可视化的配置界面实现数据处理，无需编写代码，降低了数据处理的成本，提高了数据处理的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程图；
图2是本发明实施例提供的一种数据处理方法的流程图；
图3是本发明实施例提供的一种数据源配置界面的示意图；
图4是本发明实施例提供的一种数据处理流程的示意图；
图5是本发明实施例提供的一种组件配置界面的示意图；
图6是本发明实施例提供的一种数据处理方法的流程图；
图7是本发明实施例提供的一种数据处理装置的结构示意图；
图8是本发明实施例提供的一种终端800的结构示意图；
图9是本发明实施例提供的一种服务器900的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种数据处理方法的流程图。参见图1，该方法包括：
101、基于数据源配置界面，获取数据源的参数信息。
102、基于该数据源的参数信息，对该数据源进行数据采集。
103、基于数据流程配置界面，生成数据处理流程。
104、基于该数据处理流程，对采集到的数据进行处理。
本发明实施例提供的方法，通过可视化的数据源配置界面，配置数据源的参数信息，基于配置好的参数信息，对数据源进行数据采集，通过可视化的数据流程配置界面，配置数据处理流程，从而基于配置好的数据处理流程进行数据处理。上述方案通过可视化的配置界面实现数据处理，无需编写代码，降低了数据处理的成本，提高了数据处理的效率。
在一种可能实现方式中，该基于数据源配置界面，获取数据源的参数信息，包括：
获取在该数据源配置界面上输入的参数信息；
当基于该输入的参数信息与该数据源连接成功时，将该输入的参数信息作为该数据源的参数信息。
在一种可能实现方式中，该基于该数据源的参数信息，对该数据源进行数据采集，包括：
基于该数据源的参数信息，采集该数据源的元数据信息，该数据源的元数据信息用于描述该数据源以及该数据源中的数据表；
显示该数据源的元数据信息；
对该数据源中被选中的至少一个数据表进行数据采集；
将采集到的数据存储到数据仓库中。
在一种可能实现方式中，该数据源的参数信息包括该数据源的互联网协议IP地址、端口、用户名和密码；
该基于该数据源的参数信息，采集该数据源的元数据信息，包括：
基于该数据源的IP地址、端口、用户名和密码，与该数据源建立连接；
基于建立的该连接，采集该数据源的元数据信息。
在一种可能实现方式中，该数据源的元数据信息包括该数据源的名称、该数据源中数据表的名称和字段信息，该字段信息包括字段的名称、类型和描述信息。
在一种可能实现方式中，该数据处理流程用于基于多个数据处理组件进行数据处理，
该基于数据流程配置界面，生成数据处理流程，包括：
基于该数据流程配置界面，获取该多个数据处理组件的处理顺序；
基于该多个数据处理组件的处理顺序，生成该数据处理流程，该数据处理流程为该多个数据处理组件按照该处理顺序进行数据处理。
在一种可能实现方式中，该方法还包括：
当接收到对该多个数据处理组件中任一数据处理组件的配置指令时，基于该任一数据处理组件的组件配置界面，获取该任一数据处理组件的参数信息。
在一种可能实现方式中，该多个数据处理组件包括读数据表组件、SQL组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；
该读数据表组件用于读取数据源中数据表的数据；
该SQL组件用于基于SQL语句进行数据处理；
该过滤筛选组件用于对数据进行过滤筛选；
该数据合并组件用于对不同数据表的数据进行合并；
该数据转换组件用于将数据的初始格式转换为目标格式。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图2是本发明实施例提供的一种数据处理方法的流程图。参见图2，该方法由计算机设备执行，该计算机设备可以是服务器，也可以是终端，该方法包括：
201、基于数据源配置界面，获取数据源的参数信息。
其中，数据源可以是数据库，也可以是服务器、终端等任一种能够提供数据的数据存储设备。数据源的参数信息可以包括该数据源的连接参数，还可以包括用于描述该数据源的信息。
本发明实施例中，计算机设备可以为用户提供一个数据源配置界面，用户可以在该数据源配置界面上输入与要采集的数据源相关的一些参数信息，使得计算机设备可以获取到这些参数信息，也即是，创建数据源实例。
在一种可能实现方式中，该数据源的参数信息包括该数据源的IP(InternetProtocol，互联网协议)地址、端口、用户名和密码等连接参数。计算机设备可以通过这些参数信息，与数据源建立连接。在一些实施例中，除了上述参数信息以外，数据源的参数信息还可以包括数据源的类型、数据源实例的名称、数据源的唯一标识(sid)和数据源的所有者(owner)等用于描述该数据源的信息。
参见图3，提供了一种数据源配置界面的示意图，如图3所示，该数据源配置界面上可以包括多个输入区域，每个输入区域用于输入一种参数信息，如数据源类型对应的输入区域用于输入数据源类型，包括Oracle、Mysql、Kafka等，数据源IP对应的输入区域用于输入数据源的IP地址，数据源sid对应的输入区域用于输入Oracle数据源的唯一标识，数据源port(端口)对应的输入区域用于输入数据源的端口，用户名对应的输入区域用于输入连接数据库所需的用户名，密码对应的输入区域用于输入连接数据库所需的密码，owner(所有者)对应的输入区域用于输入数据源的所有者，也即是，拥有对该数据库的管理权限的用户。
为了保证数据的安全性，计算机设备在获取到用户在数据源配置界面上输入的参数信息后，计算机设备可以对用户输入的参数信息进行验证，也即是，验证用户输入的参数信息是否正确，是否能够基于这些参数信息与数据源建立连接。在一种可能实现方式中，该步骤201可以包括：获取在该数据源配置界面上输入的参数信息；当基于该输入的参数信息与该数据源连接成功时，将该输入的参数信息作为该数据源的参数信息。
该数据源配置界面上还可以提供一个测试按钮，该测试按钮用于对用户输入的参数信息进行验证。用户在数据源配置界面上输入各种参数信息后，可以点击数据源配置界面上的测试按钮，触发验证指令，该验证指令中可以携带用户在数据源配置界面上输入的参数信息，计算机设备在接收到该验证指令时，可以对用户输入的参数信息进行验证。
如果用户在数据源配置界面上输入的参数信息是正确的，则计算机设备基于用户输入的参数信息能够成功连接相应的数据源，因此，计算机设备可以基于用户输入的参数信息，尝试与数据源建立连接，如果成功与数据源建立连接，则表明用户输入的是数据源正确的参数信息，也即是，验证成功，此时，计算机设备可以显示验证成功信息。在一些实施例中，当基于该输入的参数信息与该数据源连接失败时，计算机设备可以显示验证失败信息，该验证失败信息除了提示用户输入的参数信息错误以外，还可以提示用户修改输入的参数信息。
通过采用与数据源建立连接的方式，来对用户输入的参数信息进行验证，可以保证验证结果的可靠性。
数据源配置界面上还可以提供一个提交按钮，用户在看到验证成功信息后，可以对该提交按钮进行点击操作，触发参数确认信息，计算机设备在接收到该参数确认信息时，可以将该数据源配置界面上当前的参数信息作为一个数据源实例信息进行存储，如将其存储到元数据信息库中，该元数据信息库可以是Mysql。
202、基于该数据源的参数信息，采集该数据源的元数据信息，该数据源的元数据信息用于描述该数据源以及该数据源中的数据表。
其中，元数据信息是指定义数据的数据，例如，搜索一首歌曲(歌曲本身就是数据),可以通过歌名、歌手、专辑等信息来搜索，这些歌名、歌手、专辑等信息就是这首歌曲的元数据信息。
该数据源的元数据信息包括该数据源的名称、该数据源中数据表的名称和字段信息，该字段信息包括字段的名称、类型和描述信息。一个数据源中可以有多个数据表，每个数据表中可以有多个字段信息。
在一种可能实现方式中，该步骤204可以包括：基于该数据源的IP地址、端口、用户名和密码，与该数据源建立连接；基于建立的该连接，采集该数据源的元数据信息。
计算机设备可以基于数据源的IP地址、端口、用户名和密码等参数信息，与该数据源建立连接，然后采集当前连接的数据源的元数据信息。计算机设备在采集到数据源的元数据信息后，还可以将数据源的元数据信息存储到元数据信息库中。
203、基于该数据源的元数据信息，对该数据源中的数据表进行数据采集，将采集到的数据存储到数据仓库中。
其中，该数据仓库可以是Spark SQL(Spark Structured Query Language，结构化查询语言)数据仓库。Spark SQL是Spark处理结构化数据的模块，具有数据仓库的功能。
该步骤203中基于该数据源的元数据信息，对该数据源中的数据表进行数据采集包括：显示该数据源的元数据信息；对该数据源中被选中的至少一个数据表进行数据采集。通过将数据源中的数据表显示给用户，使得用户可以选择需要进行数据采集的数据表。
计算机设备可以显示数据源的元数据信息，用户在看到计算机设备显示的元数据信息后，可以得知当前连接的数据源中有哪些数据表，用户可以从中选择一个或多个数据表，触发对该一个或多个数据表的采集指令，计算机设备在接收到该采集指令时，可以对该一个或多个数据表进行数据采集，将采集到的数据存储到数据仓库中。
需要说明的是，该步骤202和步骤203是基于该数据源的参数信息，对该数据源进行数据采集的一种可能实现方式。通过采集数据源的元数据信息，可以将元数据信息该描述的数据源和数据源中的数据表展示给用户，使得用户可以从中选择数据表进行数据采集，满足了用户的数据采集需求。
204、基于数据流程配置界面，生成数据处理流程。
其中，数据处理组件是把数据处理的逻辑封装起来成为一个独立功能模块。
本发明实施例中，计算机设备可以为用户提供一个数据流程配置界面，用户可以在该数据流程配置界面上，对多个数据处理组件进行操作，形成数据处理流程。
在一种可能实现方式中，该数据处理流程用于基于多个数据处理组件进行数据处理，相应地，该步骤204可以包括：基于该数据流程配置界面，获取该多个数据处理组件的处理顺序；基于该多个数据处理组件的处理顺序，生成该数据处理流程，该数据处理流程为该多个数据处理组件按照该处理顺序进行数据处理。通过提供可视化的界面来供用户配置数据处理流程，无需进行编码，可以提高数据处理效率。
该数据流程配置界面上可以显示有多个处理组件，用户可以根据自己的数据处理需求，通过对数据处理组件进行拖拉拽操作，选择所需的数据处理组件并按照一定先后顺序将这些数据处理组件连接起来，用户结束操作后，计算机设备可以根据该数据流程配置界面上多个数据处理组件的连接方式，获得该多个数据处理组件的处理顺序。
在一种可能实现方式中，该多个数据处理组件包括读数据表组件、SQL组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；其中，该读数据表组件用于读取数据源中数据表的数据；该SQL组件用于基于SQL语句进行数据处理；该过滤筛选组件用于对数据进行过滤筛选；该数据合并组件用于对不同数据表的数据进行合并；该数据转换组件用于将数据的初始格式转换为目标格式。通过提供多种数据处理组件，可以满足多样化的数据处理需求。
参见图4，提供了一种数据处理流程的示意图，如图4所示，该数据处理流程可以基于读数据表组件、SQL组件、过滤筛选组件、数据合并组件和数据转换组件进行数据处理。该数据处理流程中包含读数据表组件-0、读数据表组件-1和读数据表组件-2，不同的读数据表组件用于读取不同数据表中的数据，该数据为步骤203中采集后存储到数据仓库中的数据。
读数据表组件-0、读数据表组件-1可以分别对数据表A和数据表B中进行数据读取操作，SQL组件可以基于SQL语句，对读数据表组件-0、读数据表组件-1所读取到的数据进行处理，SQL语句可以根据业务进行灵活的配置，从而对数据进行灵活的处理。然后过滤筛选组件可以对SQL组件输出后的数据进行过滤筛选操作，另外，读数据表组件-2可以分别对数据表C中进行数据读取操作，然后数据合并组件可以对过滤筛选组件输出的数据和读数据表组件-2读取到的数据进行合并，最后，数据转换组件可以对数据合并组件输出的数据进行格式转换，得到数据处理结果。
需要说明的是，图4所示的数据处理组件和数据处理流程仅是一个示例，计算机设备可以根据业务需求，提供更多的数据处理组件，用户可以根据自身的数据处理需求，形成自己想要的数据处理流程。
在一种可能实现方式中，计算机设备可以提供对数据处理组件进行灵活的参数配置功能。相应地，当接收到对该多个数据处理组件中任一数据处理组件的配置指令时，可以基于该任一数据处理组件的组件配置界面，获取该任一数据处理组件的参数信息。通过提供了数据处理组件的参数配置入口，使得数据处理组件的配置可以更加灵活。
用户可以对流程配置界面上显示的任一数据处理组件进行操作，如用户可以对该数据处理组件进行相应操作，如先对该数据处理组件进行右键操作，再对显示的配置选项进行点击操作，触发对该数据处理组件的配置指令，计算机设备在接收到该配置指令后，可以为用户提供该数据处理组件的组件配置界面，在该组件配置界面的显示过程中，用户可以在该组件配置界面上输入该数据处理组件的参数信息，在用户完成输入后，计算机设备可以获得该数据处理组件的参数信息。
其中，数据处理组件的参数信息是指数据处理组件运行所需的参数信息。该读数据表组件的参数信息包括数据源的类型、数据表的类型和名称，还可以包括读取方式(增量/全量)；该SQL组件的参数信息包括SQL语句；该过滤筛选组件的参数信息包括筛选字段和筛选条件；该数据合并组件的参数信息包括数据表的过滤条件、合并类型和合并字段，还可以包括去重信息(用于指示是否去重)；该数据转换组件的参数信息包括待转换数据的初始格式和目标格式，初始格式是指需要进行转换的数据格式，目标格式是指需要转换成的数据格式。
参见图5，提供了一种组件配置界面的示意图，如图5所示，该组件配置界面上可以包括多个选择区域和输入区域，每个区域用于选择或输入一种参数信息。合并类型(连接类型)对应的选择区域用于从多种合并类型中选择一种合并类型，该多种合并类型包括Union、Join和交叉连接，其中，Union是指对待合并的数据表进行连接，形成并集，Join是指对待合并的数据表进行连接，形成交集，交叉连接也称笛卡尔积，是指将待合并的数据表中的每一条数据都进行组合。合并字段对应的选择区域用于选择合并哪些数据表中的哪些字段。左表过滤条件对应的输入区域用于输入对待合并的数据表中左表的过滤条件，右表过滤条件对应的输入区域用于输入对待合并的数据表中右表的过滤条件。是否去重对应的选择区域用于选择是否对待合并的数据表中相同的数据进行去重。另外，图5中的输入表单是指通过数据合并组件处理后输出的数据表的形式。
计算机设备生成的数据处理流程也可以称为ETL流程，可以导出成文件来进行复用。
205、基于该数据处理流程，对采集到的数据进行处理。
本发明实施例中，计算机设备可以对采集到的数据执行配置好的数据处理流程，实现数据的处理和分析。另外，计算机设备可以将经过处理后的数据存储到数据仓库中。
参见图6，提供了一种数据处理方法的流程图。整个数据处理过程可以包括数据采集过程和数据处理过程。其中，数据采集过程对应上述步骤203，包括获取数据源的参数信息(数据源实例信息)、采集数据源的元数据信息存储到元数据库，采集数据存储到数据仓库。数据处理过程对应上述步骤204和步骤205，包括通过步骤204中配置好的多个数据处理组件对采集过来存储到数据仓库中的数据进行处理。
上述技术方案通过可视化的界面配置数据源的参数信息，从而对数据源进行数据采集，简化了数据采集的使用门槛。通过可视化的界面配置数据处理流程，不需要手动编码既可以完成对数据的处理分析，配置好的数据处理流程可以导出来进行复用。针对数据处理组件提供了参数配置入口，使得数据处理组件的配置更加灵活。上述技术方案还可以采集数据的元数据信息，便于挖掘和分析数据。
本发明实施例提供的方法，通过可视化的数据源配置界面，配置数据源的参数信息，基于配置好的参数信息，对数据源进行数据采集，通过可视化的数据流程配置界面，配置数据处理流程，从而基于配置好的数据处理流程进行数据处理。上述方案通过可视化的配置界面实现数据处理，无需编写代码，降低了数据处理的成本，提高了数据处理的效率。
图7是本发明实施例提供的一种数据处理装置的结构示意图。参照图7，该装置包括：
获取模块701，用于基于数据源配置界面，获取数据源的参数信息；
采集模块702，用于基于该数据源的参数信息，对该数据源进行数据采集；
生成模块703，用于基于数据流程配置界面，生成数据处理流程；
处理模块704，用于基于该数据处理流程，对采集到的数据进行处理。
在一种可能实现方式中，该获取模块701用于：
获取在该数据源配置界面上输入的参数信息；
当基于该输入的参数信息与该数据源连接成功时，将该输入的参数信息作为该数据源的参数信息。
在一种可能实现方式中，该采集模块702用于：
基于该数据源的参数信息，采集该数据源的元数据信息，该数据源的元数据信息用于描述该数据源以及该数据源中的数据表；
显示该数据源的元数据信息；
对该数据源中被选中的至少一个数据表进行数据采集；
将采集到的数据存储到数据仓库中。
在一种可能实现方式中，该数据源的参数信息包括该数据源的互联网协议IP地址、端口、用户名和密码；
该采集模块702用于基于该数据源的IP地址、端口、用户名和密码，与该数据源建立连接；基于建立的该连接，采集该数据源的元数据信息。
在一种可能实现方式中，该数据源的元数据信息包括该数据源的名称、该数据源中数据表的名称和字段信息，该字段信息包括字段的名称、类型和描述信息。
在一种可能实现方式中，该数据处理流程用于基于多个数据处理组件进行数据处理，该生成模块703用于：
基于该数据流程配置界面，获取该多个数据处理组件的处理顺序；
基于该多个数据处理组件的处理顺序，生成该数据处理流程，该数据处理流程为该多个数据处理组件按照该处理顺序进行数据处理。
在一种可能实现方式中，该获取模块701还用于当接收到对该多个数据处理组件中任一数据处理组件的配置指令时，基于该任一数据处理组件的组件配置界面，获取该任一数据处理组件的参数信息。
在一种可能实现方式中，该多个数据处理组件包括读数据表组件、SQL组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；
该读数据表组件用于读取数据源中数据表的数据；
该SQL组件用于基于SQL语句进行数据处理；
该过滤筛选组件用于对数据进行过滤筛选；
该数据合并组件用于对不同数据表的数据进行合并；
该数据转换组件用于将数据的初始格式转换为目标格式。
本发明实施例中，通过可视化的数据源配置界面，配置数据源的参数信息，基于配置好的参数信息，对数据源进行数据采集，通过可视化的数据流程配置界面，配置数据处理流程，从而基于配置好的数据处理流程进行数据处理。上述方案通过可视化的配置界面实现数据处理，无需编写代码，降低了数据处理的成本，提高了数据处理的效率。
需要说明的是：上述实施例提供的数据处理装置在数据处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本发明实施例提供的一种终端800的结构示意图。该终端800可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的数据处理方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图9是本发明实施例提供的一种服务器900的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条指令，该至少一条指令由该处理器901加载并执行以实现上述各个方法实施例提供的数据处理方法。当然，该服务器900还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器900还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种存储有至少一条指令的计算机可读存储介质，例如存储有至少一条指令的存储器，上述至少一条指令被处理器执行时实现上述实施例中的数据处理方法。例如，该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种数据处理方法，其特征在于，所述方法包括：
基于数据源配置界面，获取数据源的参数信息；
基于所述数据源的参数信息，对所述数据源进行数据采集；
基于数据流程配置界面，生成数据处理流程；
基于所述数据处理流程，对采集到的数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述基于数据源配置界面，获取数据源的参数信息，包括：
获取在所述数据源配置界面上输入的参数信息；
当基于所述输入的参数信息与所述数据源连接成功时，将所述输入的参数信息作为所述数据源的参数信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述数据源的参数信息，对所述数据源进行数据采集，包括：
基于所述数据源的参数信息，采集所述数据源的元数据信息，所述数据源的元数据信息用于描述所述数据源以及所述数据源中的数据表；
显示所述数据源的元数据信息；
对所述数据源中被选中的至少一个数据表进行数据采集；
将采集到的数据存储到数据仓库中；
其中，所述数据源的元数据信息包括所述数据源的名称、所述数据源中数据表的名称和字段信息，所述字段信息包括字段的名称、类型和描述信息。
4.根据权利要求3所述的方法，其特征在于，所述数据源的参数信息包括所述数据源的互联网协议IP地址、端口、用户名和密码；
所述基于所述数据源的参数信息，采集所述数据源的元数据信息，包括：
基于所述数据源的IP地址、端口、用户名和密码，与所述数据源建立连接；
基于建立的所述连接，采集所述数据源的元数据信息。
5.根据权利要求1所述的方法，其特征在于，所述数据处理流程用于基于多个数据处理组件进行数据处理，
所述基于数据流程配置界面，生成数据处理流程，包括：
基于所述数据流程配置界面，获取所述多个数据处理组件的处理顺序；
基于所述多个数据处理组件的处理顺序，生成所述数据处理流程，所述数据处理流程为所述多个数据处理组件按照所述处理顺序进行数据处理。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当接收到对所述多个数据处理组件中任一数据处理组件的配置指令时，基于所述任一数据处理组件的组件配置界面，获取所述任一数据处理组件的参数信息。
7.根据权利要求1所述的方法，其特征在于，所述多个数据处理组件包括读数据表组件、结构化查询语言SQL组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；
所述读数据表组件用于读取数据源中数据表的数据；
所述SQL组件用于基于SQL语句进行数据处理；
所述过滤筛选组件用于对数据进行过滤筛选；
所述数据合并组件用于对不同数据表的数据进行合并；
所述数据转换组件用于将数据的初始格式转换为目标格式。
8.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于基于数据源配置界面，获取数据源的参数信息；
采集模块，用于基于所述数据源的参数信息，对所述数据源进行数据采集；
生成模块，用于基于数据流程配置界面，生成数据处理流程；
处理模块，用于基于所述数据处理流程，对采集到的数据进行处理。
9.根据权利要求8所述的装置，其特征在于，所述获取模块用于：
获取在所述数据源配置界面上输入的参数信息；
当基于所述输入的参数信息与所述数据源连接成功时，将所述输入的参数信息作为所述数据源的参数信息。
10.根据权利要求8所述的装置，其特征在于，所述采集模块用于：
基于所述数据源的参数信息，采集所述数据源的元数据信息，所述数据源的元数据信息用于描述所述数据源以及所述数据源中的数据表；
显示所述数据源的元数据信息；
对所述数据源中被选中的至少一个数据表进行数据采集；
将采集到的数据存储到数据仓库中；
其中，所述数据源的元数据信息包括所述数据源的名称、所述数据源中数据表的名称和字段信息，所述字段信息包括字段的名称、类型和描述信息。
11.根据权利要求10所述的装置，其特征在于，所述数据源的参数信息包括所述数据源的互联网协议IP地址、端口、用户名和密码；
所述采集模块用于基于所述数据源的IP地址、端口、用户名和密码，与所述数据源建立连接；基于建立的所述连接，采集所述数据源的元数据信息。
12.根据权利要求8所述的装置，其特征在于，所述数据处理流程用于基于多个数据处理组件进行数据处理，所述生成模块用于：
基于所述数据流程配置界面，获取所述多个数据处理组件的处理顺序；
基于所述多个数据处理组件的处理顺序，生成所述数据处理流程，所述数据处理流程为所述多个数据处理组件按照所述处理顺序进行数据处理。
13.根据权利要求8所述的装置，其特征在于，所述获取模块还用于当接收到对所述多个数据处理组件中任一数据处理组件的配置指令时，基于所述任一数据处理组件的组件配置界面，获取所述任一数据处理组件的参数信息。
14.根据权利要求8所述的装置，其特征在于，所述多个数据处理组件包括读数据表组件、结构化查询语言SQL组件、过滤筛选组件、数据合并组件和数据转换组件中至少一个组件；
所述读数据表组件用于读取数据源中数据表的数据；
所述SQL组件用于基于SQL语句进行数据处理；
所述过滤筛选组件用于对数据进行过滤筛选；
所述数据合并组件用于对不同数据表的数据进行合并；
所述数据转换组件用于将数据的初始格式转换为目标格式。
15.一种计算机设备，其特征在于，包括一个或多个处理器和一个或多个存储器；所述一个或多个存储器，用于存放至少一条指令；所述一个或多个处理器，用于执行所述一个或多个存储器上所存放的至少一条指令，实现权利要求1-7任一项所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有至少一条指令，所述至少一条指令被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414685.7A CN111949680A (zh) | 2019-05-17 | 2019-05-17 | 数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414685.7A CN111949680A (zh) | 2019-05-17 | 2019-05-17 | 数据处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111949680A true CN111949680A (zh) | 2020-11-17 |
Family
ID=73336237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910414685.7A Pending CN111949680A (zh) | 2019-05-17 | 2019-05-17 | 数据处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949680A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685380A (zh) * | 2020-12-03 | 2021-04-20 | 成都大数据产业技术研究院有限公司 | 大数据价值发现与应用创新平台系统 |
| CN112765259A (zh) * | 2021-01-20 | 2021-05-07 | 青岛海信网络科技股份有限公司 | 一种地铁线网中心的数据处理方法及装置 |
| CN112764721A (zh) * | 2021-01-15 | 2021-05-07 | 南京中兴力维软件有限公司 | 数据处理方法、装置、系统及计算机可读存储介质 |
| CN113535835A (zh) * | 2021-07-12 | 2021-10-22 | 上海浦东发展银行股份有限公司 | 内核数据处理软件的数据采集方法、装置、介质及设备 |
| CN113934913A (zh) * | 2021-11-12 | 2022-01-14 | 盐城金堤科技有限公司 | 数据抓取方法、装置、存储介质及电子设备 |
| CN114356176A (zh) * | 2021-12-30 | 2022-04-15 | 中国民航信息网络股份有限公司 | 一种数据采集方法、采集系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317970A (zh) * | 2014-11-19 | 2015-01-28 | 亚信科技（南京）有限公司 | 一种基于数据加工中心的数据流式处理方法 |
| CN106777372A (zh) * | 2017-01-26 | 2017-05-31 | 语义（上海）信息科技有限公司 | 一种基于语义网本体的蜂流器数据导流和数据转化方法 |
| CN106874389A (zh) * | 2017-01-11 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 数据的迁移方法和装置 |
| WO2017120087A1 (en) * | 2016-01-08 | 2017-07-13 | Microsoft Technology Licensing, Llc | Database operation using metadata of data sources |
| CN108491526A (zh) * | 2018-03-28 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 日志数据处理方法、装置、电子设备及存储介质 |
-
2019
- 2019-05-17 CN CN201910414685.7A patent/CN111949680A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317970A (zh) * | 2014-11-19 | 2015-01-28 | 亚信科技（南京）有限公司 | 一种基于数据加工中心的数据流式处理方法 |
| WO2017120087A1 (en) * | 2016-01-08 | 2017-07-13 | Microsoft Technology Licensing, Llc | Database operation using metadata of data sources |
| CN106874389A (zh) * | 2017-01-11 | 2017-06-20 | 腾讯科技（深圳）有限公司 | 数据的迁移方法和装置 |
| CN106777372A (zh) * | 2017-01-26 | 2017-05-31 | 语义（上海）信息科技有限公司 | 一种基于语义网本体的蜂流器数据导流和数据转化方法 |
| CN108491526A (zh) * | 2018-03-28 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 日志数据处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘廷等: "Visual C++. NET开发实例完全剖析", 31 January 2006, 中国电力出版社, pages: 328 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685380A (zh) * | 2020-12-03 | 2021-04-20 | 成都大数据产业技术研究院有限公司 | 大数据价值发现与应用创新平台系统 |
| CN112764721A (zh) * | 2021-01-15 | 2021-05-07 | 南京中兴力维软件有限公司 | 数据处理方法、装置、系统及计算机可读存储介质 |
| CN112765259A (zh) * | 2021-01-20 | 2021-05-07 | 青岛海信网络科技股份有限公司 | 一种地铁线网中心的数据处理方法及装置 |
| CN113535835A (zh) * | 2021-07-12 | 2021-10-22 | 上海浦东发展银行股份有限公司 | 内核数据处理软件的数据采集方法、装置、介质及设备 |
| CN113934913A (zh) * | 2021-11-12 | 2022-01-14 | 盐城金堤科技有限公司 | 数据抓取方法、装置、存储介质及电子设备 |
| CN114356176A (zh) * | 2021-12-30 | 2022-04-15 | 中国民航信息网络股份有限公司 | 一种数据采集方法、采集系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107885533B (zh) | 管理组件代码的方法及装置 | |
| CN110674022B (zh) | 行为数据获取方法、装置及存储介质 | |
| CN110841285B (zh) | 界面元素的显示方法、装置、计算机设备及存储介质 | |
| CN111949680A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN108132790B (zh) | 检测无用代码的方法、装置及计算机存储介质 | |
| CN111694834A (zh) | 图数据的入库方法、装置、设备及可读存储介质 | |
| CN112052354A (zh) | 视频推荐方法、视频展示方法、装置及计算机设备 | |
| CN112256320A (zh) | 版本号生成方法、装置、终端及存储介质 | |
| CN111459466B (zh) | 代码生成方法、装置、设备及存储介质 | |
| CN111737100A (zh) | 数据获取方法、装置、设备及存储介质 | |
| CN109547847B (zh) | 添加视频信息的方法、装置及计算机可读存储介质 | |
| CN112560435B (zh) | 文本语料处理方法、装置、设备及存储介质 | |
| CN110737692A (zh) | 一种检索数据的方法、建立索引库的方法及装置 | |
| CN112084157A (zh) | 文件恢复方法、装置、计算机设备及存储介质 | |
| CN110825465A (zh) | 日志数据处理方法、装置、电子设备及存储介质 | |
| CN112230781A (zh) | 字符推荐方法、装置及存储介质 | |
| CN113535039B (zh) | 更新页面的方法、装置、电子设备及计算机可读存储介质 | |
| CN113051485B (zh) | 群组搜索方法、装置、终端及存储介质 | |
| CN112597417B (zh) | 页面更新方法、装置、电子设备及存储介质 | |
| CN114595019A (zh) | 应用程序的主题设置方法、装置、设备及存储介质 | |
| CN113268234A (zh) | 页面生成方法、装置、终端和存储介质 | |
| CN114253442A (zh) | 用于前后台分离系统的模块处理方法、装置及存储介质 | |
| CN113408989A (zh) | 汽车数据的比对方法、装置及计算机存储介质 | |
| CN113076452A (zh) | 应用分类的方法、装置、设备及计算机可读存储介质 | |
| CN114385723A (zh) | 数据读取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |