CN115408347A - 一种数据处理的方法、装置、设备及计算机可读存储介质 - Google Patents

一种数据处理的方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115408347A
CN115408347A CN202211042116.2A CN202211042116A CN115408347A CN 115408347 A CN115408347 A CN 115408347A CN 202211042116 A CN202211042116 A CN 202211042116A CN 115408347 A CN115408347 A CN 115408347A
Authority
CN
China
Prior art keywords
data
data file
file
database
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211042116.2A
Other languages
English (en)
Inventor
李庶人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Power Commercial Systems Co Ltd
Original Assignee
Inspur Power Commercial Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Power Commercial Systems Co Ltd filed Critical Inspur Power Commercial Systems Co Ltd
Priority to CN202211042116.2A priority Critical patent/CN115408347A/zh
Publication of CN115408347A publication Critical patent/CN115408347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理的方法，涉及计算机技术领域，该方法包括：获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。该方法可以大大提高将大容量文本数据存储至数据库的效率，以及可以降低所耗时间，提升了数据处理的时效性和目标业务系统客户的满意度。本申请还提供一种数据处理的装置、设备及计算机可读存储介质，具有上述有益效果。

Description

一种数据处理的方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种数据处理的方法、装置、设备及计算机可读存储介质。
背景技术
随着以人工智能、大数据为代表的新型基础设施建设加速发展，企业组织更深切地意识到数据是新时代最为关键的生产要素之一，企业组织通过建设数据平台，来让数据像水资源一样在企业组织内外部流动。数据平台搭建的整体架构通常有以下几个部分：数据采集、数据集成、数据存储、数据共享、数据分析、数据展现、数据访问等。数据集成是将分布的、异构数据源中的数据，如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或者数据集市中，成为联机分析处理、数据挖掘的基础。同时也需要建立统一的数据交换平台，来为不同的外部业务相关系统提供数据交换方法。其中，卸数(将数据卸载成文件)也是一个重要的方法，通过文件流传输协议发送给外部业务相关系统，这些文件需要批量导入目标系统数据库，并且进行相关业务逻辑转换，才能变成可用数据。
数据平台的数据采集、集成通常都是在日终通过批量作业完成，跑批完成以后才能通过数据交换平台的批量任务下发数据给目标业务系统，现有技术中，对数据的处理是通过使用面向对象程序设计语言编写工具实现的，在对数据文本进行处理时，需要将数据文本的每一行进行读取，对应的拼接成每一个T-SQL(Transact-SQL)语句，再将T-SQL语句插入到数据库中才能将数据导入到数据库中，通过这种方式对不同的数据文本需要编写对应的T-SQL语句对其进行处理，从而对于大容量或者比较复杂的数据进行处理的时候效率低，处理速度慢，会影响目标业务系统的时效性。因此，提高对数据处理的效率问题是领域技术人员亟需解决的问题。
发明内容
本申请的目的是提供一种数据处理的方法、装置、设备及计算机可读存储介质，该方法可以大大提高将大容量文本数据存储至数据库的效率，以及可以降低所耗时间，提升了数据处理的时效性和目标业务系统客户的满意度。
为实现上述目的，本申请提供了一种数据处理的方法，其具体方案如下：
获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；
调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；
调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。
可选地，所述根据预先编写的控制文件将所述数据文件直接存储至数据库中，包括：
利用所述控制文件将所述数据文件的字段和表的数据对应的存储至所述数据库的字段和表中。
可选地，所述从所述下载路径中下载待处理的数据文件，包括：
在预设下载时间段从所述下载路径中下载所述待处理的数据文件。
可选地，所述配置信息还包括预设时间范围，相应的，从所述下载路径中下载所述数据文件之后，还包括：
判断在所述预设时间范围内是否存在下载失败的目标数据文件；
若在所述预设时间范围内存在下载失败的目标数据文件，则重新从所述目标数据文件的下载路径下载所述目标数据文件。
可选地，所述配置信息还包括日志路径，相应的，所述若在所述预设时间范围内存在下载失败的目标数据文件，还包括：
将所述目标数据文件对应的下载错误信息添加至所述日志路径中的日志文件中。
可选地，所述根据预先编写的控制文件将所述数据文件直接存储至数据库中之前，还包括：
判断所述数据库中是否已存在所述数据文件；
若否，则执行根据预先编写的控制文件将所述数据文件直接存储至数据库中的步骤。
可选地，所述根据预先编写的控制文件将所述数据文件直接存储至数据库中之后，还包括：
在所述数据库内部调用所述数据文件的存储过程，根据目标系统的业务逻辑对所述数据文件进行加工处理。
本申请还提供一种数据处理的装置，包括：
获取模块，用于获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；
下载模块，用于调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；
存储模块，用于调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。
本申请还提供一种数据处理的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序是实现如上述所述的数据处理的方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的数据处理的方法的步骤。
显然，本申请所提供的一种数据处理的方法，该方法包括：获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。该方法可以大大提高将大容量文本数据存储至数据库的效率，以及可以降低所耗时间，提升了数据处理的时效性和目标业务系统客户的满意度。本申请还提供一种数据处理的装置、设备及计算机可读存储介质，具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种数据处理的方法的流程图；
图2为本申请实施例所提供的另一种数据处理的方法的流程图；
图3为本申请实施例所提供的一种数据处理的装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，对数据的处理是通过使用面向对象程序设计语言编写工具实现的，在对数据文本进行处理时，需要将数据文本的每一行进行读取，对应的拼接成每一个T-SQL语句，再将T-SQL语句插入到数据库中才能将数据导入到数据库中，通过这种方式对不同的数据文本需要编写对应的T-SQL语句对其进行处理，从而对于大容量或者比较复杂的数据进行处理的时候效率低，处理速度慢，会影响目标业务系统的时效性。本申请通过获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。从而可以大大提高将大容量文本数据存储至数据库的效率，以及可以降低所耗时间，提升了数据处理的时效性和目标业务系统客户的满意度。具体请参考图1，图1本申请实施例所提供的一种数据处理的方法的流程图，可以包括以下步骤：
S101：获取配置信息；其中，配置信息包括多个数据文件的下载路径。
本申请的执行主体是具有数据处理功能的任意电子设备,例如可以是台式计算机、平板电脑等等。
本实施例并不限定获取配置信息的具体内容，用户可以根据实际情况来进行获取。例如该配置信息至少包括多个数据文件的下载路径，还可以包括数据库的sid(SystemIdentifier，实例名)、用户名、密码、下载路径、备份路径、错误文件路径、日志路径、预设时间范围中的一项或多项，具体根据用户所需进行获取。其中，该预设时间范围可以用于判断在预设时间范围内是否存在下载失败的目标数据文件，若在预设时间范围内存在下载失败的目标数据文件，则重新从目标数据文件的下载路径下载目标数据文件或重新从目备份路径下载目标数据文件；该日志路径可以用于若在预设时间范围内存在下载失败的目标数据文件，将目标数据文件对应的下载错误信息添加至日志路径中的日志文件中。进一步，本实施例并不限定预设时间的具体范围，用户可以根据实际情况进行设定和修改。
进一步，本实施例并不限定获取配置信息的方式，例如可以利用RB(ResourceBundle，资源绑定)类从配置文件来获取用户所需要的配置信息，也可以通过利用写工具从配置文件来获取用户所需要的配置信息。
S102：调用数据处理脚本轮询配置信息中的下载路径，从下载路径中下载待处理的数据文件。
本实施例并不限定编写数据处理脚本的具体语言，例如可以利用Py(Python，计算机脚本语言)、PHP(Hypertext Preprocessor，超本文预处理器)、JS(JavaScript，直译式脚本语言)等，具体的，本申请利用Shell(一种程序命令语言)脚本语言来编写数据处理脚本，其中，该数据处理脚本是预先编写好的。
进一步，调用数据处理脚本轮询下载路径，从下载路径中下载待处理的数据文件，直至所需待处理的数据文件全部下载完成，如果到了任务时间结束，仍然没有下载全部待处理的数据文件，或下载待处理的数据文件出现错误，则将错误信息记录至日志文件，避免在业务系统运营时间进行批量数据处理任务。进一步，本实施例并不限定任务时间的具体时间段，用户可以根据实际情况进行设定和修改。
S103：调用数据库所提供的数据加载工具，根据预先编写的控制文件将数据文件直接存储至数据库中。
本实施例并不限定具体类型数据库的选取，例如可以是MYSQL(关系型数据库管理系统)数据库、Oracle(关系型数据库管理系统)数据库、SQLServer(关系型数据库管理系统)数据库等等，具体的，本申请使用Oracle数据库。其中，Oracle数据库是一款关系数据库管理系统，是在数据库领域一直处于领先地位的产品可以说Oracle数据库是目前世界上流行的关系数据库管理系统。其中，一个Oracle数据库中包括至少一个Oracle数据库表，一个Oracle数据库表可以对应一个属性信息。进一步，本实施例并不限定数据加载工具的使用，具体根据数据库类型的使用来具体使用数据库加载工具，且数据加载工具是数据库所提供的。优选的，本申请使用Oracle数据库所提供的SQL*LOADER(Oracle数据库的高速批量数据加载工具)数据加载工具，其中，SQL*LOADER数据加载工具用来将数据文件迁移到Oracle数据库，是将数据文件导入数据库中最快速的途径。
进一步，根据待处理的数据文件的字段和表的格式预先编写控制文件，其中，利用控制文件将数据文件的字段和表的数据对应的存储至Oracle数据库的字段和表中，从而将数据文件直接存储至Oracle数据库中。
基于上述技术方案，本申请提供的数据处理的方法，通过获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。从而可以大大提高将大容量文本数据存储至数据库的效率。
基于上述实施例，为了进一步提高数据处理的效率以及准确性，从下载路径中下载数据文件之后，还包括：
判断在预设时间范围内是否存在下载失败的目标数据文件；
若在预设时间范围内存在下载失败的目标数据文件，则重新从目标数据文件的下载路径下载目标数据文件。
本实施例并不限定预设时间的具体范围，用户可以根据实际情况进行设定和修改。
具体的，本实施例在下载路径中下载数据文件之后，由于可能因为某种原因导致数据交换平台没有正常下发数据文件，需要判断在预设时间范围内是否存在下载失败的目标数据文件，若在预设时间范围内存在下载失败的目标数据文件，则程序提供补录功能，重新从目标数据文件的下载路径下载目标数据文件，或从目标数据文件的备份路径下载目标数据文件。
进一步，本实施例并不限定若在预设时间范围内存在下载失败的目标数据文件，重新从目标数据文件的下载路径下载目标数据文件或从目标数据文件的备份路径下载目标数据文件的顺序，例如可以先从目标数据文件的下载路径下载目标数据文件，若下载失败，则从目标数据文件的备份路径下载目标数据文件，也可以先从目标数据文件的备份路径下载目标数据文件，若下载失败，则从目标数据文件的下载路径下载目标数据文件。
请参考图2，图2为本申请实施例所提供的另一种数据处理的方法的流程图，该方法包括以下步骤：
S201：获取配置信息；其中，配置信息包括多个数据文件的下载路径。
本申请的执行主体是具有数据处理功能的任意电子设备,例如可以是台式计算机、平板电脑等等。
本步骤与S101相似，在此不再赘述。
S202：调用数据处理脚本轮询配置信息中的下载路径，从下载路径中下载待处理的数据文件。
本步骤与S102相似，在此不再赘述。
S203：判断在预设时间范围内是否存在下载失败的目标数据文件。若是，则进入步骤S202；若否，则进入步骤S204。
其中，若在预设时间范围内存在下载失败的目标数据文件，则重新从所述目标数据文件的下载路径下载所述目标数据文件，或从目标数据文件的备份路径下载目标数据文件。
进一步，本实施例并不限定具体的预设时间范围，用户可以根据实际情况进行设定和修改。
进一步，本实施例并不限定判断预设时间范围内是否存在下载失败的目标数据文件的时机，例如可以是从下载路径中下载数据文件之后判断预设时间范围内是否存在下载失败的目标数据文件，也可以是在根据预先编写的控制文件将所述数据文件直接存储至数据库中之前判断预设时间范围内是否存在下载失败的目标数据文件。
S204：调用数据库所提供的数据加载工具，根据预先编写的控制文件将数据文件直接存储至数据库中。
具体的，通过调用Oracle数据库中所提供的SQL*LOADER数据加载工具，在Oracle数据库内部根据数据文件字段和表格式编写的控制文件，将数据文件直接存储至Oracle数据库中，其中，控制文件的字段和表和Oracle数据库中的字段个表一一对应。
本步骤与S103相似，在此不再赘述。
S205：在数据库内部调用数据文件的存储过程，根据目标系统的业务逻辑对数据文件进行加工处理。
具体的，在Oracle数据库内部调用数据文件的存储过程，其中，该存储过程是Oracle数据库自带的功能，可以包括非常复杂的数据加工业务逻辑的程序代码，可以实现非常复杂的大容量数据文本处理加工功能，在Oracle数据库内部执行的效率非常高。
进一步，本实施例并不限定目标系统的业务逻辑的具体内容，具体可以根据目标业务系统所需的业务进行修改。
基于上述实施例，本申请提供的数据处理的方法，通过获取配置信息；其中，配置信息包括多个数据文件的下载路径；调用Shell数据处理脚本轮询配置信息中的下载路径，从下载路径中下载待处理的数据文件；判断在预设时间范围内是否存在下载失败的目标数据文件；调用Oracle数据库所提供的SQL*LOADER数据加载工具，根据预先编写的控制文件将数据文件直接存储至Oracle数据库中；在Oracle数据库内部调用数据文件的存储过程，根据目标系统的业务逻辑对数据文件进行加工处理。从而可以大大提高将大容量文本数据存储至数据库的效率，以及可以降低所耗时间，提升了数据处理的时效性和目标业务系统客户的满意度。
下面通过具体例子说明上述过程，该例子中数据处理设备具体为台式计算机，过程具体如下：
1、获取配置信息；其中，配置信息包括多个数据文件的下载路径；
2、调用数据处理脚本轮询配置信息中的下载路径，从下载路径中下载待处理的数据文件；
3、判断在预设时间范围内是否存在下载失败的目标数据文件；
4、若在预设时间范围内存在下载失败的目标数据文件，则重新从目标数据文件的下载路径下载目标数据文件，或从目标数据文件的备份路径下载目标数据文件。
5、若在所述预设时间范围内存在下载失败的目标数据文件，将目标数据文件对应的下载错误信息添加至日志路径中的日志文件中；
6、调用Oracle数据库所提供的SQL*LOADER数据加载工具，根据预先编写的控制文件将数据文件直接存储至Oracle数据库中；
7、在Oracle数据库内部调用数据文件的存储过程，根据目标系统的业务逻辑对数据文件进行加工处理。
下面对本申请实施例提供的一种数据处理的装置、设备及计算机可读存储介质进行介绍，下文描述的一种数据处理的装置、设备及计算机可读存储介质与上文描述的一种数据处理的方法可相互对应参照。
请参考图3，图3为本申请实施例所提供的一种数据处理的装置的结构框图，该装置可以包括：
获取模块110，用于获取配置信息；其中，配置信息包括多个数据文件的下载路径；
下载模块120，用于调用数据处理脚本轮询配置信息中的下载路径，从下载路径中下载待处理的数据文件；
存储模块130，用于调用数据库所提供的数据加载工具，根据预先编写的控制文件将数据文件直接存储至数据库中。
基于上述实施例，存储模块130可以是用于利用控制文件将数据文件的字段和表的数据对应的存储至数据库的字段和表中的模块。
基于上述实施例，下载模块120可以是用于在预设下载时间段从下载路径中下载待处理的数据文件。
基于上述实施例，该装置还可以包括：
第一判断模块，用于判断在预设时间范围内是否存在下载失败的目标数据文件；若在预设时间范围内存在下载失败的目标数据文件，则重新从目标数据文件的下载路径下载目标数据文件。
基于上述实施例，该装置还可以包括：
添加日志模块，用于将目标数据文件对应的下载错误信息添加至日志路径中的日志文件中。
基于上述实施例，该装置还可以包括：
第二判断模块，用于判断数据库中是否已存在数据文件；若否，则执行根据预先编写的控制文件将数据文件直接存储至数据库中的步骤。
基于上述实施例，该装置还可以包括：
数据加工处理模块，用于在数据库内部调用数据文件的存储过程，根据目标系统的业务逻辑对数据文件进行加工处理。
基于上述实施例，本申请还提供了一种数据处理的设备，包括存储器和处理器，其中，该存储器中存有计算机程序，该处理器调用该存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然，该装置还可以包括各种必要的网络接口、电源以及其它零部件等。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，且各个实施例间为递进关系，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，可参见对应的方法部分说明。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；
调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；
调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。
2.根据权利要求1所述数据处理方法，其特征在于，所述根据预先编写的控制文件将所述数据文件直接存储至数据库中，包括：
利用所述控制文件将所述数据文件的字段和表的数据对应的存储至所述数据库的字段和表中。
3.根据权利要求1所述数据处理方法，其特征在于，所述从所述下载路径中下载待处理的数据文件，包括：
在预设下载时间段从所述下载路径中下载所述待处理的数据文件。
4.根据权利要求1所述数据处理方法，其特征在于，所述配置信息还包括预设时间范围，相应的，从所述下载路径中下载所述数据文件之后，还包括：
判断在所述预设时间范围内是否存在下载失败的目标数据文件；
若在所述预设时间范围内存在下载失败的目标数据文件，则重新从所述目标数据文件的下载路径下载所述目标数据文件。
5.根据权利要求4所述数据处理方法，其特征在于，所述配置信息还包括日志路径，相应的，所述若在所述预设时间范围内存在下载失败的目标数据文件，还包括：
将所述目标数据文件对应的下载错误信息添加至所述日志路径中的日志文件中。
6.根据权利要求1所述数据处理方法，其特征在于，所述根据预先编写的控制文件将所述数据文件直接存储至数据库中之前，还包括：
判断所述数据库中是否已存在所述数据文件；
若否，则执行根据预先编写的控制文件将所述数据文件直接存储至数据库中的步骤。
7.根据权利要求1至6中任一项所述数据处理方法，其特征在于，所述根据预先编写的控制文件将所述数据文件直接存储至数据库中之后，还包括：
在所述数据库内部调用所述数据文件的存储过程，根据目标系统的业务逻辑对所述数据文件进行加工处理。
8.一种数据处理的装置，其特征在于，包括：
获取模块，用于获取配置信息；其中，所述配置信息包括多个数据文件的下载路径；
下载模块，用于调用数据处理脚本轮询所述配置信息中的下载路径，从所述下载路径中下载待处理的数据文件；
存储模块，用于调用数据库所提供的数据加载工具，根据预先编写的控制文件将所述数据文件直接存储至数据库中。
9.一种数据存储与处理的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序是实现如权利要求1至7任一项所述的数据处理的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据处理的方法的步骤。
CN202211042116.2A 2022-08-29 2022-08-29 一种数据处理的方法、装置、设备及计算机可读存储介质 Pending CN115408347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211042116.2A CN115408347A (zh) 2022-08-29 2022-08-29 一种数据处理的方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211042116.2A CN115408347A (zh) 2022-08-29 2022-08-29 一种数据处理的方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115408347A true CN115408347A (zh) 2022-11-29

Family

ID=84161577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211042116.2A Pending CN115408347A (zh) 2022-08-29 2022-08-29 一种数据处理的方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115408347A (zh)

Similar Documents

Publication Publication Date Title
KR101153002B1 (ko) 원격 함수 호출을 통한 작업일지 모델로의 액세스를제공하기 위한 방법, 시스템, 및 장치
CN102073490B (zh) 转译数据库语言的方法及装置
CN109308254B (zh) 一种测试方法、装置及测试设备
CN111209005A (zh) 程序文件的编译方法、装置和计算机可读存储介质
US20200249921A1 (en) Structured development for web application frameworks
CN108540351B (zh) 分布式大数据服务的自动化测试方法
CN101710274A (zh) 应用软件帮助信息生成方法及系统
US8352507B2 (en) Retrieval and storage of localized instances of data objects
CN111125064B (zh) 一种生成数据库模式定义语句的方法和装置
CN106411970A (zh) 一种基于服务调用的故障处理方法、装置和系统
CN115599359A (zh) 一种代码生成方法、装置、设备及介质
CN116560683A (zh) 软件更新方法、装置、设备及存储介质
CN115599764A (zh) 一种表格数据的迁移方法、设备及介质
CN105447040B (zh) 二进制文件管理、更新方法、装置以及系统
CN115408347A (zh) 一种数据处理的方法、装置、设备及计算机可读存储介质
CN115310127A (zh) 一种数据脱敏方法及装置
CN111078905A (zh) 一种数据处理方法、装置、介质以及设备
CN110928896A (zh) 一种数据查询方法及装置
CN114968725A (zh) 任务依赖关系校正方法、装置、计算机设备及存储介质
CN115033592A (zh) 基于数据库的sql语句处理方法、装置、设备及存储介质
CN103186576B (zh) 对异构系统数据进行协同处理的方法及协同系统
CN112597121A (zh) 逻辑脚本的处理方法、装置、电子设备及存储介质
Su Application program conversion due to data base changes
CN116755684B (zh) OAS Schema的生成方法、装置、设备及介质
CN117828006A (zh) 一种可编排的数据提取方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination