CN117194549A - 基于任务数据配置的数据传输方法及装置 - Google Patents

Abstract

本申请提供了一种基于任务数据配置的数据传输方案，通过获取任务配置数据并上传至Redis的任务队列，并通过任务配置数据对应一个或多个数据传输任务实现一次并行执行多个数据传输或导出任务，批量完成不同路径的数据传输或导出任务；然后通过各任务配置数据中的传输文件名在文件传输路径上的指定位置新建目标文件，并根据过各任务配置数据中的Redis数据列名称，从Redis中指定数据列获取目标数据，并直接将目标数据传输至相应数据传输任务对应的目标文件中，可以提高新建导出文件的成功率，保证数据能正常传输和导出，使数据传输、抽取或导出流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据和浪费时间，进而提高数据传输效率。

Description

基于任务数据配置的数据传输方法及装置

技术领域

本申请涉及医疗数据处理技术领域，尤其涉及一种基于任务数据配置的数据传输技术。

背景技术

在大数据数据库建设过程中，需要汇集各业务数据所产生的业务数据，定期或不定期抽取到大数据数据库中，进行进一步的清洗、分析处理。在此过程中，需要先将数据抽取到Redis内存数据库中进行缓存，然后再通过自动或者人工方式将redis数据库中的数据，存入大数据数据库中指定路径下的新建文件中，以供进一步清洗和分析处理。

现有技术中将redis内存数据库中的数据存入大数据数据库中指定路径下的新建文件中的具体步骤为：首先从redis内存数据库中获取数据，并在指定路径下新建文件，最后将数据导入新建文件。但现有技术中，如果新建文件失败，或者手动新建文件时出现名称或路径错误都会导致数据导入新建文件失败，而Redis为存储在内存中的数据库，因此，在从redis内存数据库中获取数据后，Redis中的数据消失，一旦导入新建文件失败，则会彻底损失该批次的数据，造成数据丢失。同时，现有技术中对于新建文件失败或者新建文件错误导致数据损失的问题也缺乏发现和解决机制，需要人工实时关注数据抽取情况，一旦数据导入新建文件失败，需要重新抽取到Redis内存数据库，排除问题后重新导入新建文件，费时费力，数据抽取效率低。

发明内容

为了解决上述技术问题，本申请旨在提供一种基于任务数据配置的数据传输方法及装置，使数据抽取传输导出流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据并浪费数据导入导出的时间，并通过并行执行多个数据导出任务提高数据抽取导出效率。

为实现上述目的，本申请的一些实施例提供了一种基于任务数据配置的数据传输方法，其方法包括：获取任务配置数据并上传至Redis的任务队列，所述任务配置数据对应一个或多个数据传输任务；其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径、传输文件名和对应的Redis数据列名称；根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；根据所述Redis数据列名称，从Redis中指定数据列获取目标数据；将所述目标数据传输至相应数据传输任务对应的目标文件中。

可选地，所述方法还包括：针对各Redis数据列，预设文件导出路径生成规则和/或导出文件名生成规则；基于对应的redis数据列，以及预设的所述文件导出路径生成规则和/或所述导出文件名生成规则，生成任务配置数据。

可选地，针对各Redis数据列，预设文件导出路径生成规则，包括：

根据不同的业务数据设置与数据生成时间和/或数据抽取时间和/或数据抽取任务请求人相关的文件导出路径生成规则。

可选地，针对各Redis数据列，预设导出文件名生成规则，包括：根据不同的业务数据设置与数据抽取时间和/或数据抽取次数和/或单次任务标识相关的导出文件名生成规则。

可选地，所述方法还包括：基于所述任务配置数据，逐级检查任务配置数据中的文件传输路径是否存在；若文件传输路径不存在，则根据所述任务配置数据逐级新建文件传输路径；若存在，则根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件。

可选地，在获取任务配置数据并上传至Redis的任务队列之前，所述方法还包括：基于用户数据抽取请求或者预设数据抽取任务配置，生成数据抽取任务，将目标数据从各数据库抽取至相应的Redis数据列。

可选地，所述将所述目标数据传输至所述目标文件，包括：获取传输结果；若传输发生错误，则将所述目标数据重新写入Redis数据列，并将相应的发生错误的任务配置数据放入Redis错误列进行排查。

根据本申请的另一方面，本申请的一些实施例还提供了一种基于任务数据配置的数据传输装置，包括：任务配置模块，用于获取任务配置数据并上传至Redis的任务队列，所述任务配置数据对应一个或多个数据传输任务；其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径、传输文件名和对应的Redis数据列名称；数据处理模块，用于根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；数据获取模块，用于根据所述Redis数据列名称，从Redis中指定数据列获取目标数据；数据传输模块，用于将所述目标数据传输至相应数据传输任务对应的目标文件中。

根据本申请的另一方面，本申请的一些实施例还提供了一种计算机设备，所述计算机设备包括：通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；所述存储器存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行基于任务数据配置的数据传输方法。

根据本申请的另一方面，本申请的一些实施例还提供了一种计算机可读介质，其特征在于，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现基于任务数据配置的数据传输方法。

本申请的上述技术方案，通过获取任务配置数据并上传至Redis的任务队列，并通过任务配置数据对应一个或多个数据传输任务实现一次执行多个数据传输或导出任务，批量完成不同路径的数据传输或导出任务；然后通过各任务配置数据中的传输文件名在所述文件传输路径上的指定位置新建目标文件，实现文件导出路径的建立，并根据各任务配置数据中的Redis数据列名称，从Redis中指定数据列获取目标数据，并直接将所述目标数据传输至相应数据传输任务对应的目标文件中，可以提高新建导出文件的成功率，保证数据能正常传输和导出，不需要中断数据抽取程序进行文件检查，使数据传输、抽取或导出流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据，浪费数据传输及导入导出的时间；并可并行执行多个数据传输任务，提高数据抽取导出效率。

附图说明

图1为本申请实施例提供的基于任务数据配置的数据传输方法的流程图；

图2为本申请实施例提供的基于任务数据配置的数据传输装置的结构示意图；

图3为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了方便理解本申请实施例提供的技术方案，本申请先对部分技术术语进行如下说明：

Redis： Remote Dictionary Server，即远程字典服务。Redis是一个开源，内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。在本申请中，Redis用于存储目标数据，并提供数据列信息。

Redis任务队列：Redis任务队列是一种基于链表实现的先进先出（FIFO）结构，通常用于解决生产者消费者模型中的任务分发和处理问题。Redis队列的实现非常简单，它主要是通过左端（头部）进行出队操作，右端（尾部）进行入队操作；它可以应用于任务分发、消息队列、日志处理、实时数据分析等领域。Redis队列可以通过多种方式来实现高并发，比如使用管道、Lua脚本、并发控制等。其中，使用管道可以将多个Redis命令打包成一个批处理操作，从而减少网络开销和延迟；使用Lua脚本可以将多个Redis命令打包成一个原子操作，从而保证数据的一致性和可靠性；使用并发控制可以通过限制并发请求的数量来控制容量和吞吐量。并支持通过多种方式来实现高并发，比如使用管道、Lua脚本、并发控制等。其中，使用管道可以将多个Redis命令打包成一个批处理操作，从而减少网络开销和延迟；使用Lua脚本可以将多个Redis命令打包成一个原子操作，从而保证数据的一致性和可靠性；使用并发控制可以通过限制并发请求的数量来控制容量和吞吐量。在本申请中，Redis任务队列用来自动的根据数据导出需求或者任务配置数据，一次执行多个数据导出任务，批量完成不同路径的数据导出任务。

为了便于更好地理解本申请的技术方案，下面将结合具体实施例，对本申请的技术方案做进一步详细说明。

如图1所示，本申请的一实施例基于任务数据配置的数据传输方法，所述方法包括：

步骤S101：获取任务配置数据并上传至Redis的任务队列，所述任务配置数据对应一个或多个数据传输任务；其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径、传输文件名和对应的Redis数据列名称；

具体地，所述任务配置数据包括多个，不同的数据传输任务对应有不同的任务配置数据，数据传输任务可以被不同的任务队列来执行，进一步地，Redis的任务队列也可以包括多个，用来分别执行不同或相同的数据传输任务，具体地，一个任务队列同时执行一个数据传输任务，且当一个数据传输任务完成后，执行下一下数据传输任务，多个任务队列可以并行执行多个数据传输任务，从而提高数据传输效率。在本申请中，数据传输是指将数据抽取后导出的过程，即将各业务系统所产生的业务数据，抽取到大数据数据库中以进行进一步的清洗、分析处理的数据传输过程。

步骤S102：根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；通过直接建立文件导出路径，可以提高新建导出文件的成功率，保证数据能正常导出，不需要中断数据抽取程序进行文件检查。

步骤S103：根据所述Redis数据列名称，从Redis中指定数据列获取目标数据；具体地，通过Redis数据列的名称可以确定目标数据在Redis数据库中的位置，进而可以直接从相应位置抽取出目标数据；

步骤S104：将所述目标数据传输至相应数据传输任务对应的目标文件中。

通过上述方式，使数据抽取导出的传输流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据，浪费数据导入导出的时间；同时可以并行执行多个数据导出任务，提高数据抽取导出效率。

作为一种可选的实施例，基于任务数据配置的数据传输方法还包括：针对各Redis数据列，预设文件导出路径生成规则和/或导出文件名生成规则；

基于对应的redis数据列，以及预设的所述文件导出路径生成规则和/或所述导出文件名生成规则，生成任务配置数据。

可选地，针对各Redis数据列，预设文件导出路径生成规则，包括：

根据不同的业务数据设置与数据生成时间和/或数据抽取时间和/或数据抽取任务请求人相关的文件导出路径生成规则。

可选地，针对各Redis数据列，预设导出文件名生成规则，包括：

根据不同的业务数据设置与数据抽取时间和/或数据抽取次数和/或单次任务标识相关的导出文件名生成规则。

具体地，针对各redis数据列设置文件导出路径生成规则和/或导出文件名生成规则，基于对应的redis数据列，以及预设文件导出路径生成规则和/或导出文件名生成规则，生成任务配置数据；例如根据不同的业务数据设置与数据生成或者抽取时间（年度、季度、月度、具体日期或者具体时间点）相关的文件导出路径生成规则，或者，根据不同的业务数据设置与数据抽取任务请求人相关的文件导出路径生成规则等等；同样的，还可以根据不同的业务数据设置与数据抽取时间相关的导出文件名生成规则，或者根据不同的业务数据设置与数据抽取的次数相关的导出文件名生成规则，或者根据不同的业务数据设置与其他单次任务标识相关的导出文件名生成规则。如此设置，减少了人工配置任务配置数据的工作量，可以提高数据传输导出的自动化程度，减少了人工配置错误的发生，提高了数据抽取效率。本申请对于文件导出路径生成规则和/或导出文件名生成规则的生成仅仅是示例性的说明，申请人可以想到也能够想到通过其他已知信息或者基于用户的主动设置或用户预先配置的信息生成相应的文件导出路径生成规则和/或导出文件名生成规则，其也应视为本申请的保护范围。

作为一种可选的实施例，所述方法还包括：

基于所述任务配置数据，逐级检查任务配置数据中的文件传输路径是否存在；

若文件传输路径不存在，则根据所述任务配置数据逐级新建文件传输路径；

若存在，则根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件。在此方案中，通过先检查文件传输路径是否存在，并在不存在时新建文件，由于此时目标数据还未从redis导出，故不会损失目标数据和浪费数据从redis导入导出的时间。

作为一种可选的实施例，在获取任务配置数据并上传至Redis的任务队列之前，所述方法还包括：基于用户数据抽取请求或者预设数据抽取任务配置，生成数据抽取任务，将目标数据从各数据库抽取至相应的Redis数据列。

作为一种可选的实施例，所述将所述目标数据传输至所述目标文件，包括：获取传输结果；具体地，传输结果包括用于标识目标数据传输成功或失败或，正确或错误的标识信息，若传输发生错误，则将所述目标数据重新写入Redis数据列，并将相应的发生错误的任务配置数据放入Redis错误列进行排查。若传输成功或者传输数据无误，则结束当前Redis的任务队列，并可以让当前Redis的任务队列基于任务配置数据执行下一个数据传输任务。具体地，在目标数据传输至所述目标文件后，还可以判断目标数据是否发生改变，如数据大小、数据类型或者数据防篡改编码是否发生变化，如果发生变化，给出提示信息，提示目标数据传输可能存在问题，待用户核查确定无误后，完成最终传输，进一步地，如果用户核查确定存在问题，则将所述目标数据重新写入Redis数据列，并将相应的发生错误的任务配置数据放入Redis错误列进行排查。进一步地，可以使用消息弹窗方式提示用户核查当前数据传输任务，并记录当前用户的操作信息和身份信息，保留用户的操作记录，便于后续数据核查，如果有问题，可以直接找到操作用户进行确定。

本申请的上述技术方案，通过获取任务配置数据并上传至Redis的任务队列，并通过任务配置数据对应一个或多个数据传输任务实现一次执行多个数据传输或导出任务，批量完成不同路径的数据传输或导出任务；然后通过各任务配置数据中的传输文件名在所述文件传输路径上的指定位置新建目标文件，实现文件导出路径的建立，并根据过各任务配置数据中的Redis数据列名称，从Redis中指定数据列获取目标数据，并直接将所述目标数据传输至相应数据传输任务对应的目标文件中，可以提高新建导出文件的成功率，保证数据能正常传输和导出，不需要中断数据抽取程序进行文件检查，使数据传输、抽取或导出流程，不会因为新建文件失败或者新建文件时出现名称和路径错误而损失数据，浪费数据传输及导入导出的时间；并可并行执行多个数据传输任务，提高数据抽取导出效率。

根据本申请的另一方面，本申请还提供了一种基于任务数据配置的数据传输装置，包括：

任务配置模块，用于获取任务配置数据并上传至Redis的任务队列，所述任务配置数据对应一个或多个数据传输任务；

其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径、传输文件名和对应的Redis数据列名称；

数据处理模块，用于根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；

数据获取模块，用于根据所述Redis数据列名称，从Redis中指定数据列获取目标数据；

数据传输模块，用于将所述目标数据传输至相应数据传输任务对应的目标文件中。

关于装置的具体限定可参见上文中对于方法的限定，在此不再赘述。上述防微环的报文发送装置中的各个模块/单元可全部或部分通过软件、硬件及其组合来实现。上述各模块/单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，本申请提供了一种计算机设备，所述计算机设备应用于通信网络，所述计算机设备包括：通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行基于任务数据配置的数据传输方法。

本申请实施例提供的计算机设备，可以是服务器，也可以是客户端或者其他计算机网络通信设备；如图3所示，为本申请实施例提供的计算机设备的结构示意图。

处理器301、存储器302、总线305、接口304，处理器301与存储器302、接口304相连，总线305分别连接处理器301、存储器302以及接口304，接口304用于接收或者发送数据，处理器301是单核或多核中央处理单元，或者为特定集成电路，或者为被配置成实施本发明实施例的一个或多个集成电路。存储器302可以为随机存取存储器(randomaccess memory，RAM) ，也可以为非易失性存储器(non-volatile memory) ，例如至少一个硬盘存储器。存储器302用于存储计算机执行指令。具体的，计算机执行指令中可以包括程序303。

本实施例中，该处理器301调用程序303时，可以使图3中的管理服务器执行基于任务数据配置的数据传输方法的操作，具体此处不再赘述。

应理解，本申请上述实施例提供的处理器，可以是中央处理单元(centralprocessing unit，CPU) ，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，DSP)、专用集成电路 (application-specific integrated circuit ，ASIC) 、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请中以上实施例中的计算机设备中的处理器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。本申请实施例中的存储器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。

还需要说明的是，当计算机设备包括处理器(或处理单元)与存储器时，本申请中的处理器可以是与存储器集成在一起的，也可以是处理器与存储器通过接口连接，可以根据实际应用场景调整，并不作限定。

本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机设备（客户端或服务器）实现上述方法中所涉及的控制器的功能，例如处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

在另一种可能的设计中，当该芯片系统为用户设备或接入网等内的芯片时，芯片包括：处理单元和通信单元，处理单元例如可以是处理器，通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该客户端或管理服务器等内的芯片执行常识问答方法的步骤。可选地，存储单元为芯片内的存储单元，如寄存器、缓存等，存储单元还可以是客户端或管理服务器等内的位于芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

应理解，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被处理单元执行时，执行本申请的方法中限定的上述功能。

应理解，本申请以上实施例中的提及的控制器或处理器，可以是中央处理单元(central processing unit，CPU) ，还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等中的一种或多种的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请中以上实施例中的计算机设备或芯片系统等中的处理器或控制器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。本申请实施例中的存储器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个计算机可读指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案的步骤。该计算机可以为上述计算机设备（客户端或服务器或者其他计算机网络通信设备）。

在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

此外，本申请实施例还提供了一种计算机程序，所述计算机程序存储于计算机设备，使得计算机设备执行所述控制代码执行的方法。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路（ASIC）、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序（包括相关的数据结构）可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.基于任务数据配置的数据传输方法，其特征在于，所述方法包括：

获取任务配置数据并上传至Redis的任务队列，所述任务配置数据对应一个或多个数据传输任务；

其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径、传输文件名和对应的Redis数据列名称；

根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；

根据所述Redis数据列名称，从Redis中指定数据列获取目标数据；

将所述目标数据传输至相应数据传输任务对应的目标文件中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对各Redis数据列，预设文件导出路径生成规则和/或导出文件名生成规则；

基于对应的redis数据列，以及预设的所述文件导出路径生成规则和/或所述导出文件名生成规则，生成任务配置数据。

3.根据权利要求2所述的方法，其特征在于，针对各Redis数据列，预设文件导出路径生成规则，包括：

根据不同的业务数据设置与数据生成时间和/或数据抽取时间和/或数据抽取任务请求人相关的文件导出路径生成规则。

4.根据权利要求2所述的方法，其特征在于，针对各Redis数据列，预设导出文件名生成规则，包括：

根据不同的业务数据设置与数据抽取时间和/或数据抽取次数和/或单次任务标识相关的导出文件名生成规则。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述任务配置数据，逐级检查任务配置数据中的文件传输路径是否存在；

若文件传输路径不存在，则根据所述任务配置数据逐级新建文件传输路径；

若存在，则根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件。

6.根据权利要求1所述的方法，其特征在于，在获取任务配置数据并上传至Redis的任务队列之前，所述方法还包括：

基于用户数据抽取请求或者预设数据抽取任务配置，生成数据抽取任务，将目标数据从各数据库抽取至相应的Redis数据列。

7.根据权利要求1所述的方法，其特征在于，所述将所述目标数据传输至所述目标文件，包括：

获取传输结果；

若传输发生错误，则将所述目标数据重新写入Redis数据列，并将相应的发生错误的任务配置数据放入Redis错误列进行排查。

8.基于任务数据配置的数据传输装置，其特征在于，包括：

任务配置模块，用于获取任务配置数据并上传至Redis的任务队列，所述任务配置数据对应一个或多个数据传输任务；

其中，所述任务配置数据包括：一个或多个数据传输任务的文件传输路径、传输文件名和对应的Redis数据列名称；

数据处理模块，用于根据所述传输文件名，在所述文件传输路径上的指定位置新建目标文件；

数据获取模块，用于根据所述Redis数据列名称，从Redis中指定数据列获取目标数据；

数据传输模块，用于将所述目标数据传输至相应数据传输任务对应的目标文件中。

9.一种计算机设备，其特征在于，所述计算机设备包括：通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器存储有计算机程序指令的存储器，所述计算机程序指令在被执行时使所述处理器执行如权利要求1-7任一项所述的方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1-7任一项所述的方法。