CN111049913A - 数据文件的传输方法及装置、存储介质、电子设备 - Google Patents
数据文件的传输方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN111049913A CN111049913A CN201911303819.4A CN201911303819A CN111049913A CN 111049913 A CN111049913 A CN 111049913A CN 201911303819 A CN201911303819 A CN 201911303819A CN 111049913 A CN111049913 A CN 111049913A
- Authority
- CN
- China
- Prior art keywords
- transmission
- data file
- strategy
- database table
- request record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据文件的传输方法及装置、存储介质、电子设备，涉及数据处理技术领域。该数据文件的传输方法包括：配置数据文件的传输策略，并将传输策略记录在数据库表中，其中，传输策略至少包括以下传输参数：传输方式和传输策略状态，传输策略状态用于指示传输策略是否生效；根据配置的传输策略传输数据文件，并在数据库表中记录数据文件的传输状态，其中，传输状态包括：传输成功或传输失败。通过上述方式，实现了对数据文件传输策略的可配置以及统一管理，数据文件的传输程序不再是分散独立的，解决了现有技术中通过分散独立的文件传输程序对数据文件做传输操作会产生较大的维护负担以及出错的风险的问题。
Description
技术领域
本申请涉及信息处理技术领域，具体而言，涉及一种数据文件的传输方法及装置、存储介质、电子设备。
背景技术
随着企业级互联网应用的快速发展、智能设备的迅速普及，以及数据驱动业务的迅速发展，同一个应用但不同组件间的数据交互、数据共享需求日益增多，如基于大数据共享分析为企业决策作指导，更好的服务用户，数据共享挖掘对驱动业务增长、企业发展起到至关重要的作用。
安全文件传输(Safe File Transmission Protocol，简称为SFTP)技术是一种数据共享传输的方法，主要原理是直接使用SFTP命令传输数据。目前文件传输是应用者通过分散单独的传输程序对数据文件做传输操作，如果需要新增文件传输请求或者相关文件传输请求的变动维护，均需找到指定的传输程序，针对变动的数据文件传输请求做相关的维护操作。这种方式会产生较大的维护负担以及出错的风险。
针对相关技术中，通过分散独立的文件传输程序对数据文件做传输操作会产生较大的维护负担以及出错的风险的问题，目前尚未有合理的解决办法。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种数据文件的传输方法、装置、设备及存储介质，以改善现有技术中通过分散独立的文件传输程序对数据文件做传输操作会产生较大的维护负担以及出错的风险的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种数据文件的传输方法，包括：
配置数据文件的传输策略，并将所述传输策略记录在数据库表中，其中，所述传输策略至少包括以下传输参数：传输方式和传输策略状态，所述传输策略状态用于指示所述传输策略是否生效；
根据配置的所述传输策略传输所述数据文件，并在所述数据库表中记录所述数据文件的传输状态，其中，所述传输状态包括：传输成功或传输失败。
可选地，在配置数据文件的传输策略之前，所述方法还包括：
在所述数据库表中注册所述数据文件的传输请求记录，其中，所述传输请求记录的类型包括：发送数据文件或接收数据文件；
在所述传输请求记录对应的目录下配置所述数据文件的传输策略。
可选地，所述配置数据文件的传输策略，包括：
通过前端界面对目标数据文件执行以下至少之一的配置：
新增所述传输请求记录，修改所述传输请求记录，删除所述传输请求记录，其中，所述目标数据文件对应一条或多条所述传输请求记录。
可选地，所述根据配置的所述传输策略传输所述数据文件，包括：
在所述传输策略状态显示所述传输策略生效的情况下，根据所述传输方式和所述传输请求记录的类型传输所述数据文件，其中，所述传输方式包括以下至少之一：服务器IP地址和端口、本地文件全路径名、服务器端全路径名、用户名、用户密码。
可选地，根据配置的所述传输策略传输所述数据文件，并在所述数据库表中记录所述数据文件的传输状态，包括：
按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录；
在目标传输请求记录中配置的传输策略显示所述目标数据文件的传输开始时间满足服务器的传输时间，且所述服务器的传输进程个数少于所述服务器的传输并发度的情况下，根据配置的所述传输策略传输所述目标数据文件，并在所述数据库表中记录所述目标数据文件的传输状态，其中，所述目标传输请求记录为所述目标数据文件在所述数据库表中注册的传输请求记录。
可选地，按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录之后，所述方法还包括：
在所述目标数据文件的目标传输请求记录中对应的传输状态显示为传输失败的情况下，根据配置的所述传输策略传输所述目标数据文件，并在所述数据库表中更新所述目标数据文件的传输状态。
第二方面，本申请实施例还提供了一种数据文件的传输装置，包括：
配置模块，用于配置数据文件的传输策略；
第一记录模块，用于将所述传输策略记录在数据库表中，其中，所述传输策略至少包括以下传输参数：传输方式和传输策略状态，所述传输策略状态用于指示所述传输策略是否生效；
传输模块，用于根据配置的所述传输策略传输所述数据文件；
第二记录模块，用于在所述数据库表中记录所述数据文件的传输状态，其中，所述传输状态包括：传输成功或传输失败。
可选地，所述装置还包括：
注册模块，用于在所述数据库表中注册所述数据文件的传输请求记录，其中，所述传输请求记录的类型包括：发送数据文件或接收数据文件；
所述配置模块还用于，在所述传输请求记录对应的目录下配置所述数据文件的传输策略。
可选地，所述配置模块包括：
配置单元，用于通过前端界面对目标数据文件执行以下至少之一的配置：
新增所述传输请求记录，修改所述传输请求记录，删除所述传输请求记录，其中，所述目标数据文件对应一条或多条所述传输请求记录。
可选地，所述传输模块包括：
第一传输单元，用于在所述传输策略状态显示所述传输策略生效的情况下，根据所述传输方式和所述传输请求记录的类型传输所述数据文件，其中，所述传输方式包括以下至少之一：服务器IP地址和端口、本地文件全路径名、服务器端全路径名、用户名、用户密码。
可选地，传输模块包括：
扫描单元，用于按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录；
第二传输单元，用于在目标传输请求记录中配置的传输策略显示所述目标数据文件的传输开始时间满足服务器的传输时间，且所述服务器的传输进程个数少于所述服务器的传输并发度的情况下，根据配置的所述传输策略传输所述目标数据文件，其中，所述目标传输请求记录为所述目标数据文件在所述数据库表中注册的传输请求记录；
所述第二记录模块包括：
记录单元，用于在所述数据库表中记录所述目标数据文件的传输状态。
可选地，所述传输模块还包括：
第三传输单元，用于在所述目标数据文件的目标传输请求记录中对应的传输状态显示为传输失败的情况下，根据配置的所述传输策略传输所述目标数据文件；
所述第二记录模块还包括：
更新单元，用于在所述数据库表中更新所述目标数据文件的传输状态。
第三方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面提供的数据文件的传输方法的步骤。
第四方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面提供的数据文件的传输方法的步骤。
本申请的有益效果是：配置数据文件的传输策略，并将传输策略记录在数据库表中，其中，传输策略至少包括以下传输参数：传输方式和传输策略状态，传输策略状态用于指示传输策略是否生效；根据配置的传输策略传输数据文件，并在数据库表中记录数据文件的传输状态，其中，传输状态包括：传输成功或传输失败。通过上述方式，实现了对数据文件传输策略的可配置以及统一管理，数据文件的传输程序不再是分散独立的，解决了现有技术中通过分散独立的文件传输程序对数据文件做传输操作会产生较大的维护负担以及出错的风险的问题，可以直观配置数据文件的传输策略，并根据配置好的传输策略实现数据文件的传输，大大降低了维护负担，同时避免了因维护负担过重导致的出错风险。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请提供的数据文件的传输方法应用场景示意图；
图2为本申请一实施例提供的数据文件的传输方法的流程示意图；
图3是根据本申请实施例的一种可选的数据文件的传输方法流程图；
图4是根据本申请实施例的一种可选的数据文件的传输装置的结构框图；
图5为本申请实施例提供的一种可选的电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
图1为本申请提供的数据文件的传输方法应用场景示意图。
本申请实施例提供的方案可以是面向企业级互联网或金融领域互联网应用日终批量传输百万、千万级数据文件传输场景开发的基于参数化、配置化的数据文件传输产品，为企业级互联网应用或金融领域互联网应用以及系统平台提供数据文件传输的服务。通过可配置、可参数、可视化等技术，实现了数据文件安全、稳定、高效的传输等关键技术功能。如图1所示，本申请实施例的一种可选的应用场景包括：可视化前端和数据库服务端，可视化前端提供新增、修改、删除清理传输参数的功能供开发人员使用。数据库服务端运行在数据库服务器端，根据前端配置的传输策略，实现不同批量应用服务器间的自动化传输数据。
图2为本申请一实施例提供的数据文件的传输方法的流程示意图。
如图2所示，该方法包括：
S201，配置数据文件的传输策略，并将传输策略记录在数据库表中，其中，传输策略至少包括以下传输参数：传输方式和传输策略状态，传输策略状态用于指示传输策略是否生效。
一个可选的实施方式中，本申请实施例增加了统一的程序对数据文件传输进行管理，改变目前传输逻辑分散在各个脚本的现状，使得传输程序便于控制、管理灵活方便且降低了多文件之间传输的关联度，从而降低上线时出错的风险。举例说明，本申请实施例中的数据文件的传输可以是安全文件传输SFTP，数据库表可以是文件传输请求记录配置任务表FILE_EXCH_TASK，也可以是其他文件传输方式或数据库表的格式，本申请实施例对此不做限定。
传输策略状态用于指示传输策略是否生效，当数据文件配置了传输策略后，并不是立即进行数据文件的传输，当传输策略状态显示传输策略已生效时才会进行数据文件的传输。
S202，根据配置的传输策略传输数据文件，并在数据库表中记录数据文件的传输状态，其中，传输状态包括：传输成功或传输失败。
一个可选的实施方式中，本申请实施例使用常驻内存的总控程序autosftp，定期扫描FILE_EXCH_TASK中的配置记录，当配置记录中记载的文件传输开始时间START_TIME满足传输时间且服务器传输进程个数少于并发度PARALLEL_DEGREE时，则动态新增传输任务。在数据库表中记录传输状态的作用，可以实现数据文件的自动重传，若传输状态RCRD_ST显示传输失败时，那么后续总控程序扫描到时，则重新发起传输操作。
可选地，在配置数据文件的传输策略之前，所述方法还包括：
在数据库表中注册所述数据文件的传输请求记录，其中，所述传输请求记录的类型包括：发送数据文件或接收数据文件；
在所述传输请求记录对应的目录下配置所述数据文件的传输策略。
一个可选的实施方式中，每一个数据文件在配置传输策略之前，需要在数据库参数表FILE_EXCH_TASK注册一条SFTP文件传输请求记录，后续由总控程序定时处理这条传输请求。可以使用S|G(S或G)表示传输请求记录的类型，S表示发送文件请求，G表示接收文件请求。
添加请求记录返回为0时，仅表示成功注册了一条SFTP文件传输请求记录，实际传输与否体现在FILE_EXCH_TASK记录的文件传输策略是否生效RCRD_AVL和文件是否传输成功状态RCRD_ST值，如果添加请求记录返回非0时，表示传输请求记录注册失败。
若文件传输策略是否生效RCRD_AVL显示已生效，而文件是否传输成功状态RCRD_ST值显示传输失败时，表示数据文件已经被传输但是传输失败；
若文件传输策略是否生效RCRD_AVL显示已生效，而文件是否传输成功状态RCRD_ST值显示传输成功时，表示数据文件已经被传输但是传输成功；
若文件传输策略是否生效RCRD_AVL显示已生效，而文件是否传输成功状态RCRD_ST值未有状态记录，或者显示为未传输时，表示数据文件已经可以被传输但是还未实际进行传输，可以是处于等待传输的状态。
可选地，所述配置数据文件的传输策略，包括：
通过前端界面对目标数据文件执行以下至少之一的配置：
新增所述传输请求记录，修改所述传输请求记录，删除所述传输请求记录，其中，所述目标数据文件对应一条或多条所述传输请求记录。
一个可选的实施方式中，本申请实施例使用FILE_EXCH_TASK记录传输配置策略，每个数据文件传输使用一条或多条数据库记录表示，可通过前端页面新增、维护数据文件传输方法，可以包括新增/修改/删除等。
可选地，所述根据配置的所述传输策略传输所述数据文件，包括：
在所述传输策略状态显示所述传输策略生效的情况下，根据所述传输方式和所述传输请求记录的类型传输所述数据文件，其中，所述传输方式包括以下至少之一：服务器IP地址和端口、本地文件全路径名、服务器端全路径名、用户名、用户密码。
本申请实施例在数据库的FILE_EXCH_TASK参数表里记录传输的服务器IP地址和端口IP[:PORT]、本地文件全路径名LOCALFILE_FULLNAME、服务器端全路径名REMOTE_PATH、用户名USER、用户密码PASSWORD等参数，且在每一个传输策略中包含是否生效的标志RCRD_AVL和是否传输成功的状态RCRD_ST，因此可通过前端页面实现对数据文件传输的控制。
使用IP[:PORT]表示服务器IP地址和端口，一种可选方案中，若使用标准SFTP端口，可以不设置端口号。使用LOCALFILE_FULLNAME表示本地文件全路径名，接受文件时是写入文件的本地路径，发送文件时是源文件所在的本地路径，使用REMOTE_PATH表示服务器端全路径名。
可选地，根据配置的所述传输策略传输所述数据文件，并在所述数据库表中记录所述数据文件的传输状态，包括：
按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录；
在目标传输请求记录中配置的传输策略显示所述目标数据文件的传输开始时间满足服务器的传输时间，且所述服务器的传输进程个数少于所述服务器的传输并发度的情况下，根据配置的所述传输策略传输所述目标数据文件，并在所述数据库表中记录所述目标数据文件的传输状态，其中，所述目标传输请求记录为所述目标数据文件在所述数据库表中注册的传输请求记录。
可选地，按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录之后，所述方法还包括：
在所述目标数据文件的目标传输请求记录中对应的传输状态显示为传输失败的情况下，根据配置的所述传输策略传输所述目标数据文件，并在所述数据库表中更新所述目标数据文件的传输状态。
一个可选的实施方式中，本申请实施例使用常驻内存的总控程序autosftp，定期扫描FILE_EXCH_TASK中的配置记录，当配置记录中记载的文件传输开始时间START_TIME满足传输时间且服务器传输进程个数少于并发度PARALLEL_DEGREE时，则动态新增传输任务。在数据库表中记录传输状态的作用，可以实现数据文件的自动重传，若传输状态RCRD_ST显示传输失败时，那么后续总控程序扫描到时，则重新发起传输操作。
图3是根据本申请实施例的一种可选的数据文件的传输方法流程图，如图3所示，该方法包括以下步骤：
S301，主进程启动，需要连接数据库，数据库的记录表中记录了传输策略；
S302，检测连接数据库是否成功，如果连接成功，执行步骤S303，如果连接失败，回到步骤S301；
S303，从参数表(相当于前述的数据库表)中读取传输策略；
S304，根据传输策略创建相应的子进程传输数据文件；
S305，从参数表中读取对应的数据文件是否传输完成，如果传输完成执行步骤S307，如果传输未完成执行步骤S306；
S306，根据参数表中的传输策略传输数据；
S307，执行完毕后退出子程序(即步骤S304创建的子进程)。
通过本申请实施例提供的技术方案，彻底打破企业级互联网应用日终批量传输百万、千万级数据文件时传输逻辑乱、并发度高占用系统资源高、风险高的现状，利用配置化、参数化算法、失败重传等技术，使得数据文件传输时减少了占用系统资源高的风险，实现了数据文件安全、稳定、高效的传输，彻底解决了数据文件的可配置、可控制、传输文件失败后自动重传的数据文件传输方案。
本申请实施例中还提供了一种数据文件的传输装置，该装置用于实现上述数据文件的传输方法实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的一种可选的数据文件的传输装置的结构框图，如图4所示，该装置包括：
配置模块401，用于配置数据文件的传输策略；
第一记录模块402，用于将所述传输策略记录在数据库表中，其中，所述传输策略至少包括以下传输参数：传输方式和传输策略状态，所述传输策略状态用于指示所述传输策略是否生效；
传输模块403，用于根据配置的所述传输策略传输所述数据文件；
第二记录模块404，用于在所述数据库表中记录所述数据文件的传输状态，其中，所述传输状态包括：传输成功或传输失败。
可选地，所述装置还包括：
注册模块，用于在所述数据库表中注册所述数据文件的传输请求记录，其中，所述传输请求记录的类型包括：发送数据文件或接收数据文件；
所述配置模块还用于，在所述传输请求记录对应的目录下配置所述数据文件的传输策略。
可选地，所述配置模块包括：
配置单元，用于通过前端界面对目标数据文件执行以下至少之一的配置：
新增所述传输请求记录，修改所述传输请求记录，删除所述传输请求记录，其中，所述目标数据文件对应一条或多条所述传输请求记录。
可选地，所述传输模块包括：
第一传输单元，用于在所述传输策略状态显示所述传输策略生效的情况下，根据所述传输方式和所述传输请求记录的类型传输所述数据文件，其中，所述传输方式包括以下至少之一：服务器IP地址和端口、本地文件全路径名、服务器端全路径名、用户名、用户密码。
可选地，传输模块包括：
扫描单元，用于按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录；
第二传输单元，用于在目标传输请求记录中配置的传输策略显示所述目标数据文件的传输开始时间满足服务器的传输时间，且所述服务器的传输进程个数少于所述服务器的传输并发度的情况下，根据配置的所述传输策略传输所述目标数据文件，其中，所述目标传输请求记录为所述目标数据文件在所述数据库表中注册的传输请求记录；
所述第二记录模块包括：
记录单元，用于在所述数据库表中记录所述目标数据文件的传输状态。
可选地，所述传输模块还包括：
第三传输单元，用于在所述目标数据文件的目标传输请求记录中对应的传输状态显示为传输失败的情况下，根据配置的所述传输策略传输所述目标数据文件；
所述第二记录模块还包括：
更新单元，用于在所述数据库表中更新所述目标数据文件的传输状态。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图5为本申请实施例提供的一种可选的电子设备结构示意图。
如图5所示，该电子设备包括：处理器801、存储介质802和总线803，其中：
主控端设备可以包括一个或多个处理器801、总线803和存储介质802，其中，存储介质802用于存储程序，处理器801通过总线803与存储介质802通信连接，处理器801调用存储介质802存储的程序，以执行上述方法实施例。
需要说明的是，处理器801可以包括一个或多个处理核(例如，单核处理器或多核处理器)。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor，ASIP)、图形处理单元(GraphicsProcessing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable GateArray，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)、或微处理器等，或其任意组合。
存储介质802可以包括：包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random Access Memory，RAM)；RAM可以包括动态RAM(Dynamic Random Access Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM，DDR SDRAM)；静态RAM(Static Random-AccessMemory，SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-Only Memory，MROM)、可编程ROM(Programmable Read-Only Memory，PROM)、可擦除可编程ROM(ProgrammableErasable Read-only Memory，PEROM)、电可擦除可编程ROM(Electrically ErasableProgrammable read only memory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。
为了便于说明，在上述电子设备中仅描述了一个处理器801。然而，应当注意，本申请中的电子设备还可以包括多个处理器801，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备的处理器801执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
可选地，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述应用于主控端的数据文件的传输方法的步骤。
可选地，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述应用于受控端的数据文件的传输方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种数据文件的传输方法，其特征在于，包括：
配置数据文件的传输策略，并将所述传输策略记录在数据库表中，其中，所述传输策略至少包括以下传输参数：传输方式和传输策略状态，所述传输策略状态用于指示所述传输策略是否生效；
根据配置的所述传输策略传输所述数据文件，并在所述数据库表中记录所述数据文件的传输状态，其中，所述传输状态包括：传输成功或传输失败。
2.如权利要求1所述的方法，其特征在于，在配置数据文件的传输策略之前，所述方法还包括：
在所述数据库表中注册所述数据文件的传输请求记录，其中，所述传输请求记录的类型包括：发送数据文件或接收数据文件；
在所述传输请求记录对应的目录下配置所述数据文件的传输策略。
3.如权利要求2所述的方法，其特征在于，所述配置数据文件的传输策略，包括：
通过前端界面对目标数据文件执行以下至少之一的配置：
新增所述传输请求记录，修改所述传输请求记录，删除所述传输请求记录，其中，所述目标数据文件对应一条或多条所述传输请求记录。
4.如权利要求2所述的方法，其特征在于，所述根据配置的所述传输策略传输所述数据文件，包括：
在所述传输策略状态显示所述传输策略生效的情况下，根据所述传输方式和所述传输请求记录的类型传输所述数据文件，其中，所述传输方式包括以下至少之一：服务器IP地址和端口、本地文件全路径名、服务器端全路径名、用户名、用户密码。
5.如权利要求2所述的方法，其特征在于，根据配置的所述传输策略传输所述数据文件，并在所述数据库表中记录所述数据文件的传输状态，包括：
按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录；
在目标传输请求记录中配置的传输策略显示目标数据文件的传输开始时间满足服务器的传输时间，且所述服务器的传输进程个数少于所述服务器的传输并发度的情况下，根据配置的所述传输策略传输所述目标数据文件，并在所述数据库表中记录所述目标数据文件的传输状态，其中，所述目标传输请求记录为所述目标数据文件在所述数据库表中注册的传输请求记录。
6.如权利要求5所述的方法，其特征在于，按照预设周期或根据指令，扫描所述数据库表中的所述传输请求记录之后，所述方法还包括：
在所述目标数据文件的目标传输请求记录中对应的传输状态显示为传输失败的情况下，根据配置的所述传输策略传输所述目标数据文件，并在所述数据库表中更新所述目标数据文件的传输状态。
7.一种数据文件的传输装置，其特征在于，包括：
配置模块，用于配置数据文件的传输策略；
第一记录模块，用于将所述传输策略记录在数据库表中，其中，所述传输策略至少包括以下传输参数：传输方式和传输策略状态，所述传输策略状态用于指示所述传输策略是否生效；
传输模块，用于根据配置的所述传输策略传输所述数据文件；
第二记录模块，用于在所述数据库表中记录所述数据文件的传输状态，其中，所述传输状态包括：传输成功或传输失败。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
注册模块，用于在所述数据库表中注册所述数据文件的传输请求记录，其中，所述传输请求记录的类型包括：发送数据文件或接收数据文件；
所述配置模块还用于，在所述传输请求记录对应的目录下配置所述数据文件的传输策略。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1至6任一项所述的数据文件的传输方法的步骤。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的数据文件的传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911303819.4A CN111049913B (zh) | 2019-12-17 | 2019-12-17 | 数据文件的传输方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911303819.4A CN111049913B (zh) | 2019-12-17 | 2019-12-17 | 数据文件的传输方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111049913A true CN111049913A (zh) | 2020-04-21 |
| CN111049913B CN111049913B (zh) | 2022-03-25 |
Family
ID=70237144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911303819.4A Active CN111049913B (zh) | 2019-12-17 | 2019-12-17 | 数据文件的传输方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111049913B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112492036A (zh) * | 2020-12-01 | 2021-03-12 | 成都颜创启新信息技术有限公司 | 信息处理方法和装置、电子设备及存储介质 |
| CN112632023A (zh) * | 2020-12-30 | 2021-04-09 | 北京浩瀚深度信息技术股份有限公司 | 一种多数据源写入的文件传输方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102222112A (zh) * | 2011-07-12 | 2011-10-19 | 宇龙计算机通信科技(深圳)有限公司 | 资源管理装置和资源管理方法 |
| CN102255940A (zh) * | 2011-03-22 | 2011-11-23 | 苏州阔地网络科技有限公司 | 一种设置优先级的批量处理的文件传输方法及系统 |
| CN103731430A (zh) * | 2014-01-09 | 2014-04-16 | 北京哈工大计算机网络与信息安全技术研究中心 | 一种基于struts2架构文件上传安全控制方法 |
| CN108040115A (zh) * | 2017-12-21 | 2018-05-15 | 北京华夏电通科技有限公司 | 文件传输方法及装置 |
| US10121021B1 (en) * | 2018-04-11 | 2018-11-06 | Capital One Services, Llc | System and method for automatically securing sensitive data in public cloud using a serverless architecture |
| CN109359107A (zh) * | 2018-11-05 | 2019-02-19 | 中国建设银行股份有限公司 | 数据库清理方法、系统、装置及存储介质 |
-
2019
- 2019-12-17 CN CN201911303819.4A patent/CN111049913B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102255940A (zh) * | 2011-03-22 | 2011-11-23 | 苏州阔地网络科技有限公司 | 一种设置优先级的批量处理的文件传输方法及系统 |
| CN102222112A (zh) * | 2011-07-12 | 2011-10-19 | 宇龙计算机通信科技(深圳)有限公司 | 资源管理装置和资源管理方法 |
| CN103731430A (zh) * | 2014-01-09 | 2014-04-16 | 北京哈工大计算机网络与信息安全技术研究中心 | 一种基于struts2架构文件上传安全控制方法 |
| CN108040115A (zh) * | 2017-12-21 | 2018-05-15 | 北京华夏电通科技有限公司 | 文件传输方法及装置 |
| US10121021B1 (en) * | 2018-04-11 | 2018-11-06 | Capital One Services, Llc | System and method for automatically securing sensitive data in public cloud using a serverless architecture |
| CN109359107A (zh) * | 2018-11-05 | 2019-02-19 | 中国建设银行股份有限公司 | 数据库清理方法、系统、装置及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112492036A (zh) * | 2020-12-01 | 2021-03-12 | 成都颜创启新信息技术有限公司 | 信息处理方法和装置、电子设备及存储介质 |
| CN112632023A (zh) * | 2020-12-30 | 2021-04-09 | 北京浩瀚深度信息技术股份有限公司 | 一种多数据源写入的文件传输方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111049913B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493076B (zh) | 一种Kafka消息唯一消费方法、系统、服务器及存储介质 | |
| CN109597640B (zh) | 一种应用程序的账号管理方法、装置、设备和介质 | |
| CN111049913B (zh) | 数据文件的传输方法及装置、存储介质、电子设备 | |
| US20170085653A1 (en) | Method, device and system for message distribution | |
| CN104468811B (zh) | 升级方法及装置 | |
| CN109634989B (zh) | 一种hive任务执行引擎选择方法和系统 | |
| CN113051102B (zh) | 文件备份方法、装置、系统、存储介质和计算机设备 | |
| CN114722119A (zh) | 数据同步方法及系统 | |
| CN111400041A (zh) | 服务器配置文件的管理方法、装置及计算机可读存储介质 | |
| WO2021086693A1 (en) | Management of multiple physical function non-volatile memory devices | |
| CN116483517B (zh) | 虚拟机控制方法、装置及系统 | |
| CN115454333A (zh) | 云计算平台与存储系统的对接方法及装置 | |
| CN108460078B (zh) | 辅助功能的执行方法、装置、存储介质及终端 | |
| CN110327626B (zh) | 虚拟服务器创建方法及装置 | |
| CN112333262A (zh) | 数据更新提示方法、装置、计算机设备及可读存储介质 | |
| CN111752911A (zh) | 一种基于Flume的数据传输方法、系统、终端及存储介质 | |
| CN114675995A (zh) | 数据备份方法、装置和电子设备 | |
| CN110703988A (zh) | 一种分布式存储的存储池创建方法、系统、终端及存储介质 | |
| CN115934376A (zh) | 一种信息处理方法、装置、设备及介质 | |
| CN116431566B (zh) | 数据迁移方法、装置、电子设备及介质 | |
| CN113806249B (zh) | 一种对象存储有序列举方法、装置、终端及存储介质 | |
| CN111078714B (zh) | 数据处理的方法及装置 | |
| CN113704274B (zh) | 一种数据的读取方法及电子设备 | |
| CN116828028A (zh) | 网元指令下发方法、装置、系统、设备及介质 | |
| CN117978792A (zh) | 应用程序与Web端的交互方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220908 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Patentee after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Patentee before: CHINA CONSTRUCTION BANK Corp. Patentee before: Jianxin Financial Science and Technology Co.,Ltd. |