CN109040252A - 文件传输方法、系统、计算机设备和存储介质 - Google Patents

文件传输方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN109040252A
CN109040252A CN201810891980.7A CN201810891980A CN109040252A CN 109040252 A CN109040252 A CN 109040252A CN 201810891980 A CN201810891980 A CN 201810891980A CN 109040252 A CN109040252 A CN 109040252A
Authority
CN
China
Prior art keywords
file
path
data
remote server
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810891980.7A
Other languages
English (en)
Other versions
CN109040252B (zh
Inventor
李琦
刘琼
谢云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810891980.7A priority Critical patent/CN109040252B/zh
Priority to PCT/CN2018/106693 priority patent/WO2020029388A1/zh
Publication of CN109040252A publication Critical patent/CN109040252A/zh
Application granted granted Critical
Publication of CN109040252B publication Critical patent/CN109040252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本发明涉及数据处理技术领域,尤其涉及一种文件传输方法、系统、计算机设备和存储介质。该方法包括:获取文件查找目录表,文件查找目录表中包括若干文件路径及数据提取规则,定时在文件路径对应的目标路径中创建文件,对文件以文件重命名名称进行重命名,按文件路径访问数据库,以数据提取规则中的数据字段提取数据信息,并将数据信息保存在文件中;通过客户端的SFTP客户端软件定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。本发明通过对数据的再次提取,对文件的重命名和排序,能准确分类文件,通过部署SFTP客户端软件,与远程服务器能实现远程自动安全传输文件的目的。

Description

文件传输方法、系统、计算机设备和存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种文件传输方法、系统、计算机设备和存储介质。
背景技术
客户端上的应用程序每天均会产生大量的文件,比如最常见的日志文件,在众多文件中,一部分数据是远程服务器希望获取的。远程服务器与客户端建立连接后,如果采用人工查找数据并上传文件,显然工作量非常大。如果以自动查找文件的方式,自动上传到远程服务器,在文件量大时,客户端无法确定哪些数据是远程服务器需要的前提下,可能将所有文件均上传给远程服务器,容易造成远程服务器接收到很多不需要的数据。多个客户端如果同时上传大量文件给远程服务器,还容易出现网络堵塞,给传输文件带来了压力。
发明内容
有鉴于此,有必要针对大量客户端已产生的文件无法准确定位查找并传输给远程服务器的问题,提供一种文件传输方法、系统、计算机设备和存储介质。
一种文件传输方法,包括:
获取文件查找目录表,所述文件查找目录表存储在客户端的数据库中,所述文件查找目录表中包括若干文件路径及数据提取规则,每项所述文件路径对应一项所述数据提取规则,所述数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;
定时在所述文件路径对应的所述目标路径中创建文件,对所述文件以所述文件重命名名称进行重命名,按所述文件路径访问所述数据库,以所述数据提取规则中的数据字段提取数据信息,并将所述数据信息保存在所述文件中,对若干所述文件路径依次生成所述文件;
通过预设在所述客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在所述目标路径中的所述文件发送给所述远程服务器。
在其中一个实施例中,所述获取文件查找目录表前,包括:
在所述客户端预设录入界面和文件查找目录表,所述录入界面中设置文件路径查找按钮、文件路径字段、数据字段、文件重命名名称字段和目标路径字段;
获取所述录入界面中输入的字段信息后,将字段信息存储在所述文件查找目录表中。
在其中一个实施例中,所述定时在所述文件路径对应的所述目标路径中创建文件,对所述文件以所述文件重命名名称进行重命名,按所述文件路径访问所述数据库,以所述数据提取规则中的数据字段提取数据信息,并将所述数据信息保存在所述文件中,对若干所述文件路径依次生成所述文件,包括:
调用预设的java定时任务,依次在所述文件路径对应的所述目标路径中创建所述文件,并以所述文件重命名名称加上当前时间戳,重命名所述文件;
按所述文件路径,从所述数据库中提取所述文件路径对应的数据字段,将所述数据字段设置为数据信息后,将所述数据信息存入所述文件中;
将所述文件在所述目标路径中,将文件名称按照时间顺序进行降序排序;
根据所述java定时任务,遍历若干所述文件路径,在所述文件路径对应的所述目标路径中依次生成所述文件。
在其中一个实施例中,所述通过预设在所述客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在所述目标路径中的所述文件发送给所述远程服务器,包括:
调用预设在所述客户端的SFTP客户端软件,定时与所述远程服务器建立连接后,读取所述目标路径中的文件,通过所述SFTP客户端软件将所述文件发送给所述远程服务器。
在其中一个实施例中,所述通过所述SFTP客户端软件将所述文件发送给所述远程服务器,包括:
获取所述SFTP客户端软件的用户名和密码,调用所述SFTP客户端软件,自动设置文件发送端口号、远程服务器的IP地址;
调用shell脚本,以所述用户名、密码、端口号和IP地址作为所述SFTP客户端软件的参数,通过所述SFTP客户端软件定时与所述远程服务器建立连接;
依次读取所述目标路径中最新生成的所述文件,发送给所述远程服务器。
一种文件传输系统,包括:
获取单元,用于获取文件查找目录表,所述文件查找目录表存储在客户端的数据库中,所述文件查找目录表中包括若干文件路径及数据提取规则,每项所述文件路径对应一项所述数据提取规则,所述数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;
生成文件单元,用于定时在所述文件路径对应的所述目标路径中创建文件,对所述文件以所述文件重命名名称进行重命名,按所述文件路径访问所述数据库,以所述数据提取规则中的数据字段提取数据信息,并将所述数据信息保存在所述文件中,对若干所述文件路径依次生成所述文件;
发送单元,用于通过预设在所述客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在所述目标路径中的所述文件发送给所述远程服务器。
在其中一个实施例中,所述生成文件单元,包括:
创建文件模块,用于调用预设的java定时任务,依次在所述文件路径对应的所述目标路径中创建所述文件,并以所述文件重命名名称加上当前时间戳,重命名所述文件;
保存数据信息模块,用于从所述数据库中提取所述文件路径对应的数据字段,将所述数据字段设置为数据信息后,将所述数据信息存入所述文件中;
排序模块,用于将所述文件在所述目标路径中,将文件名称按照时间顺序进行降序排序;
遍历模块,用于根据所述java定时任务,遍历若干所述文件路径,在所述文件路径对应的所述目标路径中依次生成所述文件。
在其中一个实施例中,所述发送单元,还用于调用预设在所述客户端的SFTP客户端软件,定时与所述远程服务器建立连接后,读取所述目标路径中的文件,通过所述SFTP客户端软件将所述文件发送给所述远程服务器。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述文件传输方法的步骤。
一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述文件传输方法的步骤。
上述文件传输方法、装置、计算机设备和存储介质,包括获取文件查找目录表,文件查找目录表存储在客户端的数据库中,文件查找目录表中包括若干文件路径及数据提取规则,每项文件路径对应一项数据提取规则,数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;定时在文件路径对应的目标路径中创建文件,对文件以文件重命名名称进行重命名,按文件路径访问数据库,以数据提取规则中的数据字段提取数据信息,并将数据信息保存在文件中,对若干文件路径依次生成文件;通过预设在客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。本发明通过对数据的再次提取,对文件的重命名和排序,能准确分类文件,通过部署SFTP客户端软件,与远程服务器能实现远程自动安全传输文件的目的。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。
图1为本发明一个实施例中的文件传输方法的流程图;
图2为一个实施例中步骤S1的流程图;
图3为一个实施例中步骤S2的流程图;
图4为一个实施例中步骤S3的流程图;
图5为本发明一个实施例中文件传输系统的结构图;
图6为一个实施例中生成文件单元的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本发明一个实施例中的文件传输方法的流程图,如图1所示,一种文件传输方法,包括以下步骤:
步骤S1,获取文件查找目录表:获取文件查找目录表,文件查找目录表存储在客户端的数据库中,文件查找目录表中包括若干文件路径及数据提取规则,每项文件路径对应一项数据提取规则,数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径。
本步骤预先在客户端的数据库中预设文件查找目录表,文件查找目录表中包含有若干文件路径,按每一项文件路径可以访问到数据库中的文件或数据,每一项文件路径还对应一项数据提取规则,比如访问到数据库中的文件或数据后,需要提取文件或数据中的哪些数据字段、生成的新文件需要重命名的文件名称,需要生成的新文件在数据库中的路径位置等。
步骤S2,生成文件:定时在文件路径对应的目标路径中创建文件,对文件以文件重命名名称进行重命名,按文件路径访问数据库,以数据提取规则中的数据字段提取数据信息,并将数据信息保存在文件中,对若干文件路径依次生成文件。
在生成文件时,首先获取某一文件路径后,在此文件路径对应的数据提取规则中的目标路径中创建文件,对创建的文件以文件重命名名称进行重命名,生成了此文件路径对应的文件。按此文件路径访问数据库,获取此文件路径对应的数据提取规则中的需要提取的数据字段,提取出数据信息,将提取的数据信息存储在上述生成的文件,完成此文件路径的文件生成过程。由于文件查找目录表内含有若干文件路径,因此对每个文件路径均定时依次生成对应的文件,即在每一项文件路径对应的目标路径中均生成一项文件。
本步骤中的定时是选定某一时间,比如每天的早上9:00开始依次生成文件,为了避免客户端处理数据时给客户端带来的系统压力,也可以将时间设定为如晚上9:00等非工作时间,自动生成若干文件。
步骤S3,发送文件:通过预设在客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。
SFTP是Secure File Transfer Protocol的缩写,即安全文件传送协议,可以为传输文件提供一种安全的网络的加密方法。SFTP为SSH的其中一部分,是一种传输文件至服务器的安全方式。通常在SSH软件包中,包含了SFTP的安全文件信息传输子系统,SFTP本身没有单独的守护进程,它使用SSHD进程来完成相应的连接和答复操作。SFTP是使用加密传输认证信息和传输的数据,因此本步骤使用SFTP非常安全。SFTP客户端软件与远程服务器建立连接时,有两种连接方式,一种采用SFTP客户端软件连接远程服务器IP的方式,另一种则先登录远程服务器,再开启SFTP功能。本步骤采用SFTP客户端软件连接远程服务器的方式,定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。
本实施例,通过文件路径及数据提取规则生成若干远程服务器需要的文件后,通过SFTP客户端软件定时与远程服务器建立连接,定时将生成的文件发送给远程服务器,保证了远程服务器定时收到的文件中的数据是所需数据,避免收到很多不需要的数据,也避免了客户端上传大量文件造成网络堵塞的问题。通过SFTP传输文件的方式,不仅可以实现自动上传文件的目的,还确保了上传的文件安全可靠。
在一个实施例中,如图2所示,获取文件查找目录表前,包括:
步骤S101,预设录入界面和文件查找目录表:在客户端预设录入界面和文件查找目录表,录入界面中设置文件路径查找按钮、文件路径字段、数据字段、文件重命名名称字段和目标路径字段。
步骤S102,存储字段信息:获取录入界面中输入的字段信息后,将字段信息存储在文件查找目录表中。
由于客户端发送给远程服务器的文件会有增加数据的可能,本步骤通过录入界面实现增加文件目的,在录入界面填写文件路径、需要提取的数据字段、文件重命名名称及目标路径等信息,增加获取的数据,生成新的文件发给远程服务器。录入界面还可以设置修改和删除相关功能,以便于对文件查找目录表中已保存的干文件路径及数据提取规则进行修改和删除,增加本步骤的灵活性。
在一个实施例中,如图3所示,步骤S2,包括:
步骤S201,创建文件:调用预设的java定时任务,依次在文件路径对应的目标路径中创建文件,并以文件重命名名称加上当前时间戳,重命名文件。
在对文件进行重命名时,文件重命名名称可以根据业务预设不同的名称,如文件路径指示的是基金排名文件,则在向基金排名文件中提取数据字段时,文件重命名名称可以定义为FundRank,则本步骤中重命名文件时的文件名称为FundRank20180719134209。如文件路径指示的是理财产品排名文件,则在向理财产品排名文件中提取数据字段时,文件重命名名称可以定义为FinPrdRank,则本步骤中重命名文件时的文件名称为FinPrdRank20180719134209。
步骤S202,保存数据信息:按文件路径,从数据库中提取文件路径对应的数据字段,将数据字段设置为数据信息后,将数据信息存入文件中。
如文件路径指示的是基金排名文件,则根据文件路径,从基金排名文件中提取数据字段,将数据字段对应的数据信息保存在步骤S201生成的文件中。
步骤S203,排序:将文件在目标路径中,将文件名称按照时间顺序进行降序排序。
由于定时生成文件后,在某一目标路径中,会生成多个文件,比如文件路径指示的是基金排名文件,文件重命名名称可以定义为FundRank时,在7月18日生成了文件名称为FundRank20180718134128的文件,在7月19日生成了FundRank20180719134209的文件,本步骤对某一目标路径中的所有文件按时间顺序进行降序排序,保证排在首位的是最新生成的文件,在后续将文件发送给远程服务器时,获取首位的文件即可。
步骤S204,遍历文件路径:根据java定时任务,遍历若干文件路径,在文件路径对应的目标路径中依次生成文件。
由于文件查找目录表内含有若干文件路径,因此通过遍历的方式,能保证所有的文件路径对应生成一个最新的文件。
本实施例,通过调用java定时任务的方式定时生成若干文件,能实现客户端自动抓取数据,自动生成所需文件的目的。
在一个实施例中,步骤S3,包括:调用预设在客户端的SFTP客户端软件,定时与远程服务器建立连接后,读取目标路径中的文件,通过SFTP客户端软件将文件发送给远程服务器。如图4所示,具体包括如下步骤:
步骤S301,自动设置参数:获取SFTP客户端软件的用户名和密码,调用SFTP客户端软件,自动设置文件发送端口号、远程服务器的IP地址。
SFTP客户端软件的用户名、密码文件发送端口号和远程服务器的IP地址可以预设在某表格或文件中,本步骤从预设的表格或文件中,获取这些信息,调用SFTP客户端软件,自动设置文件发送端口号、远程服务器的IP地址。SFTP客户端软件的文件发送端口号默认为22。
步骤S302,建立连接:调用shell脚本,以用户名、密码、端口号和IP地址作为SFTP客户端软件的参数,通过SFTP客户端软件定时与远程服务器建立连接。
shell脚本既是一种命令语言,又是一种程序设计语言。shell脚本用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件。shell脚本比Windows下的批处理更强大,比用其他编程程序编辑的程序效率更高。本步骤采用shell脚本进行SFTP客户端软件与远程服务器定时建立连接。
步骤S303,发送文件:依次读取目标路径中最新生成的文件,发送给远程服务器。
本步骤将客户端中若干目标路径中的文件进行读取,且读取了最新生成的文件,将最新生成的文件发给远程服务器。本步骤也可以采用shell脚本实现文件的自动上传。
本发明的文件传输方法,通过文件查找目录表中的文件路径访问数据库中的数据信息,通过数据提取规则生成文件和重命名文件,并将数据信息存储在新生成的文件中。在访问所有的文件路径对应的数据信息并生成若干文件后,通过SFTP客户端软件定时与远程服务器建立连接,将最新生成的若干文件发送给远程服务器。本发明的方法无需人为查找上传给远程服务器的文件。由于文件中的数据信息是指定数据,因此避免了远程服务器接收很多不需要的数据问题。另外,采用SFTP客户端软件定时发送,可以避免多个客户端同时上传大量文件带来的网络堵塞问题。且采用SFTP客户端软件发送,可以确保文件的安全稳定发送。
在一个实施例中,提出了一种文件传输系统,如图5所示,包括如下单元:
获取单元,用于获取文件查找目录表,文件查找目录表存储在客户端的数据库中,文件查找目录表中包括若干文件路径及数据提取规则,每项文件路径对应一项数据提取规则,数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;
生成文件单元,用于定时在文件路径对应的目标路径中创建文件,对文件以文件重命名名称进行重命名,按文件路径访问数据库,以数据提取规则中的数据字段提取数据信息,并将数据信息保存在文件中,对若干文件路径依次生成文件;
发送单元,用于通过预设在客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。
在一个实施例中,如图6所示,生成文件单元,包括:
创建文件模块,用于调用预设的java定时任务,依次在文件路径对应的目标路径中创建文件,并以文件重命名名称加上当前时间戳,重命名文件;
保存数据信息模块,用于从数据库中提取文件路径对应的数据字段,将数据字段设置为数据信息后,将数据信息存入文件中;
排序模块,用于将文件在目标路径中,将文件名称按照时间顺序进行降序排序;
遍历模块,用于根据java定时任务,遍历若干文件路径,在文件路径对应的目标路径中依次生成文件。
在一个实施例中,发送单元,还用于调用预设在客户端的SFTP客户端软件,定时与远程服务器建立连接后,读取目标路径中的文件,通过SFTP客户端软件将文件发送给远程服务器。
在一个实施例中,提出了一种计算机设备,包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行计算机可读指令时实现以下步骤:获取文件查找目录表,文件查找目录表存储在客户端的数据库中,文件查找目录表中包括若干文件路径及数据提取规则,每项文件路径对应一项数据提取规则,数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;定时在文件路径对应的目标路径中创建文件,对文件以文件重命名名称进行重命名,按文件路径访问数据库,以数据提取规则中的数据字段提取数据信息,并将数据信息保存在文件中,对若干文件路径依次生成文件;通过预设在客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。
在一个实施例中,提出了一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤:获取文件查找目录表,文件查找目录表存储在客户端的数据库中,文件查找目录表中包括若干文件路径及数据提取规则,每项文件路径对应一项数据提取规则,数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;定时在文件路径对应的目标路径中创建文件,对文件以文件重命名名称进行重命名,按文件路径访问数据库,以数据提取规则中的数据字段提取数据信息,并将数据信息保存在文件中,对若干文件路径依次生成文件;通过预设在客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在目标路径中的文件发送给远程服务器。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明一些示例性实施例,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种文件传输方法,其特征在于,包括:
获取文件查找目录表,所述文件查找目录表存储在客户端的数据库中,所述文件查找目录表中包括若干文件路径及数据提取规则,每项所述文件路径对应一项所述数据提取规则,所述数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;
定时在所述文件路径对应的所述目标路径中创建文件,对所述文件以所述文件重命名名称进行重命名,按所述文件路径访问所述数据库,以所述数据提取规则中的数据字段提取数据信息,并将所述数据信息保存在所述文件中,对若干所述文件路径依次生成所述文件;
通过预设在所述客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在所述目标路径中的所述文件发送给所述远程服务器。
2.根据权利要求1所述的文件传输方法,其特征在于,所述获取文件查找目录表前,包括:
在所述客户端预设录入界面和文件查找目录表,所述录入界面中设置文件路径查找按钮、文件路径字段、数据字段、文件重命名名称字段和目标路径字段;
获取所述录入界面中输入的字段信息后,将字段信息存储在所述文件查找目录表中。
3.根据权利要求1所述的文件传输方法,其特征在于,所述定时在所述文件路径对应的所述目标路径中创建文件,对所述文件以所述文件重命名名称进行重命名,按所述文件路径访问所述数据库,以所述数据提取规则中的数据字段提取数据信息,并将所述数据信息保存在所述文件中,对若干所述文件路径依次生成所述文件,包括:
调用预设的java定时任务,依次在所述文件路径对应的所述目标路径中创建所述文件,并以所述文件重命名名称加上当前时间戳,重命名所述文件;
按所述文件路径,从所述数据库中提取所述文件路径对应的数据字段,将所述数据字段设置为数据信息后,将所述数据信息存入所述文件中;
将所述文件在所述目标路径中,将文件名称按照时间顺序进行降序排序;
根据所述java定时任务,遍历若干所述文件路径,在所述文件路径对应的所述目标路径中依次生成所述文件。
4.根据权利要求1所述的文件传输方法,其特征在于,所述通过预设在所述客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在所述目标路径中的所述文件发送给所述远程服务器,包括:
调用预设在所述客户端的SFTP客户端软件,定时与所述远程服务器建立连接后,读取所述目标路径中的文件,通过所述SFTP客户端软件将所述文件发送给所述远程服务器。
5.根据权利要求4所述的文件传输方法,其特征在于,所述通过所述SFTP客户端软件将所述文件发送给所述远程服务器,包括:
获取所述SFTP客户端软件的用户名和密码,调用所述SFTP客户端软件,自动设置文件发送端口号、远程服务器的IP地址;
调用shell脚本,以所述用户名、密码、端口号和IP地址作为所述SFTP客户端软件的参数,通过所述SFTP客户端软件定时与所述远程服务器建立连接;
依次读取所述目标路径中最新生成的所述文件,发送给所述远程服务器。
6.一种文件传输系统,其特征在于,包括:
获取单元,用于获取文件查找目录表,所述文件查找目录表存储在客户端的数据库中,所述文件查找目录表中包括若干文件路径及数据提取规则,每项所述文件路径对应一项所述数据提取规则,所述数据提取规则包括需要提取的数据字段、文件重命名名称和目标路径;
生成文件单元,用于定时在所述文件路径对应的所述目标路径中创建文件,对所述文件以所述文件重命名名称进行重命名,按所述文件路径访问所述数据库,以所述数据提取规则中的数据字段提取数据信息,并将所述数据信息保存在所述文件中,对若干所述文件路径依次生成所述文件;
发送单元,用于通过预设在所述客户端的安全文件传送协议SFTP客户端软件定时与远程服务器建立连接,将存储在所述目标路径中的所述文件发送给所述远程服务器。
7.根据权利要求6所述的文件传输系统,其特征在于,所述生成文件单元,包括:
创建文件模块,用于调用预设的java定时任务,依次在所述文件路径对应的所述目标路径中创建所述文件,并以所述文件重命名名称加上当前时间戳,重命名所述文件;
保存数据信息模块,用于从所述数据库中提取所述文件路径对应的数据字段,将所述数据字段设置为数据信息后,将所述数据信息存入所述文件中;
排序模块,用于将所述文件在所述目标路径中,将文件名称按照时间顺序进行降序排序;
遍历模块,用于根据所述java定时任务,遍历若干所述文件路径,在所述文件路径对应的所述目标路径中依次生成所述文件。
8.根据权利要求6所述的文件传输系统,其特征在于,所述发送单元,还用于调用预设在所述客户端的SFTP客户端软件,定时与所述远程服务器建立连接后,读取所述目标路径中的文件,通过所述SFTP客户端软件将所述文件发送给所述远程服务器。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项权利要求所述文件传输方法的步骤。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至5中任一项权利要求所述文件传输方法的步骤。
CN201810891980.7A 2018-08-07 2018-08-07 文件传输方法、系统、计算机设备和存储介质 Active CN109040252B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810891980.7A CN109040252B (zh) 2018-08-07 2018-08-07 文件传输方法、系统、计算机设备和存储介质
PCT/CN2018/106693 WO2020029388A1 (zh) 2018-08-07 2018-09-20 文件传输方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810891980.7A CN109040252B (zh) 2018-08-07 2018-08-07 文件传输方法、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109040252A true CN109040252A (zh) 2018-12-18
CN109040252B CN109040252B (zh) 2022-04-12

Family

ID=64649305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810891980.7A Active CN109040252B (zh) 2018-08-07 2018-08-07 文件传输方法、系统、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN109040252B (zh)
WO (1) WO2020029388A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110417860A (zh) * 2019-06-21 2019-11-05 深圳壹账通智能科技有限公司 文件传输管理方法、装置、设备及存储介质
CN110557507A (zh) * 2019-09-05 2019-12-10 曙光信息产业(北京)有限公司 文件传输方法、装置及电子设备
CN111352904A (zh) * 2020-03-04 2020-06-30 海南金盘智能科技股份有限公司 模型文件的更换方法及装置
CN111538666A (zh) * 2020-04-27 2020-08-14 深圳忆联信息系统有限公司 批量收集测试结果的方法、装置、计算机设备及存储介质
CN111586187A (zh) * 2020-05-12 2020-08-25 甬矽电子(宁波)股份有限公司 数据传输方法、装置、应用服务器和数据传输系统
CN111756818A (zh) * 2020-06-05 2020-10-09 腾讯科技(深圳)有限公司 一种文件传送方法、装置、设备及存储介质
US20210240671A1 (en) * 2020-01-31 2021-08-05 EMC IP Holding Company LLC Intelligent filesystem for container images
CN113590536A (zh) * 2021-05-20 2021-11-02 济南浪潮数据技术有限公司 一种数据存储方法、系统、电子设备及存储介质
CN114338655A (zh) * 2022-03-10 2022-04-12 北京宇信科技集团股份有限公司 一种远程服务器文件传输引擎、传输方法及装置
CN115277206A (zh) * 2022-07-28 2022-11-01 通号智慧城市研究设计院有限公司 数据处理方法和服务器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835613B (zh) * 2020-06-24 2024-03-29 浙江宇视科技有限公司 一种文件读取方法、装置、电子设备和存储介质
CN112468531B (zh) * 2020-09-07 2024-02-09 厦门天锐科技股份有限公司 一种文件传输的控制方法和装置
CN113377720A (zh) * 2021-06-23 2021-09-10 上海商汤科技开发有限公司 一种数据处理的方法、装置、电子设备及存储介质
CN113672307A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 数据处理方法、电子设备和计算机可读存储介质
CN114443651B (zh) * 2021-12-31 2023-05-05 北京发现角科技有限公司 一种埋点数据到ods层的处理方法及装置
CN114826909B (zh) * 2022-05-27 2023-08-08 苏州浪潮智能科技有限公司 服务器生产指令信息维护系统、方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104148A1 (en) * 2006-10-31 2008-05-01 Rebit, Inc. System for automatically recovering a computer memory using shadowed data and file directory structures
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN105262845A (zh) * 2015-11-27 2016-01-20 中国建设银行股份有限公司 一种文件传输处理方法及系统
CN105389463A (zh) * 2015-10-26 2016-03-09 武汉帕菲利尔信息科技有限公司 医疗ris系统诊断报告的同步方法及前置服务器
CN105808284A (zh) * 2014-12-31 2016-07-27 广州市动景计算机科技有限公司 一种增量升级方法及应用其的服务器
CN106470231A (zh) * 2015-08-19 2017-03-01 互联网域名系统北京市工程研究中心有限公司 Sftp服务系统及其应用方法
CN106941476A (zh) * 2016-01-05 2017-07-11 中国科学院声学研究所 一种sftp数据采集及审计的方法及系统
US20170366580A1 (en) * 2011-12-21 2017-12-21 Ssh Communications Security Oyj Extracting information in a computer system
CN107612730A (zh) * 2017-09-18 2018-01-19 山东浪潮云服务信息科技有限公司 一种日志采集分析方法、装置以及系统
CN108055315A (zh) * 2017-12-08 2018-05-18 郑州云海信息技术有限公司 一种级联管理平台之间知识库同步的方法及系统
CN108235069A (zh) * 2016-12-22 2018-06-29 北京国双科技有限公司 网络电视日志的处理方法及装置
CN108255993A (zh) * 2017-12-29 2018-07-06 北京三快在线科技有限公司 提取业务字段的方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592521B2 (en) * 2015-04-03 2020-03-17 Oracle International Corporation Method and system for implementing target model configuration metadata for a log analytics system
CN105357584B (zh) * 2015-12-11 2020-09-22 Tcl科技集团股份有限公司 一种基于智能电视的用户行为日志分类上传方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104148A1 (en) * 2006-10-31 2008-05-01 Rebit, Inc. System for automatically recovering a computer memory using shadowed data and file directory structures
US20170366580A1 (en) * 2011-12-21 2017-12-21 Ssh Communications Security Oyj Extracting information in a computer system
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN105808284A (zh) * 2014-12-31 2016-07-27 广州市动景计算机科技有限公司 一种增量升级方法及应用其的服务器
CN106470231A (zh) * 2015-08-19 2017-03-01 互联网域名系统北京市工程研究中心有限公司 Sftp服务系统及其应用方法
CN105389463A (zh) * 2015-10-26 2016-03-09 武汉帕菲利尔信息科技有限公司 医疗ris系统诊断报告的同步方法及前置服务器
CN105262845A (zh) * 2015-11-27 2016-01-20 中国建设银行股份有限公司 一种文件传输处理方法及系统
CN106941476A (zh) * 2016-01-05 2017-07-11 中国科学院声学研究所 一种sftp数据采集及审计的方法及系统
CN108235069A (zh) * 2016-12-22 2018-06-29 北京国双科技有限公司 网络电视日志的处理方法及装置
CN107612730A (zh) * 2017-09-18 2018-01-19 山东浪潮云服务信息科技有限公司 一种日志采集分析方法、装置以及系统
CN108055315A (zh) * 2017-12-08 2018-05-18 郑州云海信息技术有限公司 一种级联管理平台之间知识库同步的方法及系统
CN108255993A (zh) * 2017-12-29 2018-07-06 北京三快在线科技有限公司 提取业务字段的方法、装置、电子设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110417860A (zh) * 2019-06-21 2019-11-05 深圳壹账通智能科技有限公司 文件传输管理方法、装置、设备及存储介质
CN110557507A (zh) * 2019-09-05 2019-12-10 曙光信息产业(北京)有限公司 文件传输方法、装置及电子设备
US20210240671A1 (en) * 2020-01-31 2021-08-05 EMC IP Holding Company LLC Intelligent filesystem for container images
CN111352904A (zh) * 2020-03-04 2020-06-30 海南金盘智能科技股份有限公司 模型文件的更换方法及装置
CN111538666A (zh) * 2020-04-27 2020-08-14 深圳忆联信息系统有限公司 批量收集测试结果的方法、装置、计算机设备及存储介质
CN111538666B (zh) * 2020-04-27 2024-04-02 深圳忆联信息系统有限公司 批量收集测试结果的方法、装置、计算机设备及存储介质
CN111586187A (zh) * 2020-05-12 2020-08-25 甬矽电子(宁波)股份有限公司 数据传输方法、装置、应用服务器和数据传输系统
CN111756818A (zh) * 2020-06-05 2020-10-09 腾讯科技(深圳)有限公司 一种文件传送方法、装置、设备及存储介质
CN111756818B (zh) * 2020-06-05 2022-01-14 腾讯科技(深圳)有限公司 一种文件传送方法、装置、设备及存储介质
CN113590536A (zh) * 2021-05-20 2021-11-02 济南浪潮数据技术有限公司 一种数据存储方法、系统、电子设备及存储介质
CN113590536B (zh) * 2021-05-20 2023-12-29 济南浪潮数据技术有限公司 一种数据存储方法、系统、电子设备及存储介质
CN114338655A (zh) * 2022-03-10 2022-04-12 北京宇信科技集团股份有限公司 一种远程服务器文件传输引擎、传输方法及装置
CN115277206A (zh) * 2022-07-28 2022-11-01 通号智慧城市研究设计院有限公司 数据处理方法和服务器
CN115277206B (zh) * 2022-07-28 2023-09-05 通号智慧城市研究设计院有限公司 数据处理方法和服务器

Also Published As

Publication number Publication date
WO2020029388A1 (zh) 2020-02-13
CN109040252B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109040252A (zh) 文件传输方法、系统、计算机设备和存储介质
Arnold Openstack swift: Using, administering, and developing for swift object storage
Huber et al. Social snapshots: Digital forensics for online social networks
JP6482602B2 (ja) 予測ストレージサービス
CN111736775B (zh) 多源存储方法、装置、计算机系统及存储介质
CN111079104A (zh) 一种权限控制方法、装置、设备及存储介质
RU2671991C2 (ru) Система и способ сбора информации для обнаружения фишинга
CN110020062B (zh) 一种可定制的网络爬虫方法及系统
CN106878265A (zh) 一种数据处理方法及装置
CN105471635B (zh) 一种系统日志的处理方法、装置和系统
US20160012074A1 (en) System and method for providing contextual analytics data
US20140359066A1 (en) System, method and device for offline downloading resource and computer storage medium
CN108900547B (zh) 回源控制方法及装置
CN108701130A (zh) 使用自动浏览群集更新提示模型
Britvin et al. Client-server system for parsing data from web pages
CN104521183A (zh) 利用用于健壮数据监控的交叉对比的bit torrent扫描
US20150088646A1 (en) Systems and methods for generating intelligent account reconfiguration offers
CN105184559B (zh) 一种支付系统及方法
Park et al. Improving tor hidden service crawler performance
CN114465741B (zh) 一种异常检测方法、装置、计算机设备及存储介质
US20190171828A1 (en) Digital Data Processing System For Efficiently Storing, Moving, And/Or Processing Data Across A Plurality Of Computing Clusters
CN115994124A (zh) 文件扫描方法、装置、电子设备和计算机可读存储介质
CN114745146A (zh) 跳转拦截方法、装置、可读存储介质及设备
Long et al. Forensic Analysis to China's Cloud Storage Services
CN105843901B (zh) 一种显示事件和对象之间关系的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant