CN108259599B - 一种文件数据传输系统 - Google Patents

一种文件数据传输系统 Download PDF

Info

Publication number
CN108259599B
CN108259599B CN201810032609.5A CN201810032609A CN108259599B CN 108259599 B CN108259599 B CN 108259599B CN 201810032609 A CN201810032609 A CN 201810032609A CN 108259599 B CN108259599 B CN 108259599B
Authority
CN
China
Prior art keywords
transmission
file
data
file data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810032609.5A
Other languages
English (en)
Other versions
CN108259599A (zh
Inventor
崔振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Handpay Information & Technology Co ltd
Original Assignee
Shanghai Handpay Information & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Handpay Information & Technology Co ltd filed Critical Shanghai Handpay Information & Technology Co ltd
Priority to CN201810032609.5A priority Critical patent/CN108259599B/zh
Publication of CN108259599A publication Critical patent/CN108259599A/zh
Application granted granted Critical
Publication of CN108259599B publication Critical patent/CN108259599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Abstract

本发明公开了一种文件数据传输系统,属于数据传输技术领域;系统包括链路设置单元,保存有链路关联关系;处理单元,与链路关联关系一一对应,用于根据对应的链路关联关系进行文件数据传输操作;请求获取单元,获取文件系统发送的文件传输请求;解析单元,解析文件传输请求并得到传输源和传输目标的传输方式;选择单元,根据解析单元解析得到的传输源的传输方式和传输目标的传输方式,匹配得到链路设置单元中的一个链路关联关系,并进而选择一个对应的处理单元进行文件数据传输操作。上述技术方案的有益效果是:使各文件系统之间的文件数据传输无需重复配置,节省开发人员的人力资源浪费,提升分布式部署结构的开发和运行的效率。

Description

一种文件数据传输系统
技术领域
本发明涉及数据传输技术领域,尤其涉及一种文件数据传输系统。
背景技术
传统的软件应用系统通常是单一部署的结构,在这种结构内整合了多个业务流程的系统功能,例如将整个交易流程所涉及的所有业务系统(包括前端的渠道管理系统和商户管理系统,以及后台的对账管理系统以及备付金管理系统等)整合在一个综合性的管理系统中。这种单一部署的结构在耦合度上是非常高的,增加或者删除系统中的某个功能模块极有可能会影响到其他系统功能,对于系统的开发和维护都是非常不利的。并且,单一部署的系统结构在处理和计算性能上存在瓶颈,无法完成对海量数据的计算任务。
针对单一部署结构存在的缺陷,现如今的软件应用系统逐渐朝着分布式结构发展。所谓分布式结构,是一种基于网络建立的软件应用系统的系统架构。在分布式结构的软件应用系统中,整个软件应用系统会被按照业务功能拆分成职责单一的应用系统,系统和系统之间的数据传输依托于网络进行。相对于单一部署的结构,分布式结构大大降低了系统的耦合度,并且使得系统开发和维护更便捷。
但是在文件数据的传输方面,相对于单一部署的结构,分布式结构的数据传输更为多样化,也因为传输的多样化带来了一些问题。举例说明,传统的单一部署结构中,由于系统功能同处于一个软件应用系统中,因此只需要调用本地的API接口即可实现文件数据的传输。而分布式结构中,本地API调用被远程网络调用所替代,并且由于不同的业务系统有可能会被部署到不同的软件应用场景中,因此在系统中就不可避免地出现多种应用场景之间数据对接的各种问题。现有技术中的做法是针对个别两个或者几个业务系统之间的数据传输单独配置数据传输方式,这种做法会让开发人员进行很多的重复配置,即针对特定的数据传输需求就需要开发一套特定的数据传输配置。这样做大大降低了开发效率,浪费人力资源,并且不同数据传输方式之间的传输协议转换也不够灵活。
发明内容
根据现有技术中存在的上述问题,现提供一种文件数据传输系统,旨在使各文件系统之间的文件数据传输无需重复配置,节省开发人员的人力资源浪费,提升分布式部署结构的开发和运行的效率。
上述技术方案具体包括:
一种文件数据传输系统,其中,所述文件数据传输系统连接多个外部的文件系统,每个所述文件系统支持一对应的传输方式;
所述文件数据传输系统中具体包括:
链路设置单元,设置并保存有多个链路关联关系,每个所述链路关联关系中包括一传输源的所述传输方式以及一传输目标的所述传输方式;
多个处理单元,所述处理单元与所述链路关联关系一一对应,每个所述处理单元分别用于根据对应的所述链路关联关系进行文件数据传输操作;
请求获取单元,用于获取用户通过所述文件系统发送的文件传输请求;
解析单元,连接所述请求获取单元,用于根据所述文件传输请求解析得到本次文件数据传输的所述传输源和所述传输目标,以及确定所述传输源的所述传输方式和所述传输目标的所述传输方式;
选择单元,分别连接所述解析单元、所述链路设置单元和每个所述处理单元,所述选择单元用于根据所述解析单元解析得到的所述传输源的所述传输方式和所述传输目标的所述传输方式,匹配得到所述链路设置单元中的一个所述链路关联关系,并进而选择一个对应的所述处理单元进行所述文件数据传输操作。
优选的,该文件数据传输系统,其中,每个所述文件系统对应于一个应用场景,每个所述应用场景具有一唯一的场景编号;
所述文件系统发送的所述文件传输请求中包括作为所述传输源的所述应用场景的所述场景编号,以及作为所述传输目标的所述应用场景的所述场景编号;
所述解析单元中具体包括:
场景设置模块,设置并保存有多个场景标识属性,每个所述场景标识属性中包括一个所述场景编号,以及对应所述场景编号的所述应用场景的所述传输方式;
解析模块,用于对所述文件传输请求进行解析,以得到包括所述传输源的所述场景编号以及所述传输目标的所述场景编号的解析结果;
匹配模块,分别连接所述解析模块和所述场景设置模块,用于根据所述解析结果匹配得到作为所述传输源的所述应用场景以及作为所述传输目标的所述应用场景,并进而匹配得到所述传输源的所述传输方式以及所述传输目标的所述传输方式。
优选的,该文件数据传输系统,其中,所述场景标识属性中还包括:所述应用场景的名称,和/或所述应用场景的说明。
优选的,该文件数据传输系统,其中,所述应用场景包括:
渠道供应商的管理系统;和/或
销售商的管理系统;和/或
备付金管理系统;和/或
对账管理系统。
优选的,该文件数据传输系统,其中,所述传输方式包括:
HTTP传输方式、FTP传输方式、TCP/IP传输方式以及JMS传输方式中的至少两种。
优选的,该文件数据传输系统,其中,还包括:
存储单元,分别连接每个所述处理单元,所述存储单元用于获取并保存本次传输所需的文件数据;
所述存储单元具有一第一存储空间以及一第二存储空间,所述第一存储空间用于保存发送所述文件传输请求的所述文件系统上传的所述文件数据,经过所述处理单元进行所述文件数据传输操作后的所述文件数据被保存在所述第二存储空间内;
所述文件数据传输系统还包括:
第一告知单元,连接所述存储单元,用于告知发送所述文件传输请求的所述文件系统所述第一存储空间的存储地址,以指示所述文件系统将所述文件数据上传至所述第一存储空间内保存;
第二告知单元,连接所述存储单元,用于告知作为所述传输目标的所述文件系统所述第二存储空间的存储地址,以指示所述文件系统从所述第二存储空间内获取所述文件数据。
优选的,该文件数据传输系统,其中,每个所述处理单元中分别包括:
转换模块,用于对所述文件数据执行数据格式转换处理,以将所述文件数据从一第一数据格式转换至一第二数据格式;
所述第一数据格式对应于所述传输源的所述传输方式的数据格式;
所述第二数据格式对应于所述传输目标的所述传输方式的数据格式;
所述文件数据传输操作包括所述转换模块执行的所述数据格式转换处理。
优选的,该文件数据传输系统,其中,每个所述处理单元中分别包括:
清洗规则模块,用于设置数据清洗规则,每个所述处理单元所对应的所述数据清洗规则各不相同;
数据清洗模块,分别连接所述清洗规则模块和所述转换模块,所述数据清洗模块用于对所述文件数据执行数据清洗处理,以筛除不符合所述数据清洗规则的所述文件数据中的部分数据;
所述文件数据传输操作还包括所述数据清洗模块执行的所述数据清洗处理;
所述数据清洗处理于所述数据格式转换处理之前被执行。
上述技术方案的有益效果是:提供一种文件数据传输系统,能够使各文件系统之间的文件数据传输无需重复配置,节省开发人员的人力资源浪费,提升分布式部署结构的开发和运行的效率。
附图说明
图1是本发明的较佳的实施例中,一种文件数据传输系统的总体结构示意图;
图2是本发明的较佳的实施例中,解析单元的结构示意图;
图3是本发明的较佳的实施例中,存储单元的结构示意图;
图4是本发明的较佳的实施例中,处理单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
根据现有技术中存在的上述问题,现提供一种文件数据传输系统,该文件数据传输系统A连接多个外部的文件系统B,每个文件系统B支持一对应的传输方式。
该文件数据传输系统A的结构具体如图1中所示,包括:
链路设置单元A1,设置并保存有多个链路关联关系,每个链路关联关系中包括一传输源的传输方式以及一传输目标的传输方式;
多个处理单元A2,处理单元A2与链路关联关系一一对应,每个处理单元A2分别用于根据对应的链路关联关系进行文件数据传输操作;
请求获取单元A3,用于获取用户通过文件系统发送的文件传输请求;
解析单元A4,连接请求获取单元A3,用于根据文件传输请求解析得到本次文件数据传输的传输源和传输目标,以及确定传输源的传输方式和传输目标的传输方式;
选择单元A5,分别连接解析单元A4、链路设置单元A1和每个处理单元A2,选择单元用于根据解析单元解析得到的传输源的传输方式和传输目标的传输方式,匹配得到链路设置单元中的一个链路关联关系,并进而选择一个对应的处理单元进行文件数据传输操作。
具体地,本实施例中,上述文件数据传输系统A分别连接各个外部的文件系统B。每个文件系统B可以对应于一个独立的业务功能,例如对应于商户的商户管理系统或者对应于后台对账功能的对账管理系统等。每个文件系统分别支持一个对应的传输方式,不同文件系统所支持的传输方式可能相同也有可能不同。例如文件系统1支持的传输方式为HTTP传输,文件系统2支持的传输方式同样为HTTP传输,文件系统3支持的传输方式为FTP传输。上述不同文件系统之间传输方式可能存在的不同会导致在传输过程中需要额外配置不同传输方式之间的传输转换协议。
本实施例中,上述链路设置单元A1中预先设置并保存有多个链路关联关系,每个链路关联关系中包括一传输源的传输方式以及一传输目标的传输方式。具体地,所谓“传输源”,是指发起文件数据传输的文件系统,因此“传输源的传输方式”就是指发起文件数据传输的文件系统所支持的传输方式。相应地,所谓“传输目标”,是指接收文件数据的文件系统,因此“传输目标的传输方式”就是指接收文件数据的文件系统所支持的传输方式。则在一次文件数据传输中,文件数据总是从传输源向传输目标传输。
因此,上述链路关联关系可以被表示为X→Y的形式,其中X用于表示传输源所支持的传输方式,Y用于表示传输目标所支持的传输方式。例如,传输源支持HTTP传输,传输目标支持FTP传输,则上述链路关联关系就可以被表示为HTTP→FTP的形式。
本实施例中,上述链路关联关系可以由用户事先设置形成。例如连接该文件数据传输系统A的文件系统B所支持的传输方式有HTTP传输和FTP传输,则为了全面覆盖各种文件数据传输的可能性,在链路设置单元A1中应当设置HTTP→FTP、FTP→HTTP、HTTP→HTTP以及FTP→FTP四种不同的链路关联关系。进一步地,当文件数据传输系统A所连接的文件系统B支持新的传输方式例如TCP/IP传输,则在链路设置单元A1中需要额外设置新的链路关联关系例如HTTP→TCP/IP、TCP/IP→HTTP、FTP→TCP/IP、TCP/IP→FTP以及TCP/IP→TCP/IP。
本实施例中,在上述文件数据传输系统A中还设置有多个处理单元A2,处理单元A2与链路关联关系一一对应,即每个处理单元A2分别用于处理一个对应的链路关联关系所指示的数据传输的过程。例如针对HTTP→FTP设置一个处理单元A2,专门用于处理支持HTTP传输的文件系统向支持FTP传输的文件系统进行文件数据传输的过程,针对FTP→HTTP同样设置一个处理单元A2,专门用于处理支持FTP传输的文件系统向支持HTTP传输的文件系统进行文件数据传输的过程。
本实施例中,上述处理单元A2只跟具体的链路关联关系相对应,并不跟某个具体的文件系统或者文件系统之间的传输场景相对应,因此上述处理单元A2可以重复使用,从而避免现有技术中开发人员需要对传输方式进行重复配置的问题。
本实施例中,文件数据传输系统A在接收到一个文件系统B的文件传输请求后,对该文件传输请求进行解析。在一个文件传输请求中通常应当包括该次文件传输请求的传输源(即发送请求的一方)以及该次文件传输请求的传输目标(即接收文件数据的一方)。上述解析单元A4对该文件传输请求进行解析就能够得到请求中包括的传输源和传输目标。进一步地,解析单元A4在确定传输源和传输目标后,就可以确定传输源所对应的传输方式,以及传输目标所对应的传输方式。上述传输源和传输目标的传输方式被包括在一对应的解析结果中并被解析单元A4输出。
随后,本实施例中,上述选择单元A5根据上述解析结果,从链路设置单元A1中匹配得到一个对应的链路关联关系。匹配的过程具体为:首先根据解析结果中的传输源的传输方式和传输目标的传输方式形成一个待判断链路,该待判断链路的形式可以类似于链路设置单元A1中包括的链路关联关系,即采用X→Y的形式。随后,选择单元A5将待判断链路与链路设置单元A1中保存的链路关联关系进行匹配,根据匹配结果选择与待判断链路相同的链路关联关系,并进而根据该被选择的链路关联关系选择一个对应的处理单元A2进行文件数据传输操作。例如,当选择单元A5根据解析结果选择HTTP→FTP的链路关联关系后,该选择单元A5相应地选择了与该HTTP→FTP的链路关联关系相对应的处理单元A2对本次的文件数据传输进行操作。
本发明的较佳的实施例中,每个文件系统B对应于一个应用场景,每个应用场景具有一唯一的场景编号;
上述文件系统B发送的文件传输请求中包括作为传输源的应用场景的场景编号,以及作为传输目标的应用场景的场景编号;
则如图2中所示,解析单元A4中具体包括:
场景设置模块A41,设置并保存有多个场景标识属性,每个场景标识属性中包括一个场景编号,以及对应场景编号的应用场景的传输方式;
解析模块A42,用于对文件传输请求进行解析,以得到包括传输源的场景编号以及传输目标的场景编号的解析结果;
匹配模块A43,分别连接解析模块A42和场景设置模块A41,用于根据解析结果匹配得到作为传输源的应用场景以及作为传输目标的应用场景,并进而匹配得到传输源的传输方式以及传输目标的传输方式。
具体地,本实施例中,上述每个文件系统B对应于一个应用场景,例如对应于渠道商的渠道商管理系统,对应于经销商的经销商管理系统,对应于备付金的备付金管理系统,以及对应于后台对账的对账管理系统等。
进一步地,上述每个应用场景均具有一唯一的场景编号。当一个文件系统B想要发起一次文件数据传输时,该文件系统B向文件数据传输系统A发送一文件传输请求,在该文件传输请求中就应当包括本次传输的传输源的场景编号,以及传输目标的场景编号。
则在上述场景设置模块A41中预先设置并保存有与文件数据传输系统A相连的每个文件系统B所处的应用场景的场景标识属性,每个场景标识属性中包括该应用场景的场景编号,以及该应用场景下的文件系统B所支持的传输方式,应用场景和传输方式一一对应。换言之,当一个文件系统B接入文件数据传输系统A时,该文件系统B需要首先在文件数据传输系统A中进行注册,以提交该文件系统B的应用场景的场景编号以及该文件系统B所支持的传输方式,以备后续进行文件数据传输时使用。
本实施例中,上述解析模块A42获取文件传输请求后进行解析,以得到该文件传输请求中包括的传输源的场景编号以及传输目标的场景编号。匹配模块A43根据上述解析模块A42的解析结果,并且根据场景设置模块A41中保存的内容匹配得到传输源的传输方式以及传输目标的传输方式,并将匹配得到的传输源的传输方式以及传输目标的传输方式发送至选择单元A5。
本发明的较佳的实施例中,场景标识属性中还包括:应用场景的名称和/或应用场景的说明。
本发明的较佳的实施例中,上述应用场景包括下文中所述的一种或者几种:
渠道供应商的管理系统;
销售商的管理系统;
备付金管理系统;以及
对账管理系统。
本发明的较佳的实施例中,传输方式包括HTTP传输方式、FTP传输方式、TCP/IP传输方式以及JMS传输方式中的至少两种,还可以包括其他文件数据的传输方式,在此不再赘述。
本发明的较佳的实施例中,仍然如图1中所示,上述文件数据传输系统A中还包括:
存储单元A6,分别连接每个处理单元A2,存储单元A6用于获取并保存本次传输所需的文件数据;
存储单元A6具有一第一存储空间A61以及一第二存储空间A61(如图3中所示),第一存储空间A61用于保存发送文件传输请求的文件系统上传的文件数据,经过处理单元进行文件数据传输操作后的文件数据被保存在第二存储空间A62内;
则仍然如图1中所示,上述文件数据传输系统A还包括:
第一告知单元A7,连接存储单元A6,用于告知发送文件传输请求的文件系统第一存储空间A61的存储地址,以指示文件系统将文件数据上传至第一存储空间A61内保存;
第二告知单元A8,连接存储单元A6,用于告知作为传输目标的文件系统第二存储空间A62的存储地址,以指示文件系统从第二存储空间A62内获取文件数据。
具体地,本实施例中,由于文件数据从传输源向传输目标发送的过程中需要经过处理单元A2的文件数据传输操作,因此需要一个存储单元A6来对文件数据进行暂存,并且,经过处理单元A2操作之前和之后的文件数据应当被保存在不同的存储路径下。
则本实施例中,经过上述处理单元A2操作之前的文件数据应当被保存在第一存储空间A61内,第一告知单元A7需要向发送文件传输请求的文件系统B发出通知,以告知第一存储空间A61的存储地址,从而指示文件系统B将需要传输的文件数据上传至第一存储空间A61中进行保存。
当选择单元A5选定一个处理单元A2对文件数据进行文件数据传输操作后,被选定的处理单元A2从第一存储空间A61中获取相应的文件数据并进行操作,随后将经过操作的文件数据保存在第二存储空间A62中。
最后,第二告知单元A8将上述第二存储空间A62的存储地址告知需要接收文件数据的文件系统B,以指示该文件系统B从第二存储空间A62中下载文件数据。
本发明的较佳的实施例中,如图4中所示,每个处理单元A2中分别包括:
转换模块A21,用于对文件数据执行数据格式转换处理,以将文件数据从一第一数据格式转换至一第二数据格式;
第一数据格式对应于传输源的传输方式的数据格式;
第二数据格式对应于传输目标的传输方式的数据格式;
文件数据传输操作包括转换模块执行的数据格式转换处理。
本实施例中,上述文件数据传输操作中最重要的部分就是对文件数据进行格式转换。具体地,以HTTP→FTP的链路关联关系为例,被上传至文件数据传输系统A的文件数据是以HTTP格式传输的,其并不能被FTP协议所接受。则转换模块A21需要将HTTP格式的文件数据转换成FTP格式的文件数据,以使得文件数据满足FTP传输协议的要求。上述不同数据格式之间的数据格式转换处理的具体方法已经预先被配置在各个对应的处理单元A2中,并且,不同数据格式之间的转换方法在现有技术中已有较多的实现方式,在此不再赘述。
本发明的较佳的实施例中,仍然如图4中所示,每个处理单元A2中分别包括:
清洗规则模块A22,用于设置数据清洗规则,每个处理单元A2所对应的数据清洗规则各不相同;
数据清洗模块A23,分别连接清洗规则模块A22和转换模块A21,数据清洗模块A23用于对文件数据执行数据清洗处理,以筛除不符合数据清洗规则的文件数据中的部分数据;
文件数据传输操作还包括数据清洗模块执行的数据清洗处理;
数据清洗处理于数据格式转换处理之前被执行。
本实施例中,上述文件数据传输操作还包括于数据格式转换处理之前被执行的数据清洗处理。所谓数据清洗处理,是为了对数据进行清洗和筛选,以滤除不合格的、杂乱的以及明显为噪声的数据。由于不同的处理单元A2所要操作的文件数据的数据格式有可能各不相同,对文件数据进行操作后所要达到的目的也各不相同(符合不同的传输协议),因此针对每个处理单元A2应当设置特有的一套数据清洗规则,以保证在后续的数据格式转换处理过程的顺利进行。
本发明的较佳的实施例中,以系统同时支持HTTP、FTP、TCP/IP以及JMS传输方式为例对上述数据清洗处理进行具体说明:
针对不同数据格式的文件数据进行清洗的实现方式如下:
1)针对HTTP文件的数据清洗过程中,通过http协议获取要传输的文件数据流,然后解析文件流以完成数据清洗,清洗后的数据通过对应的应用场景的设置(链路关联关系的选择)获取转换后的数据格式,其中包括字符串、json以及对象等。
2)针对FTP文件的数据清洗过程中,通过FTP协议获取文件数据流流,然后解析文件流以完成数据清洗,清洗后的数据通过对应的应用场景的设置(链路关联关系的选择)获取转换后的数据格式,其中包括字符串、json以及对象等。
3)针对JMS文件的数据清洗过程中,通过JMS协议获取文件数据流,然后解析文件流以完成数据清洗,清洗后的数据通过对应的应用场景的设置(链路关联关系的选择)获取转换后的数据格式,其中包括字符串、json以及对象等。
4)针对TCP/IP文件的清洗过程中,通过TCP/IP协议获取文件数据流,然后解析文件流以完成数据清洗,清洗后的数据通过对应的应用场景的设置(链路关联关系的选择)获取转换后的数据格式,其中包括字符串、json以及对象等。
本发明中,其他的数据传输方式的数据清洗过程比照上文中描述的内容,采用现有技术实现,在此不再赘述。
综上,本发明技术方案中,通过预先配置好多个链路关联关系以及针对每个链路关联关系执行的文件数据传输操作的操作方法(包括数据格式转换方法以及数据清洗规则等),就能够重复地对连接文件数据传输系统的各文件系统之间的文件数据传输进行处理,无需每次额外进行配置,因此节省了开发人员的开发时间和人力资源。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (8)

1.一种文件数据传输系统,其特征在于,所述文件数据传输系统连接多个外部的文件系统,每个所述文件系统支持一对应的传输方式;
所述文件数据传输系统中具体包括:
链路设置单元,设置并保存有多个链路关联关系,每个所述链路关联关系中包括一传输源的所述传输方式以及一传输目标的所述传输方式;
多个处理单元,所述处理单元与所述链路关联关系一一对应,每个所述处理单元分别用于根据对应的所述链路关联关系进行文件数据传输操作;
请求获取单元,用于获取用户通过所述文件系统发送的文件传输请求;
解析单元,连接所述请求获取单元,用于根据所述文件传输请求解析得到本次文件数据传输的所述传输源和所述传输目标,以及确定所述传输源的所述传输方式和所述传输目标的所述传输方式;
选择单元,分别连接所述解析单元、所述链路设置单元和每个所述处理单元,所述选择单元用于根据所述解析单元解析得到的所述传输源的所述传输方式和所述传输目标的所述传输方式,匹配得到所述链路设置单元中的一个所述链路关联关系,并进而选择一个对应的所述处理单元进行所述文件数据传输操作。
2.如权利要求1所述的文件数据传输系统,其特征在于,每个所述文件系统对应于一个应用场景,每个所述应用场景具有一唯一的场景编号;
所述文件系统发送的所述文件传输请求中包括作为所述传输源的所述应用场景的所述场景编号,以及作为所述传输目标的所述应用场景的所述场景编号;
所述解析单元中具体包括:
场景设置模块,设置并保存有多个场景标识属性,每个所述场景标识属性中包括一个所述场景编号,以及对应所述场景编号的所述应用场景的所述传输方式;
解析模块,用于对所述文件传输请求进行解析,以得到包括所述传输源的所述场景编号以及所述传输目标的所述场景编号的解析结果;
匹配模块,分别连接所述解析模块和所述场景设置模块,用于根据所述解析结果匹配得到作为所述传输源的所述应用场景以及作为所述传输目标的所述应用场景,并进而匹配得到所述传输源的所述传输方式以及所述传输目标的所述传输方式。
3.如权利要求2所述的文件数据传输系统,其特征在于,所述场景标识属性中还包括:所述应用场景的名称,和/或所述应用场景的说明。
4.如权利要求2所述的文件数据传输系统,其特征在于,所述应用场景包括:
渠道供应商的管理系统;和/或
销售商的管理系统;和/或
备付金管理系统;和/或
对账管理系统。
5.如权利要求1所述的文件数据传输系统,其特征在于,所述传输方式包括:
HTTP传输方式、FTP传输方式、TCP/IP传输方式以及JMS传输方式中的至少两种。
6.如权利要求1所述的文件数据传输系统,其特征在于,还包括:
存储单元,分别连接每个所述处理单元,所述存储单元用于获取并保存本次传输所需的文件数据;
所述存储单元具有一第一存储空间以及一第二存储空间,所述第一存储空间用于保存发送所述文件传输请求的所述文件系统上传的所述文件数据,经过所述处理单元进行所述文件数据传输操作后的所述文件数据被保存在所述第二存储空间内;
所述文件数据传输系统还包括:
第一告知单元,连接所述存储单元,用于告知发送所述文件传输请求的所述文件系统所述第一存储空间的存储地址,以指示所述文件系统将所述文件数据上传至所述第一存储空间内保存;
第二告知单元,连接所述存储单元,用于告知作为所述传输目标的所述文件系统所述第二存储空间的存储地址,以指示所述文件系统从所述第二存储空间内获取所述文件数据。
7.如权利要求1所述的文件数据传输系统,其特征在于,每个所述处理单元中分别包括:
转换模块,用于对所述文件数据执行数据格式转换处理,以将所述文件数据从一第一数据格式转换至一第二数据格式;
所述第一数据格式对应于所述传输源的所述传输方式的数据格式;
所述第二数据格式对应于所述传输目标的所述传输方式的数据格式;
所述文件数据传输操作包括所述转换模块执行的所述数据格式转换处理。
8.如权利要求7所述的文件数据传输系统,其特征在于,每个所述处理单元中分别包括:
清洗规则模块,用于设置数据清洗规则,每个所述处理单元所对应的所述数据清洗规则各不相同;
数据清洗模块,分别连接所述清洗规则模块和所述转换模块,所述数据清洗模块用于对所述文件数据执行数据清洗处理,以筛除不符合所述数据清洗规则的所述文件数据中的部分数据;
所述文件数据传输操作还包括所述数据清洗模块执行的所述数据清洗处理;
所述数据清洗处理于所述数据格式转换处理之前被执行。
CN201810032609.5A 2018-01-12 2018-01-12 一种文件数据传输系统 Active CN108259599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810032609.5A CN108259599B (zh) 2018-01-12 2018-01-12 一种文件数据传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810032609.5A CN108259599B (zh) 2018-01-12 2018-01-12 一种文件数据传输系统

Publications (2)

Publication Number Publication Date
CN108259599A CN108259599A (zh) 2018-07-06
CN108259599B true CN108259599B (zh) 2021-03-19

Family

ID=62727013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810032609.5A Active CN108259599B (zh) 2018-01-12 2018-01-12 一种文件数据传输系统

Country Status (1)

Country Link
CN (1) CN108259599B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112788083B (zh) * 2019-11-11 2023-09-01 福建天晴数码有限公司 一种基于ftp进行引擎资源文件传输管理的方法
CN112953988B (zh) * 2019-12-10 2023-03-24 浙江宇视科技有限公司 一种基于ftp的数据对接方法及装置
CN112887385A (zh) * 2021-01-19 2021-06-01 中国联合网络通信集团有限公司 文件传输方法和装置
CN113055433A (zh) * 2021-02-02 2021-06-29 新华三信息技术有限公司 一种文件传输方法、装置、设备及机器可读存储介质
CN113364852B (zh) * 2021-06-02 2023-04-07 中国工商银行股份有限公司 文件的传输方法、装置和服务器
CN115278737B (zh) * 2022-07-29 2023-03-14 深圳市深玛网络科技有限公司 一种5g网络的数据采集方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167275A (zh) * 2011-12-16 2013-06-19 中国航天科工集团第二研究院七〇六所 网络视频监控系统及其流媒体数据分发方法
CN107371151A (zh) * 2016-05-12 2017-11-21 中兴通讯股份有限公司 数据传输方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120131076A1 (en) * 2010-11-22 2012-05-24 I O Interconnect, Ltd. File sharing method and file sharing system utilizing the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167275A (zh) * 2011-12-16 2013-06-19 中国航天科工集团第二研究院七〇六所 网络视频监控系统及其流媒体数据分发方法
CN107371151A (zh) * 2016-05-12 2017-11-21 中兴通讯股份有限公司 数据传输方法及装置

Also Published As

Publication number Publication date
CN108259599A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108259599B (zh) 一种文件数据传输系统
CN113301166B (zh) 服务的调用方法及装置、存储介质、电子装置
US20190199834A1 (en) Method, apparatus and terminal device for communication protocol compatibility
CN110493028A (zh) 一种集群部署方法、系统、装置及计算机可读存储介质
WO2022007406A1 (zh) 一种基于k8s的服务部署方法、装置、设备、介质
CN110380992A (zh) 报文处理方法、装置及网络流量采集设备
CN110875850A (zh) 一种固件升级方法、系统、可读存储介质及终端设备
CN112988223A (zh) 框架集成方法、装置、电子设备及存储介质
CN114710571B (zh) 数据包处理系统
CN112698942A (zh) 一种人工智能服务系统、主控装置和从控装置
KR20120062174A (ko) 다양한 특성의 패킷을 동적으로 처리하는 패킷 처리장치 및 방법
CN109417507A (zh) 部分延迟的报文访问
CN113572822A (zh) 一种云终端模拟控制方法、装置、存储介质及电子设备
CN109951532B (zh) 一种基于dpdk的流量模型自动变换装置
CN111092952A (zh) 一种数据交互方法及相关产品
CN114125024B (zh) 音频传输方法、电子设备及可读存储介质
CN112783724B (zh) 一种日志抓取调试方法、系统、智能设备及存储介质
CN115048140A (zh) 一种版本控制方法、装置、电子设备及存储介质
CN111431892B (zh) 一种加速器管理架构、方法及加速器接口控制器
CN114398035A (zh) 利用组件提供服务的方法、装置、设备和计算机可读介质
CN112367362A (zh) 一种数据处理方法、装置、设备及计算机存储介质
CN112367205A (zh) 一种对http调度请求的处理方法及调度系统
CN112988218A (zh) 一种可配置信息流管理方法及系统
CN108628689B (zh) 一种对话框数据传输方法、装置、计算机及存储介质
CN113489848B (zh) 一种终端设备测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant