CN113315846A - 一种数据传输方法及装置 - Google Patents
一种数据传输方法及装置 Download PDFInfo
- Publication number
- CN113315846A CN113315846A CN202110861880.1A CN202110861880A CN113315846A CN 113315846 A CN113315846 A CN 113315846A CN 202110861880 A CN202110861880 A CN 202110861880A CN 113315846 A CN113315846 A CN 113315846A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- information
- transmitted
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
本发明提供一种数据传输方法及装置。本发明应用于数据传输系统的应用服务器,数据传输方法包括以下步骤:首先,获取来自第一业务终端的文件传输请求信息;其次,根据文件传输请求信息获取来自第一业务终端的待传输文件,并将待传输文件发送至内网数据服务器上;然后,接收第一信息管理模块发送的来自于外网数据服务器的文件标识;最后,根据文件标识从外网数据存储模块获取待传输文件,并将待传输文件传输至第二业务终端。本发明无需利用扫描命令列出所有文件进行比对,而是通过第一信息管理模块直接获取文件标识,根据文件标识直接获取待传输的文件,提高了文件传输的效率,降低数据传输的延迟性。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种数据传输方法及装置。
背景技术
目前在交通管理系统中,很多业务终端例如前端相机,传输的车辆违法图片文件是通过ftp协议(File Transfer Protocol,文件传输协议)进行数据传输的。现有技术中,ftp协议接收完文件后,文件接收方通过ftp list命令扫描FTP服务器,列出所有文件,然后与上一次列出的所有文件进行对比,找出新增的文件。
当文件传输量较多,文件传输频次较高时,这种数据传输的方式会极大的增加FTP服务器扫描文件的时间,导致出现文件传输延迟性高,传输性能低的问题,无法满足低延时场景的文件数据传输需求。
发明内容
为了解决上述现有技术存在的问题和不足,本发明的目的是提供一种数据传输方法及装置,可以提高文件传输的效率,降低数据传输的延迟性。
为实现上述目的,本发明首先提供一种数据传输方法,应用于数据传输系统的应用服务器,数据传输系统包括内网数据服务器、外网数据服务器、内网数据存储模块、外网数据存储模块、安全边界模块、第一信息管理模块及应用服务器,数据传输方法包括:
获取来自第一业务终端的文件传输请求信息;
根据文件传输请求信息获取来自第一业务终端的待传输文件,并将待传输文件发送至内网数据服务器上;
接收第一信息管理模块发送的来自于外网数据服务器的文件标识,文件标识是外网数据服务器根据文件获取指令从安全边界模块获取待传输文件后,并将待传输文件存储到外网数据存储模块后生成的,文件获取指令是由内网数据服务器将待传输文件保存至内网数据存储模块后生成的;
根据文件标识从外网数据存储模块获取待传输文件,并将待传输文件传输至第二业务终端。
可选地,数据传输系统还包括本地存储模块,根据文件标识从外网数据存储模块获取待传输文件的步骤之前,包括:
若第一信息管理模块发送文件标识成功,则直接接收文件标识;
若第一信息管理模块发送文件标识失败,则接收第一信息管理模块从本地存储模块中获取的发送失败的文件标识,发送失败的文件标识是由第一信息管理模块在发送文件标识失败后,将文件标识存储到本地存储模块生成的。
可选地,若第一信息管理模块发送文件标识失败,则接收第一信息管理模块从本地存储模块中获取的发送失败的文件标识的步骤,包括:
若第一信息管理模块发送文件标识失败,则等待消息恢复线程唤醒;
在消息恢复线程唤醒后,接收第一信息管理模块从本地存储模块中获取的发送失败的文件标识。
可选地,在消息恢复线程唤醒后,接收第一信息管理模块从本地存储模块中获取的发送失败的文件标识的步骤,包括:
在第一信息管理模块发送其他信息成功以使消息恢复线程唤醒后,接收第一信息管理模块从本地存储模块中获取的发送失败的文件标识。
可选地,获取来自第一业务终端的文件传输请求信息的步骤之后,包括:
缓存文件传输请求信息;
当文件传输请求信息的缓存量在设定时间内达到设定的缓存量阈值时,将设定时间内的所有文件传输请求信息打包成请求信息数据包;
将请求信息数据包通过内网数据服务器,经过安全边界模块传输至外网数据服务器。
可选地,获取来自第一业务终端的文件传输请求信息的步骤之后,包括:
缓存文件传输请求信息;
当文件传输请求信息的缓存时间超过设定的缓存时间阈值时,将缓存时间内所有文件传输请求信息打包成请求信息数据包;
将请求信息数据包通过内网数据服务器,经过安全边界模块传输至外网数据服务器。
可选地,将待传输文件传输至第二业务终端的步骤之后,还包括:
向第二业务终端发送获取响应信息的请求信息;
接收第二业务终端返回的响应信息。
可选地,数据传输系统还包括第二信息管理模块,接收第二业务终端返回的响应信息的步骤之后,还包括:
缓存响应信息;
当响应信息的缓存量在设定时间内达到设定的缓存量阈值时,将设定时间内的所有响应信息打包成响应信息数据包;
将响应信息数据包通过外网数据服务器,经过安全边界模块传输至内网数据服务器传输;
接收来自第二信息管理模块的经内网数据服务器解析响应信息数据包后获得的响应信息;
将响应信息发送至第一业务终端。
可选地,数据传输系统还包括第二信息管理模块,接收第二业务终端返回的响应信息的步骤之后,还包括:
缓存响应信息;
当响应信息的缓存时间达到设定的缓存时间阈值时,将缓存时间内的所有响应信息打包成响应信息数据包;
将响应信息数据包通过外网数据服务器,经过安全边界模块传输至内网数据服务器传输;
接收来自第二信息管理模块的经内网数据服务器解析响应信息数据包后获得的响应信息;
将响应信息发送至第一业务终端。
本发明同时提供一种数据传输装置,应用于数据传输系统的应用服务器,数据传输系统包括内网数据服务器、外网数据服务器、内网数据存储模块、外网数据存储模块、安全边界模块、第一信息管理模块及应用服务器,数据传输装置包括:
请求信息获取模块,用于获取来自第一业务终端的文件传输请求信息;
第一文件传输模块,用于根据文件传输请求信息获取来自第一业务终端的待传输文件,并将待传输文件发送至内网数据服务器上;
文件标识获取模块,用于接收第一信息管理模块发送的来自于外网数据服务器的文件标识,文件标识是外网数据服务器根据文件获取指令从安全边界模块获取待传输文件后,并将待传输文件存储到外网数据存储模块后生成的,文件获取指令是由内网数据服务器将待传输文件保存至内网数据存储模块后生成的;
第二文件传输模块,用于根据文件标识从外网数据存储模块获取待传输文件,并将待传输文件传输至第二业务终端。
与现有技术相比,本发明的有益效果包括:当第一业务终端将待传输文件传输给第二业务终端时,应用服务器首先接收来自第一业务终端的文件传输请求信息,然后根据文件传输请求信息,获取来自第一业务终端的待传输文件,并将待传输文件传输至内网数据服务器上;在待传输文件经过安全边界模块、外网数据服务器的传输后被存储到外网数据存储模块,外网数据服务器向信息管理模块发送文件标识,应用服务器根据文件标识从外网数据存储模块读取对应的待传输文件。在第一业务终端将待传输文件上传后,无需通过ftp list命令让外网数据服务器扫描外网数据存储模块中的文件,列出文件列表,第二业务终端只需要通过应用服务器直接从信息管理模块获取最新消息,然后再从外网数据存储模块获取待传输文件,这样实现了待传输文件与请求信息的解耦,无需等待外网数据服务器进行长时间的文件列表扫描,提升了数据传输性能,降低了传输延迟性。
附图说明
为了更清楚地说明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍,显而易见地,下面描述中的附图仅仅是发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例数据传输方法的步骤图一;
图2是本发明实施例数据传输系统的模块连接图;
图3是本发明实施例文件传输请求信息和文件传输的流程图;
图4是本发明实施例数据传输方法的步骤图二;
图5是本发明实施例数据传输方法的步骤图三;
图6是本发明实施例数据传输方法的步骤图四;
图7是本发明实施例数据传输方法的步骤图五;
图8是本发明实施例响应信息的传输流程图;
图9是本发明实施例数据传输装置的模块连接图;
图10是本发明实施例计算机设备的模块连接图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,本发明实施例中,术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述的目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在本发明实施例中,“例如”、“例子”和“比如”用来表示“用作例子、例证或说明”。本发明中被描述为“例如”、“例子”和“比如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本发明所公开的原理和特征的最广范围相一致。
本发明实施例提供一种数据传输方法,应用于数据传输系统的应用服务器101,如图2所示,数据传输系统包括内网数据服务器102、外网数据服务器103、内网数据存储模块104、外网数据存储模块105、安全边界模块106、第一信息管理模块107及应用服务器101。
其中,内网数据服务器102可以是公安交管部门内网的服务器或FTP服务器集群。外网数据服务器103可以是公安外部视频专网的服务器或FTP服务器集群。安全边界模块106可以提供整个公安内部网络的安全和外网的接入功能,是公安内网与视频专网、视频专网与互联网之间进行数据交换和信息共享的通道。应用服务器101可以为业务终端提供HTTP(Hyper Text Transfer Protocol,超文本传输协议)代理服务,使业务终端可以和内网数据服务器102进行信息交互。第一业务终端A和第二业务终端B包括但不限于智能相机、智能手机、平板电脑、笔记本电脑、智能电视、智能机器人、个人计算机(PC,PersonalComputer)等具有图像视频数据采集和传输功能的终端设备。
第一信息管理模块107可以为RabbitMQ,Kafka、ActiveMQ等消息队列。
RabbitMQ是一种实现高级消息队列协议(AMQP)的开源消息代理软件。它是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。
Kafka是一种高吞吐量的分布式发布订阅消息系统,通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。Kafka的高吞吐量体现在读写上,分布式并发的读和写都非常快,写的性能体现在以o(1)的时间复杂度进行顺序写入。读的性能体现在以o(1)的时间复杂度进行顺序读取。
Apache ActiveMQ是一种开放源代码消息中间件;由于ActiveMQ是一个纯Java程序,因此只需要操作系统支持Java虚拟机,ActiveMQ便可执行。
在交通管理系统中,当不同的业务终端之间需要进行文件传输时,例如从第一业务终端A传输视频图像文件至第二业务终端B,第一业务终端A的视频图像首先要传输至内网数据服务器102,经过安全边界模块106后再传输至视频图像专网,第二业务终端B再从视频图像专网获取视频图像。
本发明实施例提供一种数据传输方法以具体实现上述过程,如图1和3所示,包括以下步骤:
步骤210,获取来自第一业务终端A的文件传输请求信息。
在上述步骤中,当第一业务终端A需要上传文件时,应用服务器101首先接收第一业务终端A发送过来的文件传输请求信息。此时,应用服务器101作为待传输文件传输过程中的代理请求端。
步骤220,获取来自第一业务终端A的待传输文件,并将待传输文件发送至内网数据服务器102上。
在上述步骤中,应用服务器101在接收到文件传输请求信息后,将第一业务终端A传输过来的待传输文件存储到内网数据服务器102上进行保存。
步骤230,接收第一信息管理模块107发送的来自于外网数据服务器103的文件标识,文件标识是外网数据服务器103根据文件获取指令从安全边界模块106获取待传输文件后,并将待传输文件存储到外网数据存储模块105后生成的,文件获取指令是由内网数据服务器102将待传输文件保存至内网数据存储模块104后生成的。
在上述步骤中,文件标识可以为文件在外网数据存储模块105中的文件路径或地址,也可以为文件的文件头名称等能代表文件唯一性的特征代码。
在本实施例的一种实施方式中,待传输文件在存储到内网数据存储模块104后,安全边界模块106通过读取新文件的命令将内网数据存储模块104上新存储的待传输文件传输给外网数据服务器103,外网数据服务器103将接收待传输文件并存储到外网数据存储模块105中,然后向信息管理模块发送文件接收完成的消息和待传输文件在外网数据存储模块105中的文件路径。此时的应用服务器101转换为待传输文件传输过程中的代理响应端,应用服务器101从第一信息管理模块107中获取文件路径。
步骤240,根据文件标识从外网数据存储模块105获取待传输文件,并根据设备标识将待传输文件传输至第二业务终端B。
在上述步骤中,应用服务器101从信息管理模块接收到文件标识后,根据文件标识中的文件路径从外网数据存储模块105中读取该待传输文件,然后根据设备标识将待传输文件传输给对应的第二业务终端B。
这样就完成了第一业务终端A传输待传输文件给第二业务终端B的流程。在上述实施例公开的步骤中,当第一业务终端A将文件传输给第二业务终端B时,应用服务器101首先接收来自第一业务终端A的文件传输请求信息,然后根据文件传输请求信息,获取来自第一业务终端A的待传输文件,并将待传输文件传输至内网数据服务器102上;在待传输文件经过安全边界模块106、外网数据服务器103的传输后被存储到外网数据存储模块105,外网数据服务器103向信息管理模块发送文件标识,应用服务器101根据文件标识从外网数据存储模块105读取对应的待传输文件。在第一业务终端A将待传输文件上传后,无需通过ftplist命令让外网数据服务器103扫描外网数据存储模块105中的文件,列出文件列表,第二业务终端B只需要通过应用服务器101直接从信息管理模块获取最新消息,然后再从外网数据存储模块105获取待传输文件,这样实现了待传输文件与请求信息的解耦,无需等待外网数据服务器103进行长时间的文件列表扫描,提升了数据传输性能,降低了传输延迟性。
在本实施例的一种实施方式中,数据传输系统还包括本地存储模块109。
为了提升信息管理模块信息传输的可靠性,本实施例在步骤240,根据文件标识从外网数据存储模块105获取待传输文件之前,如图4所示,还包括以下步骤:
步骤241,若第一信息管理模块107发送文件标识成功,则直接接收文件标识;
步骤242,若第一信息管理模块107发送文件标识失败,则接收第一信息管理模块107从本地存储模块109中获取的发送失败的文件标识,发送失败的文件标识是由第一信息管理模块107在发送文件标识失败后,将文件标识存储到本地存储模块109生成的。
在上述步骤中,即使第一信息管理模块107发送文件标识失败,文件标识信息也不会丢失,而被保存到本地存储模块109中。
具体地,若第一信息管理模块107发送文件标识失败,则等待消息恢复线程唤醒;消息恢复线程是用于触发第一信息管理模块107继续发送文件标识。
在消息恢复线程唤醒后,接收第一信息管理模块107从本地存储模块109中获取的发送失败的文件标识。消息恢复线程触发第一信息管理模块107重新执行文件标识发送指令,然后在本地存储模块109中读取之前发送失败的文件标识,然后继续发送给应用服务器101。
在本实施例的一种实施方式中,唤醒消息恢复线程的时机是在第一信息管理模块107发送其他信息成功以使消息恢复线程唤醒后,然后接收第一信息管理模块107从本地存储模块109中获取的发送失败的文件标识。
因为当第一信息管理模块107发送其他信息成功,则证明第一信息管理模块107的工作恢复正常,那么此时就可以唤醒消息恢复线程,使第一信息管理模块107继续传输文件标识。
通过上述步骤,可以确保文件标识信息不会丢失,提升了数据传输的可靠性。
在本实施例中,当第一业务端发送的文件传输请求信息的数量较多,频次较高时,为了提升信息处理效率,本实施例在步骤210之后还提供以下方法步骤,如图5所示,包括:
步骤211,缓存文件传输请求信息;应用服务器101先缓存文件传输请求信息可以方便内网数据服务器102进行负载均衡,避免内网数据服务器102(FTP服务器集群)中的某一点在某一个时间段内集中处理过多的信息。这样可以使多个文件传输请求信息均匀的发送至内网数据服务器102。
步骤212,当文件传输请求信息的缓存量在设定时间内达到设定的缓存量阈值时,将设定时间内的所有文件传输请求信息打包成请求信息数据包。在本实施例的一种实施方式中,此请求信息数据包可以命名为guid.bist,其内容可以包括:请求唯一id、请求详情、请求体内容(二进制内容)、请求头数组、请求方法(包括get、post或put)、请求地址等。
在上述步骤中,以设定时间为1秒,缓存量阈值为100为例。假如当应用服务器101在1秒内缓存的文件传输请求信息量达到120,超过了缓存量阈值100,将这1秒内120个文件传输请求信息打包成一个请求信息数据包。
步骤213,将请求信息数据包通过内网数据服务器102,经过安全边界模块106传输至外网数据服务器103。
在上述步骤中,应用服务器101将请求信息数据包发送给外网数据服务器103后,外网数据服务器103对请求信息数据包进行解析,并获得各个请求信息,然后根据各个请求信息从内网数据存储模块104下载对应的待传输文件,并将待传输文件存储到外网数据存储模块105,然后将对应的文件路径发送至第一信息管理模块107。
本实施例中,可以很容易理解,每个第一业务终端A发送的文件传输请求信息和待传输文件是一一对应的。
在本实施例的一种实施方式中,在步骤210之后还提供以下方法步骤,如图5所示,包括:
步骤211,缓存文件传输请求信息。
步骤214,当文件传输请求信息的缓存时间超过设定的缓存时间阈值时,将缓存时间内所有文件传输请求信息打包成请求信息数据包。
在上述步骤中,缓存时间阈值以3秒为例,假如当应用服务器101缓存文件传输请求信息,缓存时间达到4秒,超过了3秒的缓存时间阈值,这时候将这4秒内所有的文件传输请求信息打包成一个请求信息数据包。这样避免应用服务器101负载过高。
步骤213,将请求信息数据包通过内网数据服务器102,经过安全边界模块106传输至外网数据服务器103。应用服务器101将请求信息数据包发送给外网数据服务器103后,外网数据服务器103对请求信息数据包进行解析,并获得各个请求信息,然后根据各个请求信息从内网数据存储模块104下载对应的待传输文件,并将待传输文件存储到外网数据存储模块105,然后将对应的文件路径发送至第一信息管理模块107。
在本实施例中,当应用服务器101缓存文件传输请求信息时,如果出现短时间内大量高频次的HTTP请求,或缓存时间过长时,通过将这些文件传输请求信息打包成一个请求信息数据包,以提高传输效率。
在本实施例的一种实施方式中,步骤240之后,如图6所示,还包括以下方法步骤:
步骤243,向第二业务终端B发送获取响应信息的请求信息。
在上述步骤中,应用服务器101向第二业务终端B发送请求信息,要求第二业务终端B在获取待传输文件后,向其返回相应信息。
步骤244,接收第二业务终端B返回的响应信息。
在上述步骤中,应用服务器101接收到第二业务终端B的响应信息后,作为代理响应端,向外网数据服务器103返回响应信息,响应信息包括第二业务终端B是否完成待传输文件的读取下载。
在本实施例的一种实施方式中,数据传输系统还包括第二信息管理模块108,步骤244之后,如图7和8所示,还包括以下步骤:
步骤310,缓存响应信息。
在上述步骤中,具体地,应用服务器101缓存第二业务终端B返回的响应信息。
步骤320,当响应信息的缓存量在设定时间内达到设定的缓存量阈值时,将设定时间内的所有响应信息打包成响应信息数据包。
在上述步骤中,以设定时间为1秒,缓存量阈值为100为例。假如当应用服务器101在1秒内缓存的文件传输响应信息量达到120,超过了缓存量阈值100,将这1秒内120个文件传输响应信息打包成一个响应信息数据包。响应信息数据包的内容可以包括:响应唯一id、响应详情、响应体内容(二进制内容)、响应头数组、响应码等。
步骤330,将响应信息数据包通过外网数据服务器103,经过安全边界模块106传输至内网数据服务器102传输。
在上述步骤中,应用服务器101将响应信息数据包传输至外网服务器,外网服务器传输至安全边界模块106,安全边界模块106再传输至内网服务器上。
步骤340,接收来自第二信息管理模块108的经内网数据服务器102解析响应信息数据包后获得的响应信息。
在上述步骤中,响应信息数据包在内网数据服务器102上被解析成各个响应信息,应用服务器101接收来自内网数据服务器102的响应信息。
步骤350,将响应信息发送至第一业务终端A。
在上述步骤中,应用服务器101将响应信息发送至对应的第一业务终端A,从而让第一业务终端A知道待传输的文件最终的传输结果如何。
在本实施例中,第二信息管理模块108可以为RabbitMQ,Kafka等消息管理组件。RabbitMQ是一种实现高级消息队列协议(AMQP)的开源消息代理软件。Kafka是一种高吞吐量的分布式发布订阅消息系统。
在本实施例的一种实施方式中,步骤244之后,还可以包括以下步骤:
步骤310,缓存响应信息。
在上述步骤中,具体地,应用服务器101缓存第二业务终端B返回的响应信息。
步骤360,当响应信息的缓存时间超过设定的缓存时间阈值时,将缓存时间内的所有响应信息打包成响应信息数据包。
在上述步骤中,缓存时间阈值以3秒为例,假如当应用服务器101缓存响应信息的缓存时间达到4秒,超过了3秒的缓存时间阈值,这时候将这4秒内所有的缓存信息打包成一个缓存信息数据包。这样避免应用服务器101负载过高。
步骤330,将响应信息数据包通过外网数据服务器103,经过安全边界模块106传输至内网数据服务器102传输。
在上述步骤中,应用服务器101将响应信息数据包传输至外网服务器,外网服务器传输至安全边界模块106,安全边界模块106再传输至内网服务器上。
步骤340,接收来自第二信息管理模块108的经内网数据服务器102解析响应信息数据包后获得的响应信息。
在上述步骤中,响应信息数据包在内网数据服务器102上被解析成各个响应信息,应用服务器101接收来自内网数据服务器102的响应信息。
步骤350,将响应信息发送至第一业务终端A。
在上述步骤中,应用服务器101将响应信息发送至对应的第一业务终端A,从而让第一业务终端A知道待传输的文件最终的传输结果如何。
本发明实施例提供一种数据传输装置,应用于数据传输系统的应用服务器101,数据传输系统包括内网数据服务器102、外网数据服务器103、内网数据存储模块104、外网数据存储模块105、安全边界模块106、第一信息管理模块107及应用服务器101,如图9所示,数据传输装置包括:
请求信息获取模块401,用于获取来自第一业务终端A的文件传输请求信息;
第一文件传输模块402,用于根据文件传输请求信息获取来自第一业务终端A的待传输文件,并将待传输文件传输至内网数据服务器102上;
文件标识获取模块403,用于接收第一信息管理模块107发送的来自于外网数据服务器103的文件标识,文件标识是外网数据服务器103将待传输文件存储到外网数据存储模块105后生成的,外网数据是由安全边界模块106根据文件获取指令从内网数据存储模块104传输至外网数据服务器103,文件获取指令是由内网数据服务器102将待传输文件传输至内网数据存储模块104后生成的;
第二文件传输模块404,用于根据文件标识从外网数据存储模块105获取待传输文件,并传输至第二业务终端B。
利用本实施例提供的数据传输装置,当第一业务终端A将文件传输给第二业务终端B时,应用服务器101首先接收来自第一业务终端A的文件传输请求信息,然后根据文件传输请求信息,获取来自第一业务终端A的待传输文件,并将待传输文件传输至内网数据服务器102上;在待传输文件经过安全边界模块106、外网数据服务器103的传输后被存储到外网数据存储模块105,外网数据服务器103向信息管理模块发送文件标识,应用服务器101根据文件标识从外网数据存储模块105读取对应的待传输文件。在第一业务终端A将待传输文件上传后,无需通过ftp list命令让外网数据服务器103扫描外网数据存储模块105中的文件,列出文件列表,第二业务终端B只需要通过应用服务器101直接从信息管理模块获取最新消息,然后再从外网数据存储模块105获取待传输文件,这样实现了待传输文件与请求信息的解耦,无需等待外网数据服务器103进行长时间的文件列表扫描,提升了数据传输性能,降低了传输延迟性。
本发明实施例同时提供一种计算机设备,如图10所示,包括处理器和计算机可读的存储介质,存储介质上存储有计指令或计算机程序。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令(计算机程序)来完成,或通过指令(计算机程序)控制相关的硬件来完成,该指令可以存储于计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例的硬件设备的存储介质中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的数据传输方法中任一实施例的步骤。
存储介质和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可以通过一条或者多条通信总线或信号线电性连接,如可以通过总线连接。存储介质中存储有实现数据访问控制方法的计算机执行指令,包括至少一个可以软件或固件的形式存储于存储介质中的软件功能模块,处理器通过运行存储在存储介质内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储介质可以是,但不限于,随机存取存储介质(RandomAccessMemory,简称:RAM),只读存储介质(ReadOnlyMemory,简称:ROM),可编程只读存储介质(ProgrammableRead-OnlyMemory,简称:PROM),可擦除只读存储介质(ErasableProgrammableRead-OnlyMemory,简称:EPROM),电可擦除只读存储介质(ElectricErasableProgrammableRead-OnlyMemory,简称:EEPROM)等。其中,存储介质用于存储程序,处理器在接收到执行指令后,执行程序。进一步地,上述存储介质内的软件程序以及模块还可包括操作系统,其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动,并可与各种硬件或软件组件相互通信,从而提供其他软件组件的运行环境。处理器可以是一种集成电路芯片,具有信号的处理能力。所述的处理器可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称:CPU)、网络处理器(NetworkProcessor,简称:NP)等。可以实现或者执行本实施例中公开的各方法、步骤及逻辑流程框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一数据传输方法实施例中的步骤,因此,可以实现本发明实施例所提供的任一数据传输方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种数据传输方法,其特征在于,应用于数据传输系统的应用服务器,所述数据传输系统包括内网数据服务器、外网数据服务器、内网数据存储模块、外网数据存储模块、安全边界模块、第一信息管理模块及所述应用服务器,所述数据传输方法包括:
获取来自第一业务终端的文件传输请求信息;
根据所述文件传输请求信息获取来自所述第一业务终端的待传输文件,并将所述待传输文件发送至所述内网数据服务器上;
接收所述第一信息管理模块发送的来自于所述外网数据服务器的文件标识,所述文件标识是所述外网数据服务器根据文件获取指令从所述安全边界模块获取所述待传输文件后,并将所述待传输文件存储到所述外网数据存储模块后生成的,所述文件获取指令是由所述内网数据服务器将所述待传输文件保存至所述内网数据存储模块后生成的;
根据所述文件标识从所述外网数据存储模块获取所述待传输文件,并将所述待传输文件传输至第二业务终端。
2.根据权利要求1所述的数据传输方法,其特征在于,所述数据传输系统还包括本地存储模块,所述根据所述文件标识从所述外网数据存储模块获取所述待传输文件的步骤之前,包括:
若所述第一信息管理模块发送所述文件标识成功,则直接接收所述文件标识;
若所述第一信息管理模块发送所述文件标识失败,则接收所述第一信息管理模块从所述本地存储模块中获取的发送失败的文件标识,所述发送失败的文件标识是由所述第一信息管理模块在发送所述文件标识失败后,将所述文件标识存储到所述本地存储模块生成的。
3.根据权利要求2所述的数据传输方法,其特征在于,所述若所述第一信息管理模块发送所述文件标识失败,则接收所述第一信息管理模块从所述本地存储模块中获取的发送失败的文件标识的步骤,包括:
若所述第一信息管理模块发送所述文件标识失败,则等待消息恢复线程唤醒;
在所述消息恢复线程唤醒后,接收所述第一信息管理模块从所述本地存储模块中获取的发送失败的文件标识。
4.根据权利要求3所述的数据传输方法,其特征在于,所述在所述消息恢复线程唤醒后,接收所述第一信息管理模块从所述本地存储模块中获取的发送失败的文件标识的步骤,包括:
在所述第一信息管理模块发送其他信息成功以使所述消息恢复线程唤醒后,接收所述第一信息管理模块从本地存储模块中获取的发送失败的文件标识。
5.根据权利要求1所述的数据传输方法,其特征在于,所述获取来自第一业务终端的文件传输请求信息的步骤之后,包括:
缓存所述文件传输请求信息;
当所述文件传输请求信息的缓存量在设定时间内达到设定的缓存量阈值时,将所述设定时间内的所有所述文件传输请求信息打包成请求信息数据包;
将所述请求信息数据包通过所述内网数据服务器,经过所述安全边界模块传输至所述外网数据服务器。
6.根据权利要求1所述的数据传输方法,其特征在于,所述获取来自第一业务终端的文件传输请求信息的步骤之后,包括:
缓存所述文件传输请求信息;
当所述文件传输请求信息的缓存时间超过设定的缓存时间阈值时,将所述缓存时间内所有文件传输请求信息打包成请求信息数据包;
将所述请求信息数据包通过所述内网数据服务器,经过所述安全边界模块传输至所述外网数据服务器。
7.根据权利要求1所述的数据传输方法,其特征在于,所述将所述待传输文件传输至第二业务终端的步骤之后,还包括:
向所述第二业务终端发送获取响应信息的请求信息;
接收所述第二业务终端返回的响应信息。
8.根据权利要求7所述的数据传输方法,其特征在于,所述数据传输系统还包括第二信息管理模块,所述接收所述第二业务终端返回的响应信息的步骤之后,还包括:
缓存所述响应信息;
当所述响应信息的缓存量在设定时间内达到设定的缓存量阈值时,将所述设定时间内的所有所述响应信息打包成响应信息数据包;
将所述响应信息数据包通过所述外网数据服务器,经过所述安全边界模块传输至所述内网数据服务器传输;
接收来自所述第二信息管理模块的经所述内网数据服务器解析所述响应信息数据包后获得的响应信息;
将所述响应信息发送至所述第一业务终端。
9.根据权利要求7所述的数据传输方法,其特征在于,所述数据传输系统还包括第二信息管理模块,所述接收所述第二业务终端返回的响应信息的步骤之后,还包括:
缓存所述响应信息;
当所述响应信息的缓存时间达到设定的缓存时间阈值时,将所述缓存时间内的所有所述响应信息打包成响应信息数据包;
将所述响应信息数据包通过所述外网数据服务器,经过所述安全边界模块传输至所述内网数据服务器传输;
接收来自所述第二信息管理模块的经所述内网数据服务器解析所述响应信息数据包后获得的响应信息;
将所述响应信息发送至所述第一业务终端。
10.一种数据传输装置,其特征在于,应用于数据传输系统的应用服务器,所述数据传输系统包括内网数据服务器、外网数据服务器、内网数据存储模块、外网数据存储模块、安全边界模块、第一信息管理模块及所述应用服务器,所述数据传输装置包括:
请求信息获取模块,用于获取来自第一业务终端的文件传输请求信息;
第一文件传输模块,用于根据所述文件传输请求信息获取来自所述第一业务终端的待传输文件,并将所述待传输述文件发送至所述内网数据服务器上;
文件标识获取模块,用于接收所述第一信息管理模块发送的来自于所述外网数据服务器的文件标识,所述文件标识是所述外网数据服务器根据文件获取指令从所述安全边界模块获取所述待传输文件后,并将所述待传输文件存储到所述外网数据存储模块后生成的,所述文件获取指令是由所述内网数据服务器将所述待传输文件保存至所述内网数据存储模块后生成的;
第二文件传输模块,用于根据所述文件标识从所述外网数据存储模块获取所述待传输文件,并将所述待传输文件传输至第二业务终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110861880.1A CN113315846A (zh) | 2021-07-29 | 2021-07-29 | 一种数据传输方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110861880.1A CN113315846A (zh) | 2021-07-29 | 2021-07-29 | 一种数据传输方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113315846A true CN113315846A (zh) | 2021-08-27 |
Family
ID=77382076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110861880.1A Pending CN113315846A (zh) | 2021-07-29 | 2021-07-29 | 一种数据传输方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113315846A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422247A (zh) * | 2022-01-20 | 2022-04-29 | 零氪科技(北京)有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9755856B1 (en) * | 2010-04-13 | 2017-09-05 | West Corporation | Method, apparatus and computer program to provide access to client records and data resources |
CN109600410A (zh) * | 2017-09-30 | 2019-04-09 | 杭州海康威视数字技术股份有限公司 | 数据存储系统以及方法 |
-
2021
- 2021-07-29 CN CN202110861880.1A patent/CN113315846A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9755856B1 (en) * | 2010-04-13 | 2017-09-05 | West Corporation | Method, apparatus and computer program to provide access to client records and data resources |
CN109600410A (zh) * | 2017-09-30 | 2019-04-09 | 杭州海康威视数字技术股份有限公司 | 数据存储系统以及方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422247A (zh) * | 2022-01-20 | 2022-04-29 | 零氪科技(北京)有限公司 | 一种数据传输方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110719332B (zh) | 数据传输方法、装置、系统、计算机设备和存储介质 | |
CN107274222B (zh) | 广告投放方法及装置 | |
CN112422497B (zh) | 消息传递方法、装置及计算机设备 | |
CN113434249A (zh) | 镜像同步方法、装置、docker主机及存储介质 | |
CN111371585A (zh) | 用于cdn节点的配置方法及装置 | |
CN113315846A (zh) | 一种数据传输方法及装置 | |
CN115039392A (zh) | 消息处理方法、装置、系统以及服务器 | |
CN111404842B (zh) | 数据传输方法、装置及计算机存储介质 | |
CN114584618A (zh) | 信息交互方法、装置、设备、存储介质和系统 | |
CN112689248A (zh) | 一种消息处理方法及系统 | |
CN115361348B (zh) | 由数据采集设备执行的与web浏览器通信的方法 | |
CN113133027B (zh) | 一种通信方法、服务器、终端及通信系统 | |
CN110933121A (zh) | 连接建立方法、通信处理方法、装置及通信设备 | |
CN114553944A (zh) | 预警消息推送方法和系统 | |
CN116366619A (zh) | 数据传输方法、装置、设备及存储介质 | |
CN114301920A (zh) | 系统日志的转发方法、装置、计算设备及存储介质 | |
CN109460215B (zh) | 应用控制方法及装置 | |
CN115037606B (zh) | 一种网络数据的获取方法及终端 | |
CN115412588B (zh) | 一种远程更新配置文件的方法、装置及电子设备 | |
CN109981660B (zh) | 一种信息处理方法、电子设备 | |
CN116894014B (zh) | 缓存更新方法、服务器、终端设备及芯片系统 | |
Trifunović et al. | Data Exchange Interfaces in Automotive SOA | |
CN113905243A (zh) | 直播方法、装置、网络节点和存储介质 | |
CN117938844A (zh) | 信息传输方法、装置、服务器及存储介质 | |
CN116668533A (zh) | 信息传输方法及装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210827 |