CN111669364A - 一种数据传输的方法、装置、电子设备及介质 - Google Patents

一种数据传输的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111669364A
CN111669364A CN202010340191.1A CN202010340191A CN111669364A CN 111669364 A CN111669364 A CN 111669364A CN 202010340191 A CN202010340191 A CN 202010340191A CN 111669364 A CN111669364 A CN 111669364A
Authority
CN
China
Prior art keywords
network node
packet
file
packets
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010340191.1A
Other languages
English (en)
Other versions
CN111669364B (zh
Inventor
岳晓峰
吴魁
周新海
杨春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionvera Information Technology Co Ltd
Original Assignee
Visionvera Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionvera Information Technology Co Ltd filed Critical Visionvera Information Technology Co Ltd
Priority to CN202010340191.1A priority Critical patent/CN111669364B/zh
Publication of CN111669364A publication Critical patent/CN111669364A/zh
Application granted granted Critical
Publication of CN111669364B publication Critical patent/CN111669364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种数据传输方法、装置、电子设备及介质,所述方法包括:第一网络节点接收到多路源的数据传输请求时,获取所述第二网络节点的视联网地址信息;第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;接收第二网络节点根据连接数据包返回的连接响应,并建立第一网络节点和所述第二网络节点的控制连接;根据数据传输请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应;所述第一网络节点与所述第二网络节点之间进行多路源数据包传输,从而解决了数据传输缓慢问题。

Description

一种数据传输的方法、装置、电子设备及介质
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据传输的方法、装置、电子设备及介质。
背景技术
在视联网的应用中,视联网协议V2V用于实时音视频数据的传输,也可用于其他各种数据传输,但是音视频传输与数据传输具有不同的特性,音视频数据要求高实时性,对于少量数据包的丢失并不敏感,也不具有严格的校验和重传机制,而对于文件等数据传输来说,数据的任何部分都是严格不可丢失的,视联网在数据传输上存在一定的不足,尤其在大量数据传输上存在数据传输缓慢的问题。
参见图1示出了视联网中端对端数据处理的示意图,具体包括:V2V服务器A和V2V服务器B,在V2V服务器A中包括:下级监控联网管理调度系统Mserver和数据传输服务器组成的系统、其他应用程序1和其他应用程序2。在V2V服务器B中包括:上级监控联网管理调度系统Mserver和数据传输服务器组成的系统、上级应用程序1和上级应用程序2。
在上述视联网应用场景下,V2V服务器中的每个应用程序都需要根据自己的应用需求,采用独立的数据包格式对数据进行封装,并分包发送至对端,在由对端对应的应用程序进行收包和解包处理,因此目前视联网中对数据包没有统一的处理机制,从而存在数据传输缓慢,收发包效率低的问题。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据传输的方法、装置、电子设备及介质。
为了解决上述问题,本申请公开了一种数据传输方法,所述方法应用于视联网中的通用传输装置,所述通用传输装置包括:第一网络节点和第二网络节点,所述方法包括:
接收到多路源的数据同步请求时,获取所述第二网络节点的视联网地址信息;
第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;
接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;
根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应;
所述第一网络节点与所述第二网络节点之间进行多路源数据包传输。
可选的,所述根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点的步骤包括:
根据数据同步请求中的文件名称、文件参数信息以及操作指令按照第二封装格式组建命令包。
可选的,所述第一网络节点与所述第二网络节点进行多路源数据包传输的步骤包括:
将所述多路源数据包进行压缩,得到第一网络节点的文件压缩包;
将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点,以使所述第二网络节点对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
可选的,所述将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网FTP协议传输至第二网络节点的步骤包括:
按照文件的预设长度,将所述文件压缩包拆分为多个文件压缩分包,并对每个文件压缩分包添加序列标识;
将多个携带序列标识的文件压缩分包通过视联网文件传输协议传输给所述第二网络节点,以使得所述第二网络节点根据每个文件压缩分包携带的序列标识,对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
可选的,所述将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点的步骤之后,还包括:
所述第一网络节点在设定时间内是否接收到所述第二网络节点返回的响应包,若没有接收到,则确认文件压缩包存在丢包。
为了解决上述问题,本申请还公开了一种通用传输装置,所述通用传输装置包括第一网络节点和第二网络节点;
第一网络节点的获取模块,用于接收到多路源的数据传输请求时,获取所述第二网络节点的视联网地址信息;
第一网络节点的控制模块,用于通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;
第一网络节点的连接模块,用于接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;
第一网络节点的组建模块,用于根据所述数据传输请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对命令包进行处理,并向所述第一网络节点回复命令响应;
第一网络节点的传输模块,用于所述第一网络节点与所述第二网络节点之间的多路源数据包传输。
可选的,所述组建模块具体用于根据数据传输请求中的文件名称、文件参数信息以及操作指令按照第二封装格式组建命令包。
可选的,所传输模块包括:
压缩单元,用于将所述多路源数据包进行压缩,得到第一网络节点的文件压缩包;
拆分单元,用于将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点,以使所述第二网络节点对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
为了解决上述问题,本申请还公开了一种电子设备,包括:
至少一个处理器和存储器;
所述存储器存储计算机程序;所述至少一个处理器执行所述存储器存储的计算机程序,以实现所述的数据传输方法。
为了解决上述问题,本申请还公开了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现所述的数据传输方法。
本发明实施例包括以下优点:
本发明实施例的第一网络节点接收到多路源的数据传输请求时,获取第二网络节点的视联网地址信息,第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应;所述第一网络节点与所述第二网络节点之间进行多路源数据包传输,这样避免了每个应用程序采用独立的数据包格式对数据进行封装,而是采用统一数据格式对数据进行处理,这样减少了其他应用程序设计的复杂性,从而提高了数据传输的效率。
附图说明
图1是本发明的视联网中的端对端数据处理的示意图;
图2是本发明的一种数据传输方法的步骤流程图;
图3是本发明的一种通用传输装置的结构示意图;
图4是本发明的一种通用传输装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例在图1的视联网应用场景下,没有通用的、统一的处理机制,V2V服务器中的每个应用程序都需要根据自己的应用需求,设计自己独立的数据包格式,将数据包发送到对端,由对端对应的程序进行收包处理,且每个应用程序需要自己处理丢包等问题。
本发明为了解决现有技术的问题,设置了一种通用的通用传输装置,该通用传输装置将多个应用程序将要收发的数据使用统一数据格式封装,将封装后的数据发送到目的端,这样做极大的减少了其他应用程序设计的复杂性,不需要去考虑是否丢包,传输效率,数据重发等问题,而是由通用传输装置来完成基于文件的数据传输,并且通用传输装置通过底层设计的不断更新,可以以多种方式加速传输效率,确保数据传输的准确性,且不影响其他应用程序。
例如:通用传输装置可以单独升级,通过改变传输算法,来提升传输效率,间接就能带来其他应用程序传输效率提升,但其他应用程序都不需要作任何修改,若采用现有技术,每个应用程序都需要单独对自己的网络通讯模块作升级,工作量非常大。
参照图2,示出了本发明实施例的一种数据传输方法的流程图,该方法应用于视联网中的通用传输装置,该通用传输装置包括第一网络节点和第二网络节点。
第一网络节点可以是工作站、客户端、服务器、网络设备等等。第二网络节点也可以是工作站、客户端、服务器、网络设备等等,这样当第一网络节点和第二网络节点分别为不同的设备时,通用传输装置可以形成多种框架结构,例如,通用服务器可以形成客户端-客户端架构,也可以形成服务器-服务器架构,还可以形成客户端-服务器架构。
当通用传输装置是客户端-服务器架构时,还可以理解为客户端调用服务器,反之也可以理解为服务端调用客户端。
所述方法具体包括如下步骤:
步骤201:第一网络节点接收到多路源的数据同步请求时,获取第二网络节点的视联网地址信息。
第一网络节点接收到多路源的数据同步请求时,获取第二网络节点的视联网地址信息,该第二网络节点的视联网地址信息一般为20位长度的视联网地址。
在实际应用中,可以通过第一网络节点的配置信息获取第二网络节点的视联网地址信息。
第一网络节点可以为文件传输客户端,文件传输客户端一般是指基于视联网V2V的文件传输协议,视联网的文件传输协议可以简称为V-FTP,也即文件传输客户端简称为V-FTP客户端。
文件传输客户端可以接收多个应用程序或者多个服务器发送的数据同步请求,具体的,通过文件传输客户端中的用户层公用接口获取多路源的数据同步请求。
在实际应用中,通过文件传输客户端用户层封装的标准应用程序API接口函数获取数据同步请求。
步骤202:第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包。
在具体应用中,第一网络节点的控制模块通过视联网协议的发包函数向第二网络节点发送第一封装格式的连接数据包,这样就可以避免每个应用程序采用独立的数据包格式封装。也就是说,针对多路源中的每一路的数据同步请求,均采用第一封装格式对连接数据包进行封装,并将封装后的连接数据包通过视联网协议发送至第二网络节点。
第一封装格式的连接数据包可以根据各个应用程序以及多个服务器之间的应用场景进行不同的设置。
步骤203:接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接。
第二网络节点接收到连接数据包时,则向第一网络节点返回连接响应,当第一网络节点接收到连接响应时,说明第一网络节点和第二网络节点处于正常状态,则建立第一网络节点和第二网络节点的控制连接。
需要说明的是,本实施例中的控制连接与互联网中的控制连接过程不同,主要不同体现在以下几点:第一:本实施例的控制连接使用的协议是视联网协议,而互联网中控制连接的协议使用的是TCP可靠链接协议。第二:本实施例的第二网络节点的地址是视联网地址信息,而互联网中的地址信息是IP地址信息。第三,本实施例需要通过视联网协议的发包函数发送第一封装格式的连接数据包,而互联网中是直接调用标准API,建立socket可靠连接。
步骤204:根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应。
第二封装格式的连接数据包可以根据各个应用程序以及多个服务器之间的应用场景进行不同的设置。
其中,数据同步请求包括:文件名称、文件参数信息以及操作指令等等。
该文件参数信息包括:文件的大小以及文件的存储路径等等,操作指令包括:执行登陆、注销、文件上传、文件下载、文件删除等等。
假设第一网络节点A为客户端,第二网络节点B为服务端,其建立连接和文件传输过程为:
1、A通过配置信息,获取服务端B的视联网地址。
2、A向B通过视联网协议的发包函数,发送一个具有第一封装格式的连接数据包,该连接数据包的包头包含应用程序请求标识、客户端视联网地址、客户端登陆用户信息、密码等。
3、B收到A的连接数据包后,验证A的登陆请求,并向A回应登陆结果响应,由此A和B建立一个连接确认的过程。
4、A端根据客户端各应用程序的数据同步请求,确认文件处理方式(包括上传、下载等操作),并组建相应的命令包,通过视联网协议的发包函数,发送到服务端B。服务端B解析并判断该命令是否能够进行处理,并答复客户端A是否可以进行文件传输处理。
5、A端调用传输模块,通过采用第三封装格式的数据包进行文件收发。
具体应用中,第一网络节点根据数据同步请求中的文件名称、文件参数信息以及操作指令按照第二封装格式组建命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应。
第二网络节点收到第一网络节点的命令包之后,根据命令包中的文件名称判断在第二网络节点中是否存在,在判断文件参数信息等,当判断的结果满足要求时,向第一网络节点回复命令响应,这样实现了第一网络节点与第二网络节点之间的命令传输。
例如:应用程序要执行登陆操作,该操作通过第一网络节点的控制模块进行封装后,通过V2V网络,传输到第二网络节点,第二网络节点经过用户配置管理模块进行验证,用户验证通过后,由用户状态管理模块记录用户登陆状态,为后续的文件操作、文件传输提供通讯令牌,并发送至第一网络节点端记录该令牌。
第一网络节点使用令牌数据与第二网络节点进行通讯,当应用程序发送文件操作请求时,第一网络节点生成命令包,命令包可执行:改变文件操作目录、调取文件列表、删除文件、改名等操作。第二网络节点根据命令包完成相关操作并回应相应的成功、失败状态。
步骤205:所述第一网络节点与所述第二网络节点之间进行多路源数据包传输。
第一网络节点和第二网络节点采用第三封装格式的数据包对多路源数据包进行传输。
第三封装格式的数据包可以根据各个应用程序以及多个服务器之间的应用场景进行不同的设置。
作为其中一种实现方式,所述第一网络节点与所述第二网络节点进行多路源数据包传输的步骤包括:
将所述多路源数据包进行压缩,得到第一网络节点的文件压缩包。
将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点,以使所述第二网络节点对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
进一步的,所述将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点的步骤包括:
按照文件的预设长度,将所述文件压缩包拆分为多个文件压缩分包,并对每个文件压缩分包添加序列标识。
预设长度的设置可以根据实际应用场景进行设置,例如:1KB,对此本申请不做具体限制。
将多个携带序列标识的文件压缩分包通过视联网文件传输协议传输给所述第二网络节点,以使得所述第二网络节点根据每个文件压缩分包携带的序列标识,对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
具体的,第二网络节点根据每个文件压缩分包的序列标识对文件压缩分包进行组包,若存在丢失的文件压缩分包,则向第一网络节点发送重新传输丢失的文件压缩分包。
可选的,所述将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点的步骤之后,还包括:
所述第一网络节点在设定时间内是否接收到所述第二网络节点返回的响应包,若没有接收到,则确认文件压缩包存在丢包。
当第一网络节点为客户端,第二网络节点为服务端时,当客户端执行文件传输请求时,可实现对本地文件上传到服务端或者服务端文件下载到客户端两种请求。客户端与服务端可以建立独立的传输通道进行数据传输,服务端的用户数据传输模块还可以采用文件分片的模式,按照序列标识一次性传输全部分片,并附加一个传输完成标志,客户端在接收到完成标识后,如果分片有丢失,回送一个分片重传请求,在进行第二轮传输,直到客户端所有分片接收完成。
本发明实施例,第一网络节点接收到多路源的数据传输请求时,获取第二网络节点的视联网地址信息,第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应;所述第一网络节点与所述第二网络节点之间进行多路源数据包传输,这样避免了每个应用程序采用独立的数据包格式对数据进行封装,而是采用统一数据格式对数据进行处理,这样减少了其他应用程序设计的复杂性,从而提高了数据传输的效率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明的一种通用传输装置的结构示意图,所述通用传输装置包括第一网络节点和第二网络节点,所述装置具体包括:
第一网络节点的获取模块301,用于接收到多路源的数据传输请求时,获取所述第二网络节点的视联网地址信息。
第一网络节点的控制模块302,用于通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包。
第一网络节点的连接模块303,用于接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接。
第一网络节点的组建模块304,用于根据所述数据传输请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对命令包进行处理,并向所述第一网络节点回复命令响应。
第一网络节点的传输模块305,用于所述第一网络节点与所述第二网络节点之间的多路源数据包传输。
可选的,所述组建模块具体用于根据数据传输请求中的文件名称、文件参数信息以及操作指令按照第二封装格式组建命令包。
可选的,所传输模块包括:
压缩单元,用于将所述多路源数据包进行压缩,得到第一网络节点的文件压缩包;
拆分单元,用于将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点,以使所述第二网络节点对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
本发明实施例,第一网络节点接收到多路源的数据传输请求时,获取第二网络节点的视联网地址信息,第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应;所述第一网络节点与所述第二网络节点之间进行多路源数据包传输,这样避免了每个应用程序采用独立的数据包格式对数据进行封装,而是采用统一数据格式对数据进行处理,这样减少了其他应用程序设计的复杂性,从而提高了数据传输的效率。
参照图4,示出了本发明的一种数据传输装置的结构示意图,应用于视联网中,所述装置具体包括:下级应用程序、文件传输V-FTP客户端(第一网络节点)、文件传输V-FTP服务器(第二网络节点)以及上级应用程序。
下级应用程序和V-FTP客户端连接,V-FTP客户端连接与V-FTP服务端连接,V-FTP服务端连接与上级应用程序连接。
下级应用程序包括:下级Mserver、V2V应用程序1、V2V应用程序2。上级应用程序包括:上级Mserver、上级V2V应用程序1、上级V2V应用程序2。
1、V-FTP客户端从用户层公用接口获取数据同步请求。
2、V-FTP客户端通过视联网协议的发包函数向V-FTP服务端发送第一封装格式的连接数据包。
3、V-FTP客户端的用户协议解释器,将从用户层公用接口获得数据同步请求的文件参数信息解释为相应的命令包,并将命令包发送至V-FTP服务端,V-FTP服务端的协议处理接口接收V-FTP客户端发送来的命令包,根据命令包执行相应动作,命令包包括:登陆、注销、指定文件目录、获取服务端文件列表、文件操作、文件下载请求、文件上传请求等等操作,并通过协议处理接口向V-FTP客户端返回应答响应。
4、V-FTP客户端的第一用户数据传输模块,在服务端得到文件的下载、上传请求时,控制第一用户数据传输模块进行文件数据的分块传输,并对丢包进行校验、重发,反复执行,直到一个文件传输完成。
5、V-FTP客户端的用户协议解释器在文件接收、发送完成后,通过用户层公用接口,通知各个应用程序一次文件传输完成。
需要说明的是,上述文件传输V-FTP客户端和文件传输V-FTP服务端仅仅用作示例,具体应用时,可以根据应用场景进行任意组合和调整,例如:单独布置文件传输客户端,或者单独布置文件传输服务端,或者同时布置文件传输客户端和文件传输服务端。
本发明数据传输装置应用于视联网中,尤其是对于类似MServer的百万、千万量级的数据传输时,将数据打包为文件格式,按批次进行传输,能够大幅缩短数据传输时间,提高V2V网络使用率,同时也可运用于视联网相关应用,例如批量升级,历史音视频文件传输等,在上述应用场景中提供基础文件传输服务,简化系统设计的复杂性。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行所述的一种数据传输的方法。
本发明实施例还提供了一种计算机可读存储介质,其存储的计算机程序使得处理器执行所述的一种数据传输方法。
可选地,计算机可读存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据传输方法、装置,电子设备以及介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据传输方法,其特征在于,所述方法应用于视联网中的通用传输装置,所述通用传输装置包括:第一网络节点和第二网络节点,所述方法包括:
接收到多路源的数据同步请求时,获取所述第二网络节点的视联网地址信息;
第一网络节点通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;
接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;
根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对所述命令包进行处理,并向所述第一网络节点回复命令响应;
所述第一网络节点与所述第二网络节点之间进行多路源数据包传输。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据同步请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点的步骤包括:
根据数据同步请求中的文件名称、文件参数信息以及操作指令按照第二封装格式组建命令包。
3.根据权利要求1所述的方法,其特征在于,所述第一网络节点与所述第二网络节点进行多路源数据包传输的步骤包括:
将所述多路源数据包进行压缩,得到第一网络节点的文件压缩包;
将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点,以使所述第二网络节点对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
4.根据权利要求3所述的方法,其特征在于,所述将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点的步骤包括:
按照文件的预设长度,将所述文件压缩包拆分为多个文件压缩分包,并对每个文件压缩分包添加序列标识;
将多个携带序列标识的文件压缩分包通过视联网文件传输协议传输给所述第二网络节点,以使得所述第二网络节点根据每个文件压缩分包携带的序列标识,对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
5.根据权利要求4所述的方法,其特征在于,所述将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点的步骤之后,还包括:
所述第一网络节点在设定时间内是否接收到所述第二网络节点返回的响应包,若没有接收到,则确认文件压缩包存在丢包。
6.一种通用传输装置,其特征在于,所述通用传输装置包括第一网络节点和第二网络节点;
第一网络节点的获取模块,用于接收到多路源的数据传输请求时,获取所述第二网络节点的视联网地址信息;
第一网络节点的控制模块,用于通过视联网协议的发包函数向所述第二网络节点发送第一封装格式的连接数据包;
第一网络节点的连接模块,用于接收所述第二网络节点根据所述连接数据包返回的连接响应,并建立所述第一网络节点和所述第二网络节点的控制连接;
第一网络节点的组建模块,用于根据所述数据传输请求组建第二封装格式的命令包,并将所述命令包通过视联网协议的发包函数发送至所述第二网络节点,以使所述第二网络节点对命令包进行处理,并向所述第一网络节点回复命令响应;
第一网络节点的传输模块,用于所述第一网络节点与所述第二网络节点之间的多路源数据包传输。
7.根据权利要求6所述的通用传输装置,其特征在于,所述组建模块具体用于根据数据传输请求中的文件名称、文件参数信息以及操作指令按照第二封装格式组建命令包。
8.根据权利要求6所述的通用传输装置,其特征在于,所传输模块包括:
压缩单元,用于将所述多路源数据包进行压缩,得到第一网络节点的文件压缩包;
拆分单元,用于将所述文件压缩包拆分为多个文件压缩分包,并将所述多个文件压缩分包通过视联网文件传输协议传输至第二网络节点,以使所述第二网络节点对所述多个文件压缩分包进行组包及解压缩,进而获得所述目标信息,并存储。
9.一种电子设备,其特征在于,包括:
至少一个处理器和存储器;
所述存储器存储计算机程序;所述至少一个处理器执行所述存储器存储的计算机程序,以实现权利要求1-5中任一项所述的数据传输方法。
10.一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-5中任一项所述的数据传输方法。
CN202010340191.1A 2020-04-26 2020-04-26 一种数据传输的方法、装置、电子设备及介质 Active CN111669364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010340191.1A CN111669364B (zh) 2020-04-26 2020-04-26 一种数据传输的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010340191.1A CN111669364B (zh) 2020-04-26 2020-04-26 一种数据传输的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111669364A true CN111669364A (zh) 2020-09-15
CN111669364B CN111669364B (zh) 2023-09-12

Family

ID=72382840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010340191.1A Active CN111669364B (zh) 2020-04-26 2020-04-26 一种数据传输的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111669364B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039963A (zh) * 2021-11-08 2022-02-11 浙江岩华文化科技有限公司 数据传输方法、装置、电子装置和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972561B1 (en) * 2009-05-13 2015-03-03 Tellabs Operations, Inc. Methods and apparatus for obtaining network information using file transfer
CN106161335A (zh) * 2015-03-25 2016-11-23 北京视联动力国际信息技术有限公司 一种网络数据包的处理方法和装置
CN106302362A (zh) * 2015-06-11 2017-01-04 北京三星通信技术研究有限公司 多媒体内容发送方法、分享方法、接收方法及对应装置
CN107995069A (zh) * 2016-10-26 2018-05-04 北京视联动力国际信息技术有限公司 一种终端视频推送的方法和装置
CN108616549A (zh) * 2016-12-12 2018-10-02 北京视联动力国际信息技术有限公司 一种文件上传方法及文件服务器
CN108667871A (zh) * 2017-03-31 2018-10-16 合网络技术(北京)有限公司 基于p2p的传输方法和装置
CN108881958A (zh) * 2017-11-30 2018-11-23 北京视联动力国际信息技术有限公司 一种多媒体数据流封装方法和装置
CN108881815A (zh) * 2017-08-30 2018-11-23 北京视联动力国际信息技术有限公司 一种视频数据的传输方法和装置
CN108989831A (zh) * 2017-05-31 2018-12-11 北京视联动力国际信息技术有限公司 一种多码流的网络录制方法和装置
CN109040199A (zh) * 2018-07-13 2018-12-18 广州虎牙信息科技有限公司 一种分发资源数据的方法、系统及存储介质
CN109450982A (zh) * 2018-10-15 2019-03-08 视联动力信息技术股份有限公司 一种网络通讯方法和系统
CN109743285A (zh) * 2018-11-28 2019-05-10 视联动力信息技术股份有限公司 一种获取pctv资源的方法和系统
CN110022295A (zh) * 2019-02-28 2019-07-16 视联动力信息技术股份有限公司 一种数据传输的方法和视联网系统
CN110086773A (zh) * 2019-03-19 2019-08-02 视联动力信息技术股份有限公司 一种音视频数据的处理方法和系统
CN110177082A (zh) * 2019-04-25 2019-08-27 阿里巴巴集团控股有限公司 一种数据处理方法、设备、介质以及装置
CN110381030A (zh) * 2019-06-20 2019-10-25 视联动力信息技术股份有限公司 一种同步请求的处理方法及装置
CN110769297A (zh) * 2018-07-25 2020-02-07 视联动力信息技术股份有限公司 一种音视频数据的处理方法和系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972561B1 (en) * 2009-05-13 2015-03-03 Tellabs Operations, Inc. Methods and apparatus for obtaining network information using file transfer
CN106161335A (zh) * 2015-03-25 2016-11-23 北京视联动力国际信息技术有限公司 一种网络数据包的处理方法和装置
CN106302362A (zh) * 2015-06-11 2017-01-04 北京三星通信技术研究有限公司 多媒体内容发送方法、分享方法、接收方法及对应装置
CN107995069A (zh) * 2016-10-26 2018-05-04 北京视联动力国际信息技术有限公司 一种终端视频推送的方法和装置
CN108616549A (zh) * 2016-12-12 2018-10-02 北京视联动力国际信息技术有限公司 一种文件上传方法及文件服务器
CN108667871A (zh) * 2017-03-31 2018-10-16 合网络技术(北京)有限公司 基于p2p的传输方法和装置
CN108989831A (zh) * 2017-05-31 2018-12-11 北京视联动力国际信息技术有限公司 一种多码流的网络录制方法和装置
CN108881815A (zh) * 2017-08-30 2018-11-23 北京视联动力国际信息技术有限公司 一种视频数据的传输方法和装置
CN108881958A (zh) * 2017-11-30 2018-11-23 北京视联动力国际信息技术有限公司 一种多媒体数据流封装方法和装置
CN109040199A (zh) * 2018-07-13 2018-12-18 广州虎牙信息科技有限公司 一种分发资源数据的方法、系统及存储介质
CN110769297A (zh) * 2018-07-25 2020-02-07 视联动力信息技术股份有限公司 一种音视频数据的处理方法和系统
CN109450982A (zh) * 2018-10-15 2019-03-08 视联动力信息技术股份有限公司 一种网络通讯方法和系统
CN109743285A (zh) * 2018-11-28 2019-05-10 视联动力信息技术股份有限公司 一种获取pctv资源的方法和系统
CN110022295A (zh) * 2019-02-28 2019-07-16 视联动力信息技术股份有限公司 一种数据传输的方法和视联网系统
CN110086773A (zh) * 2019-03-19 2019-08-02 视联动力信息技术股份有限公司 一种音视频数据的处理方法和系统
CN110177082A (zh) * 2019-04-25 2019-08-27 阿里巴巴集团控股有限公司 一种数据处理方法、设备、介质以及装置
CN110381030A (zh) * 2019-06-20 2019-10-25 视联动力信息技术股份有限公司 一种同步请求的处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039963A (zh) * 2021-11-08 2022-02-11 浙江岩华文化科技有限公司 数据传输方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN111669364B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
US9300733B2 (en) System and/or method for client-driven server load distribution
US7702917B2 (en) Data transfer using hyper-text transfer protocol (HTTP) query strings
CN109412946B (zh) 一种确定回源路径的方法、装置、服务器及可读存储介质
CN112910967B (zh) 在不稳定网络环境中的大文件的网络传输
CN108512821B (zh) 数据传输方法、装置和系统,网闸,交易数据存储方法
CN112398916B (zh) 基于http协议的文件传输方法及装置
KR101938623B1 (ko) 오픈 플로우 통신 방법, 시스템, 제어기 및 서비스 게이트웨이
CN112751898B (zh) 负载均衡方法、装置、介质及设备
CN112653656B (zh) 一种基于应用层协议的数据通信方法及其装置
KR20060090669A (ko) 무선 네트워크의 자동 업데이트 장치 및 방법
US9900368B2 (en) Method for optimising downloading of data
CN104717041A (zh) 数据传输方法和装置
CN112165480A (zh) 信息获取方法、装置和电子设备
CN110417632B (zh) 一种网络通信方法、系统及服务器
CN111669364B (zh) 一种数据传输的方法、装置、电子设备及介质
CN108512694B (zh) 一种服务器日志分析的方法及装置
CN112954013B (zh) 一种网络文件信息获取方法、装置、设备及存储介质
CN112165449B (zh) web应用实时权限的控制方法、电子装置和存储介质
CN112118594A (zh) 数据上传方法、下载方法、电子设备及存储介质
CN114900510A (zh) 一种信息推送方法及服务器、客户端、存储介质
CN111092916B (zh) 文件上传的方法、装置、电子设备及介质
CN113452799A (zh) 一种基于智融标识网络的文件传输方法、系统及存储介质
CN112583685A (zh) 一种Ipsec VPN的数据传输方法及装置
CN112333115A (zh) 数据传输方法、终端设备、服务器及存储介质
CN112118284A (zh) 一种面向网关设备的http数据请求方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant