CN112491990B - 混合云网络数据传输方法、装置、电子设备及存储介质 - Google Patents

混合云网络数据传输方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112491990B
CN112491990B CN202011285106.2A CN202011285106A CN112491990B CN 112491990 B CN112491990 B CN 112491990B CN 202011285106 A CN202011285106 A CN 202011285106A CN 112491990 B CN112491990 B CN 112491990B
Authority
CN
China
Prior art keywords
content information
file
file content
information
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011285106.2A
Other languages
English (en)
Other versions
CN112491990A (zh
Inventor
武旭峰
安刚
张海忠
秦东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Clear Technology Co Ltd
Original Assignee
3Clear Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Clear Technology Co Ltd filed Critical 3Clear Technology Co Ltd
Priority to CN202011285106.2A priority Critical patent/CN112491990B/zh
Publication of CN112491990A publication Critical patent/CN112491990A/zh
Application granted granted Critical
Publication of CN112491990B publication Critical patent/CN112491990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2212/00Encapsulation of packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种混合云网络数据传输方法、装置、电子设备及计算机可读存储介质,该方法包括:通过私有云接收数据源文件;使用对应解析脚本对数据源文件进行解析获取文件内容信息;对文件内容信息进行封装处理,得到封装文件内容信息,并对封装文件内容信息入库存储;获取封装文件内容信息的大小;在封装文件内容信息的大小大于预定阈值时,对封装文件内容信息进行分片处理,得到多个分片文件内容信息;采用长连接网络传输手段将多个分片文件内容信息使用并发进程发送至公共云。通过本发明解决了现有技术中混合云之间数据传输速度较慢及传输质量较差问题。

Description

混合云网络数据传输方法、装置、电子设备及存储介质
技术领域
本发明涉及云计算数据存储技术领域,具体涉及一种混合云网络数据传输方法、装置、电子设备及计算机可读存储介质。
背景技术
混合云融合了公共云和私有云,是近年来云计算的主要模式和发展方向。企业用户出于安全考虑,更愿意将数据存放在私有云中,但是同时又希望可以获得公共云的计算资源,以及多云之间的数据共享,在这种情况下混合云被越来越多的采用,它将公共云和私有云进行混合和匹配,以获得最佳的效果,这种个性化的解决方案,达到了既省钱又安全的目的。混合云应用场景广泛,涉入范围不断扩大,未来将覆盖政府业务,广电、医疗、安防、酒店、银行等众多行业领域。
混合云数据传输存储是指,数据在公共云提供商提供的公共云与私有云的组合进行网络传输,安全可靠的保证数据质量。该平台专为单一组织使用而设计。公共云和私有云基础设施彼此独立运行,使用允许数据和应用程序迁移的技术通过加密连接进行通信。一些现有技术中将混合云定义为“两个或两个以上云(私有云或公共云)的组合,它们仍然是唯一的实体,但是它们绑定在一起,提供多种部署模式的好处。
目前,国内外许多学者也对混合云数据传输进行了研究,但大多数在不强依赖设备的前提下,不能提高数据的网络传输速度和传输过程中数据的质量。例如,一些现有技术是通过对云存储节点的位置分析以及不同的云环境自动采取不同的数据传输方式;另一些现有技术是通过提供一种混合云数据的集中式传输存储装置来弥补技术上的不足,从而保证大数量下的数据稳定性的传输方式等等。这些类似的混合云数据传输方式在该领域都有杰出的表现,但对于设备的依赖过高,需要通过设备的提升来克服技术上的不足,从而保证数据传输及数据质量,并且要长期维护设备,投资相对较大。同时,如果出现数据传输丢失,现有技术中没有明确的补救措施,影响数据的质量。
针对现有技术中,如何保证混合云之间的数据传输速度及传输质量还未提出有效的解决方案。
发明内容
有鉴于此,本发明实施例提供了一种混合云网络数据传输方法、装置、电子设备及计算机可读存储介质,以解决现有技术中如何有效保证混合云之间的数据传输速度及传输质量的问题。
为此,本发明实施例提供了如下技术方案:
本发明第一方面,提供了一种混合云网络数据传输方法,包括:
通过私有云接收数据源文件;
使用对应解析脚本对所述数据源文件进行解析获取文件内容信息;
对所述文件内容信息进行封装处理,得到封装文件内容信息,并对所述封装文件内容信息入库存储;
获取所述封装文件内容信息的大小;
在所述封装文件内容信息的大小大于预定阈值时,对所述封装文件内容信息进行分片处理,得到多个分片文件内容信息;
采用长连接网络传输手段将所述多个分片文件内容信息使用并发进程发送至公共云。
可选地,所述方法还包括:
获取私有云中存储的第一文件内容信息的指定文件路径;
在公共云中查找与所述指定文件路径对应的第二文件内容信息;
判断所述第一文件内容信息与所述第二文件内容信息是否一致,得到第一判断结果;
在所述第一判断结果指示为否时,重新将所述第一文件内容信息由私有云发送至公共云。
可选地,所述方法还包括:
获取公共云接收文件内容信息的第一时间信息;判断所述第一时间信息是否符合第一预设时间信息;在所述第一时间信息不符合所述第一预设时间信息时,重新从私有云接收对应的文件内容信息;和/或,
获取公共云接收文件内容信息的第一数据量信息;判断所述第一数据量信息是否符合第一预设数据量信息;在所述第一数据量信息不符合所述第一预设数据量信息时,重新从私有云接收对应的文件内容信息。
可选地,采用长连接网络传输手段将所述多个分片文件内容信息使用并发进程发送至公共云之前,所述方法还包括:
对私有云中存储的文件内容信息进行去重处理。
可选地,使用对应解析脚本对所述数据源文件进行解析获取文件内容信息之后,所述方法还包括:
判断所述文件内容信息的字段是否符合预定数据字段阈值范围,得到第二判断结果;
在所述第二判断结果指示为否时,通过私有云继续接收数据源文件。
本发明第二方面,提供了一种混合云网络数据传输装置,包括:
接收模块,用于通过私有云接收数据源文件;
解析模块,用于使用对应解析脚本对所述数据源文件进行解析获取文件内容信息;
封装模块,用于对所述文件内容信息进行封装处理,得到封装文件内容信息,并对所述封装文件内容信息入库存储;
第一获取模块,用于获取所述封装文件内容信息的大小;
分片模块,用于在所述封装文件内容信息的大小大于预定阈值时,对所述封装文件内容信息进行分片处理,得到多个分片文件内容信息;
第一发送模块,用于采用长连接网络传输手段将所述多个分片文件内容信息使用并发进程发送至公共云。
可选地,所述装置还包括:
第二获取模块,用于获取私有云中存储的第一文件内容信息的指定文件路径;
查找模块,用于在公共云中查找与所述指定文件路径对应的第二文件内容信息;
判断模块,用于判断所述第一文件内容信息与所述第二文件内容信息是否一致,得到第一判断结果;
第二发送模块,用于在所述第一判断结果指示为否时,重新将所述第一文件内容信息由私有云发送至公共云。
可选地,所述装置还包括:
第一处理模块,用于获取公共云接收文件内容信息的第一时间信息;判断所述第一时间信息是否符合第一预设时间信息;在所述第一时间信息不符合所述第一预设时间信息时,重新从私有云接收对应的文件内容信息;和/或,
第二处理模块,用于获取公共云接收文件内容信息的第一数据量信息;判断所述第一数据量信息是否符合第一预设数据量信息;在所述第一数据量信息不符合所述第一预设数据量信息时,重新从私有云接收对应的文件内容信息。
本发明第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述第一方面中任一所述的混合云网络数据传输方法。
本发明第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述第一方面中任一所述的混合云网络数据传输方法。
本发明实施例技术方案,具有如下优点:
本发明实施例提供了一种混合云网络数据传输方法、装置、电子设备及计算机可读存储介质,该方法包括:通过私有云接收数据源文件;使用对应解析脚本对数据源文件进行解析获取文件内容信息;对文件内容信息进行封装处理,得到封装文件内容信息,并对封装文件内容信息入库存储;获取封装文件内容信息的大小;在封装文件内容信息的大小大于预定阈值时,对封装文件内容信息进行分片处理,得到多个分片文件内容信息;采用长连接网络传输手段将多个分片文件内容信息使用并发进程发送至公共云。解决了现有技术中混合云之间数据传输速度较慢及传输质量较差的问题,提升了混合云之间数据传输速度及数据传输质量,并且节省了混合云数据传输成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的混合云网络数据传输方法的流程图;
图2是根据本发明实施例的混合云网络数据传输装置的结构框图;
图3是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
针对现有技术中,混合云数据传输成本高,传输速度较低,传输质量较差的问题,根据本发明实施例,提供了一种混合云网络数据传输方法。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在本实施例中提供了一种混合云网络数据传输方法,可应用于私有云与公共云例如阿里云数据传输服务(Data Transmission Service,简称为DTS)平台,图1是根据本发明实施例的混合云网络数据传输方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,通过私有云接收数据源文件;其中,该数据源文件可以是气象信息,也可以是环境信息等。具体地,例如获取国家气象局、数据中心等部门提供的自动站、高空、辐射等数据源文件。
步骤S102,使用对应解析脚本对上述数据源文件进行解析获取文件内容信息。
步骤S103,对上述文件内容信息进行封装处理,得到封装文件内容信息,并对该封装文件内容信息入库存储,为之后对外提供各类数据做准备。具体地,把文件内容信息映射到某个封装协议的净荷中,然后填充对应协议的包头,形成封装协议的数据包,并完成速率适配。本领域技术人员根据该实施例的描述,可以采用现有技术中其他的方式来实现。
步骤S104,获取封装文件内容信息的大小。获取文件内容信息大小的方式可以包括很多种,在一个可选实施例中,可以使用File的length()方法,在另一个可选实施例中,可以使用FileInputStream的available()方法。上述获取文件内容信息大小的方式仅为举例说明,而并非用以限制本发明。
步骤S105,在上述封装文件内容信息的大小大于预定阈值时,对封装文件内容信息进行分片处理,得到多个分片文件内容信息。
步骤S106,采用长连接网络传输手段将多个分片文件内容信息使用并发进程发送至公共云。具体地,可以通过类似WebSocket、MQ等这些消息长连接网络传输手段将数据发送到例如阿里云等公共云存储。
通过上述步骤,在将文件由私有云传输至公共云之前,对大于预定阈值的大文件通过数据分片技术进行分片处理,然后采用长连接网络传输手段将分片处理后的文件使用并发进程发送至公共云,避免了大文件传输过程中,延时大,传输效率低的问题,同时通过并发执行数据传输,进一步提高了数据传输的效率,相比于现有技术中通过改善设备来提升混合云之间的数据传输效率,导致增加成本的问题,本可选实施例,节省了混合云数据传输成本。
为了保证混合云之间数据传输的质量,在一个可选实施例中,获取私有云中存储的第一文件内容信息的指定文件路径,在公共云中查找与该指定文件路径对应的第二文件内容信息,判断第一文件内容信息与第二文件内容信息是否一致,得到第一判断结果,并将该第一判断结果记录在日志中,在该第一判断结果指示为否时,重新将该第一文件内容信息由私有云发送至公共云。也就是说,在私有云和公共云之间海量数据传输完成之后,使用数据校验接口对私有云和公共云之间已经传输的数据进行数据一致性校验和记录,数据校验过程中实时记录每条传输数据的状态信息,来保证传输数据的完整性,提升数据传输质量。
为了进一步保证混合云之间数据传输的质量,在一个可选实施例中,获取公共云接收文件内容信息的第一时间信息,判断该第一时间信息是否符合第一预设时间信息,在第一时间信息不符合第一预设时间信息时,重新从私有云接收对应的文件内容信息。在另一个可选实施例中,获取公共云接收文件内容信息的第一数据量信息,判断第一数据量信息是否符合第一预设数据量信息,在该第一数据量信息不符合该第一预设数据量信息时,重新从私有云接收对应的文件内容信息。具体地,在数据推送的过程中校验“双云”数据完整性,提供高可用网络传输安全保障,通过观察数据的推送时间节点判断各类数据在什么时间点前能够全部到达公共云并解析入库,同时设置定时查询报警,如果在此时没有收到数据接入或者数据量不完整则触发报警,并实时高效的进行自动补录措施,而自动补录的文件通过从数据接入时存储的备份文件库中获取,具体根据业务场景和需求,备份文件保留两到三天的文件量。
为了进一步提升混合云之间数据传输效率,避免数据重复传输,在一个可选实施例中,采用长连接网络传输手段将该多个分片文件内容信息使用并发进程发送至公共云之前,对私有云中存储的文件内容信息进行去重处理。数据去重技术不仅降低了数据的存储量,节省了存储空间,减少了存储资源的开销,降低了存储资源的管理和维护成本,同时加快了数据传输的效率。
在一个可选实施例中,使用对应解析脚本对该数据源文件进行解析获取文件内容信息之后,判断该文件内容信息的字段是否符合预定数据字段阈值范围,得到第二判断结果,并将该第二判断结果记录在日志中,在该第二判断结果指示为否时,通过私有云继续接收数据源文件,在该第二判断结果指示为是时,说明私有云获取到的数据源文件无误,无需重新接收数据源文件。将异常情况都会进行日志记录,保障了数据传输和数据校验的稳定性和可靠性,实现了对混合云之间的海量数据并发迁移。具体地,获取源文件数据通过脚本并行解析数据入库同时通过初期指定的数据字段阈值进行异常字段的检验(例如风速设定范围是0-20m/s为正常,解析字段值不在这个范围即认定为异常),对于这些问题数据会进行日志记录,并定时进行扫描查询日志信息,如果发现有错误信息会进行补录措施(去解析这些错误信息是出现在哪种类型的哪个时间段的哪个文件中的,在备份文件源中找到对应的文件再解析,并入库覆盖原有数据库的信息,如果还有错误则证明该条数据本身有问题,则保留错误信息),并删除原有脏数据,对于依然有问题的数据进行界面化展示,告知客户哪些数据存在问题。
在一个可选实施例中,传输过程中对因网络波动太大或者公共云服务器宕机等意外造成的数据进行日志记录,并实时监听再次发送。当公共云数据入库成功,会发送一条信息告知私有云,对于一些公共云未能正常入库的数据进行日志记录同时私有云读取日志再次推送,公共云等待再次数据入库,入库成功的标识最终依据就是在公共云能够查询到该数据,从而达到公共云与私有云之间数据一致的目的。
在本实施例中还提供了一种混合云网络数据传输装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”为可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种混合云网络数据传输装置,如图2所示,包括:
接收模块21,用于通过私有云接收数据源文件;其中,该数据源文件包括以下至少之一:气象信息、环境信息;
解析模块22,用于使用对应解析脚本对该数据源文件进行解析获取文件内容信息;
封装模块23,用于对该文件内容信息进行封装处理,得到封装文件内容信息,并对该封装文件内容信息入库存储;
第一获取模块24,用于获取该封装文件内容信息的大小;
分片模块25,用于在该封装文件内容信息的大小大于预定阈值时,对该封装文件内容信息进行分片处理,得到多个分片文件内容信息;
第一发送模块26,用于采用长连接网络传输手段将该多个分片文件内容信息使用并发进程发送至公共云。
可选地,该装置还包括:
第二获取模块,用于获取私有云中存储的第一文件内容信息的指定文件路径;
查找模块,用于在该公共云中查找与该指定文件路径对应的第二文件内容信息;
判断模块,用于判断该第一文件内容信息与该第二文件内容信息是否一致,得到第一判断结果,并将该第一判断结果记录在日志中;
第二发送模块,用于在该第一判断结果指示为否时,重新将该第一文件内容信息由私有云发送至公共云。
可选地,该装置还包括:
第一处理模块,用于获取公共云接收文件内容信息的第一时间信息;判断该第一时间信息是否符合第一预设时间信息;在该第一时间信息不符合该第一预设时间信息时,重新从私有云接收对应的文件内容信息;和/或,
第二处理模块,用于获取公共云接收文件内容信息的第一数据量信息;判断该第一数据量信息是否符合第一预设数据量信息;在该第一数据量信息不符合该第一预设数据量信息时,重新从私有云接收对应的文件内容信息。
本实施例中的混合云网络数据传输装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图2所示的混合云网络数据传输装置。
请参阅图3,图3是本发明可选实施例提供的一种电子设备的结构示意图,如图3所示,该终端可以包括:至少一个处理器301,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口303,存储器304,至少一个通信总线302。其中,通信总线302用于实现这些组件之间的连接通信。其中,通信接口303可以包括显示屏(Display)、键盘(Keyboard),可选通信接口303还可以包括标准的有线接口、无线接口。存储器304可以是高速RAM存储器(Random Access Memory,随机存取存储器),也可以是非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。存储器304可选的还可以是至少一个位于远离前述处理器301的存储装置。其中处理器301可以结合图2所描述的装置,存储器304中存储应用程序,且处理器301调用存储器304中存储的程序代码,以用于执行上述任一混合云网络数据传输方法。
其中,通信总线302可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线302可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器304可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器304还可以包括上述种类的存储器的组合。
其中,处理器301可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器301还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器304还用于存储程序指令。处理器301可以调用程序指令,实现如本申请图1实施例中所示的混合云网络数据传输方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的混合云网络数据传输方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种混合云网络数据传输方法,其特征在于,包括:
通过私有云接收数据源文件;
使用对应解析脚本对所述数据源文件进行解析获取文件内容信息;
对所述文件内容信息进行封装处理,得到封装文件内容信息,并对所述封装文件内容信息入库存储;其中,将所述文件内容信息映射至指定封装协议的净荷中,并填充对应协议的包头,得到所述封装文件内容信息;
获取所述封装文件内容信息的大小;
在所述封装文件内容信息的大小大于预定阈值时,对所述封装文件内容信息进行分片处理,得到多个分片文件内容信息;
采用长连接网络传输手段将所述多个分片文件内容信息使用并发进程发送至公共云;
获取私有云中存储的第一文件内容信息的指定文件路径;
在公共云中查找与所述指定文件路径对应的第二文件内容信息;
判断所述第一文件内容信息与所述第二文件内容信息是否一致,得到第一判断结果;
在所述第一判断结果指示为否时,重新将所述第一文件内容信息由私有云发送至公共云;
获取公共云接收文件内容信息的第一时间信息;判断所述第一时间信息是否符合第一预设时间信息;在所述第一时间信息不符合所述第一预设时间信息时,重新从私有云接收对应的文件内容信息;和/或,
获取公共云接收文件内容信息的第一数据量信息;判断所述第一数据量信息是否符合第一预设数据量信息;在所述第一数据量信息不符合所述第一预设数据量信息时,重新从私有云接收对应的文件内容信息。
2.根据权利要求1所述的混合云网络数据传输方法,其特征在于,采用长连接网络传输手段将所述多个分片文件内容信息使用并发进程发送至公共云之前,所述方法还包括:
对私有云中存储的文件内容信息进行去重处理。
3.根据权利要求1至2中任一所述的混合云网络数据传输方法,其特征在于,使用对应解析脚本对所述数据源文件进行解析获取文件内容信息之后,所述方法还包括:
判断所述文件内容信息的字段是否符合预定数据字段阈值范围,得到第二判断结果;
在所述第二判断结果指示为否时,通过私有云继续接收数据源文件。
4.一种混合云网络数据传输装置,其特征在于,包括:
接收模块,用于通过私有云接收数据源文件;
解析模块,用于使用对应解析脚本对所述数据源文件进行解析获取文件内容信息;
封装模块,用于对所述文件内容信息进行封装处理,得到封装文件内容信息,并对所述封装文件内容信息入库存储;
第一获取模块,用于获取所述封装文件内容信息的大小;
分片模块,用于在所述封装文件内容信息的大小大于预定阈值时,对所述封装文件内容信息进行分片处理,得到多个分片文件内容信息;其中,将所述文件内容信息映射至指定封装协议的净荷中,并填充对应协议的包头,得到所述封装文件内容信息;
第一发送模块,用于采用长连接网络传输手段将所述多个分片文件内容信息使用并发进程发送至公共云;所述装置还包括:
第二获取模块,用于获取私有云中存储的第一文件内容信息的指定文件路径;
查找模块,用于在公共云中查找与所述指定文件路径对应的第二文件内容信息;
判断模块,用于判断所述第一文件内容信息与所述第二文件内容信息是否一致,得到第一判断结果;
第二发送模块,用于在所述第一判断结果指示为否时,重新将所述第一文件内容信息由私有云发送至公共云;所述装置还包括:
第一处理模块,用于获取公共云接收文件内容信息的第一时间信息;判断所述第一时间信息是否符合第一预设时间信息;在所述第一时间信息不符合所述第一预设时间信息时,重新从私有云接收对应的文件内容信息;和/或,
第二处理模块,用于获取公共云接收文件内容信息的第一数据量信息;判断所述第一数据量信息是否符合第一预设数据量信息;在所述第一数据量信息不符合所述第一预设数据量信息时,重新从私有云接收对应的文件内容信息。
5.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述权利要求1-3中任一所述的混合云网络数据传输方法。
6.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现上述权利要求1-3中任一所述的混合云网络数据传输方法。
CN202011285106.2A 2020-11-17 2020-11-17 混合云网络数据传输方法、装置、电子设备及存储介质 Active CN112491990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011285106.2A CN112491990B (zh) 2020-11-17 2020-11-17 混合云网络数据传输方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011285106.2A CN112491990B (zh) 2020-11-17 2020-11-17 混合云网络数据传输方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112491990A CN112491990A (zh) 2021-03-12
CN112491990B true CN112491990B (zh) 2021-08-10

Family

ID=74930865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011285106.2A Active CN112491990B (zh) 2020-11-17 2020-11-17 混合云网络数据传输方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112491990B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076283B (zh) * 2021-04-06 2022-02-18 中移(上海)信息通信科技有限公司 文件一致性验证方法、装置及电子设备
CN113727144A (zh) * 2021-09-02 2021-11-30 中国联合网络通信集团有限公司 基于混合云的高清直播系统及流媒体方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272354A (zh) * 2007-03-20 2008-09-24 重庆优腾信息技术有限公司 一种文件传输方法、装置和系统
CN104144267A (zh) * 2013-05-08 2014-11-12 中国移动通信集团公司 一种VoIP语音包的调度方法及装置
CN104796460A (zh) * 2015-03-26 2015-07-22 小米科技有限责任公司 文件传输方法和装置
CN104869543A (zh) * 2014-02-26 2015-08-26 普天信息技术有限公司 基站和用户终端信息传递方法与装置
CN105743951A (zh) * 2014-12-11 2016-07-06 清华大学 一种数据发送、接收的方法及装置
CN106657197A (zh) * 2015-11-02 2017-05-10 腾讯科技(深圳)有限公司 文件上传的方法和装置
CN107959700A (zh) * 2016-10-18 2018-04-24 中国电信股份有限公司 自适应文件下载的方法和云存储网关
WO2018121294A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种报文传输方法、终端、网络设备及通信系统
CN110784520A (zh) * 2019-09-30 2020-02-11 北京字节跳动网络技术有限公司 文件下载方法、装置及电子设备
CN110955515A (zh) * 2019-10-21 2020-04-03 量子云未来(北京)信息科技有限公司 一种文件的处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184565B (zh) * 2013-05-22 2018-10-12 华为技术有限公司 一种处理重传信息的方法及装置
CN106973073A (zh) * 2016-01-13 2017-07-21 杭州海康威视系统技术有限公司 多媒体数据的传输方法及设备
CN111131450B (zh) * 2019-12-23 2022-06-21 北京奇艺世纪科技有限公司 文件上传方法、重组方法及装置
CN111917659A (zh) * 2020-07-23 2020-11-10 上海聚音信息科技有限公司 并发数据传输方法、系统、装置及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272354A (zh) * 2007-03-20 2008-09-24 重庆优腾信息技术有限公司 一种文件传输方法、装置和系统
CN104144267A (zh) * 2013-05-08 2014-11-12 中国移动通信集团公司 一种VoIP语音包的调度方法及装置
CN104869543A (zh) * 2014-02-26 2015-08-26 普天信息技术有限公司 基站和用户终端信息传递方法与装置
CN105743951A (zh) * 2014-12-11 2016-07-06 清华大学 一种数据发送、接收的方法及装置
CN104796460A (zh) * 2015-03-26 2015-07-22 小米科技有限责任公司 文件传输方法和装置
CN106657197A (zh) * 2015-11-02 2017-05-10 腾讯科技(深圳)有限公司 文件上传的方法和装置
CN107959700A (zh) * 2016-10-18 2018-04-24 中国电信股份有限公司 自适应文件下载的方法和云存储网关
WO2018121294A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种报文传输方法、终端、网络设备及通信系统
CN110784520A (zh) * 2019-09-30 2020-02-11 北京字节跳动网络技术有限公司 文件下载方法、装置及电子设备
CN110955515A (zh) * 2019-10-21 2020-04-03 量子云未来(北京)信息科技有限公司 一种文件的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112491990A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
US10652265B2 (en) Method and apparatus for network forensics compression and storage
CN112491990B (zh) 混合云网络数据传输方法、装置、电子设备及存储介质
KR102167613B1 (ko) 메시지 푸시 방법 및 장치
CN114124451A (zh) 一种物联网设备数据处理方法、系统及计算机存储介质
CN105227571A (zh) 基于nginx+lua的web应用防火墙系统及其实现方法
CN108965296A (zh) 一种用于智能家居设备的漏洞检测方法及检测装置
CN104348578B (zh) 数据处理的方法及装置
CN111586561A (zh) 基于区块链网络的游客信息统计、分析方法及装置、网关
CN117389968A (zh) 车辆日志存储、传输方法、装置、车辆、电子设备及介质
CN104639666A (zh) 域名访问方法及装置
CN114285769B (zh) 共享上网检测方法、装置、设备及存储介质
CN110298018B (zh) 文本数据处理方法、装置、计算机设备及存储介质
CN116170508A (zh) 数据处理方法、终端、系统、设备、介质及产品
CN112769804A (zh) 互联网安全监管方法、系统、计算机设备及可读存储介质
CN113672248A (zh) 一种补丁获取方法、装置、服务端及存储介质
CN112580016A (zh) 一种工控防火墙的登录权限配置方法及装置
CN110196862B (zh) 一种数据场景构造方法、装置、服务器与系统
CN114143088B (zh) 网络故障诊断方法、装置、设备及计算机可读存储介质
CN116192535B (zh) 一种跨等级跨网域的数据传输方法和装置
CN116600010B (zh) 一种数据传输方法、装置、设备、存储介质及程序产品
CN114172674B (zh) 一种异常数据检测方法、装置、设备及计算机介质
CN115002135B (zh) 多端协同方法、装置、系统及计算机可读存储介质
CN117061072B (zh) 报文传输方法、装置、设备及存储介质
CN116208226A (zh) 短报文数据发送方法、装置、设备、介质和产品
CN109302598B (zh) 一种数据处理方法、终端、服务器和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210312

Assignee: Beijing Zhongke Sanqing Environmental Technology Co.,Ltd.

Assignor: 3CLEAR TECHNOLOGY Co.,Ltd.

Contract record no.: X2022980012305

Denomination of invention: Hybrid cloud network data transmission method, device, electronic device and storage medium

Granted publication date: 20210810

License type: Common License

Record date: 20220815

EE01 Entry into force of recordation of patent licensing contract