CN114697376A - 一种超大消息传输方法及装置 - Google Patents
一种超大消息传输方法及装置 Download PDFInfo
- Publication number
- CN114697376A CN114697376A CN202210256891.1A CN202210256891A CN114697376A CN 114697376 A CN114697376 A CN 114697376A CN 202210256891 A CN202210256891 A CN 202210256891A CN 114697376 A CN114697376 A CN 114697376A
- Authority
- CN
- China
- Prior art keywords
- message
- data
- slice
- server
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000005540 biological transmission Effects 0.000 title claims abstract description 25
- 238000013500 data storage Methods 0.000 claims description 21
- 238000007726 management method Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 description 7
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及消息中间件领域,具体提供了一种超大消息传输方法,包括发送客户端、服务端和接收客户端,所述发送客户端进行消息元数据、切片元数据和切片数据的组织和发送、以及建立连接通道和创建请求的发送;服务端进行所述消息元数据、切片元数据和切片数据的管理,以及通道的创建和管理、提供超大消息缓存和断点续传的能力;接收客户端进行从所述服务端拉取数据并按照规则校验和还原大消息,将拉取的数据进行缓存,提供数据重传能力。与现有技术相比,本发明能够在资源受限的条件下提供传输超大消息的能力。同时服务端和接收端提供本地缓存能力,能够实现超大消息的断点续传能力。
Description
技术领域
本发明涉及消息中间件领域,具体提供一种超大消息传输方法及装置。
背景技术
NATS是一种简单、安全、高性能的数字、服务和设备通信系统,为现代企业提供了良好的消息传输系统。同时NATS是一个开源、轻量级、高性能的分布式消息中间件,实现了高可伸缩性和优雅的Publish/Subscribe模型。
现有技术下大消息在弱网环境下传输异常,经常存在安全问题,如何避免这种情况的产生是本领域技术人员亟待解决的事情。
发明内容
本发明是针对上述现有技术的不足,提供一种实用性强的超大消息传输方法。
本发明进一步的技术任务是提供一种设计合理,安全适用的超大消息传输装置。
本发明解决其技术问题所采用的技术方案是:
一种超大消息传输方法,包括发送客户端、服务端和接收客户端,所述发送客户端进行消息元数据、切片元数据和切片数据的组织和发送、以及建立连接通道和创建请求的发送;
所述服务端进行所述消息元数据、切片元数据和切片数据的管理,以及通道的创建和管理、提供超大消息缓存和断点续传的能力;
所述接收客户端进行从所述服务端拉取数据并按照规则校验和还原大消息,将拉取的数据进行缓存,提供数据重传能力。
进一步的,首先将发送客户端、服务端和接收客户端建立连接并创建通道,所述发送客户端和接收客户端使用grpc发送NATS连接信息到服务器,所述服务器使用所述NATS信息连接NATS服务器;
同时所述服务端分配clientID给所述发送客户端和接收客户端,所述发送客户端使用grpc进行队列模型的创建、删除、更新,所述接收客户端获取队列模型信息、队列列表和判断队列是否存在。
进一步的,发送客户端发送任务描述信息到服务端,所述服务端根据消息管理逻辑进行处理,如果是新消息,则初始化对应消息的数据Stream和数据存储桶,并向ack-inbox回复临时数据存储桶,同时向消息事件Stream中发送一条任务消息格式的编码数据。
进一步的,所述发送客户端获取数据存储桶信息后,发送数据存储桶中的切片元信息到服务端,所述服务端将所述切片元信息与数据存储中存储的切片元信息对比,判断对应数据段是否需要发送,若需要发送,则标记切片元信息中的标记位,将标记后的切片元信息返回给发送客户端。
进一步的,将标记后的切片元信息返回给发送客户端,所述发送客户端根据返回结果决定是否需要向对应数据存储桶中发送相关切片数据,数据存储桶中key为切片索引,value为对应数据段;
切片数据存储成功后发送切片事件到服务端,所述服务端根据接收到的切片事件,如果对应数据存储桶中含有对应数据切片,将切片事件写入数据Stream中。
进一步的,将切片事件写入数据Stream中之后,所述发送客户端向所述服务端发送结束任务消息,所述服务端根据任务元信息验证服务端存储数据是否完备,不完备则返回相关重传逻辑信息;
如果完备,则返回任务结束回复信息同时向数据Stream中写入任务结束事件。
进一步的,所述接收客户端向所述服务端发送拉取队列名的消息,所述服务端进行创建消息Stream对应的Consumer,并且使用pull模式,将创建的Consumer返回到所述接收客户端。
进一步的,所述接收客户端解析获得消息Stream对应的Conusumer后,从消息Stream中解析并获取数据切片Stream,所述接收客户端创建数据切片Stream对应的Consumer,并拉取获得切片事件。
进一步的,解析所述拉取获得的切片事件,得到对应的数据存储桶信息和对应数据的校验值,并根据本地缓存区情况决定是否去目标桶中获取相关数据,当读取到对应任务结束事件后,此大消息结束,删除对应的数据切片Consumer,接收客户端提交对消息事件Consumer的确认。
一种超大消息传输装置,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行一种超大消息传输方法。
本发明的一种超大消息传输方法及装置和现有技术相比,具有以下突出的有益效果:
本发明包含发送客户端、接收客户端和服务端,能够在资源受限的条件下提供传输超大消息的能力。同时服务端和接收端提供本地缓存能力,能够实现超大消息的断点续传能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图1是一种超大消息传输方法中发送客户端到服务端的流程示意图;
附图2是一种超大消息传输方法中接收客户端到服务端的流程示意图;
附图3是一种超大消息传输方法的架构示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案,下面结合具体的实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例:
如图1、2所示,本实施例中的一种超大消息传输方法,包括发送客户端、服务端和接收客户端,发送客户端进行消息元数据、切片元数据和切片数据的组织和发送、以及建立连接通道和创建请求的发送。
服务端进行所述消息元数据、切片元数据和切片数据的管理,以及通道的创建和管理、提供超大消息缓存和断点续传的能力,
接收客户端进行从所述服务端拉取数据并按照规则校验和还原大消息,将拉取的数据进行缓存,提供数据重传能力。
首先将发送客户端、服务端和接收客户端建立连接并创建通道,发送客户端和接收客户端使用grpc发送NATS连接信息到服务器,服务器使用NATS信息连接NATS服务器。其中,NATS连接信息包括集群地址、用户名和密码,此方法解决客户端和服务端使用NATS信息不一致问题。
同时服务端分配clientID给发送客户端和接收客户端,保证客户端的唯一性,并进行客户端信息管理、NATS信息管理、账户管理。发送客户端使用grpc进行队列模型的创建、删除、更新,所述接收客户端获取队列模型信息、队列列表和判断队列是否存在。
发送客户端发送大消息到服务端的具体流程如下:
发送客户端发送任务描述信息到服务端,服务端根据消息管理逻辑处理,如果是新消息,则初始化对应消息的数据Stream和数据存储桶,数据存储桶中除了包含数据切片,还包括数据总分片数、接收到的分片数等额外的元信息。并向ack-inbox回复临时数据存储桶等信息,同时向消息事件Stream中发送一条任务消息格式的编码数据,该消息事件Stream数据使得接收者感知大消息传输事件,同时能够获取消息关联的数据Stream。
发送客户端获取数据存储桶信息后,发送切片元信息到服务端。服务端将该切片元信息,与数据存储中存储的切片元信息对比,判断对应数据段是否需要发送,若需要发送,则标记切片元信息中的标记位。最后将标记后的切片元信息返回给发送客户端。
发送客户端根据返回结果决定是否需要向对应数据存储桶中发送相关切片数据,数据存储桶中key为切片索引,value为对应数据段。切片数据存储成功后发送切片事件到服务端。服务端根据接收到切片事件后,如果对应数据存储桶中含有对应数据切片,将切片事件写入数据Stream中,切片事件包含消息ID、切片索引号、切片校验码、数据存储桶等。
大消息发送完成后,发送客户端向服务端发送结束任务消息,服务端根据任务元信息验证服务端存数据是否完备,不完备返回相关重传逻辑信息,如果完备返回任务结束回复信息同时向数据Stream中写入任务结束事件。
如图3所示,接收客户端向服务端进行拉取大消息的具体操作步骤为:
接收客户端向服务端发送拉取消息,消息包括使用的队列名。服务端根据拉取信息,进行相关处理:
创建消息Stream对应的Consumer,并且使用pull模式。最后将创建的Consumer返回到接收客户端,接收客户端解析获得消息Stream对应的Conusumer后,从消息Stream中解析并获取数据切片Stream。
接收客户端创建数据切片Stream对应的Consumer,并拉取获得切片事件。解析该切片事件获得对应的数据存储桶信息、对应数据的校验值,并根据本地缓存区情况决定是否去目标桶中获取相关数据。当读取到对应任务结束事件后,此大消息结束,删除对应的数据切片Consumer。客户端提交对消息事件Consumer的确认,获取下一条消息事件。
本发明中5类消息传输格式为:
(1)消息元数据:
大消息的整体信息包括:消息标识、通道标识、客户端标识、消息大小、消息切片大小。消息标识:标识大消息的唯一性;通道标识:传输消息所使用的通道,即发送和接收客户端和服务端之间传输消息的逻辑链路;客户端标识:标识客户端的唯一性;消息大小:大消息的整体长度;消息切片大小:传输的大消息需要切分成小的消息片段进行传输。
(2)切片元数据:
切片元数据整体信息包括:消息标识、通道标识、客户端标识、切片消息体。切片消息体包含:大消息分片索引、大消息分片指纹、标记位。大消息分片索引:每一片大消息的索引号;大消息分片指纹:每一个大消息的哈希值,用来进行切片数据的校验;标记位:该标记位用来识别切片数据段是否已经传输成功,若该标记位已被标记,则相应的切片数据段无需发送,否则需要发送该切片数据段。
(3)切片事件:
切片事件整体包括:消息标识、通道标识、客户端标识、大消息分片索引、大消息分片指纹、数据存储桶名字。数据存储桶:用来存储每一个切片数据段,每一个超大文件对应一个数据存储桶和数据stream。该切片事件需要保存到数据stream中,接收客户端根据数据存储桶信息获得存储的切片数据。
(4)消息事件:
消息事件整体包括:数据stream信息,该信息存储到消息stream中,并且每个通道对应一个消息stream。接收客户端根据消息stream信息获得数据stream,从而获取切片数据。
(5)结束任务消息:
结束任务消息整体包括:消息标识、通道标识、客户端标识、结束任务标识。结束任务标识:标识是否结束任务。当服务端接收到该结束任务标识,进行数据校验,若数据完整,返回发送客户端任务完成,否则进行数据重传。
一种超大消息传输装置,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行一种超大消息传输方法。
上述具体的实施方式仅是本发明具体的个案,本发明的专利保护范围包括但不限于上述具体的实施方式,任何符合本发明的一种超大消息传输方法及装置权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换,皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种超大消息传输方法,其特征在于,包括发送客户端、服务端和接收客户端,所述发送客户端进行消息元数据、切片元数据和切片数据的组织和发送、以及建立连接通道和创建请求的发送;
所述服务端进行所述消息元数据、切片元数据和切片数据的管理,以及通道的创建和管理、提供超大消息缓存和断点续传的能力;
所述接收客户端进行从所述服务端拉取数据并按照规则校验和还原大消息,将拉取的数据进行缓存,提供数据重传能力。
2.根据权利要求1所述的一种超大消息传输方法,其特征在于,首先将发送客户端、服务端和接收客户端建立连接并创建通道,所述发送客户端和接收客户端使用grpc发送NATS连接信息到服务器,所述服务器使用所述NATS信息连接NATS服务器;
同时所述服务端分配clientID给所述发送客户端和接收客户端,所述发送客户端使用grpc进行队列模型的创建、删除、更新,所述接收客户端获取队列模型信息、队列列表和判断队列是否存在。
3.根据权利要求2所述的一种超大消息传输方法,其特征在于,发送客户端发送任务描述信息到服务端,所述服务端根据消息管理逻辑进行处理,如果是新消息,则初始化对应新消息的数据Stream和数据存储桶,并向ack-inbox回复临时数据存储桶,同时向消息事件Stream中发送一条任务消息格式的编码数据。
4.根据权利要求3所述的一种超大消息传输方法,其特征在于,所述发送客户端获取数据存储桶信息后,发送数据存储桶中的切片元信息到服务端,所述服务端将所述切片元信息与数据存储中存储的切片元信息对比,判断对应数据段是否需要发送,若需要发送,则标记切片元信息中的标记位,将标记后的切片元信息返回给发送客户端。
5.根据权利要求4所述的一种超大消息传输方法,其特征在于,将标记后的切片元信息返回给发送客户端,所述发送客户端根据返回结果决定是否需要向对应数据存储桶中发送相关切片数据,数据存储桶中key为切片索引,value为对应数据段;
切片数据存储成功后发送切片事件到服务端,所述服务端根据接收到的切片事件,如果对应数据存储桶中含有对应数据切片,将切片事件写入数据Stream中。
6.根据权利要求5所述的一种超大消息传输方法,其特征在于,将切片事件写入数据Stream中之后,所述发送客户端向所述服务端发送结束任务消息,所述服务端根据任务元信息验证服务端存储数据是否完备,不完备则返回相关重传逻辑信息;
如果完备,则返回任务结束回复信息同时向数据Stream中写入任务结束事件。
7.根据权利要求6所述的一种超大消息传输方法,其特征在于,所述接收客户端向所述服务端发送拉取队列名的消息,所述服务端进行创建消息Stream对应的Consumer,并且使用pull模式,将创建的Consumer返回到所述接收客户端。
8.根据权利要求7所述的一种超大消息传输方法,其特征在于,所述接收客户端解析获得消息Stream对应的Conusumer后,从消息Stream中解析并获取数据切片Stream,所述接收客户端创建数据切片Stream对应的Consumer,并拉取获得切片事件。
9.根据权利要求8所述的一种超大消息传输方法,其特征在于,解析所述拉取获得的切片事件,得到对应的数据存储桶信息和对应数据的校验值,并根据本地缓存区情况决定是否去目标桶中获取相关数据,当读取到对应任务结束事件后,此大消息结束,删除对应的数据切片Consumer,接收客户端提交对消息事件Consumer的确认。
10.一种超大消息传输装置,其特征在于,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行权利要求1至9中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210256891.1A CN114697376B (zh) | 2022-03-16 | 2022-03-16 | 一种超大消息传输方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210256891.1A CN114697376B (zh) | 2022-03-16 | 2022-03-16 | 一种超大消息传输方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114697376A true CN114697376A (zh) | 2022-07-01 |
CN114697376B CN114697376B (zh) | 2024-09-24 |
Family
ID=82139177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210256891.1A Active CN114697376B (zh) | 2022-03-16 | 2022-03-16 | 一种超大消息传输方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114697376B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6279041B1 (en) * | 1998-11-13 | 2001-08-21 | International Business Machines Corporation | Methods, systems and computer program products for differencing data communications using a message queue |
CN101184055A (zh) * | 2007-12-11 | 2008-05-21 | 腾讯科技(深圳)有限公司 | 一种离线文件的发送、接收、传输方法及装置 |
CN102340507A (zh) * | 2011-10-18 | 2012-02-01 | 中兴通讯股份有限公司 | 大对象传输方法及系统 |
CN106951380A (zh) * | 2017-03-17 | 2017-07-14 | 山东浪潮商用系统有限公司 | 一种客户端、服务端、数据传输方法及系统 |
CN108449262A (zh) * | 2018-04-08 | 2018-08-24 | 成都万维图新信息技术有限公司 | 一种即时通信数据的传输方法 |
CN109067733A (zh) * | 2018-07-27 | 2018-12-21 | 成都华为技术有限公司 | 发送数据的方法和装置,以及接收数据的方法和装置 |
CN110177127A (zh) * | 2019-04-15 | 2019-08-27 | 阿里巴巴集团控股有限公司 | 基于grpc框架的数据传输方法、装置及设备 |
KR20200064416A (ko) * | 2018-11-29 | 2020-06-08 | 한국전자통신연구원 | 유연성을 지원하는 확장성 이벤트 전달 시스템 및 이벤트 전달 방법 |
CN111416689A (zh) * | 2019-01-07 | 2020-07-14 | 中国移动通信有限公司研究院 | 数据传输方法及通信设备 |
CN112765262A (zh) * | 2019-11-05 | 2021-05-07 | 中兴通讯股份有限公司 | 一种数据重分布方法、电子设备及存储介质 |
CN113132376A (zh) * | 2021-04-14 | 2021-07-16 | 腾讯科技(深圳)有限公司 | 媒体数据处理方法及装置、系统、电子设备和存储介质 |
CN113965482A (zh) * | 2021-10-19 | 2022-01-21 | 北京天融信网络安全技术有限公司 | 基于gRPC的数据传输方法、装置及存储介质 |
-
2022
- 2022-03-16 CN CN202210256891.1A patent/CN114697376B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6279041B1 (en) * | 1998-11-13 | 2001-08-21 | International Business Machines Corporation | Methods, systems and computer program products for differencing data communications using a message queue |
CN101184055A (zh) * | 2007-12-11 | 2008-05-21 | 腾讯科技(深圳)有限公司 | 一种离线文件的发送、接收、传输方法及装置 |
CN102340507A (zh) * | 2011-10-18 | 2012-02-01 | 中兴通讯股份有限公司 | 大对象传输方法及系统 |
CN106951380A (zh) * | 2017-03-17 | 2017-07-14 | 山东浪潮商用系统有限公司 | 一种客户端、服务端、数据传输方法及系统 |
CN108449262A (zh) * | 2018-04-08 | 2018-08-24 | 成都万维图新信息技术有限公司 | 一种即时通信数据的传输方法 |
CN109067733A (zh) * | 2018-07-27 | 2018-12-21 | 成都华为技术有限公司 | 发送数据的方法和装置,以及接收数据的方法和装置 |
KR20200064416A (ko) * | 2018-11-29 | 2020-06-08 | 한국전자통신연구원 | 유연성을 지원하는 확장성 이벤트 전달 시스템 및 이벤트 전달 방법 |
CN111416689A (zh) * | 2019-01-07 | 2020-07-14 | 中国移动通信有限公司研究院 | 数据传输方法及通信设备 |
CN110177127A (zh) * | 2019-04-15 | 2019-08-27 | 阿里巴巴集团控股有限公司 | 基于grpc框架的数据传输方法、装置及设备 |
CN112765262A (zh) * | 2019-11-05 | 2021-05-07 | 中兴通讯股份有限公司 | 一种数据重分布方法、电子设备及存储介质 |
CN113132376A (zh) * | 2021-04-14 | 2021-07-16 | 腾讯科技(深圳)有限公司 | 媒体数据处理方法及装置、系统、电子设备和存储介质 |
CN113965482A (zh) * | 2021-10-19 | 2022-01-21 | 北京天融信网络安全技术有限公司 | 基于gRPC的数据传输方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114697376B (zh) | 2024-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8769138B2 (en) | Method for data retrieval from a distributed data storage system | |
US6757717B1 (en) | System and method for data access | |
US10984018B2 (en) | System, methods, and media for compressing non-relational database objects | |
JP3990115B2 (ja) | サーバ側プロキシ装置及びプログラム | |
WO2000007124A2 (en) | Multiple cache communication | |
CN110413650A (zh) | 一种业务数据的处理方法、装置、设备和存储介质 | |
CN111654428A (zh) | 离线消息处理方法、装置和服务器 | |
CN112583923B (zh) | 一种文件传输方法、设备和存储介质 | |
US11218542B2 (en) | Method and system for selecting a transport mechanism and a storage process | |
CN117608860A (zh) | 多进程的数据处理方法和装置 | |
CN114697376A (zh) | 一种超大消息传输方法及装置 | |
KR101465891B1 (ko) | 무선 네트워크에서 트래픽 중복 제거 방법 및 장치 | |
CN117294725A (zh) | 一种复杂网络下基于文件的数据同步方法及系统 | |
CN113300875A (zh) | 回源数据校验方法、服务器、系统及存储介质 | |
CN111355793A (zh) | 一种基于HTML5和Python的大文件上传方法 | |
US20170048303A1 (en) | On the fly statistical delta differencing engine | |
US10033837B1 (en) | System and method for utilizing a data reducing module for dictionary compression of encoded data | |
CN111064587B (zh) | 一种分布式数据系统的节点及广播传输数据管理方法 | |
CN114338797B (zh) | 适于多版本时序数据传输和重放的系统及方法 | |
CN116208379B (zh) | 物联网设备mqtt主题发布订阅权限校验方法及系统 | |
CN118660047A (zh) | 一种超大文件上传方法、装置、电子设备及存储介质 | |
CN113179333B (zh) | 一种用于区块链的文件传输与实时计算系统及方法 | |
CN107247632A (zh) | 非结构化数据、碎片化数据汇聚系统 | |
CN117240847A (zh) | 文件分片传输方法、装置、系统及设备 | |
CN117834204A (zh) | 一种连续时间约束下的独立用户数量计算方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |