CN107070613A - 分布式网络环境下数据可靠传输方法 - Google Patents

分布式网络环境下数据可靠传输方法 Download PDF

Info

Publication number
CN107070613A
CN107070613A CN201710174693.XA CN201710174693A CN107070613A CN 107070613 A CN107070613 A CN 107070613A CN 201710174693 A CN201710174693 A CN 201710174693A CN 107070613 A CN107070613 A CN 107070613A
Authority
CN
China
Prior art keywords
transmission
packet
data
service end
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710174693.XA
Other languages
English (en)
Other versions
CN107070613B (zh
Inventor
全喜伟
江海龙
张捷
刘明
何晓亮
谢龙星
顾云龙
夏海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Traffic Management Research Institute of Ministry of Public Security
Original Assignee
Traffic Management Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Traffic Management Research Institute of Ministry of Public Security filed Critical Traffic Management Research Institute of Ministry of Public Security
Priority to CN201710174693.XA priority Critical patent/CN107070613B/zh
Publication of CN107070613A publication Critical patent/CN107070613A/zh
Application granted granted Critical
Publication of CN107070613B publication Critical patent/CN107070613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/188—Time-out mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607—Details of the supervisory signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1803—Stop-and-wait protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1809—Selective-repeat protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种分布式网络环境下数据可靠传输方法，包括：传输服务端部署在分布式网络环境的逻辑中心，为多个不同网络环境下的数据传输提供路由、缓存和分发服务；传输客户端部署在需要数据传输的分布式网络环境中，基于所在分布式网络环境中的应用数据，通过传输服务端，将数据传送到其他分布式网络环境中的传输客户端；本发明采用私有数据传输协议，协议采用包头和包体两部分组成，在包头中进行传输数据包基本属性定义，包体中存放具体传输内容；还设计了数据包传输过程状态跟踪控制策略，对数据包的各个状态进行实时变更和控制，保证在网络传输过程中，数据包的最终一致性和完整性。

Description

分布式网络环境下数据可靠传输方法
技术领域
本发明涉及一种数据传输方法，尤其是一种在分布式网络环境下，应用数据可靠传输的方法。
背景技术
随着信息技术的迅猛发展，存在很多应用软件由于架构设计的需要，采取分布式网络部署的模式，即将一套应用软件部署在不同的网络环境中，协同提供服务。由于受限于成本等因素的制约，在不同分布式网络环境下的应用程序之间不具备通过数据专线实现网络通信的条件，对于应用软件间需要交换数据，复杂网络环境是威胁数据传输高效、稳定、安全的巨大挑战。
当应用软件部署在物理独立的分布式网络环境中时，多个应用软件间的高效、安全、可靠的数据传输，是信息系统设计和建设的难点。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种分布式网络环境下数据可靠传输方法，以此解决在复杂网络环境下数据传输的高效、安全和可靠性。本发明采用的技术方案是：
一种分布式网络环境下数据可靠传输方法，包括：
传输服务端部署在分布式网络环境的逻辑中心，为多个不同网络环境下的数据传输提供路由、缓存和分发服务；传输客户端部署在需要数据传输的分布式网络环境中，基于所在分布式网络环境中的应用数据，通过传输服务端，将数据传送到其他分布式网络环境中的传输客户端；
传输客户端按照传输协议，一方面对本地待传输数据进行加密、压缩、打包，并调用传输服务端，执行发送操作；另一方面，传输客户端需要监听来自传输服务端的数据通知事件，解压、解密由其他传输客户端传送到本地的数据，进行数据解析操作，并反馈处理结果。
进一步地，所述数据可靠传输方法采用私有的传输协议，采用基于TCP/IP传输协议的Socket通信，以数据包作为最小传输单元；每个数据包分为包头和包体，包头为传输控制内容，包体为传输数据内容；
包头包括：
a)传输指令：定义了数据包的传输类型，包括传输请求，传输响应，心跳监测，登录认证这些不同指令；
b)版本号：定义了数据包的协议版本，数据接收端要根据版本号进行匹配，完成数据包的正确解析；
c)包序号：定义了单个数据包的编号，全局唯一；
d)加密类型：定义了包体数据内容的加密类型；
e)压缩类型：定义了包体数据内容的压缩算法类型；
f)包类型：定义了包的结构为单个数据包还是若干数据包合并而成的复合数据包；
h)发送端编号：定义了数据包发送的传输客户端编号，用于数据接收端回传数据处理结果；
i)接收端编号：定义数据包的传输目的地即数据接收端，用于传输服务端进行路由分发；
包体包括数据长度、数据内容；
a)数据长度描述了数据内容占用的存储空间；
b)数据内容为根据加密类型、压缩类型对待传输数据实际内容进行加密、打包处理后，以二进制格式存放的字节流。
更进一步地，包头中还包括传输优先级：定义了数据包在传输服务端的排队策略，高优先级数据包将优先分发给传输目的地，低优先级数据包要进行排队顺序分发。
进一步地，所述数据可靠传输方法采用一种如下的传输控制方法：
2.1)首先作为数据发送端的传输客户端根据传输协议构建传输数据包；数据包处于未传输状态；
2.2)然后，数据发送端将数据包通过传输通道发送给传输服务端；若数据包通过传输通道发出则数据包状态为已发送；若通过传输通道超时未发出，则数据包状态为发送失败；
2.3)数据包向传输服务端发出后，若收到传输服务端反馈数据包已经收到且处理成功，则状态为发送成功；若收到传输服务端反馈数据包处理失败，则状态为发送失败；若传输服务端超时未响应，则判定为数据包超时未响应，数据包状态也置为发送失败；
2.4)传输服务端收到数据包且处理成功后，向作为数据接收端的传输客户端分发；
2.5)传输服务端将数据包分发至数据接收端，且数据接收端处理成功，则数据包状态为接收成功；数据发送端删除数据包；
2.6)传输服务端将数据包分发至数据接收端，且数据接收端处理失败，则数据包状态为接收失败；
2.7)当数据包在发送失败和接收失败状态时，数据发送端进行数据包重传；
2.8)当数据包重传次数超过设定重传次数阈值，则判定为数据包传输最终失败。
进一步地，所述数据可靠传输方法采用一种如下的传输监控方法：
设立传输服务端监控指标和传输客户端监控指标；
传输服务端监控指标包括：传输客户端连接状态监控、数据接收监控、数据分发监控；
传输客户端监控指标包括：
a)数据包传输状态监控：统计最近数日数据包传输数量趋势，并实时监控每个数据包当前传输状态；按传输状态分类统计数据包数量；
b)数据包接收状态监控：统计最近数日数据包接收数量趋势，并实时监控每个数据包当前接收状态；
c)传输通道情况监控：实时监控与传输服务端的连接状态，连接数量；
d)传输客户端资源利用情况监控。
进一步地，所述数据可靠传输方法采用一种如下的服务可靠性处理方法，
设置异常处置机制和降级运行模式；
异常处置机制：
a)数据包若通过传输通道超时未发出引起发送失败，等待N1分钟，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
b)数据包超时未响应，数据包已发送后，等待N2分钟传输服务端未反馈接收结果，设置发送失败，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
c)数据包接收失败，等待N3分钟，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
降级运行模式：
a)传输服务端分发队列排队数量超过阈值，直接丢弃输出客户端数据传输请求，返回“队列溢出”；
b)数据发送端收到传输服务端队列溢出反馈，数据包发送线程等待N4分钟继续工作；
c)传输客户端断开与传输服务端的连接后，传输服务端自动拒绝发往该传输客户端的数据传输请求，返回“接收客户端离线”；
d)传输服务端宕机或传输客户端网络异常后，传输客户端检测到传输通道关闭，间隔N5秒自动发起重连请求，直至重新建立传输通道。
更进一步地，N1取10；N2取10；N3取5；N4取5；N5取10。
本发明通过：
一、分布式网络环境下，数据可靠传输的架构设计；本发明设计了在分布式网络环境下应用间数据传输的架构方案，设计传输客户端和传输服务端两大组件，基于星型拓扑结构，传输客户端用于数据传输的发起、打包、加解密及接收等操作；传输服务端用于传输数据路由、排队、缓存及管控等操作。
二、基于非授信网络的数据传输协议设计；本发明设计了在非授信的分布式网络环境中，针对数据的私有数据传输协议，协议采用包头和包体两部分组成，在包头中进行传输数据包基本属性定义，包体中存放具体传输内容，根据包头的加密数据、压缩属性、打包属性等定义，控制包体的内容，整个传输过程基于二进制流读写数据，保证数据传输安全、高效。
三、数据传输控制策略设计；本发明设计了数据包传输过程状态跟踪控制策略，对数据包的各个状态进行实时变更和控制，保证在网络传输过程中，数据包的最终一致性和完整性。
四、数据传输监控设计；本发明基于上述三项内容，设计了基于分布式网络的传输服务、传输通道、传输数据监控点，对传输框架的运行情况，传输数据的积压、流转、异常进行全流程监控，并统计传输数据包数量、传输流量、异常数量的比例，全面掌握传输服务的运行状况。
本发明的优点在于：
1.解决了分布式网络环境下，网络稳定性依赖问题。通过中心传输服务端节点，保证了任意两点应用软件的网络可达性，降低了传输服务对网络可靠性的依赖强度。
2.解决了非授信网络环境下，数据传输的效率问题，通过自定义数据传输协议，对数据体进行加密二进制流传输，即保证了数据安全，同时可根据传输协议，参数化设置数据包的拆分和合并规则，提高复杂网络环境下的数据传输效率。
3.解决了复杂网络环境下，数据传输的可靠性问题。本发明通过数据传输控制策略的设计，对每个传输数据包进行全流程状态监控，服务自动感知异常状态，触发数据重传操作，保证了每个数据包完整抵达传输目的地。
附图说明
图1为本发明的分布式网络数据传输总体架构示意图。
图2为本发明的分布式网络数据传输总体工作示意图。
图3为本发明的数据传输协议设计图。
图4为本发明的数据传输状态控制流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
分布式数据传输技术从网络拓扑上，为星型结构。由传输服务端和传输客户端组成。传输服务端部署在分布式网络环境的逻辑中心，为多个不同网络环境下的数据传输提供路由、缓存和分发服务；传输客户端部署在需要数据传输的分布式网络环境中，基于所在分布式网络环境中的应用数据，通过数据传输服务端，将数据传送到其他分布式网络环境中的传输客户端。总体架构见附图1；
传输客户端按照传输协议，一方面对本地待传输数据进行加密、压缩、打包，并调用传输服务端，执行发送操作；另一方面，传输客户端需要监听来自传输服务端的数据通知事件，解压、解密由其他传输客户端传送到本地的数据，进行数据解析操作，并反馈处理结果。传输服务端负责注册管理传输客户端的连接通道，当收到数据发送端的传输客户端A的数据请求后，通过注册表，寻找传输目的地（即数据接收端）的传输客户端B，完成传输数据的分发；此后，等待传输客户端B的数据处理结果，并返回给传输客户端A，完成整个数据传输流程；总体工作示意见附图2。传输客户端按照数据的收、发分为数据发送端和数据接收端。
为了保证传输服务的高可用性，本发明设计中的传输服务端支持多实例部署，传输客户端可同时连接多个传输服务端，且多个传输服务端均具备数据路由和分发功能，单个传输服务端异常后，传输客户端通过心跳监测断开连接后，与其他传输服务端的数据传输不受影响。
（一）传输协议说明；
为了提高数据传输效率，减少数据传输体的长度，本发明采用基于TCP/IP传输协议的Socket通信，以数据包作为最小传输单元；每个数据包分为包头（header）和包体（body）两部分组成，包头为传输控制内容，包体为传输数据内容；数据包的组成详见附图3。
1.1）本发明设计的传输协议中，包头由传输指令、版本号、包序号、加密类型、压缩类型、包类型、传输优先级、发送端编号、接收端编号组成；
a)传输指令：定义了数据包的传输类型，包括传输请求，传输响应，心跳监测，登录认证等不同指令；
b)版本号：定义了数据包的协议版本，数据接收端要根据版本号进行匹配，完成数据包的正确解析；
c)包序号：定义了单个数据包的编号，全局唯一；
d)加密类型：定义了包体数据内容的加密类型；
e)压缩类型：定义了包体数据内容的压缩算法类型；
f)包类型：定义了包的结构为单个数据包（取值1）还是若干数据包合并而成的复合数据包（取值2）；
g)传输优先级：定义了数据包在传输服务端的排队策略，高优先级数据包将优先分发给数据接收端即传输目的地，低优先级数据包要进行排队顺序分发；
h)发送端编号：定义了数据包发送的传输客户端编号，用于数据接收端回传数据处理结果；
i)接收端编号：定义数据包的传输目的地即数据接收端，用于传输服务端进行路由分发；
1.2）本发明设计的传输协议中，包体包括数据长度、数据内容两部分组成；
a)数据长度描述了数据内容占用的存储空间；
b)数据内容为根据加密类型、压缩类型对待传输数据实际内容进行加密、打包处理后，以二进制格式存放的字节流；
本发明设计的传输协议，一方面，可有效控制传输内容，保证传输过程数据安全；另一方面，通过对小数据包进行合并，减少传输数据包数量，提高传输效率和可靠性。
（二）传输控制方法说明；
本发明设计了数据包运行状态，对其传输流转的各个状态进行全面跟踪监控，并自动感知异常状态，发起重传操作，支持幂等性传输；根据传输协议的设计，数据包由包序号唯一标识，控制策略基于包序号进行状态控制。数据包控制流程见附图4。
2.1)首先作为数据发送端的传输客户端根据传输协议构建传输数据包；数据包处于未传输状态；
2.2)然后，数据发送端将数据包通过传输通道发送给传输服务端；若数据包通过传输通道发出则数据包状态为已发送；若通过传输通道超时未发出，则数据包状态为发送失败；
2.3)数据包向传输服务端发出后，若收到传输服务端反馈数据包已经收到且处理成功，则状态为发送成功；若收到传输服务端反馈数据包处理失败，则状态为发送失败；若传输服务端超时未响应，则判定为数据包超时未响应，数据包状态也置为发送失败；
2.4)传输服务端收到数据包且处理成功后，向作为数据接收端的传输客户端分发；
2.5)传输服务端将数据包分发至数据接收端，且数据接收端处理成功，则数据包状态为接收成功；数据发送端删除数据包；
2.6)传输服务端将数据包分发至数据接收端，且数据接收端处理失败，则数据包状态为接收失败；
2.7)当数据包在发送失败和接收失败状态时，数据发送端进行数据包重传；
2.8)当数据包重传次数超过设定重传次数阈值，则判定为数据包传输最终失败。
为此本发明定义了以下数据包状态：
a)未传输：数据包构建完成的初始状态，等待发往传输服务端；
b)已发送：数据包通过传输通道向传输服务端发出，等待传输服务端反馈接收结果；
c)发送成功：传输服务端反馈数据包已经收到，等待分发至数据接收端；
d)发送失败：数据发送端若通过传输通道超时未发出；或传输服务端反馈数据包处理失败，传输中断，等待重传；或传输服务端超时未响应判定为数据包超时未响应；
e)接收成功：传输服务端将数据包分发至数据接收端，且数据接收端处理成功，数据发送端删除数据包；
f)接收失败：传输服务端将数据包分发至数据接收端，且数据接收端处理失败，此时传输中断，等待重传；
g)最终失败：数据包在发送失败（包括数据包超时未响应）和接收失败情况下，多次重传失败，则置为最终失败，不再继续重传，以免浪费网络资源；
通过对数据包各个传输状态进行动态控制，达到传输数据包最终一致性和完整性的目标；
（三）传输监控方法说明；
为保障传输服务正常运行，本发明设计了如下传输监控项，对传输服务端和传输客户端进行全面监控；
3.1）传输服务端监控指标；
a)传输客户端连接状态监控：监控每个注册的传输客户端的传输通道实时连接状态、连接数量，超过10分钟未连接自动预警；
b)数据接收监控：按传输客户端分类监控接收数据量、反馈数据量、丢失数据量；
c)数据分发监控：按传输客户端分类监控分发队列排队数量、数据接收端反馈数量、接收异常数量、分发率（包/秒）等指标；
3.2)传输客户端监控指标；
a)数据包传输状态监控：统计最近七日数据包传输数量趋势，并实时监控每个数据包当前传输状态；按传输状态分类统计数据包数量；
b)数据包接收状态监控：统计最近七日数据包接收数量趋势，并实时监控每个数据包当前接收状态；
c)传输通道情况监控：实时监控与传输服务端的连接状态，连接数量；
d)传输客户端资源利用情况监控：实时监控传输客户端内存占用情况，线程运行情况，垃圾回收情况；
（四）服务可靠性处理方法说明：
本发明对监控中发现的异常，设计了异常处置机制和降级运行模式，保证传输服务在无人工干预情况下可靠运行；
4.1)异常处置机制：
a)数据包若通过传输通道超时未发出引起发送失败，等待10分钟，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
b)数据包超时未响应，数据包已发送后，等待10分钟传输服务端未反馈接收结果，设置发送失败，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
c)数据包接收失败，等待5分钟，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
4.2)降级运行模式：
a)传输服务端分发队列排队数量超过阈值，直接丢弃输出客户端数据传输请求，返回“队列溢出”；
b)数据发送端收到传输服务端队列溢出反馈，数据包发送线程等待5分钟继续工作；
c)传输客户端断开与传输服务端的连接后，传输服务端自动拒绝发往该传输客户端的数据传输请求，返回“接收客户端离线”；
d)传输服务端宕机或传输客户端网络异常后，传输客户端检测到传输通道关闭，间隔10秒自动发起重连请求，直至重新建立传输通道。
本发明能有效保障数据在分布式网络环境下，数据传输的高效、安全和可靠性，适用于任意分布式网络环境下数据传输的场景，不受现有应用程序技术架构的影响，使用范围广泛。

Claims (8)

1.一种分布式网络环境下数据可靠传输方法，其特征在于，
传输服务端部署在分布式网络环境的逻辑中心，为多个不同网络环境下的数据传输提供路由、缓存和分发服务；传输客户端部署在需要数据传输的分布式网络环境中，基于所在分布式网络环境中的应用数据，通过传输服务端，将数据传送到其他分布式网络环境中的传输客户端；
传输客户端按照传输协议，一方面对本地待传输数据进行加密、压缩、打包，并调用传输服务端，执行发送操作；另一方面，传输客户端需要监听来自传输服务端的数据通知事件，解压、解密由其他传输客户端传送到本地的数据，进行数据解析操作，并反馈处理结果。
2.如权利要求1所述的分布式网络环境下数据可靠传输方法，其特征在于，
所述数据可靠传输方法采用私有的传输协议，采用基于TCP/IP传输协议的Socket通信，以数据包作为最小传输单元；每个数据包分为包头和包体，包头为传输控制内容，包体为传输数据内容；
包头包括：
a)传输指令：定义了数据包的传输类型，包括传输请求，传输响应，心跳监测，登录认证这些不同指令；
b)版本号：定义了数据包的协议版本，数据接收端要根据版本号进行匹配，完成数据包的正确解析；
c)包序号：定义了单个数据包的编号，全局唯一；
d)加密类型：定义了包体数据内容的加密类型；
e)压缩类型：定义了包体数据内容的压缩算法类型；
f)包类型：定义了包的结构为单个数据包还是若干数据包合并而成的复合数据包；
h)发送端编号：定义了数据包发送的传输客户端编号，用于数据接收端回传数据处理结果；
i)接收端编号：定义数据包的传输目的地即数据接收端，用于传输服务端进行路由分发；
包体包括数据长度、数据内容；
a)数据长度描述了数据内容占用的存储空间；
b)数据内容为根据加密类型、压缩类型对待传输数据实际内容进行加密、打包处理后，以二进制格式存放的字节流。
3.如权利要求2所述的分布式网络环境下数据可靠传输方法，其特征在于，
包头中还包括传输优先级：定义了数据包在传输服务端的排队策略，高优先级数据包将优先分发给传输目的地，低优先级数据包要进行排队顺序分发。
4.如权利要求1、2或3所述的分布式网络环境下数据可靠传输方法，其特征在于，
所述数据可靠传输方法采用一种如下的传输控制方法：
2.1)首先作为数据发送端的传输客户端根据传输协议构建传输数据包；数据包处于未传输状态；
2.2)然后，数据发送端将数据包通过传输通道发送给传输服务端；若数据包通过传输通道发出则数据包状态为已发送；若通过传输通道超时未发出，则数据包状态为发送失败；
2.3)数据包向传输服务端发出后，若收到传输服务端反馈数据包已经收到且处理成功，则状态为发送成功；若收到传输服务端反馈数据包处理失败，则状态为发送失败；若传输服务端超时未响应，则判定为数据包超时未响应，数据包状态也置为发送失败；
2.4)传输服务端收到数据包且处理成功后，向作为数据接收端的传输客户端分发；
2.5)传输服务端将数据包分发至数据接收端，且数据接收端处理成功，则数据包状态为接收成功；数据发送端删除数据包；
2.6)传输服务端将数据包分发至数据接收端，且数据接收端处理失败，则数据包状态为接收失败；
2.7)当数据包在发送失败和接收失败状态时，数据发送端进行数据包重传；
2.8)当数据包重传次数超过设定重传次数阈值，则判定为数据包传输最终失败。
5.如权利要求4所述的分布式网络环境下数据可靠传输方法，其特征在于，
所述数据可靠传输方法采用一种如下的传输监控方法：
设立传输服务端监控指标和传输客户端监控指标；
传输服务端监控指标包括：传输客户端连接状态监控、数据接收监控、数据分发监控；
传输客户端监控指标包括：
a)数据包传输状态监控：统计最近数日数据包传输数量趋势，并实时监控每个数据包当前传输状态；按传输状态分类统计数据包数量；
b)数据包接收状态监控：统计最近数日数据包接收数量趋势，并实时监控每个数据包当前接收状态；
c)传输通道情况监控：实时监控与传输服务端的连接状态，连接数量；
d)传输客户端资源利用情况监控。
6.如权利要求4所述的分布式网络环境下数据可靠传输方法，其特征在于，
所述数据可靠传输方法采用一种如下的服务可靠性处理方法，
设置异常处置机制和降级运行模式；
异常处置机制：
a)数据包若通过传输通道超时未发出引起发送失败，等待N1分钟，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
b)数据包超时未响应，数据包已发送后，等待N2分钟传输服务端未反馈接收结果，设置发送失败，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
c)数据包接收失败，等待N3分钟，重新发起传输请求，传输次数加1，超过限定传输次数，设置为最终失败；
降级运行模式：
a)传输服务端分发队列排队数量超过阈值，直接丢弃输出客户端数据传输请求，返回“队列溢出”；
b)数据发送端收到传输服务端队列溢出反馈，数据包发送线程等待N4分钟继续工作；
c)传输客户端断开与传输服务端的连接后，传输服务端自动拒绝发往该传输客户端的数据传输请求，返回“接收客户端离线”；
d)传输服务端宕机或传输客户端网络异常后，传输客户端检测到传输通道关闭，间隔N5秒自动发起重连请求，直至重新建立传输通道。
7.如权利要求6所述的分布式网络环境下数据可靠传输方法，其特征在于，
N1取10；N2取10；N3取5；N4取5；N5取10。
8.如权利要求1所述的分布式网络环境下数据可靠传输方法，其特征在于，
传输客户端同时连接多个传输服务端，且多个传输服务端均具备数据路由和分发功能，单个传输服务端异常后，传输客户端通过心跳监测断开连接后，与其他传输服务端的数据传输不受影响。
CN201710174693.XA 2017-03-22 2017-03-22 分布式网络环境下数据可靠传输方法 Active CN107070613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710174693.XA CN107070613B (zh) 2017-03-22 2017-03-22 分布式网络环境下数据可靠传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710174693.XA CN107070613B (zh) 2017-03-22 2017-03-22 分布式网络环境下数据可靠传输方法

Publications (2)

Publication Number Publication Date
CN107070613A true CN107070613A (zh) 2017-08-18
CN107070613B CN107070613B (zh) 2020-04-10

Family

ID=59617960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710174693.XA Active CN107070613B (zh) 2017-03-22 2017-03-22 分布式网络环境下数据可靠传输方法

Country Status (1)

Country Link
CN (1) CN107070613B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844714A (zh) * 2017-11-01 2018-03-27 深信服科技股份有限公司 一种验证方法及装置、计算机装置、可读存储介质
CN108234599A (zh) * 2017-12-06 2018-06-29 链家网（北京）科技有限公司 一种消息重发方法及系统
CN108923956A (zh) * 2018-06-13 2018-11-30 广州微林软件有限公司 一种网络数据传输的方法
WO2019105463A1 (zh) * 2017-11-30 2019-06-06 南京德朔实业有限公司 电动工具系统及数据处理方法
CN110011967A (zh) * 2019-02-27 2019-07-12 新奥特（北京）视频技术有限公司 一种用于数据传输的方法和系统
CN110324297A (zh) * 2018-03-30 2019-10-11 武汉斗鱼网络科技有限公司 一种消息处理方法及装置
CN110545266A (zh) * 2019-08-20 2019-12-06 浙江工业大学 基于gis系统的有连接的优先级可变的数据传输方法
CN110995603A (zh) * 2019-12-09 2020-04-10 广州信天翁信息科技有限公司 一种数据的多对多传输方法及异构数据传输层
CN111262837A (zh) * 2020-01-09 2020-06-09 奇安信科技集团股份有限公司 一种数据加密方法、数据解密方法、系统、设备和介质
CN111683138A (zh) * 2020-06-05 2020-09-18 中国有色金属长沙勘察设计研究院有限公司 一种基于Socket的高效自定义数据传输方法
CN113342278A (zh) * 2021-06-22 2021-09-03 海光信息技术股份有限公司 处理器及其保持缓存数据一致性的方法
CN113965482A (zh) * 2021-10-19 2022-01-21 北京天融信网络安全技术有限公司 基于gRPC的数据传输方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277175A (zh) * 2007-03-30 2008-10-01 国际商业机器公司 改进会话启动协议服务器性能的方法和装置
CN102404206A (zh) * 2011-11-04 2012-04-04 深圳市海思半导体有限公司 入队处理方法及设备
CN102958101A (zh) * 2012-12-03 2013-03-06 李俊 一种无线通信终端上规避无线信道拥塞的方法
CN104717259A (zh) * 2013-12-16 2015-06-17 中国科学院声学研究所 分布式中转服务器网络辅助的多路径数据传输系统与方法
CN104731912A (zh) * 2015-03-24 2015-06-24 浪潮集团有限公司 一种消息中间件mq的消息传输方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277175A (zh) * 2007-03-30 2008-10-01 国际商业机器公司 改进会话启动协议服务器性能的方法和装置
CN102404206A (zh) * 2011-11-04 2012-04-04 深圳市海思半导体有限公司 入队处理方法及设备
CN102958101A (zh) * 2012-12-03 2013-03-06 李俊 一种无线通信终端上规避无线信道拥塞的方法
CN104717259A (zh) * 2013-12-16 2015-06-17 中国科学院声学研究所 分布式中转服务器网络辅助的多路径数据传输系统与方法
CN104731912A (zh) * 2015-03-24 2015-06-24 浪潮集团有限公司 一种消息中间件mq的消息传输方法和装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844714A (zh) * 2017-11-01 2018-03-27 深信服科技股份有限公司 一种验证方法及装置、计算机装置、可读存储介质
US11126424B2 (en) 2017-11-30 2021-09-21 Nanjing Chervon Industry Co., Ltd. Power tool system and data processing method
WO2019105463A1 (zh) * 2017-11-30 2019-06-06 南京德朔实业有限公司 电动工具系统及数据处理方法
CN108234599A (zh) * 2017-12-06 2018-06-29 链家网（北京）科技有限公司 一种消息重发方法及系统
CN110324297A (zh) * 2018-03-30 2019-10-11 武汉斗鱼网络科技有限公司 一种消息处理方法及装置
CN108923956A (zh) * 2018-06-13 2018-11-30 广州微林软件有限公司 一种网络数据传输的方法
CN110011967A (zh) * 2019-02-27 2019-07-12 新奥特（北京）视频技术有限公司 一种用于数据传输的方法和系统
CN110545266A (zh) * 2019-08-20 2019-12-06 浙江工业大学 基于gis系统的有连接的优先级可变的数据传输方法
CN110545266B (zh) * 2019-08-20 2022-04-05 浙江工业大学 基于gis系统的有连接的优先级可变的数据传输方法
CN110995603A (zh) * 2019-12-09 2020-04-10 广州信天翁信息科技有限公司 一种数据的多对多传输方法及异构数据传输层
CN111262837A (zh) * 2020-01-09 2020-06-09 奇安信科技集团股份有限公司 一种数据加密方法、数据解密方法、系统、设备和介质
CN111262837B (zh) * 2020-01-09 2023-04-11 奇安信科技集团股份有限公司 一种数据加密方法、数据解密方法、系统、设备和介质
CN111683138A (zh) * 2020-06-05 2020-09-18 中国有色金属长沙勘察设计研究院有限公司 一种基于Socket的高效自定义数据传输方法
CN111683138B (zh) * 2020-06-05 2023-06-16 中国有色金属长沙勘察设计研究院有限公司 一种基于Socket的高效自定义数据传输方法
CN113342278A (zh) * 2021-06-22 2021-09-03 海光信息技术股份有限公司 处理器及其保持缓存数据一致性的方法
CN113965482A (zh) * 2021-10-19 2022-01-21 北京天融信网络安全技术有限公司 基于gRPC的数据传输方法、装置及存储介质

Also Published As

Publication number Publication date
CN107070613B (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN107070613A (zh) 分布式网络环境下数据可靠传输方法
CN104954279B (zh) 一种传输控制方法、装置及系统
JP5816718B2 (ja) 通信装置、通信システム、およびデータ通信の中継方法
WO2005006664A1 (ja) トランスポート層中継方法及びトランスポート層中継装置並びにプログラム
CN102394925B (zh) 远程监测诊断中心与地区调度中心的通讯方法及装置
CN107046542A (zh) 一种在网络级采用硬件实现共识验证的方法
JP2002232427A (ja) 帯域制御装置
WO2008034000A1 (en) Systems and methods of improving performance of transport protocols in a multi-path environment
WO2021128602A1 (zh) 一种数据传输的方法和装置
US20120155458A1 (en) Repeated Lost Packet Retransmission in a TCP/IP Network
US20040133631A1 (en) Communication system
CN104767695B (zh) 一种数据中心中的任务级别的流调度方法
CN106453356B (zh) 无线网络双边加速传输方法和系统
CN110753327A (zh) 一种基于无线自组网和LoRa的终端物联接入系统
CN101616316A (zh) 一种视频数据的发送、接收装置及发送、接收方法
CN111800336A (zh) 基于多通道网络链路聚合的路由传输实现方法
CN103051560B (zh) 一种转发和控制分离系统中拥塞控制的实现方法
CN109995664B (zh) 一种发送数据流的方法、设备和系统
Liu et al. An UDP-based protocol for internet robots
CN109104744A (zh) 利用wifi管理帧的数据发送、接收以及通信方法
CN115002023A (zh) 一种链路聚合方法、链路聚合装置、电子设备及存储介质
CN109076062A (zh) 边缘节点控制
CN109067663B (zh) 一种针对应用程序内控制请求响应速率的系统和方法
CN110808917B (zh) 多链路聚合数据重传方法及发送设备
JP4506430B2 (ja) アプリケーションモニタ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant