CN112019448B - 一种基于单向数据传输的可靠性控制方法及系统 - Google Patents

一种基于单向数据传输的可靠性控制方法及系统 Download PDF

Info

Publication number
CN112019448B
CN112019448B CN202011177431.7A CN202011177431A CN112019448B CN 112019448 B CN112019448 B CN 112019448B CN 202011177431 A CN202011177431 A CN 202011177431A CN 112019448 B CN112019448 B CN 112019448B
Authority
CN
China
Prior art keywords
unit
data
actual service
sending
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011177431.7A
Other languages
English (en)
Other versions
CN112019448A (zh
Inventor
张大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Unita Information Technology Co ltd
Original Assignee
Beijing Unita Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Unita Information Technology Co ltd filed Critical Beijing Unita Information Technology Co ltd
Priority to CN202011177431.7A priority Critical patent/CN112019448B/zh
Publication of CN112019448A publication Critical patent/CN112019448A/zh
Application granted granted Critical
Publication of CN112019448B publication Critical patent/CN112019448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开基于单向数据传输的可靠性控制方法及系统，所述系统中，采集单元、发送单元、接收单元和分析单元依次单向通信连接，分析单元与发送单元通信连接。采集单元用于采集实际业务场景数据和网络流，发送单元用于将采集单元采集到的数据打包并发送，接收单元用于接收发送单元发送过来的数据包并同时按照毫秒精度采集系统状态数据，将采集到的系统状态数据发送至分析单元，分析单元用于对接收到的系统状态数据进行分析并依据系统状态数据生成时序数据库。本发明通过结合实际数据传输过程中采集分析数据丢包率的系统状态，智能动态调整发送速度的方式，确保数据能够被准确的接收，同时能够更好的利用现有硬件做到平衡性能与可靠性的单向传输。

Description

一种基于单向数据传输的可靠性控制方法及系统
技术领域
本发明涉及工业数据传输技术领域。具体地说是一种基于单向数据传输的可靠性控制方法及系统。
背景技术
目前，大部分单向无反馈的可靠传输是基于UDP的传输方案，即在无法确认数据是否准确被收到的情况下，多数是通过多次冗余数据发送来保证数据正确性。而系统数据丢失的大部分情况都是系统的处理不够及时，或者系统负载过高导致。多次冗余数据传输带来的缺点会导致网络带宽的下降，在对性能要求较高的场景下，需要通过硬件的补充来弥补性能的损失。
发明内容
为此，本发明所要解决的技术问题在于提供一种基于单向数据传输的可靠性控制方法及系统，通过结合实际数据传输过程中采集分析数据丢包率的系统状态，智能动态调整发送速度的方式，确保数据能够被准确的接收，同时能够更好的利用现有硬件做到平衡性能与可靠性的单向传输。
为解决上述技术问题，本发明提供如下技术方案：
一种基于单向数据传输的可靠性控制方法，包括如下步骤：
a）发送单元将实际业务场景数据和网络流打包发送至接收单元；
b）采集单元按照毫秒精度采集与保存接收单元接收实际业务场景数据和网络流时的实际业务子系统状态数据并将采集到实际业务子系统状态数据传送至分析单元；实际业务子系统包括发送单元和接收单元；
c）分析单元对接收到的系统状态数据进行分析并依据系统状态数据生成时序数据库，然后将时序数据库发送至发送单元；
d）发送单元依据接收到的时序数据库模拟时序业务场景同时依据时序数据库对实际业务场景数据和网络流的发送速度进行控制调整；
e）依据采集单元在发送单元对实际业务场景数据和网络流发送速度进行控制调整后采集到的系统状态数据，分析单元调整分析单元策略方案。
上述基于单向数据传输的可靠性控制方法，所述系统状态数据包括CPU使用率状态、网络健康状态、磁盘相应状态和内存使用状态。
上述基于单向数据传输的可靠性控制方法，在步骤d）中，发送单元通过依据接收到的时序数据库并按照时间动态调整数据包发送的时间间隔的方式来控制调整实际业务场景数据和网络流的发送速度。
上述基于单向数据传输的可靠性控制方法，在步骤c）和步骤e）中，当分析单元分析耗时超过预设分析耗时限值且分析占用的用于存储数据的存储空间占用量超过分析存储空间占用限值时，对差异率小于1%的数据进行聚合运算，同时增加时序数据相关时间步长数据值，并采用无损压缩对数据进行压缩。
上述基于单向数据传输的可靠性控制方法，在步骤e）中，分析单元的策略方案为采用下述公式生成新的时序数据库：
发送延时X=丢包率Y * Max(CPU使用率C, 网络带宽比N，DISK磁盘速率D) * 权重(CPU使用率C, 网络带宽比N，DISK磁盘速率D)
其中，发送延时X计算时间单位μs，丢包率的采集计算时间单位ms，权重（CPU使用率C，网络带宽比N，DISK磁盘速率D）采用CRITIC算法计算。
上述基于单向数据传输的可靠性控制方法，步骤c）中，时序数据库手动导入发送单元。
上述基于单向数据传输的可靠性控制方法，单次丢包率采集时间为单次系统状态数据采集时间的10倍以上。
一种采用上述基于单向数据传输的可靠性控制方法的系统，包括：
实际业务子系统，用于通过单向数据传输实现实际业务场景数据和网络流的传输；实际业务子系统包括发送单元和接收单元，发送单元用于将实际业务场景数据和网络流打包发送至接收单元，接收单元用于接收实际业务场景数据和网络流；
调控辅助子系统，用于依据实际业务子系统运行状况调整实际业务子系统数据传输速度；调控辅助子系统包括采集单元和分析单元，采集单元用于按照毫秒精度采集与保存实际业务子系统状态数据并将实际业务子系统状态数据发送至分析单元，分析单元用于对接收到实际业务子系统状态数据进行分析并依据实际业务子系统状态数据生成时序数据库；
发送单元与接收单元单向通信连接；采集单元与分析单元通信连接；分析单元与发送单元单向通信连接；采集单元数据采集端设置在实际业务子系统内。
上述系统，分析单元与发送单元通过人工数据导入的方式实现通信连接。
本发明的技术方案取得了如下有益的技术效果：
1、结合实际的业务场景进行数据采集，分析，控制；做到模拟类似Tcp的数据流可靠传输。
2、提高单向数据传输速率和可靠性。
3、可针对不同的业务环境，通过不断的分析提高学习能力，持续优化单向数据传输效果。
附图说明
图1 本发明中采用基于单向数据传输的可靠性控制方法的系统的工作原理图；
图2 本发明中数据传输过程中的丢包率；
图3 本发明中数据传输过程中系统状态图。
图中，1-发送单元；2-接收单元；3-采集单元；4-分析单元。
具体实施方式
本实施例中，如图1所示，采用基于单向数据传输的可靠性控制方法的系统，包括用于通过单向数据传输实现实际业务场景数据和网络流的传输的实际业务子系统和用于依据实际业务子系统运行状况调整实际业务子系统数据传输速度的调控辅助子系统；实际业务子系统包括发送单元1和接收单元2，发送单元1用于将实际业务场景数据和网络流打包发送至接收单元2，接收单元2用于接收实际业务场景数据和网络流；调控辅助子系统包括采集单元3和分析单元4，采集单元3用于按照毫秒精度采集与保存实际业务子系统状态数据并将实际业务子系统状态数据发送至分析单元4，分析单元4用于对接收到实际业务子系统状态数据进行分析并依据实际业务子系统状态数据生成时序数据库；发送单元1与接收单元2单向通信连接；采集单元3与分析单元4通信连接；分析单元4与发送单元1通过人工数据导入的方式实现通信连接；采集单元3数据采集端设置在实际业务子系统内。
所述采用基于单向数据传输的可靠性控制方法的系统所采用的基于单向数据传输的可靠性控制方法，包括如下步骤：
a）发送单元1将实际业务场景数据和网络流打包发送至接收单元2；
b）采集单元3按照毫秒精度采集与保存接收单元2接收实际业务场景数据和网络流时的实际业务子系统状态数据并将采集到实际业务子系统状态数据传送至分析单元4；实际业务子系统包括发送单元1和接收单元2；所述系统状态数据包括CPU使用率状态、网络健康状态、磁盘相应状态和内存使用状态，其中，CPU使用率状态为CPU实时使用率，网络健康状态为网络带宽占用比，磁盘相应状态为磁盘工作时的磁盘转速，内存使用状态为内存实时使用率；
c）分析单元4对接收到的系统状态数据进行分析并依据系统状态数据生成时序数据库，然后将时序数据库发送至发送单元1；
d）发送单元1依据接收到的时序数据库模拟时序业务场景同时依据时序数据库对实际业务场景数据和网络流的发送速度进行控制调整；
e）依据采集单元3在发送单元1对实际业务场景数据和网络流发送速度进行控制调整后采集到的系统状态数据，分析单元4调整分析单元4策略方案。分析单元4的策略方案为采用下述公式生成新的时序数据库：
发送延时X=丢包率Y * Max(CPU使用率C, 网络带宽比N，DISK磁盘速率D) * 权重(CPU使用率C, 网络带宽比N，DISK磁盘速率D)
其中，发送延时X计算时间单位μs，丢包率的采集计算时间单位ms，系统状态采集计算时间单位μs，时序数据库记录时间单位ms，权重（CPU使用率C，网络带宽比N，DISK磁盘速率D）采用CRITIC算法计算。
依据发送延时X、丢包率、CPU使用率C、网络带宽比N和DISK磁盘速率D，通过上述公式分析得出最优的单向数据传输速度。
在步骤c）和步骤e）中，当分析单元4分析耗时超过预设分析耗时限值且分析占用的用于存储数据的存储空间占用量超过分析存储空间占用限值时，对差异率小于1%的数据进行聚合运算，同时增加时序数据相关时间步长数据值，并采用无损压缩对数据进行压缩，以便在对数据压缩包进行解压时解压时间效率比较高，从而减少对时序发送控制的影响。其中，分析耗时限值为在满足发送单元1依据时序数据库调整实际业务场景数据和网络流发送速度时分析单元4在分析处理系统状态数据时可耗费时间的最大值，分析存储空间占用限值为分析单元4分析处理系统状态数据时可占用存储空间的最大值。而分析单元4对系统状数据进行分析时，表达发送延时X的信息所占磁盘空间为1个字节，通过计算可知1秒时间的记录数据1KB, 一天的数据量1K*3600*24=90MB。
在使用所述基于单向数据传输的可靠性控制方法进行单向数据传输可靠性控制时，单次丢包率采集时间为单次系统状态数据采集时间的10倍以上，即单次丢包率采集时间为该次丢包率采集时系统状态数据采集时间的10倍以上。
使用所述基于单向数据传输的可靠性控制方法进行UDP数据代理传输测试和文件传输测试，测试结果如表1～7所示。测试时，丢包率与采集时间的关系如图2所示，系统状态与采集时间的关系如图3所示，两图的横坐标均表示采集时间，两图的纵坐标局表示百分比，其中，图2的横坐标单位为ms，图3的横坐标单位为μs。
表1 采用现有技术中单向数据传输的UDP数据代理传输测试结果
Figure 994758DEST_PATH_IMAGE001
表2 采用本发明中系统且经过一次发送速度调整后的UDP数据代理传输测试结果
Figure 836812DEST_PATH_IMAGE002
表3采用本发明中系统且经过两次发送速度调整后的UDP数据代理传输测试结果
Figure 294338DEST_PATH_IMAGE003
表4采用本发明中系统且经过三次发送速度调整后的UDP数据代理传输测试结果
Figure 639869DEST_PATH_IMAGE004
表5采用现有技术中单向数据传输的文件传输测试结果
Figure 993490DEST_PATH_IMAGE005
表6采用本发明中系统且经过一次发送速度调整后的文件传输测试结果
Figure 821375DEST_PATH_IMAGE006
表7采用本发明中系统且经过两次发送速度调整后的文件传输测试结果
Figure 82592DEST_PATH_IMAGE007
由表1～7中的数据对比可知，使用本发明中基于单向数据传输的可靠性控制方法对UDP数据代理传输和文件传输进行控制后，UDP数据代理传输过程中丢包率明显下降，文件传输过程中文件丢失个数也明显减少。由此可以看出，采用本发明中的基于单向数据传输的可靠性控制方法，可以在保证单向数据传输速率的同时提高单向数据传输的可靠性，降低数据传输过程中的丢包率，并且根据不同的业务环境，通过不断的分析和优化，提高数据的传输效果。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

Claims (8)

1.一种基于单向数据传输的可靠性控制方法，其特征在于，包括如下步骤：
a）发送单元（1）将实际业务场景数据和网络流打包发送至接收单元（2）；
b）采集单元（3）按照毫秒精度采集与保存接收单元（2）接收实际业务场景数据和网络流时的实际业务子系统状态数据并将采集到实际业务子系统状态数据传送至分析单元（4）；实际业务子系统包括发送单元（1）和接收单元（2）；
c）分析单元（4）对接收到的系统状态数据进行分析并依据系统状态数据生成时序数据库，然后将时序数据库发送至发送单元（1）；
d）发送单元（1）依据接收到的时序数据库模拟时序业务场景同时依据时序数据库对实际业务场景数据和网络流的发送速度进行控制调整；
e）依据采集单元（3）在发送单元（1）对实际业务场景数据和网络流发送速度进行控制调整后采集到的系统状态数据，分析单元（4）调整分析单元（4）策略方案；分析单元（4）的策略方案为采用下述公式生成新的时序数据库：
发送延时X=丢包率Y * Max(CPU使用率C, 网络带宽比N，DISK磁盘速率D) * 权重(CPU使用率C, 网络带宽比N，DISK磁盘速率D)
其中，发送延时X计算时间单位μs，丢包率的采集计算时间单位ms。
2.根据权利要求1所述的基于单向数据传输的可靠性控制方法，其特征在于，所述系统状态数据包括CPU使用率状态、网络健康状态、磁盘相应状态和内存使用状态。
3.根据权利要求1所述的基于单向数据传输的可靠性控制方法，其特征在于，在步骤d）中，发送单元（1）通过依据接收到的时序数据库并按照时间动态调整数据包发送的时间间隔的方式来控制调整实际业务场景数据和网络流的发送速度。
4.根据权利要求1所述的基于单向数据传输的可靠性控制方法，其特征在于，在步骤c）和步骤e）中，当分析单元（4）分析耗时超过预设分析耗时限值且分析占用的用于存储数据的存储空间占用量超过分析存储空间占用限值时，对差异率小于1%的数据进行聚合运算，同时增加时序数据相关时间步长数据值，并采用无损压缩对数据进行压缩。
5.根据权利要求1～4任一所述的基于单向数据传输的可靠性控制方法，其特征在于，步骤c）中，时序数据库手动导入发送单元（1）。
6.根据权利要求1～4任一所述的基于单向数据传输的可靠性控制方法，其特征在于，单次丢包率采集时间为单次系统状态数据采集时间的10倍以上。
7.一种采用权利要求1～6任一所述的基于单向数据传输的可靠性控制方法的系统，其特征在于，包括：
实际业务子系统，用于通过单向数据传输实现实际业务场景数据和网络流的传输；实际业务子系统包括发送单元（1）和接收单元（2），发送单元（1）用于将实际业务场景数据和网络流打包发送至接收单元（2），接收单元（2）用于接收实际业务场景数据和网络流；
调控辅助子系统，用于依据实际业务子系统运行状况调整实际业务子系统数据传输速度；调控辅助子系统包括采集单元（3）和分析单元（4），采集单元（3）用于按照毫秒精度采集与保存实际业务子系统状态数据并将实际业务子系统状态数据发送至分析单元（4），分析单元（4）用于对接收到实际业务子系统状态数据进行分析并依据实际业务子系统状态数据生成时序数据库；
发送单元（1）与接收单元（2）单向通信连接；采集单元（3）与分析单元（4）通信连接；分析单元（4）与发送单元（1）单向通信连接；采集单元（3）数据采集端设置在实际业务子系统内。
8.根据权利要求7所述的系统，其特征在于，分析单元（4）与发送单元（1）通过人工数据导入的方式实现通信连接。
CN202011177431.7A 2020-10-29 2020-10-29 一种基于单向数据传输的可靠性控制方法及系统 Active CN112019448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011177431.7A CN112019448B (zh) 2020-10-29 2020-10-29 一种基于单向数据传输的可靠性控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011177431.7A CN112019448B (zh) 2020-10-29 2020-10-29 一种基于单向数据传输的可靠性控制方法及系统

Publications (2)

Publication Number Publication Date
CN112019448A CN112019448A (zh) 2020-12-01
CN112019448B true CN112019448B (zh) 2021-02-19

Family

ID=73528179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011177431.7A Active CN112019448B (zh) 2020-10-29 2020-10-29 一种基于单向数据传输的可靠性控制方法及系统

Country Status (1)

Country Link
CN (1) CN112019448B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094319B (zh) * 2021-03-25 2022-11-25 成都普沛科技有限公司 两主机间单向数据传输同步控制系统及方法
CN114036842B (zh) * 2021-11-10 2022-05-27 北京安盟信息技术股份有限公司 一种数字孪生机床全生命周期使用策略动态生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493510A (zh) * 2013-04-23 2016-04-13 古如罗技微系统公司 数据通讯系统与方法
CN109937387A (zh) * 2012-11-08 2019-06-25 Ddm系统有限责任公司 金属部件的增材制造及维修

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8881233B2 (en) * 2005-05-23 2014-11-04 Microsoft Corporation Resource management via periodic distributed time
CN100496022C (zh) * 2006-05-09 2009-06-03 华为技术有限公司 一种流量控制的方法及装置
JP4600513B2 (ja) * 2008-04-25 2010-12-15 ソニー株式会社 データ送信装置、送信レート制御方法およびプログラム
CN105183431B (zh) * 2015-08-05 2018-09-28 瑞斯康达科技发展股份有限公司 一种cpu利用率控制方法及装置
CN106791575B (zh) * 2016-12-22 2019-11-15 上海寰视网络科技有限公司 一种数据发送的控制方法及设备
US10630718B2 (en) * 2018-11-27 2020-04-21 BehavioSec Inc Detection of remote fraudulent activity in a client-server-system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937387A (zh) * 2012-11-08 2019-06-25 Ddm系统有限责任公司 金属部件的增材制造及维修
CN105493510A (zh) * 2013-04-23 2016-04-13 古如罗技微系统公司 数据通讯系统与方法

Also Published As

Publication number Publication date
CN112019448A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112019448B (zh) 一种基于单向数据传输的可靠性控制方法及系统
CN104394486B (zh) 一种基于云桌面的视频流处理方法及装置
CN102927660B (zh) 基于自适应温控技术的智能空调控制方法及系统
CN105718538B (zh) 一种分布式文件系统的自适应压缩方法及系统
CN1980238A (zh) 基于实时传输/控制协议的h.264流媒体传输控制方法
CN1316398C (zh) 基于客户端或网络环境调整视频流的系统和方法
CN105577836B (zh) 一种可穿戴设备的数据处理方法及可穿戴设备
CN112702429B (zh) 基于多节点边缘计算设备的多维数据处理方法和系统
CN105515943B (zh) 一种即时通讯实现方法
CN113038133A (zh) 一种基于卫星传输的视频压缩传输系统
CN117277554A (zh) 一种适用于储能一体机的能量管理系统和方法
WO2018017839A1 (en) Video and data multiplexing in an adaptive bitrate server
CN116792911A (zh) 一种中央空调系统大数据分析节能控制方法
CN111629282A (zh) 一种实时的纠删码编码冗余度动态调节方法
CN105429855A (zh) 一种基于语音的通信方法
CN112072783B (zh) 秒级负荷数据在端侧和边缘侧设备间传输的方法和装置
CN103067971A (zh) 一种无线IPv6互连网中TCP信头压缩方法
CN113422838B (zh) 数据同步的实现方法、装置、电子设备及存储介质
CN111147083B (zh) 一种时间信息压缩传输的方法
CN111355801B (zh) 一种远程人工智能通信业务办理系统及其控制方法
CN109218724A (zh) 一种数据编码方法、装置及存储设备和终端设备
CN105592006B (zh) 一种rohc压缩器的ir态回迁周期选择方法和装置
CN107528828A (zh) 一种压缩数据的方法及终端
CN107124559B (zh) 一种通信数据压缩方法
CN112954449A (zh) 视频流处理方法、系统、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant