CN114422607B - 一种实时数据的压缩传输方法 - Google Patents
一种实时数据的压缩传输方法 Download PDFInfo
- Publication number
- CN114422607B CN114422607B CN202210324923.7A CN202210324923A CN114422607B CN 114422607 B CN114422607 B CN 114422607B CN 202210324923 A CN202210324923 A CN 202210324923A CN 114422607 B CN114422607 B CN 114422607B
- Authority
- CN
- China
- Prior art keywords
- real
- time
- data
- time data
- receiving end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006835 compression Effects 0.000 title claims abstract description 67
- 238000007906 compression Methods 0.000 title claims abstract description 67
- 230000005540 biological transmission Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 230000003993 interaction Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 36
- 230000006854 communication Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 30
- 230000002452 interceptive effect Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006837 decompression Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 7
- 206010009944 Colon cancer Diseases 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012950 reanalysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种实时数据的压缩传输方法，发送端与接收端均积累有历史数据时，即业务知识。接收端使用此业务知识构建并训练自编码和全连接神经网络，构建成编码器的输出预测模型。模型收敛后，接收端以非实时的方式将模型参数和预测的自编码网络中间层结果发送给发送端。发送端经过检验后，决定向接收端发送实时数据或不发送实时数据，而由接收端根据预测的自编码网络中间层解压成仿真的实时数据。
Description
技术领域
本发明涉及通信领域，尤其涉及一种实时数据的压缩传输方法。
背景技术
在远程智能诊断和监控应用分析设备的应用场景中，数据通信一直是一个难点，既要保障数据实时可见（通信要求短且高频），又要满足高级应用数据分析故障诊断的大密度高精度数据采集。
由于协议的执行需要帧头进行信息传递的确认，每一帧所含的业务数据越短，数据传续效率越低；所含的业务数据越长，业务数据传递的延时也就越大。在实时应用的场景中，为了减少数据所对应的延时，需要减少每次传递帧的业务数据量，进而带来传输效率低下，业务无关数据占满带宽，原本用于数据校验，业务交互，异常恢复所需将无法满足基本条件。
远程智能诊断设备监控获得的数据通常包括监测设备按采样频率采集的需实时传输的模拟量信号波形，及非紧要的字符串。
发明内容
针对这些问题，本发明提出将实时通信与非实时通信相结合，和基于自编码网络和全连接神经网络预测压缩特征进行无损补偿的方法进行处理，既满足监控业务实时反馈的业务要求，又满足工程上业务交互、异常恢复、故障录波等业务应用场景对也业务数据量的需求。
本发明的技术方案为：一种实时数据的压缩传输方法，在共同的同步时基下，该实时数据由发送端按传输周期进行采集并实时发送给接收端，每个传输周期被划分为用于传输实时数据的一个第一区域和传输非实时数据的一个第二区域，发送端还与接收端约定交互周期，其中，所述交互周期内划分有至少一个训练时区，设定数量的传输周期被组成一个训练时区，所述第二区域在实时数据的帧尾信息出现时开始，或在每个传输周期开始后超时时仍未出现实时数据的帧头信息时开始；
所述非实时数据包括校验数据、和由实时反馈信息、非实时反馈信息组成的反馈信息，实时反馈信息由接收端预测的下一传输周期的实时数据的预测压缩特征、所述预测压缩特征解压后的时间戳组成，非实时反馈信息由在刚结束的训练时区和交互周期内分别生成的解压所述预测压缩特征的解码器参数和容许偏差组成；在刚结束的训练时区内接收端还生成将收到的实时数据压缩为压缩特征的编码器参数，所述交互周期内收到的实时数据依编码器参数压缩再依解码器参数解压后的预测波形与所述收到的实时数据求差后，依次经离散化、计算熵值得到所述校验数据，统计计算熵值得到的各数值获得标准差阈值，作为容许偏差；
所述接收端根据到达交互周期前收到的交互信息，或在到达交互周期后将所述解码器参数分块压缩，与容许偏差、校验数据一起在第二区域中发送给发送端，所述接收端还将当前的实时数据处理成下一传输周期的所述预测压缩特征和时间戳，并在下一传输周期前的第二区域中发送给发送端；
所述发送端依据接收到的解码器参数解压所述预测压缩特征并匹配所述时间戳后，与下一时刻采集的实时数据对齐时间并相减，计算残差及残差的熵值，若不大于容许偏差，发送端不向接收端发送实时数据，接收端将所述预测压缩特征用解码器参数解压后作为下一时刻的实时数据；若残差的熵值大于容许偏差，则在下一第一区域开始后向接收端发送实时数据。
进一步地，所述反馈信息还按以下规则从接收端发送至发送端：发送端依据收到的解码器参数将从上次接收非实时反馈信息开始至上一时刻每次收到的预测压缩特征解压，与发送端从上次接收非实时反馈信息开始至当前每次采集到的原始波形进行求差，然后再依次经离散化、计算熵值后与校验数据比较，
若不小于校验数据，则等待下一个交互周期到达时，向接收端发送交互信息，让接收端向发送端发送新形成的包含自编码网络的解码器参数的反馈信息；
若小于校验数据，则在下一次实时数据传送完毕后，立刻向接收端发送交互信息，使接收端向发送端发送包含自编码网络的解码器参数的非实时反馈信息。
优选地，所述接收端设有自编码网络、全连接神经网络，所述发送端设有自编码网络的解码器，所述接收端将当前获得的实时数据输入编码器，再将编码器的输出输入全连接神经网络，获得所述预测压缩特征。
作为另一种选择，所述接收端将上一交互周期内的实时数据用所述自编码网络和全连接神经网络处理成下一交互周期的第一组传输周期的预测压缩特征和时间戳，解压预测的压缩特征作为下一组传输周期的实时数据，并重复所述处理，陆续获得下一交互周期所有传输周期的预测压缩特征和时间戳，分块压缩后，根据到达交互周期前收到的交互信息，或在到达交互周期后发送给发送端。
有利地，在该方案中，接收端在每个交互周期到达前，根据编码器和全连接神经网络预测下一交互周期内各个传输周期可能收到的实时数据的预测压缩特征，一次性在到达交互周期。发送端用解码器解压后，按时间戳对齐，得到下一交互周期各传输周期的预测波形。
优选地，所述自编码网络、全连接神经网络经以下步骤训练得到：
步骤1.接收端使用在一个训练时区内接收到的全部或部分实时数据构建成无回放采样的多组训练数据集；
步骤2.从所述训练数据集抽取若干样本训练自编码网络至收敛；
步骤3.从训练数据集的剩余样本中取出第t时段的样本，输入训练好的自编码网络，将编码器的输出Xt作为全连接神经网络的输入项，从训练数据集的剩余样本中取出第t+1时段的样本，输入训练好的自编码网络，将编码器的输出Xt+1作为全连接神经网络的输出项目的真实值，与全连接神经网络的输出项目比较计算损失函数，来训练全连接神经网络；
步骤4.从训练数据集中抽出新的样本重复步骤2~步骤3，至全连接神经网络收敛。
优选地，所述离散化采样等宽分箱实现。
进一步地，所述非实时数据还包括发送端缓存的不必实时传输的非紧要数据，发送端将非紧要数据进行压缩，发送端通过传输周期余下的第二区域的带宽推算每次通讯量，将压缩后的非紧要数据的分块后在多个传输周期的第二区域中发送给接收端。
有益效果：本发明通过接收端累积业务知识，训练实时数据的预测模型，然后在每个传输周期，接收端将实时数据的压缩特征发送给发送端，发送端根据压缩特征及从接收端取得的解码器解压压缩特征，得到仿真波形，当仿真波形与刚采集的实时数据差异小时，则不发送实时数据，由接收端自己根据压缩特征解压出实时数据，如否，则发送端向接收端发送实时数据，这样的通信方式增加了传输周期可传递非实时数据的带宽，减少每次传递实时数据的业务数据量，降低延时，提高效率。既满足监控业务实时反馈的业务要求，又满足工程上业务交互、异常恢复、故障录波等业务应用场景对也业务数据量的需求。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理；
图1是本发明一示例性对比例提供的发送端的原始波形和采用实时压缩算法实时接收端恢复所得到的波形的对比图；
图2是本发明一示例性实施例发送端和接收端在一次业务通信过程中，线路忙的示意图，从上至下四个线条比分是：
数据接收端对数据采集端发送的反馈信息、校验信息；
数据采集端对数据接收端进行数据补偿而采用分块非实时通信的线路忙占比；
数据采集端对数据接收端采用有损压缩算法实现实时通信业务过程中线路忙占全部时间的比值；
实时通信过程中直接采用传统传递方法线路忙占全部时间的比值；
图3是本发明一示例性实施例自编码网络和全连接神经网络的训练示意图。
具体实施方法
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对比例1
一种通讯方法，用于将实时数据和非实时数据发送给接收端，实时数据为按照设定频率从已知数量的传感器采集的模拟量信号；非实时数据包括：用于偏差修正的数据、自编码参数、异常告警信息、故障录播等对实时性要求不高的业务应用。
通讯步骤包括：
S1.发送端对采集的非实时数据进行缓存，并与接收端之间建立数据连接，同步时钟频率；
S2.发送端与接收端协商通讯协议，协议包括发送端发送信息帧的时间间隔(传输周期)、每次发送的约定信息帧长度、确认信息帧发送状态的超时时长、交互信息的发送周期即实时通讯窗口长度等信息。
通常时间间隔是20-50ms，实时协议中连续2ms发送空字符时超时，http协议中连续4ms发送空字符时超时，超时意味着本轮不发送信息帧。
在实时通讯窗口内，发送端发送需要即时反应当前状况的原始实时数据；原始实时数据发送结束后，或者该实时通讯窗口无数据发送时，发送端发送对时效性要求不高的非实时数据。原始实时数据采用同步传输方式，同步传输以信息帧为传输单位，每个信息帧的头部和尾部都要附加一个特殊字符或比特序列，在头部的帧头信息，在尾部的为帧尾信息，标记一个信息帧的开始和结束，所谓同步传输是指相邻的信息帧头部的特殊字符或比特序列之间的时间间隔是固定的，必须严格地规定它们的时间关系。非实时数据采用异步传输，所谓异步传输是指在发送字符时，所发送的字符之间的时间间隔可以是任意的。当然，接收端必须时刻做好接收的准备。发送端可以在任意时刻开始发送字符，因此必须在每一个字符的开始和结束的地方加上标志，即加上开始位和停止位，以便使接收端能够正确地将每一个字符接收下来。
S3.无业务知识场景下的原始实时数据发送方式：通讯初始建立时，发送端和接收端均无数据积累，即没有业务知识。发送端使用斜率压缩算法将采集的原始实时数据依据变化值更新为压缩信息帧，通过协商容许偏差deviation与接收端实现有损通讯，接收端根据斜率压缩算法将接收的压缩信息帧解压转化，并更新为用于展示的真实波形的数据集。
具体算法如下：
定义 X(n)是第 N时刻的采集端数值，Y(n)是第N时刻发送端发送的数据，Z(n)是第N时刻接收端转化的数据：
slope = X(n-1) - X(n-2)
Tmp(n) = Z(n-1) + slope
IF|Tmp(n) - X(n)|<= deviation:
Z(n) = Tmp(n)
Else:
Z(n) = Y(n) = X(n)
本实施例中容许损失0.1，则有：
在第1、2个时刻，根据斜率压缩算法接收端、发送端、采集端的数据对应关系为【Z(1)=Y(1) = X(1)；Z(2)=Y(2) = X(2)】，发送端发送采集到的原始实时数据；
在第3个时刻，Tmp(3)= Z(2)+X(2)-X(1)=3；因为| Tmp(3)-X(3)|=0,小于deviation 0.1，所以Z(3)=Tmp(3)=3。算法结果中没有Y，即发送端不需要发送数据。接收端运行同样的算法，得到Z(3)=3，与采集端数据相等；此时，不需要发送端发送数据，接收端也可以得到与采集端原始实时数据相同的结果；
在第4个时刻，slope=X(3)-X(2)=1; Tmp(4)=Z(3)+slope=3+1=4; |Tmp(4)-X(4)|=1>deviation(0.1)；得到Z(4) = Y(4) = X(4)。此时，原始实时数据与接收端计算结果超出容许误差范围，发送端需要发送原始实时数据给接收端。
在第8个时刻，slope=X(7)-X(6)=1; Tmp(8)=Z(7)+slope=2+1=3; |Tmp(8)-X(8)|=0.1<=deviation；得到Z(8)=Tmp(8)=3。此时，原始实时数据与接收端计算结果在容许误差范围内，发送端不需要发送原始实时数据。
S4.非实时数据发送方式：压缩信息帧发送结束后(即帧尾信息被发出时)，或者一次时间间隔结束后超过超时时长仍无数据发送时，发送端发送对时效性要求不高的非实时数据。由于压缩信息帧需要保障时效性要求高的业务，具有高的优先级，非实时数据不能占据压缩信息帧的时间窗口。所以发送端将非实时数据分块压缩成固定大小的非实时数据块，然后根据时间间隔和信息帧剩余间隔计算通讯量，再将非实时数据块组装成数据块集，组装后的数据块集的大小不大于通讯量，然后在数据块集的起始端和终止端加上标志符再向接收端发送，接收端在接收完数据块集后校验并解压加载进数据库进行落盘；
信息帧剩余间隔即约定的信息帧时长减去有损压缩后的压缩信息帧时长和超时时长后的残值；
非实时数据(图2中自上到下第2条虚线)只能在压缩信息帧(图2中自上到下第3条虚线)发送结束后，或者实时通讯窗口内没有数据需要发送时，才能发送。
接收端发送到发送端的非实时数据(图2中自上到下第1条虚线)内容为心跳数据。与发送端发送的非实时数据不同，接收端无法获知某个实时通讯窗口内是否需要发送数据，所以接收端只能在实时通讯窗口数据发送完毕(即帧尾信息被发出时)或一次时间间隔结束后超时未发送数据的情况下发送非实时数据。
步骤S4中非实时数据可采用无损压缩defalte算法分块压缩后发送给接收端端。
defalte压缩算法是zip压缩文件的默认算法、在zip文件中，在7z，xz等其他的压缩文件中都用。
非实时数据分块压缩的步骤包括：
发送端接收上层应用软件发送的由多个文件块后，设置压缩配置(非实时数据块大小，子块大小，非实时数据块中子块的数量)，将压缩生成多个非实时数据块，根据通讯量将多个非实时数据块组装成数据块集，确保一同组装的非实时数据块的字符帧长度不大于通讯量；
非实时数据块包括多个子块，多个子块包括预定大小（例如，1kb）；以及对应于多个子块的块报头；
生成数据块集内处于未压缩状态的非实时数据块的校验和，例如数据块集内未压缩状态的非实时数据块的CRC；
数据块集解压校验的步骤包括：
生成对应于多个子块的索引信息，例如，生成索引阵列，其记录每个子块的第一令牌/符号的位偏移和Deflate块报头的起始位偏移；
生成与多个子块相关联的非实时数据块的校验和，例如，索引阵列还记录每个子块处的CRC。每个子块处的CRC是直到特定子块末端（包括所有之前的子块）的所有数据的CRC；
确定数据块集内处于未压缩状态的非实时数据块的校验和与压缩后数据块集内的非实时数据块的校验和是否匹配，如果CRC相同，则假设非实时数据块被压缩而没有任何错误/缺陷。合并解压缩得到的非实时数据，得到原文件加载进数据库进行落盘；
如果CRC不相同，则假设非实时数据块的压缩可能包括错误/缺陷。
S5.发送端最后在达到交互信息的发送周期时将交互信息发送给接收端；
S7.若在实时通讯窗口结束后未接收到发送端发送的实时数据和非实时数据，或接收端收到交互信息，则接收端向发送端发送交互反馈。
实施例1
由于实时通讯阶段数据的主要意义在于进行监控，而对于最终持久化用于未来业务知识构建以及生产数据再分析，有损的业务数据信息，无论是精度还是颗粒度上都难以满足业务需求。针对这个问题，本实施例还采用异步压缩的技术手段压缩和还原有业务知识的实时数据。
R1.发送端对采集的非实时数据进行缓存，并与接收端之间建立数据连接，同步时钟频率；
R2.发送端与接收端协商通讯协议，协议包括发送端发送原始实时数据(以后简称原始波形)的传输周期、每次发送的约定原始波形长度(第一区域)、确认原始波形发送状态的超时时长、发送交互信息的交互周期。交互周期内划分有至少一个训练时区，设定数量的传输周期被组成一个训练时区。训练时区通常是5-10个传输周期，交互周期通常是5-100个传输周期。
通常传输周期是20-50ms，实时协议中连续2ms发送空字符时超时，http协议中连续4ms发送空字符时超时，超时意味着本轮不发送原始波形。
在传输周期内，发送端发送需要即时反应当前状况的原始波形。
R3.发送端最后在达到交互信息的发送周期时将交互信息发送给接收端；
R4.若在交互周期结束后未接收到发送端发送的实时数据，或接收端收到交互信息，则接收端向发送端发送对时效性要求不高的校验数据、实时反馈信息、非实时反馈信息。实时反馈信息、非实时反馈信息组成反馈信息。
实时反馈信息包括基于全连接神经网络预测的自编码网络的中间隐藏层、解压后的时间戳组成，非实时反馈信息由自编码网络的解压器参数、容许偏差组成。
在一个具有可设定时间长度的训练时区中，接收端生成实时/非实时反馈信息、和校验数据并发送给发送端的方法，包括以下步骤：
步骤1.发送端向接收端发送原始波形，接收端将在训练时区内接收到的原始波形，依次复制到业务知识数据集中；
步骤2.采用128，256，512三种窗口对业务知识数据集进行滑动窗口截取，使用无放回采样构建训练数据集n组；
步骤3.优先从训练数据集中抽出5组样本训练自编码网络，至收敛；
步骤4.从训练数据集的剩余样本中取出第t时段的样本，输入训练好的自编码网络，将编码器的输出(中间隐藏层的输出)Xt作为全连接神经网络(DNN)的输入项，从训练数据集的剩余样本中取出第t+1时段的样本，输入训练好的自编码网络，将编码器的输出X t+1 作为全连接神经网络(DNN)的输出项目的真实值，与全连接神经网络(DNN)的输出项目比较计算损失函数，来训练全连接神经网络(DNN)；
步骤5.从训练数据集中抽出新的样本重复步骤3至步骤4，至全连接神经网络(DNN)收敛，构建成编码器的输出预测模型、自编码网络，接收端将自编码网络的解码器参数分块压缩后，在接收端发现原始波形发送完后发送给发送端；
步骤6.接收端将交互周期内每次接收到的原始波形投入到步骤5的自编码网络获取压缩后再解压的仿真波形，将原始波形减去仿真波形获取仿真残差波形，仿真残差波形取前边界和后边界来做100等宽分箱，然后计算各仿真残差波形的熵值作为效验数据，统计所有熵值的三西格玛作为容许偏差；
步骤7.接收端在发现当前原始波形接收完毕时，还在步骤5的自编码网络的编码器输入当前时刻原始波形后，将输出输入到全连接神经网络(DNN)，获得输出项目(即预测的下一时刻编码器的输出)，并与对应的时间戳以及容许偏差一同发送给发送端。
发送端依据反馈信息与接收端通讯的方法，包括以下步骤：
步骤8.发送端依据接收到的解码器参数对预测的下一时刻编码器的输出进行解压操作，得到下一时刻的预测波形并匹配接收到的时间戳后，与下一时刻的原始波形对齐时间并相减，获得预测残差波形，并计算熵值；
步骤9.步骤8所得熵值若不大于容许偏差，意味着预测准确且没有遗漏趋势，发送端不向接收端发送原始波形，接收端在当前传输周期结束后超过超时时长仍未接收到原始波形时，使用解码器解压预测的下一时刻编码器的输出，作为原始波形用于实时展示；
步骤8所得熵值若大于容许偏差，则在当前传输周期结束后向接收端发送原始波形。
发送端依据校验数据校验的方法，包括以下步骤：
步骤10.发送端依据收到的解码器参数将从上次接收非实时反馈信息开始至上一时刻每次收到的输出项目解压，与发送端从上次接收非实时反馈信息开始至当前每次采集到的原始波形进行求差，得到真实残差波形，真实残差波形取前边界和后边界来做100等宽分箱，然后计算各真实残差波形的熵值，若与校验数据相当，则证明接收端接受原始波形的过程中正常，同时若大于校验数据，则说明存在轻微丢包，这两种情况发送端均等待在下一个交互周期到达时，向接收端发送交互信息，让接收端向发送端发送完新形成的包含自编码网络的解码器参数的反馈信息，发送端再更新曾使用的解码器参数完成校准；若反馈信息较大，需要分块压缩后发送。
若小于校验数据，则说明存在较为严重的通讯错误，需要在下一次原始波形传送完毕后，立刻触发接收端向发送端发送包含自编码网络的解码器参数的反馈信息，即提前进入下一个交互周期，使发送端更新曾使用的解码器参数进行校准。
本实施例的通信方式属于有业务知识场景下的实时数据发送方式：发送端与接收端均积累有历史数据时，即业务知识。接收端使用此业务知识构建并训练自编码和全连接神经网络，构建成编码器的输出预测模型。模型收敛后，接收端以非实时的方式将模型参数和预测的自编码网络中间层结果发送给发送端。发送端经过检验后，决定向接收端发送实时数据或不发送实时数据，而由接收端根据预测的自编码网络中间层解压成仿真的实时数据。
自编码网络是一种输入等于输出的神经网络模型。本实施例通过历史数据训练出自编码器，然后拆掉自编码器的解码器，就可以用剩下的编码器的输出来表征实时数据的压缩特征。隐藏层的神经元数目远低于输入层，就相当于用更少的特征（神经元）去表征输入数据，从而达到降维压缩的功能。
全连接神经网络 (DNN)是最朴素的神经网络，一个DNN结构只有一个输入层，一个输出层，输入层和输出层之间的都是隐藏层。每一层神经网络有若干神经元，层与层之间神经元相互连接，层内神经元互不连接，而且下一层神经元连接上一层所有的神经元，是所有神经网络的基础形态，是一种有监督学习方法。锁定输出层的真实值后，神经网络比较计算输出和真实值的差异，得到损失函数，来训练全连接神经网络(DNN)，使输入实时数据的压缩特征后输出值与锁定的真实值无限接近。
本实施例用到的分箱就是把数据按特定的规则进行分组，实现数据的离散化，增强数据稳定性，减少过拟合风险。逻辑回归中进行分箱是非常必要的，其他树模型可以不进行分箱。数据分箱作为数据预处理的一部分，也被称为离散分箱或数据分段。其实分箱的概念其实很好理解，它的本质上就是把数据进行分组。
熵值反映的数据差异的剧烈程度，自编码网络解压实时数据的压缩特征后的数据有偏差，属于实时数据(业务知识)在业务过程中录入的噪音，把业务知识完全抽取出来后，非业务的残差就是白噪音了，这一部分相对于业务知识的能量是几乎恒定的，所以统计每次残差的熵值，计算一个训练时区中熵值的统计值，取三西格玛就得到偏差范围，为了进一步动态的获取这个值，总是取最近一个训练时区内仿真残差波形计算取统计值就行。
本实施例中对采集的非实时数据进行缓存，并在原始实时数据发送结束后，或者该传输周期无数据发送时，发送端向接收端发送对时效性要求不高的非实时数据。
优选地，非实时数据可采用无损压缩defalte算法分块压缩后发送给接收端端，接收端在接收完非实时数据后校验并解压加载进数据库进行落盘。
优选地，步骤R4中实时反馈信息不用实时发送，步骤7优化为：接收端可将上一交互周期内的实时数据用所述自编码网络和全连接神经网络处理成下一交互周期的第一组传输周期的预测压缩特征和时间戳，解压预测的压缩特征作为下一组传输周期的实时数据，并重复所述处理，陆续获得下一交互周期所有传输周期的预测压缩特征和时间戳，分块压缩后，根据到达交互周期前收到的交互信息，或在到达交互周期后发送给发送端。步骤8优化为：发送端用解码器解压下一交互周期所有传输周期的预测压缩特征后，按时间戳对齐，得到下一交互周期各传输周期的预测波形。下一时刻的原始波形依次与对应时间撮的预测波形对齐时间并相减，获得预测残差波形，并计算熵值。
Claims (7)
1.一种实时数据的压缩传输方法，在共同的同步时基下，该实时数据由发送端按传输周期进行采集并实时发送给接收端，每个传输周期被划分为用于传输实时数据的一个第一区域和传输非实时数据的一个第二区域，发送端还与接收端约定交互周期，其特征在于，所述交互周期内划分有至少一个训练时区，设定数量的传输周期被组成一个训练时区，所述第二区域在实时数据的帧尾信息出现时开始，或在每个传输周期开始后超时时仍未出现实时数据的帧头信息时开始；
所述非实时数据包括校验数据、和由实时反馈信息、非实时反馈信息组成的反馈信息，实时反馈信息由接收端预测的下一传输周期的实时数据的预测压缩特征、所述预测压缩特征解压后的时间戳组成，非实时反馈信息由在刚结束的训练时区和交互周期内分别生成的解压所述预测压缩特征的解码器参数和容许偏差组成；在刚结束的训练时区内接收端还生成将收到的实时数据压缩为压缩特征的编码器参数，所述交互周期内收到的实时数据依编码器参数压缩再依解码器参数解压后的预测波形与所述收到的实时数据求差后，依次经离散化、计算熵值得到所述校验数据，统计计算熵值得到的各数值获得标准差阈值，作为容许偏差；
所述接收端根据到达交互周期前收到的交互信息，或在到达交互周期后将所述解码器参数分块压缩，与容许偏差、校验数据一起在第二区域中发送给发送端，所述接收端还将当前的实时数据处理成下一传输周期的所述预测压缩特征和时间戳，并在下一传输周期前的第二区域中发送给发送端；
所述发送端依据接收到的解码器参数解压所述预测压缩特征并匹配所述时间戳后，与下一时刻采集的实时数据对齐时间并相减，计算残差及残差的熵值，若不大于容许偏差，发送端不向接收端发送实时数据，接收端将所述预测压缩特征用解码器参数解压后作为下一时刻的实时数据；若残差的熵值大于容许偏差，则在下一第一区域开始后向接收端发送实时数据。
2.根据权利要求1所述的实时数据的压缩传输方法，其特征在于，所述反馈信息还按以下规则从接收端发送至发送端：发送端依据收到的解码器参数将从上次接收非实时反馈信息开始至上一时刻每次收到的预测压缩特征解压，与发送端从上次接收非实时反馈信息开始至当前每次采集到的原始波形进行求差，然后再依次经离散化、计算熵值后与校验数据比较，
若不小于校验数据，则等待下一个交互周期到达时，向接收端发送交互信息，让接收端向发送端发送新形成的包含自编码网络的解压器参数的反馈信息；
若小于校验数据，则在下一次实时数据传送完毕后，立刻向接收端发送交互信息，使接收端向发送端发送包含自编码网络的解码器参数的非实时反馈信息。
3.根据权利要求2所述的实时数据的压缩传输方法，其特征在于，所述接收端设有自编码网络、全连接神经网络，所述发送端设有自编码网络的解码器，所述接收端将当前获得的实时数据输入编码器，再将编码器的输出输入全连接神经网络，获得所述预测压缩特征。
4.根据权利要求3所述的实时数据的压缩传输方法，其特征在于，所述接收端将上一交互周期内的实时数据用所述自编码网络和全连接神经网络处理成下一交互周期的第一组传输周期的预测压缩特征和时间戳，解压预测的压缩特征作为下一组传输周期的实时数据，并重复所述处理，陆续获得下一交互周期所有传输周期的预测压缩特征和时间戳，分块压缩后，根据到达交互周期前收到的交互信息，或在到达交互周期后发送给发送端。
5.根据权利要求4所述的实时数据的压缩传输方法，其特征在于，所述自编码网络、全连接神经网络经以下步骤训练得到：
步骤1.接收端使用在一个训练时区内接收到的全部或部分实时数据构建成无回放采样的多组训练数据集；
步骤2.从所述训练数据集抽取若干样本训练自编码网络至收敛；
步骤3.从训练数据集的剩余样本中取出第t时段的样本，输入训练好的自编码网络，将编码器的输出Xt作为全连接神经网络的输入项，从训练数据集的剩余样本中取出第t+1时段的样本，输入训练好的自编码网络，将编码器的输出X t+1 作为全连接神经网络的输出项目的真实值，与全连接神经网络的输出项目比较计算损失函数，来训练全连接神经网络；
步骤4.从训练数据集中抽出新的样本重复步骤2~步骤3，至全连接神经网络收敛。
6.根据权利要求5所述的实时数据的压缩传输方法，其特征在于，所述离散化采样等宽分箱实现。
7.根据权利要求5~6任一项所述的实时数据的压缩传输方法，其特征在于，所述非实时数据还包括发送端缓存的不必实时传输的非紧要数据，发送端将非紧要数据进行压缩，发送端通过传输周期余下的第二区域的带宽推算每次通讯量，将压缩后的非紧要数据的分块后在多个传输周期的第二区域中发送给接收端。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210324923.7A CN114422607B (zh) | 2022-03-30 | 2022-03-30 | 一种实时数据的压缩传输方法 |
| PCT/CN2023/084888 WO2023185969A1 (zh) | 2022-03-30 | 2023-03-29 | 一种实时数据的压缩传输方法 |
| US18/490,779 US20240048642A1 (en) | 2022-03-30 | 2023-10-20 | Compression transmission method for real-time data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210324923.7A CN114422607B (zh) | 2022-03-30 | 2022-03-30 | 一种实时数据的压缩传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114422607A CN114422607A (zh) | 2022-04-29 |
| CN114422607B true CN114422607B (zh) | 2022-06-10 |
Family
ID=81264592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210324923.7A Active CN114422607B (zh) | 2022-03-30 | 2022-03-30 | 一种实时数据的压缩传输方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240048642A1 (zh) |
| CN (1) | CN114422607B (zh) |
| WO (1) | WO2023185969A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114422607B (zh) * | 2022-03-30 | 2022-06-10 | 三峡智控科技有限公司 | 一种实时数据的压缩传输方法 |
| CN114996228A (zh) * | 2022-06-01 | 2022-09-02 | 南京大学 | 一种面向服务器无感知的数据传输成本优化方法 |
| CN117272688B (zh) * | 2023-11-20 | 2024-02-13 | 四川省交通勘察设计研究院有限公司 | 一种结构力学仿真数据的压缩与解压方法、装置及系统 |
| CN117278171A (zh) * | 2023-11-22 | 2023-12-22 | 山东港口科技集团烟台有限公司 | 一种物联数据断点续传方法 |
| CN117411491B (zh) * | 2023-12-13 | 2024-02-20 | 无锡亚科鸿禹电子有限公司 | 数据压缩方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107749757A (zh) * | 2017-10-18 | 2018-03-02 | 广东电网有限责任公司电力科学研究院 | 一种基于堆栈式自编码和pso算法的数据压缩方法及装置 |
| CN108271026A (zh) * | 2016-12-30 | 2018-07-10 | 上海寒武纪信息科技有限公司 | 压缩/解压缩的装置和系统、芯片、电子装置 |
| CN110557633A (zh) * | 2019-08-28 | 2019-12-10 | 深圳大学 | 图像数据的压缩传输方法、系统和计算机可读存储介质 |
| CN112203093A (zh) * | 2020-10-12 | 2021-01-08 | 苏州天必佑科技有限公司 | 一种基于深度神经网络的信号处理方法 |
| CN113746870A (zh) * | 2021-11-05 | 2021-12-03 | 山东万网智能科技有限公司 | 一种物联网设备数据智能传输方法及系统 |
| CN114118402A (zh) * | 2021-10-12 | 2022-03-01 | 重庆科技学院 | 基于分组注意力机制的自适应剪枝模型压缩算法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100371098B1 (ko) * | 2000-06-28 | 2003-02-06 | 홍승호 | Ｃａｎ 프로토콜내에서 대역폭을 할당하는 방법 |
| CN100450061C (zh) * | 2001-10-17 | 2009-01-07 | 西门子公司 | 用于高性能通信系统的用户设备 |
| US20210004677A1 (en) * | 2018-02-09 | 2021-01-07 | Deepmind Technologies Limited | Data compression using jointly trained encoder, decoder, and prior neural networks |
| WO2020148482A1 (en) * | 2019-01-18 | 2020-07-23 | Nokia Technologies Oy | Apparatus and a method for neural network compression |
| CN114422607B (zh) * | 2022-03-30 | 2022-06-10 | 三峡智控科技有限公司 | 一种实时数据的压缩传输方法 |
-
2022
- 2022-03-30 CN CN202210324923.7A patent/CN114422607B/zh active Active
-
2023
- 2023-03-29 WO PCT/CN2023/084888 patent/WO2023185969A1/zh unknown
- 2023-10-20 US US18/490,779 patent/US20240048642A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108271026A (zh) * | 2016-12-30 | 2018-07-10 | 上海寒武纪信息科技有限公司 | 压缩/解压缩的装置和系统、芯片、电子装置 |
| CN107749757A (zh) * | 2017-10-18 | 2018-03-02 | 广东电网有限责任公司电力科学研究院 | 一种基于堆栈式自编码和pso算法的数据压缩方法及装置 |
| CN110557633A (zh) * | 2019-08-28 | 2019-12-10 | 深圳大学 | 图像数据的压缩传输方法、系统和计算机可读存储介质 |
| CN112203093A (zh) * | 2020-10-12 | 2021-01-08 | 苏州天必佑科技有限公司 | 一种基于深度神经网络的信号处理方法 |
| CN114118402A (zh) * | 2021-10-12 | 2022-03-01 | 重庆科技学院 | 基于分组注意力机制的自适应剪枝模型压缩算法 |
| CN113746870A (zh) * | 2021-11-05 | 2021-12-03 | 山东万网智能科技有限公司 | 一种物联网设备数据智能传输方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240048642A1 (en) | 2024-02-08 |
| WO2023185969A1 (zh) | 2023-10-05 |
| CN114422607A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114422607B (zh) | 一种实时数据的压缩传输方法 | |
| CN116192971B (zh) | 智能云能源运维服务平台数据管理方法 | |
| CN106533527B (zh) | 可重配置的卫星遥测在轨监视与量化管理系统及其实现方法 | |
| CN111242171A (zh) | 网络故障的模型训练、诊断预测方法、装置以及电子设备 | |
| CN109962742A (zh) | 便携式遥测数据监测平台及监测方法 | |
| CN112526952A (zh) | 一种基于线体节拍采集及分析方法和系统 | |
| CN113810489A (zh) | 一种工业互联网控制系统及方法 | |
| CN104901702A (zh) | 数据存储器件 | |
| CN107135004A (zh) | 一种对地震数据流的自适应实时无损压缩方法 | |
| CN109525253A (zh) | 基于深度学习和集成方法的卷积码译码方法 | |
| CN101731003B (zh) | 电力线双向通信系统中出站消息信号检测的改进 | |
| CN116915873B (zh) | 基于物联网技术的高速电梯运行数据快速传输方法 | |
| JPS63296425A (ja) | 通信方法及び符号化装置 | |
| CN1093844A (zh) | 用于检测维特比译码器中同步的方法和电路 | |
| CN116155297A (zh) | 一种数据压缩方法、装置、设备及存储介质 | |
| CN112072783A (zh) | 秒级负荷数据在端侧和边缘侧设备间传输的方法和装置 | |
| CN114726892B (zh) | 基于人工智能大数据的边缘数据收集方法 | |
| CN111858391A (zh) | 一种数据处理过程中优化压缩存储格式的方法 | |
| Nair et al. | Structural results for finite bit-rate state estimation | |
| CN118138649A (zh) | 基于全帧间差分联合字典算法的航天遥测数据压缩方法 | |
| CN113937795B (zh) | 一种基于动态云编码的配电台区三相负荷数据传输方法 | |
| CN109831513A (zh) | 数据处理方法、系统和装置 | |
| CN116866972B (zh) | 一种基于双模通信的通信监测系统和方法 | |
| KR19990070424A (ko) | 차등 펄스 부호 변조를 위한 부조합 평균 중점 예측기 | |
| CN106772567A (zh) | 一种用于地震勘探仪的数据传输无损压缩算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |