CN117692106B - 一种通信数据冗余校验方法 - Google Patents
一种通信数据冗余校验方法 Download PDFInfo
- Publication number
- CN117692106B CN117692106B CN202410129134.7A CN202410129134A CN117692106B CN 117692106 B CN117692106 B CN 117692106B CN 202410129134 A CN202410129134 A CN 202410129134A CN 117692106 B CN117692106 B CN 117692106B
- Authority
- CN
- China
- Prior art keywords
- data
- communication data
- additional
- transmission
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006854 communication Effects 0.000 title claims abstract description 278
- 238000004891 communication Methods 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 claims abstract description 229
- 238000012795 verification Methods 0.000 claims abstract description 41
- 238000012546 transfer Methods 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 16
- 230000005856 abnormality Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Communication Control (AREA)
Abstract
本发明公开了一种通信数据冗余校验方法,属于通信网络技术领域,包括:获取传输方的待传输通信数据,确定接收方;对待传输通信数据的字段进行识别,确定附加字段的附加位置以及附加内容,对待传输通信数据进行编码,得到编码传输通信数据;采集实时传输通信数据;将实时传输通信数据与编码传输通信数据进行比对,若附加位置校验结果和附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。本申请解决了现有技术中无法有效检测通信中转过程中的数据传输异常,导致通信数据传输的可靠性低的技术问题,达到了通过设置冗余校验字段并在中转节点进行校验,有效识别通信中转过程中的传输异常,提高通信数据传输可靠性的技术效果。
Description
技术领域
本发明涉及通信网络技术领域,具体涉及一种通信数据冗余校验方法。
背景技术
随着信息技术的发展,通信网络的规模不断扩大,通信系统中的节点数量呈指数增长,为了节省成本、提高网络的灵活性,通信系统广泛采用中转转发的方式进行数据传输。针对通信中转转发的数据监测需求,现有的数据校验手段通常通过检测中转时间是否正常等指标来监测中转质量,无法对中转过程中的实际数据传输内容进行校验,如果数据在中转过程中被非法修改或篡改,无法识别和定位,因此,现有通信中转机制中无法有效检测和识别中转过程中的数据传输是否发生了异常变动或篡改,降低了通信传输的可靠性。
发明内容
本申请通过提供了一种通信数据冗余校验方法,旨在解决现有技术中无法有效检测通信中转过程中的数据传输异常,导致通信数据传输的可靠性低的技术问题。
鉴于上述问题,本申请提供了一种通信数据冗余校验方法。
本申请公开的第一个方面,提供了一种通信数据冗余校验方法,该方法包括:获取第一传输方的待传输通信数据;确定待传输通信数据的第一接收方,第一接收方通过第一中转方将第一传输方发出的待传输通信数据进行转发,再由第一接收方接收;对待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容;采用循环冗余算法将第一附加字段通过编码器对待传输通信数据进行编码,得到编码传输通信数据;将编码传输通信数据发送至第一中转方,并采集第一中转方发送至第一接收方的实时传输通信数据;将实时传输通信数据与编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果;若附加位置校验结果和附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。
本申请公开的另一个方面,提供了一种通信数据冗余校验系统,该系统包括:待传输数据获取单元,用于获取第一传输方的待传输通信数据;接收方确定单元,用于确定待传输通信数据的第一接收方,第一接收方通过第一中转方将第一传输方发出的待传输通信数据进行转发,再由第一接收方接收;数据字段识别单元,用于对待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容;通信数据编码单元,用于采用循环冗余算法将第一附加字段通过编码器对待传输通信数据进行编码,得到编码传输通信数据;实时数据采集单元,用于将编码传输通信数据发送至第一中转方,并采集第一中转方发送至第一接收方的实时传输通信数据;通信数据对比单元,用于将实时传输通信数据与编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果;提醒信息生成单元,用于若附加位置校验结果和附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了获取第一传输方的待传输通信数据,得到原始通信数据;确定第一接收方,明确数据传输流向;对待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容,在原始数据插入附加校验字段;采用循环冗余算法对附加字段进行编码,生成编码传输通信数据,将编码传输通信数据发送至第一中转方,为数据比对校验提供基础;采集第一中转方的实时传输通信数据,为数据比对校验提供支持;将实时传输通信数据与编码传输通信数据比对,校验冗余校验结果,得到附加位置校验结果和附加内容校验结果;以此判断出现是否出现数据丢失或被窜改,如果附加位置校验结果和附加内容校验结果中任一项校验结果为不通过则生成传输提醒信息的技术方案,解决了现有技术中无法有效检测通信中转过程中的数据传输异常,导致通信数据传输的可靠性低的技术问题,达到了通过设置冗余校验字段并在中转节点进行校验,有效识别通信中转过程中的传输异常,提高通信数据传输可靠性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种通信数据冗余校验方法的一种流程示意图;
图2为本申请实施例提供了一种通信数据冗余校验方法中得到附加位置校验结果和附加内容校验结果的一种流程示意图;
图3为本申请实施例提供了一种通信数据冗余校验系统的一种结构示意图。
附图标记说明:待传输数据获取单元11,接收方确定单元12,数据字段识别单元13,通信数据编码单元14,实时数据采集单元15,通信数据对比单元16,提醒信息生成单元17。
具体实施方式
本申请提供的技术方案总体思路如下:
本申请实施例提供了一种通信数据冗余校验方法,在通信过程中,对于依赖中转节点进行数据转发的通信链路,通过在传输方设置待传输通信数据的附加字段,并进行编码,得到编码传输通信数据,发送至中转方,并在中转方采集实时传输通信数据,与编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果,与设置的附加字段进行比较,若附加位置校验结果和附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息,有效识别通信中转过程中的传输异常,提高通信数据传输可靠性的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种通信数据冗余校验方法,该方法包括:
获取第一传输方的待传输通信数据;
在本申请实施例中,第一传输方是指通信链路上产生并发送原始通信数据的一端,例如服务器、路由器、传感器等通信设备或系统。第一传输方针对特定的第一接收方产生了一组原始的通信数据,这些数据需要通过通信链路传输至第一接收方,该组原始通信数据即为待传输通信数据。通过访问第一传输方的内存缓存区,获得待传输通信数据,以作为后续的操作对象,即获取第一传输方的待传输通信数据。
确定所述待传输通信数据的第一接收方,所述第一接收方通过第一中转方将所述第一传输方发出的待传输通信数据进行转发,再由所述第一接收方接收;
在本申请实施中,第一接收方是指通信链路上最终需要接收待传输通信数据的一端,例如服务器、路由器、控制器等通信设备或系统。第一中转方是指通信链路上中转和转发待传输通信数据的中间通信设备或系统,例如交换机、网关、中继站等,其接收第一传输方的待传输通信数据后继续转发给第一接收方。具体的,检查待传输通信数据的报文头部,分析其中指明的接收方标识字段,如MAC地址、IP地址、端口号等,以确定第一接收方。
通过确定待传输通信数据的第一接收方,从而确定传输通信数据的数据方向,即第一传输方发送待传输通信数据,经过第一中转方的中转后,最终被第一接收方接收,为进行后续通信数据冗余校验提供基础。
对所述待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容;
进一步的,本申请实施例还包括:
获取所述待传输通信数据的数据类型;
根据所述待传输通信数据的数据类型进行特征数据定位,得到基于特征数据的传输数据;
根据所述特征数据的传输数据,得到特征数据的字段位置;
根据所述特征数据的传输数据,得到特征数据的融合数据;
以所述特征数据的字段位置作为所述第一附加字段的附加位置,以所述特征数据的融合数据作为所述第一附加字段的附加内容。
在一种可行的实施方式中,获取待传输通信数据后,对待传输通信数据进行分析,识别确定第一附加字段的插入位置和插入内容,即附加位置以及附加内容。第一附加字段是指用于校验的冗余字段,需要插入到待传输通信数据产生校验特征。
首先,识别待传输通信数据的头部预定义字段,获取待传输通信数据属于何种协议类型、数据格式等信息,例如IP数据报文、TCP数据段、XML报文等类型。然后,在获取待传输通信数据的数据类型后,根据确定的类型,解析其数据结构,通过查表获取数据类型对应的标准字段说明,定位到通常使用或含有区分特征的字段,得到特征数据。例如对于TCP/IP数据报文,定位源地址、目的地址、源端口、目的端口等包含主机标识信息的字段;对于自定义数据格式,定位预留的会话ID或流水号字段。随后,将待传输通信数据中包含特征数据对应字段的数据提取出来,形成的基于特征数据的传输数据。
随后,在待传输通信数据中进行正则表达式匹配,定位到与特征数据完全一致的匹配字段,返回其起始偏移量和长度,得到特征数据的字段位置。同时,将特征数据的传输数据进行融合,得到特征数据的融合数据。之后,将特征数据的字段位置,设置为第一附加字段的附加位置;将特征数据的融合数据,设置为第一附加字段的附加内容。至此形成了确定的第一附加字段,用于插入待传输通信数据以实施校验。
进一步的,本申请实施例还包括:
获取所述待传输通信数据的字段长度;
判断所述待传输通信数据的字段长度是否大于预设字段长度,当所述待传输通信数据的字段长度大于所述预设字段长度,获取分段附加指令,将所述待传输通信数据进行分解,输出分段传输通信数据;
对所述分段传输通信数据中每一段的传输通信数据进行识别,输出多个附加字段;
基于所述多个附加字段对所述待传输通信数据进行处理。
在一种优选的实施方式中,首先,将待传输数据存储在一段连续的缓冲区中,将缓冲区最后一个字节的地址减去起始地址,获得字节个数即为待传输通信数据的字段长度。然后,将获取的待传输通信数据的字段长度与基于传输性能参数设置的预设字段长度进行比较,当待传输通信数据的字段长度大于预设字段长度,则触发分段处理机制,获取分段附加指令,该指令中包含对待传输通信数据的分段处理的规则和参数,例如分割长度、间距、段标志等,以控制待传输通信数据的分割。随后,根据分段附加指令,将超长的待传输通信数据切分成多个较短的数据部分,得到分段传输通信数据。
接着,对每个分段传输通信数据,逐一进行特征数据提取、定位、融合等,为每个独立分段传输通信数据生成对应的附加字段,包含确定的附加位置和附加校验码,得到多个附加字段。接着,将得到的多个附加字段相应插入对应的分段传输通信数据,共同处理原始完整的待传输通信数据。
通过对过长的待传输通信数据进行分段处理,确保了任意长度的待传输数据都可以适用校验过程,并且使校验负载均匀分布,避免过长校验序列的传输开销。
采用循环冗余算法将所述第一附加字段通过编码器对所述待传输通信数据进行编码,得到编码传输通信数据;
在本申请实施例中,首先,将待传输通信数据加载到编码器的数据缓冲区进行缓存。同时,提取第一附加字段的数据内容,作为CRC的运算输入。然后,根据数据校验强度需求,确定选择CRC的生成多项式,例如CRC-32、CRC-16等。随后,编码器对第一附加字段的数据执行CRC编码,计算并输出CRC校验码。然后,将计算得到的CRC校验码填充到第一附加字段的确定插入位置。编码器处理完成后,输出插入了CRC校验码的编码传输通信数据,实现待传输通信数据的冗余编码处理。
将所述编码传输通信数据发送至所述第一中转方,并采集所述第一中转方发送至所述第一接收方的实时传输通信数据;
在本申请实施例中,首先,将处理后的编码传输通信数据,从第一传输方发送至预定的第一中转方。同时,启动监控,采集第一中转方中转到第一接收方的实时传输的完整内容,作为实时传输通信数据。
将所述实时传输通信数据与所述编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果;
进一步的,如图2所示,本申请实施例还包括:
获取所述实时传输通信数据的对应的附加字段;
将所述实时传输通信数据对应附加字段的位置与所述编码传输通信数据对应附加字段的位置进行比对,得到附加位置校验结果;
将所述实时传输通信数据对应附加字段的内容与所述编码传输通信数据对应附加字段的内容进行比对,得到附加内容校验结果;
在一种优选的实施方式中,首先,根据确定的附加位置,定位并提取实时传输通信数据的附加字段。然后,提取编码传输通信数据中附加字段的插入位置,并提取实时传输通信数据中附加字段的插入位置,将上述两项位置信息进行逐位对比,得到附加位置校验结果。如果两者的插入位置索引完全一致,则附加位置校验结果为“通过”,否则附加位置校验结果为“不通过”。同时,提取编码传输通信数据中CRC校验码的二进制序列值,并提取实时传输通信数据中CRC校验码的二进制序列值,将上述两组CRC校验码的比特位流逐位对比、验证其是否完全一致。如果两者的校验码比特流完全相同,则附加内容校验结果为“通过”,否则附加内容校验结果为“不通过”。
若所述附加位置校验结果和所述附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。
在本申请实施例中,调取附加位置校验结果和附加内容校验结果,当附加位置校验结果和附加内容校验结果中任意一项校验结果为“不通过”时,生成传输提醒信息,用以提示用户该数据传输转发过程出现异常,以将进入后续的处理流程或提示分析人员进行检查。
经过在附加位置校验结果和附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息,实现当通信数据出现位置变化或内容不一致时,自动识别异常并产生提示,提升数据传输可靠性。
进一步的,本申请实施例还包括:
获取所述第一传输方与所述第一中转方的通信协议;
利用所述第一传输方与所述第一中转方的通信协议进行通信测试,获取所述编码传输通信数据的传输效率,以及所述待传输通信数据的传输效率;
以所述编码传输通信数据的传输效率和所述待传输通信数据的传输效率,得到传输下降指标;
将所述传输下降指标与预设传输下降指标进行比对,当所述传输下降指标大于等于所述预设传输下降指标,生成编码提醒信息。
在一种优选的实施方式中,首先,查询第一传输方与所述第一中转方的网络链路信息,获取第一传输方和第一中转方之间所确立的具体通信协议,例如TCP/IP、Ethernet等。然后,使用获取的通信协议,建立第一传输方和第一中转方之间的测试传输会话,多次使用编码后的编码传输通信数据进行端到端测试,统计计算每次的传输时延,得到编码传输通信数据的传输效率。同样条件下,使用未经编码的待传输通信数据重复进行多次端到端测试,统计得到待传输通信数据的传输效率。
接着,将编码传输通信数据的传输效率和待传输通信数据的传输效率相减,得到传输下降量,作为传输下降指标。随后,将传输下降指标与预设传输下降指标进行比较。该预设下降门限值根据通信容许的效率损耗设置,例如设置为20%。如果实测的传输下降指标大于或等于预设传输下降指标,则意味着编码过程造成了超出容许的传输效率损失。此时编码后的数据传输性能难以满足需求,则自动触发并生成编码提醒信息,以提示对编码参数进一步调整优化。
进一步的,本申请实施例还包括:
当所述编码器接收所述编码提醒信息后,根据所述编码提醒信息,获取所述第一附加字段中附加位置所对应的字节大小,以及所述第一附加字段中附加内容所对应的字节大小;
以所述第一附加字段中附加位置所对应的字节大小,以及所述第一附加字段中附加内容所对应的字节大小为变量,以所述预设传输下降指标作为所述编码器的约束条件,训练附加编码优化模块;
利用所述附加编码优化模块对所述第一附加字段进行优化,获取收敛后的优化附加字段。
在一种可行的实施方式中,当接收到编码提醒信息后,根据编码提醒信息中提取第一附加字段。然后,解析第一附加字段,提取第一附加字段中附加位置的位宽,得到附加位置所对应的字节大小,并提取第一附加字段的附加内容,计算其字节数量,得到附加内容所对应的字节大小。随后,以第一附加字段附加位置所对应的字节大小和附加内容所对应的字节大小后,为两个变量,与预设传输下降指标位为传输效率约束条件,采用神经网络、遗传算法等智能方法训练附加编码优化模块。其优化目标为在满足预设传输下降指标的条件下,找到第一附加字段位置区间范围最小、附加内容长度最小的最优编码方案。训练过程将调整搜索空间内的附加位置和附加内容的变量值,评估不同组合下的编码效率影响,不断迭代更新,最终在约束范围内确定全局最优的编码插入方案,完成训练。之后,将当前第一附加字段的附加位置所对应的字节大小,以及第一附加字段中附加内容所对应的字节大小,作为附加编码优化模块的输入值,运行优化模组,迭代调整输入变量,在满足预设效率约束的前提下,搜索确定附件字段和附加内容的字节大小的最优解,当迭代收敛时,得到经过优化的第一附加字段。
进一步的,本申请实施例还包括:
获取所述第一附加字段中的K个特征数据,每个特征数据对应有字节位置;
通过对所述K个特征数据进行特征强度识别,获取K个特征强度;
将所述K个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取一次优化的附加字段;
根据一次优化后的附加字段,得到当前优化轮次的传输下降指标;
当所述传输下降指标大于等于所述预设传输下降指标,将K-1个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取二次优化的附加字段,以此类推,当本轮传输下降指标小于所述预设传输下降指标,输出收敛后的优化附加字段。
在一种优选的实施方式中,首先,获取编码插入第一附加字段时所利用的全部特征数据项,得到第一附加字段中的K个特征数据,如标识符、序列号等。然后,对这些特征数据,获取其对应的字节位置信息,如第2-5字节为源IP地址,第6字节为端口号等。随后,分别评估K个特征数据各自对最终编码效果的贡献度,得到对应的特征强度量化指标,反映该特征数据本身包含的能够识别并校验这条特定通信数据的信息量大小,特征越强,则其提供的额外校验信息量也越大。之后,对K个特征数据的特征强度值进行排序,选择排序末位也即特征强度最小的数据,将其确定为本轮淘汰的数据,在第一附加字段的特征数据中将其移除,得到一次优化的附加字段。接着,使用去除最弱特征数据后的一次优化的附加字段进行编码,测试编码后数据的传输效率,并与待传输通信数据的传输效率比较,得到当前优化轮次的传输下降指标。随后,将获取的当前优化轮次的传输下降指标与预设传输下降指标进行比较,如果获取的当前优化轮次的传输下降指标大于或等于预设传输下降指标,则再次启动新一轮的最弱特征淘汰过程,将K-1个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取一次优化的附加字段,循环迭代;当优化后的传输下降指标小于预设传输下降指标时,则判断为收敛,输出此时的优化附加字段。
综上所述,本申请实施例所提供的一种通信数据冗余校验方法具有如下技术效果:
获取第一传输方的待传输通信数据,获取原始需传输的数据,为后续操作提供数据基础。确定待传输通信数据的第一接收方,明确数据传输的接收方,定义通信链路的传输方向。对待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容,为后续校验操作提供字段。采用循环冗余算法将第一附加字段通过编码器对待传输通信数据进行编码,得到编码传输通信数据,为比对校验提供依据。将编码传输通信数据发送至第一中转方,并采集第一中转方发送至第一接收方的实时传输通信数据。将实时传输通信数据与编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果,通过比对检验传输过程中数据是否完整一致。若附加位置校验结果和附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息,如果比对结果异常,产生传输异常警示,指出中转过程中的数据丢失或篡改,提高通信数据传输可靠性。
实施例二
基于与前述实施例中一种通信数据冗余校验方法相同的发明构思,如图3所示,本申请实施例提供了一种通信数据冗余校验系统,该系统包括:
待传输数据获取单元11,用于获取第一传输方的待传输通信数据;
接收方确定单元12,用于确定所述待传输通信数据的第一接收方,所述第一接收方通过第一中转方将所述第一传输方发出的待传输通信数据进行转发,再由所述第一接收方接收;
数据字段识别单元13,用于对所述待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容;
通信数据编码单元14,用于采用循环冗余算法将所述第一附加字段通过编码器对所述待传输通信数据进行编码,得到编码传输通信数据;
实时数据采集单元15,用于将所述编码传输通信数据发送至所述第一中转方,并采集所述第一中转方发送至所述第一接收方的实时传输通信数据;
通信数据对比单元16,用于将所述实时传输通信数据与所述编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果;
提醒信息生成单元17,用于若所述附加位置校验结果和所述附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。
进一步的,数据字段识别单元13包括以下执行步骤:
获取所述待传输通信数据的数据类型;
根据所述待传输通信数据的数据类型进行特征数据定位,得到基于特征数据的传输数据;
根据所述特征数据的传输数据,得到特征数据的字段位置;
根据所述特征数据的传输数据,得到特征数据的融合数据;
以所述特征数据的字段位置作为所述第一附加字段的附加位置,以所述特征数据的融合数据作为所述第一附加字段的附加内容。
进一步的,数据字段识别单元13还包括以下执行步骤:
获取所述待传输通信数据的字段长度;
判断所述待传输通信数据的字段长度是否大于预设字段长度,当所述待传输通信数据的字段长度大于所述预设字段长度,获取分段附加指令,将所述待传输通信数据进行分解,输出分段传输通信数据;
对所述分段传输通信数据中每一段的传输通信数据进行识别,输出多个附加字段;
基于所述多个附加字段对所述待传输通信数据进行处理。
进一步的,通信数据对比单元16包括以下执行步骤:
获取所述实时传输通信数据的对应的附加字段;
将所述实时传输通信数据对应附加字段的位置与所述编码传输通信数据对应附加字段的位置进行比对,得到附加位置校验结果;
将所述实时传输通信数据对应附加字段的内容与所述编码传输通信数据对应附加字段的内容进行比对,得到附加内容校验结果。
进一步的,本申请实施例还包括附加字段优化单元,该单元包括以下执行步骤:
获取所述第一传输方与所述第一中转方的通信协议;
利用所述第一传输方与所述第一中转方的通信协议进行通信测试,获取所述编码传输通信数据的传输效率,以及所述待传输通信数据的传输效率;
以所述编码传输通信数据的传输效率和所述待传输通信数据的传输效率,得到传输下降指标;
将所述传输下降指标与预设传输下降指标进行比对,当所述传输下降指标大于等于所述预设传输下降指标,生成编码提醒信息。
进一步的,附加字段优化单元还包括以下执行步骤:
当所述编码器接收所述编码提醒信息后,根据所述编码提醒信息,获取所述第一附加字段中附加位置所对应的字节大小,以及所述第一附加字段中附加内容所对应的字节大小;
以所述第一附加字段中附加位置所对应的字节大小,以及所述第一附加字段中附加内容所对应的字节大小为变量,以所述预设传输下降指标作为所述编码器的约束条件,训练附加编码优化模块;
利用所述附加编码优化模块对所述第一附加字段进行优化,获取收敛后的优化附加字段。
进一步的,附加字段优化单元还包括以下执行步骤:
获取所述第一附加字段中的K个特征数据,每个特征数据对应有字节位置;
通过对所述K个特征数据进行特征强度识别,获取K个特征强度;
将所述K个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取一次优化的附加字段;
根据一次优化后的附加字段,得到当前优化轮次的传输下降指标;
当所述传输下降指标大于等于所述预设传输下降指标,将K-1个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取二次优化的附加字段,以此类推,当本轮传输下降指标小于所述预设传输下降指标,输出收敛后的优化附加字段。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
进一步的,综上所述的第一或第二可能不止代表次序关系,也可能代表某项特指概念,和/或指的是多个元素之间可单独或全部选择。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (7)
1.一种通信数据冗余校验方法,其特征在于,所述方法包括:
获取第一传输方的待传输通信数据;
确定所述待传输通信数据的第一接收方,所述第一接收方通过第一中转方将所述第一传输方发出的待传输通信数据进行转发,再由所述第一接收方接收;
对所述待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容,包括:
获取所述待传输通信数据的数据类型;
根据所述待传输通信数据的数据类型进行特征数据定位,得到基于特征数据的传输数据;
根据所述特征数据的传输数据,得到特征数据的字段位置;
根据所述特征数据的传输数据,得到特征数据的融合数据;
以所述特征数据的字段位置作为所述第一附加字段的附加位置,以所述特征数据的融合数据作为所述第一附加字段的附加内容;
采用循环冗余算法将所述第一附加字段通过编码器对所述待传输通信数据进行编码,得到编码传输通信数据;
将所述编码传输通信数据发送至所述第一中转方,并采集所述第一中转方发送至所述第一接收方的实时传输通信数据;
将所述实时传输通信数据与所述编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果;
若所述附加位置校验结果和所述附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述待传输通信数据的字段长度;
判断所述待传输通信数据的字段长度是否大于预设字段长度,当所述待传输通信数据的字段长度大于所述预设字段长度,获取分段附加指令,将所述待传输通信数据进行分解,输出分段传输通信数据;
对所述分段传输通信数据中每一段的传输通信数据进行识别,输出多个附加字段;
基于所述多个附加字段对所述待传输通信数据进行处理。
3.如权利要求1所述的方法,其特征在于,将所述实时传输通信数据与所述编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果,方法包括:
获取所述实时传输通信数据的对应的附加字段;
将所述实时传输通信数据对应附加字段的位置与所述编码传输通信数据对应附加字段的位置进行比对,得到附加位置校验结果;
将所述实时传输通信数据对应附加字段的内容与所述编码传输通信数据对应附加字段的内容进行比对,得到附加内容校验结果。
4.如权利要求1所述的方法,其特征在于,对所述待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容,方法还包括:
获取所述第一传输方与所述第一中转方的通信协议;
利用所述第一传输方与所述第一中转方的通信协议进行通信测试,获取所述编码传输通信数据的传输效率,以及所述待传输通信数据的传输效率;
以所述编码传输通信数据的传输效率和所述待传输通信数据的传输效率,得到传输下降指标;
将所述传输下降指标与预设传输下降指标进行比对,当所述传输下降指标大于等于所述预设传输下降指标,生成编码提醒信息。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
当所述编码器接收所述编码提醒信息后,根据所述编码提醒信息,获取所述第一附加字段中附加位置所对应的字节大小,以及所述第一附加字段中附加内容所对应的字节大小;
以所述第一附加字段中附加位置所对应的字节大小,以及所述第一附加字段中附加内容所对应的字节大小为变量,以所述预设传输下降指标作为所述编码器的约束条件,训练附加编码优化模块;
利用所述附加编码优化模块对所述第一附加字段进行优化,获取收敛后的优化附加字段。
6.如权利要求5所述的方法,其特征在于,利用所述附加编码优化模块对所述第一附加字段进行优化,获取收敛后的优化附加字段,方法包括:
获取所述第一附加字段中的K个特征数据,每个特征数据对应有字节位置;
通过对所述K个特征数据进行特征强度识别,获取K个特征强度;
将所述K个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取一次优化的附加字段;
根据一次优化后的附加字段,得到当前优化轮次的传输下降指标;
当所述传输下降指标大于等于所述预设传输下降指标,将K-1个特征强度中末位特征强度对应的特征数据作为淘汰数据,获取二次优化的附加字段,以此类推,当本轮传输下降指标小于所述预设传输下降指标,输出收敛后的优化附加字段。
7.一种通信数据冗余校验系统,其特征在于,用于实施权利要求1-6任意一项所述的一种通信数据冗余校验方法,所述系统包括:
待传输数据获取单元,所述待传输数据获取单元用于获取第一传输方的待传输通信数据;
接收方确定单元,所述接收方确定单元用于确定所述待传输通信数据的第一接收方,所述第一接收方通过第一中转方将所述第一传输方发出的待传输通信数据进行转发,再由所述第一接收方接收;
数据字段识别单元,所述数据字段识别单元用于对所述待传输通信数据的字段进行识别,确定第一附加字段的附加位置以及附加内容,包括:
获取所述待传输通信数据的数据类型;
根据所述待传输通信数据的数据类型进行特征数据定位,得到基于特征数据的传输数据;
根据所述特征数据的传输数据,得到特征数据的字段位置;
根据所述特征数据的传输数据,得到特征数据的融合数据;
以所述特征数据的字段位置作为所述第一附加字段的附加位置,以所述特征数据的融合数据作为所述第一附加字段的附加内容;
通信数据编码单元,所述通信数据编码单元用于采用循环冗余算法将所述第一附加字段通过编码器对所述待传输通信数据进行编码,得到编码传输通信数据;
实时数据采集单元,所述实时数据采集单元用于将所述编码传输通信数据发送至所述第一中转方,并采集所述第一中转方发送至所述第一接收方的实时传输通信数据;
通信数据对比单元,所述通信数据对比单元用于将所述实时传输通信数据与所述编码传输通信数据进行比对,得到附加位置校验结果和附加内容校验结果;
提醒信息生成单元,所述提醒信息生成单元用于若所述附加位置校验结果和所述附加内容校验结果中任一项校验结果为不通过,生成传输提醒信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410129134.7A CN117692106B (zh) | 2024-01-31 | 2024-01-31 | 一种通信数据冗余校验方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410129134.7A CN117692106B (zh) | 2024-01-31 | 2024-01-31 | 一种通信数据冗余校验方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117692106A CN117692106A (zh) | 2024-03-12 |
CN117692106B true CN117692106B (zh) | 2024-05-03 |
Family
ID=90132276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410129134.7A Active CN117692106B (zh) | 2024-01-31 | 2024-01-31 | 一种通信数据冗余校验方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117692106B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015062503A1 (zh) * | 2013-11-04 | 2015-05-07 | 上海数字电视国家工程研究中心有限公司 | 数据包的封装方法及校验方法 |
CN104917586A (zh) * | 2014-03-11 | 2015-09-16 | 腾讯科技(深圳)有限公司 | 传输数据的校验方法、装置及系统 |
CN113242109A (zh) * | 2021-04-14 | 2021-08-10 | 中国信息通信研究院 | 用于校验报文数据的方法、装置和设备 |
CN113708775A (zh) * | 2016-06-01 | 2021-11-26 | 高通股份有限公司 | 利用分段式的冗余校验对控制信令进行编码和解码 |
CN116827651A (zh) * | 2023-07-07 | 2023-09-29 | 中国电信股份有限公司技术创新中心 | 通信安全防护方法、装置、计算机设备和存储介质 |
CN117439703A (zh) * | 2022-07-15 | 2024-01-23 | 北京罗克维尔斯科技有限公司 | 一种数据校验结果确定方法、装置、电子设备及存储介质 |
-
2024
- 2024-01-31 CN CN202410129134.7A patent/CN117692106B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015062503A1 (zh) * | 2013-11-04 | 2015-05-07 | 上海数字电视国家工程研究中心有限公司 | 数据包的封装方法及校验方法 |
CN104917586A (zh) * | 2014-03-11 | 2015-09-16 | 腾讯科技(深圳)有限公司 | 传输数据的校验方法、装置及系统 |
CN113708775A (zh) * | 2016-06-01 | 2021-11-26 | 高通股份有限公司 | 利用分段式的冗余校验对控制信令进行编码和解码 |
CN113242109A (zh) * | 2021-04-14 | 2021-08-10 | 中国信息通信研究院 | 用于校验报文数据的方法、装置和设备 |
CN117439703A (zh) * | 2022-07-15 | 2024-01-23 | 北京罗克维尔斯科技有限公司 | 一种数据校验结果确定方法、装置、电子设备及存储介质 |
CN116827651A (zh) * | 2023-07-07 | 2023-09-29 | 中国电信股份有限公司技术创新中心 | 通信安全防护方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117692106A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1738470B1 (en) | Apparatus and method for improving reliability of collected sensor data over a network | |
US4507782A (en) | Method and apparatus of packet switching | |
US7707478B2 (en) | Error correction in packet-based communication networks using validation sets | |
WO2007041110A1 (en) | Error correction in packet-based communication networks using data consistency checks | |
KR102148757B1 (ko) | 통신 시스템에서 데이터를 송수신하는 방법 및 장치 | |
CN108599896B (zh) | 一种基于冗余编码系统的crc校验系统及方法 | |
US7716559B2 (en) | Method for lost packet reconstruction and device for carrying out said method | |
US10256944B1 (en) | Controlling false packet acceptance | |
CN109428672B (zh) | 信息编译码方法和装置、信息处理系统 | |
CN117692106B (zh) | 一种通信数据冗余校验方法 | |
CN101983481A (zh) | 用于发送的设备和方法、用于接收的设备和方法以及程序 | |
US7516393B2 (en) | System and method of error detection for unordered data delivery | |
CN114827287B (zh) | 一种数据的压缩方法及系统 | |
JP3439722B2 (ja) | 特殊データ・パケットにタグ付けする方法及び特殊データ・パケット検出方法 | |
CN113645266A (zh) | 文件传输方法、文件校验方法及装置 | |
US20040068689A1 (en) | Method and apparatus for CRC size reduction | |
CN117914961B (zh) | 一种工业网关及协议转换方法 | |
CN109417432A (zh) | 数据编解码 | |
CN111953451A (zh) | 一种提高解析物联网帧结构效率的方法 | |
JP2002261737A (ja) | 送信データ消失検出システム | |
US11871166B2 (en) | Sensor system | |
US6163872A (en) | Monitoring OAM cell assisted method of detecting bit errors occurring in ATM useful cells on an ATM transmission link | |
CN118316757A (zh) | 一种以太网通讯总线的链路数据自动纠错方法与系统 | |
CN117392567A (zh) | 一种基于fpga的网络巨型帧处理的数据解析方法 | |
CN116094760B (zh) | 一种基于报文字典的跨正向隔离装置数据传输方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |