CN117278171A - 一种物联数据断点续传方法 - Google Patents
一种物联数据断点续传方法 Download PDFInfo
- Publication number
- CN117278171A CN117278171A CN202311558011.7A CN202311558011A CN117278171A CN 117278171 A CN117278171 A CN 117278171A CN 202311558011 A CN202311558011 A CN 202311558011A CN 117278171 A CN117278171 A CN 117278171A
- Authority
- CN
- China
- Prior art keywords
- data
- breakpoint
- data block
- transmission
- receiving end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 78
- 238000012937 correction Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000007906 compression Methods 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 230000006837 decompression Effects 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 34
- 238000012795 verification Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000013524 data verification Methods 0.000 claims description 3
- 238000013144 data compression Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 28
- 230000009471 action Effects 0.000 description 26
- 241000251468 Actinopterygii Species 0.000 description 15
- 238000012706 support-vector machine Methods 0.000 description 8
- 239000002245 particle Substances 0.000 description 7
- 238000002922 simulated annealing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000003016 pheromone Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000257303 Hymenoptera Species 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0061—Error detection codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/75—Information technology; Communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0033—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/1607—Details of the supervisory signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1829—Arrangements specially adapted for the receiver end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
- H04L47/365—Dynamic adaptation of the packet size
Abstract
本发明涉及数据处理技术领域，尤其涉及一种物联数据断点续传方法。包括：将数据划分为数据块，使用压缩算法进行压缩，对压缩后的数据块分配唯一的标识符，计算每个数据块的校验码并进行数据传输；数据接收端接收到数据块后，进行解压缩处理以及校验码比较，如校验码匹配，认为数据接收成功，更新接收的数据块信息；否则数据传输发生中断，对比已接收的数据块信息和元信息，结合断点智能检测算法找到数据传输的断点并进行断点处理，接收端发送数据重传请求；数据源端收到重传请求后，从断点位置开始，重新发送数据，在传输时引入自适应纠错技术，在数据接收端重建丢失或错误的数据块。解决了现有技术中传输效率较低以及数据安全性较差的问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种物联数据断点续传方法。
背景技术
物联网数据断点续传是一种通过在数据传输过程中记录数据的传输状态，以便在数据传输中断时，能够准确地找到中断点，从而在重新建立连接后，从中断点开始继续传输数据的技术。其主要步骤包括数据分块、数据块标识、元信息传递、数据传输、断点检测与处理，以及数据重传与校验；尽管基本的断点续传技术已经相对成熟，但为了适应不断变化的物联网环境，还需要对其进行持续的优化和改进，并且由于物联网设备的类型和应用场景的多样性，导致断点续传技术的应用也面临着很大的挑战。
对于数据断点续传的方法有很多，董时舫提出的申请号：“CN202010238155.4”，发明名称：“一种数据断点续传方法、装置及终端设备”，主要包括：通过客户端向服务端发送初始校验请求；当初始校验结果指示校验未通过时，将已下载的数据分割成若干数据块，向服务端发送数据块校验请求；当数据块的长度大于预设长度阈值时，将数据块校验结果指示的校验未通过的数据块分割成若干数据块，并返回执行向服务端发送数据块校验请求的步骤；当数据块的长度小于或等于预设长度阈值时，向服务端发送断点续传请求，以从校验未通过的数据块所在位置处开始断点续传，可以借助服务端对已下载的数据进行校验并逐步缩小校验范围，更精确的定位出错数据的偏移地址，从该偏移地址处开始断点续传，保证断点续传功能的正确性和高效性。
但上述技术至少存在如下技术问题：传输效率较低以及数据准确性较差的技术问题
发明内容
本申请实施例通过提供一种物联数据断点续传方法，解决了现有技术中传输效率较低以及数据安全性较差的技术问题，实现了数据断点高效且准确续传的技术效果。
本申请提供了一种物联数据断点续传方法，具体包括以下技术方案：
一种物联数据断点续传方法，包括以下步骤：
S1. 将待传输的数据划分为数据块，使用压缩算法对每个数据块进行压缩，并对压缩后的数据块分配唯一的标识符，使用数据校验机制计算每个数据块的校验码，然后进行数据传输；
S2. 数据接收端接收到数据块后，进行解压缩处理以及校验码比较，当校验码匹配时，则认为数据接收成功，更新接收的数据块信息；否则数据传输发生中断，通过对比已接收的数据块信息和元信息，结合断点智能检测算法找到数据传输的断点并进行断点处理，接收端发送数据重传请求，请求从断点位置开始重传数据；
S3. 数据源端收到重传请求后，从断点位置开始，按照最优的数据传输策略重新发送数据，在传输时引入自适应纠错技术，在数据接收端重建丢失或错误的数据块。
优选的，所述S1，具体包括：
引入融合优化算法寻找最优数据块大小。
优选的，在所述S1中，还包括：
对每个数据块进行数据压缩、数据块标识、数据校验；在对数据进行分块，压缩，标识，校验后，得到数据块信息和数据块元信息，所述元信息包括标识符、压缩后的数据块大小、数据块位置、校验码；在发送端将压缩后的数据块和元信息经传输组件发送，到达数据接收端。
优选的，所述S2，具体包括：
在数据接收端接收到的是由发送端发送的经过压缩、标识和校验码添加的数据块，接收端使用与发送端相同的压缩算法对数据块进行解压缩，接收端使用与发送端相同的校验码生成函数，计算校验码，得到校验码；将接收端将计算出的校验码和从发送端接收到的校验码进行比较，当比较结果时相匹配的时，认为数据块接收成功，更新接收的数据块信息；否则认为数据块在传输过程中发生了断点。
优选的，在所述S2中，还包括：
在发现断点后，利用断点智能检测算法对断点位置进行检测及处理。
优选的，所述S3，具体包括：
在进行数据纠错时，采用自适应纠错技术，所述自适应纠错技术包含确定纠错编码类型；纠错编码参数优化；纠错处理。
有益效果：
本申请实施例中提供的多个技术方案，至少具有如下技术效果或优点：
1、本申请引入融合优化算法，利用混沌优化算法、蚁群优化算法和人工鱼群算法的融合，寻找最优的数据块大小，以适应复杂多变的网络环境和设备能力，同时，使用高效的压缩算法对每个数据块进行压缩，大大减少了需要传输的数据量，从而提高了数据传输的速度和效率，在发送端将压缩后的数据块和元信息一同发送，经传输组件，到达数据接收端，能确保数据的完整性。
2、本申请通过滑动窗口和断点智能检测算法，能有效地检测数据传输过程中的断点，提高数据传输的准确性，引入演员-评论家方法，基于状态空间和动作空间，定义动作价值函数和策略函数，通过预测最优的数据传输策略，以恢复数据传输。
3、本申请通过引入自适应纠错技术，能够在数据接收端有效地重建丢失或错误的数据块，提高了数据传输的正确性，保证了数据的完整性和可用性，在自适应纠错技术中通过引入模拟退火算法和粒子群优化算法，有效地确定了最优的纠错编码类型和最优的纠错编码参数，提高了纠错处理的效率和正确率，利用支持向量机预测数据块是否会发生错误，能够及时发现数据错误，避免了数据错误对数据传输的影响，提高了数据传输的准确性。
4、本申请的技术方案能够有效解决传输效率较低以及数据准确性较差的技术问题，通过引入融合优化算法，利用混沌优化算法、蚁群优化算法和人工鱼群算法的融合，寻找最优的数据块大小，以适应复杂多变的网络环境和设备能力，同时，使用高效的压缩算法对每个数据块进行压缩，大大减少了需要传输的数据量，从而提高了数据传输的速度和效率，在发送端将压缩后的数据块和元信息一同发送，经传输组件，到达数据接收端，能确保数据的完整性；通过滑动窗口和断点智能检测算法，能有效地检测数据传输过程中的断点，提高数据传输的准确性，引入演员-评论家方法，基于状态空间和动作空间，定义动作价值函数和策略函数，通过预测最优的数据传输策略，以恢复数据传输；通过引入自适应纠错技术，能够在数据接收端有效地重建丢失或错误的数据块，提高了数据传输的正确性，保证了数据的完整性和可用性，在自适应纠错技术中通过引入模拟退火算法和粒子群优化算法，有效地确定了最优的纠错编码类型和最优的纠错编码参数，提高了纠错处理的效率和正确率，利用支持向量机预测数据块是否会发生错误，能够及时发现数据错误，避免了数据错误对数据传输的影响，提高了数据传输的准确性。
附图说明
图1为本申请所述一种物联数据断点续传方法的流程图。
具体实施方式
本申请实施例通过提供一种物联数据断点续传方法，解决了现有技术中传输效率较低以及数据安全性较差的技术问题，总体思路如下：
首先，将待传输的大数据量划分为数据块，使用高效的压缩算法对每个数据块进行压缩，并对压缩后的数据块分配唯一的标识符，使用数据校验机制计算每个数据块的校验码，然后进行数据传输；数据接收端接收到数据块后，进行解压缩处理以及校验码比较，若校验码匹配，则认为数据接收成功，更新接收的数据块信息；否则数据传输发生中断，通过对比已接收的数据块信息和元信息，结合断点智能检测算法找到数据传输的断点并进行断点处理，接收端发送数据重传请求，请求从断点位置开始重传数据；数据源端收到重传请求后，从断点位置开始，按照最优的数据传输策略重新发送数据，在传输时引入自适应纠错技术，在数据接收端重建丢失或错误的数据块，实现物联数据断点续传；通过引入融合优化算法，利用混沌优化算法、蚁群优化算法和人工鱼群算法的融合，寻找最优的数据块大小，以适应复杂多变的网络环境和设备能力，同时，使用高效的压缩算法对每个数据块进行压缩，大大减少了需要传输的数据量，从而提高了数据传输的速度和效率，在发送端将压缩后的数据块和元信息一同发送，经传输组件，到达数据接收端，能确保数据的完整性；通过滑动窗口和断点智能检测算法，能有效地检测数据传输过程中的断点，提高数据传输的准确性，引入演员-评论家方法，基于状态空间和动作空间，定义动作价值函数和策略函数，通过预测最优的数据传输策略，以恢复数据传输；通过引入自适应纠错技术，能够在数据接收端有效地重建丢失或错误的数据块，提高了数据传输的正确性，保证了数据的完整性和可用性，在自适应纠错技术中通过引入模拟退火算法和粒子群优化算法，有效地确定了最优的纠错编码类型和最优的纠错编码参数，提高了纠错处理的效率和正确率，利用支持向量机预测数据块是否会发生错误，能够及时发现数据错误，避免了数据错误对数据传输的影响，提高了数据传输的准确性。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参照附图1，本申请所述一种物联数据断点续传方法，包括以下步骤：
S1. 将待传输的数据划分为数据块，使用压缩算法对每个数据块进行压缩，并对压缩后的数据块分配唯一的标识符，使用数据校验机制计算每个数据块的校验码，然后进行数据传输；
为了将待传输的数据划分为合适大小的数据块，本申请引入融合优化算法寻找最优数据块大小，以适应复杂多变的网络环境和设备能力，具体实现过程如下：
首先利用混沌优化算法的初值灵敏性，生成一个分布广泛初步数据块大小集合；然后利用蚁群优化算法进行搜索，将初始化得到的每个数据块大小集合看作为蚂蚁行走的城市，每个蚂蚁的目标是找到一条使得总的数据传输效率最高的路径，具体有，蚂蚁在选择下一步要访问的城市时，会依据当前城市到下一个城市的距离以及当前城市到下一个城市的信息素浓度来进行选择，具体选择的概率计算公式如下：
，
其中，表示从城市i到城市j的信息素浓度；/>表示从城市i到城市j的能见度（通常为两城市之间距离的倒数）；/>、/>表示调整信息素重要性和能见度重要性的参数；表示未被访问的城市集合；同时，在每个城市，蚂蚁会根据这个城市的数据传输效率（如数据传输的成功率或速度）来更新信息素；最终得到使得数据传输效率最高的最优解；最后利用人工鱼群算法进行优化，将利用蚁群优化算法搜索后得到的最优解作为人工鱼的初始位置，人工鱼会模拟真实的鱼群行为，通过比较自身和周围邻居的适应度值（在这里是数据传输效率）来更新自身的位置，具体的位置更新公式如下：
，
其中，表示当前的位置；/>表示适当度值比当前鱼更好的邻居位置；表示人工鱼移动的步长；/>表示是一个[0,1]范围内的随机数；
最后，从所有的人工鱼中选择适应度值最高的作为最终的数据块大小。
进一步，对每个数据块利用Zstandard或其他压缩算法进行数据压缩，特别地，为保证系统之间的兼容性和有效性，可以进行组合压缩算法对数据块进行压缩，以达到在给定的计算资源和传输需求下，实现最大的压缩效率；
进一步，利用散列函数对每个压缩后的数据块进行数据块标识，对每个数据块生成固定长度的唯一标识符，实现对压缩数据块的标识；
进一步，利用校验算法生成的校验函数对每个压缩后的数据块进行数据校验，得到校验码/>，所述校验算法如CRC，MD5，SHA-1；
特别地，对数据进行分块，压缩，标识，校验后得到数据块信息和数据块元信息，所述元信息如标识符、压缩后的数据块大小、数据块位置、校验码；在发送端将压缩后的数据块和元信息经传输组件一同发送，到达数据接收端；
本申请引入融合优化算法，利用混沌优化算法、蚁群优化算法和人工鱼群算法的融合，寻找最优的数据块大小，以适应复杂多变的网络环境和设备能力，同时，使用高效的压缩算法对每个数据块进行压缩，大大减少了需要传输的数据量，从而提高了数据传输的速度和效率，在发送端将压缩后的数据块和元信息一同发送，经传输组件，到达数据接收端，能确保数据的完整性。
S2. 数据接收端接收到数据块后，进行解压缩处理以及校验码比较，当校验码匹配时，则认为数据接收成功，更新接收的数据块信息；否则数据传输发生中断，通过对比已接收的数据块信息和元信息，结合断点智能检测算法找到数据传输的断点并进行断点处理，接收端发送数据重传请求，请求从断点位置开始重传数据；
在数据接收端接收到的是由发送端发送的经过压缩、标识和校验码添加的数据块，接收端使用与发送端相同的压缩算法对数据块进行解压缩，得到原始的数据块，接收端使用与发送端相同的校验码生成函数/>，对解压缩后的数据块/>计算校验码，得到校验码/>；将接收端将计算出的校验码 />和从发送端接收到的校验码/>进行比较。如果/>，那么认为数据块接收成功，更新接收的数据块信息；否则认为数据块在传输过程中发生了断点；
进一步，利用断点智能检测算法对断点位置进行检测及处理，具体有：
断点检测：
收集已接收数据块的信息：接收端需要记录每个已接收数据块的标识符，形成一个已接收数据块标识符列表 ，/>，/>表示新接收的数据块的标识符；
滑动窗口更新：接收端还需要维护一个预期接收数据块的标识符列表 ，这个列表的长度固定，设为n，每当成功接收一个数据块，就从/>中移除这个数据块的标识符，并将下一个预期接收的数据块标识符添加到 />的尾部，，其中/>表示下一个预期接收的数据块标识符；
断点检测：比较和/>，如果/>中有某个数据块标识符不在中，那么说明这个数据块还未被成功接收，可能是因为数据传输中断，这个数据块的位置就是数据传输的断点，/>，其中表示数据传输的断点，即下一个预期接收但还未接收的数据块的标识符。
进一步，在发现断点后进行如下断点处理；
第一步，参数收集；根据接收端收集网络状态信息和数据块接收情况定义S为状态空间，所述状态空间包含了网络的各种状态信息，如网络带宽，延迟，丢包率，数据块接收情况（如数据块丢失率，数据块错误率，接受延迟）；定义A为动作空间，所述动作空间包含了数据传输策略的调整选项，如调整数据传输速度，调整数据块大小，决定是否请求重传，保持当前状态；
第二步，网络定义；利用演员-评论家方法，基于状态空间S和动作空间A，定义为动作价值函数，表示在状态S下采取动作A能带来的期望回报；具体公式如下：
，
其中，表示当前回报，/>表示折扣因子，/>和/>表示下一个状态和动作，；
基于状态空间S，定义为策略函数（动作概率分布），表示在状态S下采取动作A的概率；具体公式如下：
，
第三步，计算奖励；基于网络的反馈和数据块的接收情况，计算奖励，公式如下：
，
其中，V表示状态空间的维度，表示状态空间的第i个元素，/>表示状态空间的第i个元素的权重，表示各元素对奖励的重要性，由专业人员利用经验法得到；
第三步，网络更新；利用混合的网络更新策略函数和动作价值函数；
动作价值函数更新：
，
其中表示学习率，取值在0到1之间，用于控制学习的速度；/>表示折扣因子，取值在0到1之间，用于控制未来回报的重要性；/>表示当前回报；/>表示新的状态，即在当前状态/>下执行动作/>后得到的状态，这个新的状态是由网络环境和数据块接收情况确定；/>表示在新的状态/> 下，根据当前策略，可能会选择的动作，这个新的动作是由策略函数/>决定；
策略函数更新：
，
其中，表示温度参数，控制了动作选择的随机性程度，经过多次试验获得；
第四步，断点处理，根据上述强化学习算法，预测最优的数据传输策略，以恢复数据传输。
特别地，在算法实现过程通常比较复杂，需要花费大量的时间和计算资源，采用如并行化、迁移学习，改变网络结构和参数策略进行优化。
本申请通过滑动窗口和断点智能检测算法，能有效地检测数据传输过程中的断点，提高数据传输的准确性，引入演员-评论家方法，基于状态空间和动作空间，定义动作价值函数和策略函数，通过预测最优的数据传输策略，以恢复数据传输。
S3. 数据源端收到重传请求后，从断点位置开始，按照最优的数据传输策略重新发送数据，在传输时引入自适应纠错技术，在数据接收端重建丢失或错误的数据块。
当收到重传请求后，从断点位置开始，按照最优的数据传输策略重新发送数据，并在传输时引入自适应纠错技术，在数据接收端重建丢失或错误的数据块，实现物联数据断点续传；
进一步，所述自适应纠错技术，具体实现过程如下：
确定纠错编码类型；以编码后的数据误差率为适应度函数，利用模拟退火算法，寻找能使适应度函数取最大值的纠错码，所述纠错码如LDPC码、Turbo码和RS码；
纠错编码参数优化：利用粒子群优化算法寻找每种纠错码的最优参数，如优化LDPC码的校验矩阵、Turbo码的卷积编码器和交织器参数、RS码的生成多项式；
纠错处理：在纠错过程中，利用支持向量机预测数据块是否会发生错误。首先，使用已有的数据训练支持向量机模型，然后，对新接收的数据块进行预测，如果预测结果表明数据块可能存在错误，则利用选定的最优纠错码类型以及最优纠错码进行纠错处理。
本申请通过引入自适应纠错技术，能够在数据接收端有效地重建丢失或错误的数据块，提高了数据传输的正确性，保证了数据的完整性和可用性，在自适应纠错技术中通过引入模拟退火算法和粒子群优化算法，有效地确定了最优的纠错编码类型和最优的纠错编码参数，提高了纠错处理的效率和正确率，利用支持向量机预测数据块是否会发生错误，能够及时发现数据错误，避免了数据错误对数据传输的影响，提高了数据传输的准确性。
综上所述，便完成了本申请所述的一种物联数据断点续传方法。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
1、本申请引入融合优化算法，利用混沌优化算法、蚁群优化算法和人工鱼群算法的融合，寻找最优的数据块大小，以适应复杂多变的网络环境和设备能力，同时，使用高效的压缩算法对每个数据块进行压缩，大大减少了需要传输的数据量，从而提高了数据传输的速度和效率，在发送端将压缩后的数据块和元信息一同发送，经传输组件，到达数据接收端，能确保数据的完整性。
2、本申请通过滑动窗口和断点智能检测算法，能有效地检测数据传输过程中的断点，提高数据传输的准确性，引入演员-评论家方法，基于状态空间和动作空间，定义动作价值函数和策略函数，通过预测最优的数据传输策略，以恢复数据传输。
3、本申请通过引入自适应纠错技术，能够在数据接收端有效地重建丢失或错误的数据块，提高了数据传输的正确性，保证了数据的完整性和可用性，在自适应纠错技术中通过引入模拟退火算法和粒子群优化算法，有效地确定了最优的纠错编码类型和最优的纠错编码参数，提高了纠错处理的效率和正确率，利用支持向量机预测数据块是否会发生错误，能够及时发现数据错误，避免了数据错误对数据传输的影响，提高了数据传输的准确性。
效果调研：
本申请的技术方案能够有效解决传输效率较低以及数据准确性较差的技术问题，并且，上述系统或方法经过了一系列的效果调研，通过引入融合优化算法，利用混沌优化算法、蚁群优化算法和人工鱼群算法的融合，寻找最优的数据块大小，以适应复杂多变的网络环境和设备能力，同时，使用高效的压缩算法对每个数据块进行压缩，大大减少了需要传输的数据量，从而提高了数据传输的速度和效率，在发送端将压缩后的数据块和元信息一同发送，经传输组件，到达数据接收端，能确保数据的完整性；通过滑动窗口和断点智能检测算法，能有效地检测数据传输过程中的断点，提高数据传输的准确性，引入演员-评论家方法，基于状态空间和动作空间，定义动作价值函数和策略函数，通过预测最优的数据传输策略，以恢复数据传输；通过引入自适应纠错技术，能够在数据接收端有效地重建丢失或错误的数据块，提高了数据传输的正确性，保证了数据的完整性和可用性，在自适应纠错技术中通过引入模拟退火算法和粒子群优化算法，有效地确定了最优的纠错编码类型和最优的纠错编码参数，提高了纠错处理的效率和正确率，利用支持向量机预测数据块是否会发生错误，能够及时发现数据错误，避免了数据错误对数据传输的影响，提高了数据传输的准确性。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种物联数据断点续传方法，其特征在于，包括以下步骤：
S1. 将待传输的数据划分为数据块，使用压缩算法对每个数据块进行压缩，并对压缩后的数据块分配唯一的标识符，使用数据校验机制计算每个数据块的校验码，然后进行数据传输；
S2. 数据接收端接收到数据块后，进行解压缩处理以及校验码比较，当校验码匹配时，则认为数据接收成功，更新接收的数据块信息；否则数据传输发生中断，通过对比已接收的数据块信息和元信息，结合断点智能检测算法找到数据传输的断点并进行断点处理，接收端发送数据重传请求，请求从断点位置开始重传数据；
S3. 数据源端收到重传请求后，从断点位置开始，按照最优的数据传输策略重新发送数据，在传输时引入自适应纠错技术，在数据接收端重建丢失或错误的数据块。
2.根据权利要求1所述的一种物联数据断点续传方法，其特征在于，所述S1，具体包括：
引入融合优化算法寻找最优数据块大小。
3.根据权利要求2所述的一种物联数据断点续传方法，其特征在于，在所述S1中，还包括：
对每个数据块进行数据压缩、数据块标识、数据校验；在对数据进行分块，压缩，标识，校验后，得到数据块信息和数据块元信息，所述元信息包括标识符、压缩后的数据块大小、数据块位置、校验码；在发送端将压缩后的数据块和元信息经传输组件发送，到达数据接收端。
4.根据权利要求1所述的一种物联数据断点续传方法，其特征在于，所述S2，具体包括：
在数据接收端接收到的是由发送端发送的经过压缩、标识和校验码添加的数据块，接收端使用与发送端相同的压缩算法对数据块进行解压缩，接收端使用与发送端相同的校验码生成函数，计算校验码，得到校验码；将接收端将计算出的校验码和从发送端接收到的校验码进行比较，当比较结果时相匹配的时，认为数据块接收成功，更新接收的数据块信息；否则认为数据块在传输过程中发生了断点。
5.根据权利要求4所述的一种物联数据断点续传方法，其特征在于，在所述S2中，还包括：
在发现断点后，利用断点智能检测算法对断点位置进行检测及处理。
6.根据权利要求1所述的一种物联数据断点续传方法，其特征在于，所述S3，具体包括：
在进行数据纠错时，采用自适应纠错技术，所述自适应纠错技术包含确定纠错编码类型；纠错编码参数优化；纠错处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311558011.7A CN117278171A (zh) | 2023-11-22 | 2023-11-22 | 一种物联数据断点续传方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311558011.7A CN117278171A (zh) | 2023-11-22 | 2023-11-22 | 一种物联数据断点续传方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117278171A true CN117278171A (zh) | 2023-12-22 |
Family
ID=89202999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311558011.7A Pending CN117278171A (zh) | 2023-11-22 | 2023-11-22 | 一种物联数据断点续传方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117278171A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0924890A2 (en) * | 1997-12-15 | 1999-06-23 | The Whitaker Corporation | Adaptive error correction for a communication link |
| CN102201924A (zh) * | 2011-07-07 | 2011-09-28 | 无锡智感星际科技有限公司 | 一种基于rds单向广播通道分发文件的方法 |
| CN105025106A (zh) * | 2015-07-28 | 2015-11-04 | 焦点科技股份有限公司 | 一种基于分块及元信息的断点续传的方法 |
| CN109639745A (zh) * | 2019-02-27 | 2019-04-16 | 同济汽车设计研究院有限公司 | 一种断点续传的无人车航线数据传输系统及其方法 |
| CN111478751A (zh) * | 2020-03-30 | 2020-07-31 | 百富计算机技术（深圳）有限公司 | 一种数据断点续传方法、装置及终端设备 |
| CN111629036A (zh) * | 2020-05-13 | 2020-09-04 | 贵州国卫信安科技有限公司 | 一种支持断点续传的红外线传输文件的方法 |
| CN114124940A (zh) * | 2021-11-30 | 2022-03-01 | 上海御渡半导体科技有限公司 | 一种基于udp协议的数据定制传输的方法 |
| WO2023185969A1 (zh) * | 2022-03-30 | 2023-10-05 | 三峡智控科技有限公司 | 一种实时数据的压缩传输方法 |
| CN116915363A (zh) * | 2023-07-25 | 2023-10-20 | 东方空间技术(山东)有限公司 | 一种数据的传输方法、装置及设备 |
-
2023
- 2023-11-22 CN CN202311558011.7A patent/CN117278171A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0924890A2 (en) * | 1997-12-15 | 1999-06-23 | The Whitaker Corporation | Adaptive error correction for a communication link |
| CN102201924A (zh) * | 2011-07-07 | 2011-09-28 | 无锡智感星际科技有限公司 | 一种基于rds单向广播通道分发文件的方法 |
| CN105025106A (zh) * | 2015-07-28 | 2015-11-04 | 焦点科技股份有限公司 | 一种基于分块及元信息的断点续传的方法 |
| CN109639745A (zh) * | 2019-02-27 | 2019-04-16 | 同济汽车设计研究院有限公司 | 一种断点续传的无人车航线数据传输系统及其方法 |
| CN111478751A (zh) * | 2020-03-30 | 2020-07-31 | 百富计算机技术（深圳）有限公司 | 一种数据断点续传方法、装置及终端设备 |
| CN111629036A (zh) * | 2020-05-13 | 2020-09-04 | 贵州国卫信安科技有限公司 | 一种支持断点续传的红外线传输文件的方法 |
| CN114124940A (zh) * | 2021-11-30 | 2022-03-01 | 上海御渡半导体科技有限公司 | 一种基于udp协议的数据定制传输的方法 |
| WO2023185969A1 (zh) * | 2022-03-30 | 2023-10-05 | 三峡智控科技有限公司 | 一种实时数据的压缩传输方法 |
| CN116915363A (zh) * | 2023-07-25 | 2023-10-20 | 东方空间技术(山东)有限公司 | 一种数据的传输方法、装置及设备 |
Non-Patent Citations (3)
| Title |
|---|
| 薄列峰，（美）黄恒，顾松庠，陈彦卿: "联邦学习 算法详解与系统实现", 30 April 2022, 机械工业出版社, pages: 209 * |
| 许国根，赵后随，黄智勇: "最优化方法及其MATLAB实现", 31 July 2018, 北京航空航天大学出版社, pages: 392 * |
| 郭斌，刘思聪，於志文: "人机物融合群智计算", 30 June 2022, 机械工业出版社, pages: 231 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107276722B (zh) | 一种基于udp的数据传输方法和系统 | |
| CN110008757B (zh) | 一种物联网终端固件更新中数据保护方法及系统 | |
| KR100924295B1 (ko) | 통신 시스템의 다단계 코드 발생기 및 디코더 | |
| US7843823B2 (en) | Techniques for balancing throughput and compression in a network communication system | |
| Rizzo | Dummynet and forward error correction | |
| AU781130B2 (en) | Group chain reaction encoder with variable number of associated input data for each output group code | |
| US8042016B2 (en) | Method and device for efficiently retransmitting packets in wired/wireless network | |
| CN106843957A (zh) | 系统固件升级方法及装置 | |
| CN110192348A (zh) | 将数据片段分成包以用于信道编码 | |
| CN110192364A (zh) | 生成用于在多个通信信道上发射的数据副本 | |
| CN115550349A (zh) | 基于随机线性网络编码与卡尔曼滤波算法的文件传输方法 | |
| CN117278171A (zh) | 一种物联数据断点续传方法 | |
| CN112532359B (zh) | 接收端基于数据重传数据进行内容合并的方法及装置 | |
| CN110612669B (zh) | 译码的方法和装置 | |
| CN111625467B (zh) | 自动化测试方法、装置、计算机设备和存储介质 | |
| US10949645B2 (en) | Method, apparatus, and storage medium for data verification | |
| KR100700200B1 (ko) | 파일의 정보를 이용하여 중복된 파일을 저장하고다운로드하는 방법 및 장치 | |
| CN109587222A (zh) | 一种文件碎片化传输的方法、装置及存储介质 | |
| Thakkar et al. | Transducer-based algorithmic verification of retransmission protocols over noisy channels | |
| US11489623B2 (en) | Error correction in network packets | |
| EP3054600A1 (en) | Program, encoding device, and encoding method | |
| JP2004349891A (ja) | パケット送信装置、パケット受信装置、方法及びプログラム | |
| CN112764791B (zh) | 一种增量更新的恶意软件检测方法及系统 | |
| CN114553375A (zh) | 数据传输方法、装置、电子设备及存储介质 | |
| CN112532358A (zh) | 根据反馈等待时间进行数据发送内容更改的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |