CN114257349A - 数据处理系统和方法 - Google Patents
数据处理系统和方法 Download PDFInfo
- Publication number
- CN114257349A CN114257349A CN202111543410.7A CN202111543410A CN114257349A CN 114257349 A CN114257349 A CN 114257349A CN 202111543410 A CN202111543410 A CN 202111543410A CN 114257349 A CN114257349 A CN 114257349A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- lost
- data unit
- data units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000005540 biological transmission Effects 0.000 claims abstract description 45
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1809—Selective-repeat protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/1607—Details of the supervisory signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种数据处理系统和方法，分割模块对待处理数据进行分割，将得到的多个分割数据单元通过数据传输模块发送至接收检测模块；接收检测模块对多个分割数据单元进行拼接，如果根据数据拼接结果判断存在丢失的分割数据单元，生成相应的发送请求，以从存储模块中查询并获取丢失的分割数据单元，更新数据拼接结果。该系统通过分割模块对待处理数据进行分割处理，可以使每次传输的数据流较小，保证了数据传输的连续性，提高了抗丢包性能；通过接收检测模块对数据拼接结果进行检测，可以及时发现丢失的分割数据单元，并从存储模块中快速查询到该丢失的分割数据单元并传输，由于只需要对丢失的分割数据单元进行再次传输，从而缩短了延时时间。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种数据处理系统和方法。
背景技术
无线信道是对无线通信中发送端和接收端之间通路的一种形象比喻，可以通过无线信道传输数据；对于无线电波而言，发送端到接收端之间并没有一个有形的连接，传播路径也有可能不只一条，为了形象地描述发送端与接收端之间的工作，可以认为两者之间有一个看不见的道路衔接，这条衔接通路即可称为无线信道，无线信道也就是常说的无线的“频段(Channel)”。由于无线信道通常存在误码率较高、带宽波动较大、信道带宽有限等问题，可能导致在数据传输过程中存在丢包问题，最终只能选择重新传输整段数据，该方式抗丢包性能较差，延时时间较长。
发明内容
本发明的目的在于提供一种数据处理系统和方法，以提高数据传输的抗丢包性能，缩短延时时间。
本发明提供的一种数据处理系统，系统包括：依次串联连接的分割模块、数据传输模块和接收检测模块；分割模块、数据传输模块和接收检测模块还分别与存储模块连接；分割模块用于接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块发送至接收检测模块；还用于将多个分割数据单元保存至存储模块；接收检测模块用于对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，并通过数据传输模块接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。
进一步的，待处理数据包括音频数据或图像数据；如果待处理数据为音频数据，预设方式包括：预设时间长度的方式或预设内存大小的方式；如果待处理数据为图像数据，预设方式包括：预设数量的连续帧的方式。
进一步的，系统还包括编辑模块；分割模块通过编辑模块与存储模块连接；编辑模块用于接收分割模块输出的多个分割数据单元，对多个分割数据单元进行编辑处理，输出多个编辑后的分割数据单元；将多个编辑后的分割数据单元保存至存储模块；其中，每个编辑后的分割数据单元携带有与该编辑后的分割数据单元对应的标识信息。
进一步的，标识信息包括以下至少一种：字母和数字。
进一步的，相邻两个分割数据单元之间存在至少一部分重叠区域；重叠区域用于：指示相邻两个分割数据单元的拼接位置。
进一步的，数据传输模块包括相互连接的编码模块和解码模块；编码模块分别与分割模块和存储模块连接，解码模块与接收检测模块连接；编码模块用于接收分割模块发送的多个分割数据单元，对多个分割数据单元进行编码处理，得到多个编码后的分割数据单元，将多个编码后的分割数据单元发送至解码模块；解码模块用于对多个编码后的分割数据单元进行解码处理，得到多个分割数据单元，将多个分割数据单元发送至接收检测模块。编码模块还用于接收存储模块发送的丢失的分割数据单元，对丢失的分割数据单元进行编码处理，得到编码后的丢失的分割数据单元，将编码后的丢失的分割数据单元发送至解码模块；解码模块还用于对编码后的丢失的分割数据单元进行解码处理，得到丢失的分割数据单元，将丢失的分割数据单元发送至接收检测模块。
进一步的，系统还包括反馈模块；接收检测模块通过反馈模块与存储模块连接；接收检测模块还用于如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，通过反馈模块将发送请求发送至存储模块，以从存储模块中查询丢失的分割数据单元。
进一步的，接收检测模块还用于如果不存在丢失的分割数据单元，生成删除指令，通过反馈模块将删除指令发送至存储模块，以指示存储模块删除所存储的多个分割数据单元。
本发明提供的一种数据处理方法，方法包括：分割模块接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块发送至接收检测模块；还将多个分割数据单元保存至存储模块；接收检测模块对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，并通过数据传输模块接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。
进一步的，方法还包括：编辑模块接收分割模块输出的多个分割数据单元，对多个分割数据单元进行编辑处理，输出多个编辑后的分割数据单元；将多个编辑后的分割数据单元的保存至存储模块；其中，每个编辑后的分割数据单元携带有与该编辑后的分割数据单元对应的标识信息。
本发明提供的数据处理系统和方法，分割模块用于接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块发送至接收检测模块；还用于将多个分割数据单元保存至存储模块；接收检测模块用于对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，并通过数据传输模块接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。该系统通过分割模块对待处理数据进行分割处理，可以使每次传输的数据流较小，保证了数据传输的连续性，提高了抗丢包性能；通过接收检测模块对数据拼接结果进行检测，可以及时发现丢失的分割数据单元，并从存储模块中快速查询到该丢失的分割数据单元并传输，由于只需要对丢失的分割数据单元进行再次传输，从而缩短了延时时间。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理系统的结构示意图；
图2为本发明实施例提供的另一种数据处理系统的结构示意图；
图3为本发明实施例提供的一种数据处理方法的流程图；
图4为本发明实施例提供的另一种数据处理方法的流程图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，相关技术在无线信道下存在一些抗丢包技术，但普遍存在延时时间较长，抗丢包能力较差的问题，基于此，本发明实施例提供了一种数据处理系统和方法，该技术可以应用于对数据进行传输的应用中，尤其可以应用于无线信道数据传输的应用中。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据处理系统进行详细介绍；如图1所示，该系统包括：依次串联连接的分割模块10、数据传输模块11和接收检测模块12；分割模块10、数据传输模块11和接收检测模块12还分别与存储模块13连接；分割模块10用于接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块11发送至接收检测模块12；还用于将多个分割数据单元保存至存储模块13；接收检测模块12用于对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块13中查询丢失的分割数据单元，并通过数据传输模块11接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。
上述待处理数据可以是连续的音频数据，也可以是连续的图像数据，即视频数据等；上述预设方式可以根据实际需求预先进行设置，比如，该预设方式可以是预设时间长度的方式、预设内存大小的方式或预设数量的连续帧的方式等；上述分割后的多个分割数据单元通常是等量数据单元，即分割后的每个分割数据单元的时长相同、内存大小相同或帧数量相同等，可以是等量音频数据单元或等量图像数据单元等。
在实际实现时，分割模块10可以接收待处理数据，对待处理数据进行识别，以确定与该待处理数据相匹配的预设方式，按该预设方式将待处理数据分割为多个分割数据单元，具体实现时，该分割模块10可以为复制模块，对原始的待处理数据按照分割数据单元完全复制，得到多个分割数据单元，再将原始的待处理数据删除。上述存储模块13可以是一临时存储空间，通常分割模块10的输出端与该存储模块13连接，分割模块10输出的分割后的多个分割数据单元可以备份至该存储模块13。
上述接收检测模块12可以是音视频处理端，可以识别音频的质量和视频的质量，该接收检测模块12可以采用现有技术实现，在此不作赘述；接收检测模块12按时间轴的顺序，对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果；比如，可以对多个音频数据单元进行拼接，得到完整的组合音频段，或者，可以对多个图像数据单元进行拼接，得到连续的组合图像数据。该接收检测模块12还可以根据数据拼接结果判断是否存在丢失的分割数据单元，比如，如果数据拼接结果为组合音频段，可以判断该组合音频段是否存在干扰或不稳定频率的问题，或相邻两个音频数据单元的连接处是否存在不连续或不完整的问题，如果存在，可以认为该组合音频段存在丢失的分割数据单元；如果数据拼接结果为组合图像数据，可以判断该组合图像数据是否存在连接处马赛克或过渡不平顺的问题，如果存在，可以认为该组合图像数据存在丢失的分割数据单元。
如果经判断确认存在丢失的分割数据单元，则接收检测模块12可以记录该丢失的分割数据单元，并向存储模块13发送针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，该存储模块13将查询到的丢失的分割数据单元发送至数据传输模块11，以通过该数据传输模块11将该丢失的分割数据单元发送至接收检测模块12，接收检测模块12接收到该丢失的分割数据单元后，可以根据该丢失的分割数据单元更新上述数据拼接结果，更新后的数据拼接结果通常不会存在干扰、不稳定频率问题，或者连接处马赛克或过渡不平顺等问题。
上述数据处理系统，分割模块用于接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块发送至接收检测模块；还用于将多个分割数据单元保存至存储模块；接收检测模块用于对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，并通过数据传输模块接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。该系统通过分割模块对待处理数据进行分割处理，可以使每次传输的数据流较小，保证了数据传输的连续性，提高了抗丢包性能；通过接收检测模块对数据拼接结果进行检测，可以及时发现丢失的分割数据单元，并从存储模块中快速查询到该丢失的分割数据单元并传输，由于只需要对丢失的分割数据单元进行再次传输，从而缩短了延时时间。
进一步的，待处理数据包括音频数据或图像数据；如果待处理数据为音频数据，预设方式包括：预设时间长度的方式或预设内存大小的方式；如果待处理数据为图像数据，预设方式包括：预设数量的连续帧的方式。
上述预设时间长度、预设内存大小、预设数量的连续帧均可以根据实际需求进行设置；如果待处理数据为连续的音频数据，分割模块可以将连续的音频数据分割为定长音频段，得到等量音频数据单元，具体可以包括以下两种方式：方式一，将连续的音频数据按照预设时间长度进行分段，并在分段点处标记，可以节选复制两个分段点之间的音频数据得到等量音频数据单元；方式二，将连续的音频数据按照预设内存大小并沿着时间轴划分分段点，可以节选复制两个分段点之间的音频数据得到等量音频数据单元。如果待处理数据为连续的图像数据时，分割模块将图像数据按预设数量的连续帧的方式进行分割，得到等量图像数据单元。比如，分割模块对待处理数据的数据链长度、帧数进行检测，且预先对分割模块设定分割方式，例如，将音频数据按照每100-200个字符分割为一个定长音频段，将图像数据按照每1-3帧分割为等量图像数据单元；再比如，如果设定每连续三帧图像作为一个等量图像数据单元，可以按照每连续三帧图像对待处理的连续的图像数据进行分割，或将每连续三帧图像复制即得到等量图像数据单元。
进一步的，参见图2所示的另一种数据处理系统的结构示意图，该系统还包括编辑模块14；分割模块10通过编辑模块14与存储模块13连接；编辑模块14用于接收分割模块10输出的多个分割数据单元，对多个分割数据单元进行编辑处理，输出多个编辑后的分割数据单元；将多个编辑后的分割数据单元保存至存储模块13；其中，每个编辑后的分割数据单元携带有与该编辑后的分割数据单元对应的标识信息。
该编辑模块可以对接收到的多个分割数据单元进行压缩编辑，为每个分割数据单元设置各自对应的唯一标识信息，得到每个分割数据单元对应的具有唯一识别身份的暂存等量数据单元，即上述编辑后的分割数据单元，将多个编辑后的分割数据单元保存至存储模块中。
具体的，上述标识信息包括以下至少一种：字母和数字。该标识信息可以是类似汽车牌号、身份证号等的信息，比如，可以是字母、数字或者字母与数字的组合等，具体可以根据实际需求进行设置，在此不作限定；该标识信息与编辑后的分割数据单元具有一一对应关系，当出现丢包情况时，可以根据该标识信息快速、准确地查询相应的分割数据单元。
进一步的，相邻两个分割数据单元之间存在至少一部分重叠区域；重叠区域用于：指示相邻两个分割数据单元的拼接位置。
在实际实现时，分割后的多个分割数据单元之间的边界通常有一部分重叠区域，在对相邻两个分割数据单元进行拼接时，重叠区域重合，将一个分割数据单元的重叠区域保留即可，另一个分割数据单元的重叠区域被替换。通过设置重叠区域，可以保证较好的音频或视频过渡效果。比如，分割模块切割得到的连续的两个定长音频段之间首尾存在重叠部分，接收检测模块获取到两个定长音频段后，将两个定长音频段之间的重叠部分删减一处、保留另一处即可，将两个定长音频段连接为完整的组合音频段。
进一步的，如图2所示，数据传输模块11包括相互连接的编码模块110和解码模块111；编码模块14分别与分割模块10和存储模块13连接，解码模块111与接收检测模块12连接；编码模块110用于接收分割模块10发送的多个分割数据单元，对多个分割数据单元进行编码处理，得到多个编码后的分割数据单元，将多个编码后的分割数据单元发送至解码模块111；解码模块111用于对多个编码后的分割数据单元进行解码处理，得到多个分割数据单元，将多个分割数据单元发送至接收检测模块12。
编码模块还用于接收存储模块发送的丢失的分割数据单元，对丢失的分割数据单元进行编码处理，得到编码后的丢失的分割数据单元，将编码后的丢失的分割数据单元发送至解码模块；解码模块还用于对编码后的丢失的分割数据单元进行解码处理，得到丢失的分割数据单元，将丢失的分割数据单元发送至接收检测模块。
在实际实现时，分割模块的输出端与编码模块、解码模块依次串联，通过对分割模块输出的多个分割数据单元进行编码、解码，可以实现传输过程的快速传输作用；解码模块的输出端与接收检测模块连接，分割模块、接收检测模块之间的编码模块、解码模块及传输数据线形成主控通信信道。存储模块的输出端与编码模块、解码模块依次串联，通过对存储模块输出的丢失的分割数据单元进行编码、解码，可以实现传输过程的快速传输作用。
进一步的，如图2所示，系统还包括反馈模块15；接收检测模块12通过反馈模块15与存储模块13连接；接收检测模块12还用于如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，通过反馈模块15将发送请求发送至存储模块13，以从存储模块13中查询丢失的分割数据单元。
在实际实现时，如果接收检测模块根据数据拼接结果判断存在丢失的分割数据单元，则接收检测模块可以将存在丢包情况的信息反馈至反馈模块，具体可以生成针对丢失的分割数据单元的发送请求，将该发送请求发送至反馈模块，反馈模块与存储模块建立连接并将该发送请求发送至存储模块，以命令存储模块查询丢失的分割数据单元，并将丢失的分割数据单元通过编码模块和解码模块再次发送至接收检测模块。
进一步的，接收检测模块还用于如果不存在丢失的分割数据单元，生成删除指令，通过反馈模块将删除指令发送至存储模块，以指示存储模块删除所存储的多个分割数据单元。
在实际实现时，如果接收检测模块根据数据拼接结果确认不存在丢失的分割数据单元，表示该数据拼接结果是连贯的、完整的、不存在干扰的，此时可以生成删除指令，并通过反馈模块将该删除指令发送至存储模块，将存储模块中所存储的多个分割数据单元删除，以减少空间占有，同时可以结束数据处理操作。
本发明实施例还提供了一种数据处理方法，如图3所示，该方法包括如下步骤：
步骤S302，分割模块接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块发送至接收检测模块；还将多个分割数据单元保存至存储模块。
步骤S304，接收检测模块对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，并通过数据传输模块接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。
上述数据处理方法，通过分割模块对待处理数据进行分割处理，可以使每次传输的数据流较小，保证了数据传输的连续性，提高了抗丢包性能；通过接收检测模块对数据拼接结果进行检测，可以及时发现丢失的分割数据单元，并从存储模块中快速查询到该丢失的分割数据单元并传输，由于只需要对丢失的分割数据单元进行再次传输，从而缩短了延时时间。
本发明实施例还提供了另一种数据处理方法，该方法在上述实施例方法的基础上实现，如图4所示，方法包括如下步骤：
步骤S402，分割模块接收待处理数据，对待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个分割数据单元通过数据传输模块发送至接收检测模块。
步骤S404，接收检测模块对接收到的多个分割数据单元进行拼接处理，得到数据拼接结果，根据数据拼接结果判断是否存在丢失的分割数据单元，如果存在丢失的分割数据单元，生成针对丢失的分割数据单元的发送请求，以从存储模块中查询丢失的分割数据单元，并通过数据传输模块接收查询到的丢失的分割数据单元，基于接收到的丢失的分割数据单元更新数据拼接结果。
步骤S406，编辑模块接收分割模块输出的多个分割数据单元，对多个分割数据单元进行编辑处理，输出多个编辑后的分割数据单元；将多个编辑后的分割数据单元的保存至存储模块；其中，每个编辑后的分割数据单元携带有与该编辑后的分割数据单元对应的标识信息。
上述数据处理方法，采用对待处理数据进行多段或者多帧分割的方式，使得每次传输的数据流较小，能够保证传输的连续性；在处理丢包情况时，能够采用分割后的等量数据单元传输，通过临时存储空间快速查询等量数据单元，优化延时，对传输的待处理数据进行接收并检测，能够及时发现丢包情况，及时补充，且补充的等量数据单元并非完整的待处理数据，因而降低传输占用的空间，提高传输效率。
本发明实施例还提供了一种电子设备，参见图5所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述数据处理方法。
进一步地，图5所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。
其中，存储器131可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据处理方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的数据处理系统和方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种数据处理系统，其特征在于，所述系统包括：依次串联连接的分割模块、数据传输模块和接收检测模块；所述分割模块、所述数据传输模块和所述接收检测模块还分别与存储模块连接；
所述分割模块用于接收待处理数据，对所述待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个所述分割数据单元通过所述数据传输模块发送至所述接收检测模块；还用于将多个所述分割数据单元保存至所述存储模块；
所述接收检测模块用于对接收到的多个所述分割数据单元进行拼接处理，得到数据拼接结果，根据所述数据拼接结果判断是否存在丢失的分割数据单元，如果存在所述丢失的分割数据单元，生成针对所述丢失的分割数据单元的发送请求，以从所述存储模块中查询所述丢失的分割数据单元，并通过所述数据传输模块接收查询到的所述丢失的分割数据单元，基于接收到的所述丢失的分割数据单元更新所述数据拼接结果。
2.根据权利要求1所述的系统，其特征在于，所述待处理数据包括音频数据或图像数据；
如果所述待处理数据为所述音频数据，所述预设方式包括：预设时间长度的方式或预设内存大小的方式；
如果所述待处理数据为所述图像数据，所述预设方式包括：预设数量的连续帧的方式。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括编辑模块；所述分割模块通过所述编辑模块与所述存储模块连接；
所述编辑模块用于接收所述分割模块输出的多个所述分割数据单元，对多个所述分割数据单元进行编辑处理，输出多个编辑后的分割数据单元；将多个所述编辑后的分割数据单元保存至所述存储模块；其中，每个所述编辑后的分割数据单元携带有与该编辑后的分割数据单元对应的标识信息。
4.根据权利要求3所述的系统，其特征在于，所述标识信息包括以下至少一种：字母和数字。
5.根据权利要求1所述的系统，其特征在于，相邻两个分割数据单元之间存在至少一部分重叠区域；所述重叠区域用于：指示所述相邻两个分割数据单元的拼接位置。
6.根据权利要求1所述的系统，其特征在于，所述数据传输模块包括相互连接的编码模块和解码模块；所述编码模块分别与所述分割模块和所述存储模块连接，所述解码模块与所述接收检测模块连接；
所述编码模块用于接收所述分割模块发送的多个所述分割数据单元，对多个所述分割数据单元进行编码处理，得到多个编码后的分割数据单元，将多个所述编码后的分割数据单元发送至所述解码模块；所述解码模块用于对多个所述编码后的分割数据单元进行解码处理，得到多个所述分割数据单元，将多个所述分割数据单元发送至所述接收检测模块；
所述编码模块还用于接收所述存储模块发送的丢失的分割数据单元，对所述丢失的分割数据单元进行编码处理，得到编码后的丢失的分割数据单元，将所述编码后的丢失的分割数据单元发送至所述解码模块；所述解码模块还用于对所述编码后的丢失的分割数据单元进行解码处理，得到所述丢失的分割数据单元，将所述丢失的分割数据单元发送至所述接收检测模块。
7.根据权利要求1所述的系统，其特征在于，所述系统还包括反馈模块；所述接收检测模块通过所述反馈模块与所述存储模块连接；
所述接收检测模块还用于如果存在所述丢失的分割数据单元，生成针对所述丢失的分割数据单元的发送请求，通过所述反馈模块将所述发送请求发送至所述存储模块，以从所述存储模块中查询所述丢失的分割数据单元。
8.根据权利要求7所述的系统，其特征在于，所述接收检测模块还用于如果不存在所述丢失的分割数据单元，生成删除指令，通过所述反馈模块将所述删除指令发送至所述存储模块，以指示所述存储模块删除所存储的多个所述分割数据单元。
9.一种数据处理方法，其特征在于，所述方法包括：
分割模块接收待处理数据，对所述待处理数据按预设方式进行分割处理，得到分割后的多个分割数据单元，将多个所述分割数据单元通过数据传输模块发送至接收检测模块；还将多个所述分割数据单元保存至存储模块；
所述接收检测模块对接收到的多个所述分割数据单元进行拼接处理，得到数据拼接结果，根据所述数据拼接结果判断是否存在丢失的分割数据单元，如果存在所述丢失的分割数据单元，生成针对所述丢失的分割数据单元的发送请求，以从所述存储模块中查询所述丢失的分割数据单元，并通过所述数据传输模块接收查询到的所述丢失的分割数据单元，基于接收到的所述丢失的分割数据单元更新所述数据拼接结果。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
编辑模块接收所述分割模块输出的多个所述分割数据单元，对多个所述分割数据单元进行编辑处理，输出多个编辑后的分割数据单元；将多个所述编辑后的分割数据单元的保存至所述存储模块；其中，每个所述编辑后的分割数据单元携带有与该编辑后的分割数据单元对应的标识信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111543410.7A CN114257349A (zh) | 2021-12-16 | 2021-12-16 | 数据处理系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111543410.7A CN114257349A (zh) | 2021-12-16 | 2021-12-16 | 数据处理系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114257349A true CN114257349A (zh) | 2022-03-29 |
Family
ID=80795363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111543410.7A Pending CN114257349A (zh) | 2021-12-16 | 2021-12-16 | 数据处理系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114257349A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245317A (zh) * | 2015-10-20 | 2016-01-13 | 北京小鸟听听科技有限公司 | 一种数据传输方法、发送端、接收端和数据传输系统 |
| CN106209915A (zh) * | 2016-08-31 | 2016-12-07 | 深圳聚点互动科技有限公司 | 一种实时流媒体无线传输方法及其系统 |
| CN107147481A (zh) * | 2017-07-19 | 2017-09-08 | 北京数码视讯科技股份有限公司 | 丢包重传方法、装置及电子设备 |
| CN109840052A (zh) * | 2019-01-31 | 2019-06-04 | 成都超有爱科技有限公司 | 一种音频处理方法、装置、电子设备及存储介质 |
| CN111245748A (zh) * | 2020-01-03 | 2020-06-05 | 北京明略软件系统有限公司 | 文件传输方法及装置、系统、电子设备、存储介质 |
| CN112884775A (zh) * | 2021-01-20 | 2021-06-01 | 推想医疗科技股份有限公司 | 一种分割方法、装置、设备及介质 |
| CN113489575A (zh) * | 2021-06-25 | 2021-10-08 | 阿波罗智联(北京)科技有限公司 | 一种数据传输方法、装置及电子设备 |
| CN113630597A (zh) * | 2021-08-19 | 2021-11-09 | 随锐科技集团股份有限公司 | 一种与编解码无关的视频抗丢包的方法和系统 |
| CN113660302A (zh) * | 2021-06-30 | 2021-11-16 | 谭晓莉 | 一种工业互联网平台监测数据传输交换方法和系统 |
| CN113781512A (zh) * | 2021-09-13 | 2021-12-10 | 广州极飞科技股份有限公司 | 图像边界识别方法、装置、设备、系统和存储介质 |
-
2021
- 2021-12-16 CN CN202111543410.7A patent/CN114257349A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245317A (zh) * | 2015-10-20 | 2016-01-13 | 北京小鸟听听科技有限公司 | 一种数据传输方法、发送端、接收端和数据传输系统 |
| CN106209915A (zh) * | 2016-08-31 | 2016-12-07 | 深圳聚点互动科技有限公司 | 一种实时流媒体无线传输方法及其系统 |
| CN107147481A (zh) * | 2017-07-19 | 2017-09-08 | 北京数码视讯科技股份有限公司 | 丢包重传方法、装置及电子设备 |
| CN109840052A (zh) * | 2019-01-31 | 2019-06-04 | 成都超有爱科技有限公司 | 一种音频处理方法、装置、电子设备及存储介质 |
| CN111245748A (zh) * | 2020-01-03 | 2020-06-05 | 北京明略软件系统有限公司 | 文件传输方法及装置、系统、电子设备、存储介质 |
| CN112884775A (zh) * | 2021-01-20 | 2021-06-01 | 推想医疗科技股份有限公司 | 一种分割方法、装置、设备及介质 |
| CN113489575A (zh) * | 2021-06-25 | 2021-10-08 | 阿波罗智联(北京)科技有限公司 | 一种数据传输方法、装置及电子设备 |
| CN113660302A (zh) * | 2021-06-30 | 2021-11-16 | 谭晓莉 | 一种工业互联网平台监测数据传输交换方法和系统 |
| CN113630597A (zh) * | 2021-08-19 | 2021-11-09 | 随锐科技集团股份有限公司 | 一种与编解码无关的视频抗丢包的方法和系统 |
| CN113781512A (zh) * | 2021-09-13 | 2021-12-10 | 广州极飞科技股份有限公司 | 图像边界识别方法、装置、设备、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7487423B2 (en) | Decoding method, medium, and apparatus | |
| CN1223134C (zh) | 对无线信道上的信头解码的方法和系统 | |
| US7152198B2 (en) | Encoding/decoding device and encoding/decoding method | |
| US8976902B2 (en) | Method and apparatus for transmitting and receiving control information in a broadcasting/communication system | |
| KR100612481B1 (ko) | 데이터 프레임 형태의 데이터 전송시 프레임 에러 레이트를 줄이는 방법 | |
| EP0540007A2 (en) | Method and apparatus for transmitting data blocks with parity and synchronizing blocks | |
| CN111262876B (zh) | 基于区块链的数据处理方法、装置、设备以及存储介质 | |
| CN110113306B (zh) | 分发数据的方法和网络设备 | |
| US20050152459A1 (en) | Decoding method and decoding apparatus | |
| CN114257349A (zh) | 数据处理系统和方法 | |
| US5715260A (en) | Method and apparatus for providing a variable reset interval in a transmission system for encoded data | |
| CN112465515B (zh) | 一种区块链的共识方法、共识节点及电子设备 | |
| FI991605A (fi) | Menetelmä puhekodaukseen ja puhekoodaukseen tarvittavan laskentakapasi teetin vähentämiseksi ja verkkoelementti | |
| KR100229264B1 (ko) | 프레임 구성의 디지탈 신호의 데이터 에러 정정 방법 및 그 방법에 이용하는 장치 | |
| CN113259694A (zh) | 数据切片方法、装置和电子设备 | |
| JPH11177527A (ja) | Ｃｄｍａ用データ伝送方法及び装置 | |
| CN110581995A (zh) | 一种视频处理的方法及装置 | |
| US5768314A (en) | Communications system | |
| CN113314128B (zh) | 语音业务迟后接入方法、装置、系统及相关产品 | |
| CN110620635A (zh) | 解码方法、设备及可读存储介质 | |
| RU2711354C1 (ru) | Способ передачи данных по асинхронным сетям связи с возможностью восстановления данных при их потере из-за наличия ошибок соединения в сетях связи | |
| CN109104649B (zh) | 一种分割低osnr光通道的方法及系统 | |
| JP2652398B2 (ja) | データ伝送方法 | |
| CN112312476A (zh) | 一种业务传输方法、装置及计算机可读存储介质 | |
| US7702988B2 (en) | Systems and methods for message encoding and decoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |