CN113688108A - 数据处理方法及相关设备 - Google Patents
数据处理方法及相关设备 Download PDFInfo
- Publication number
- CN113688108A CN113688108A CN202110812006.9A CN202110812006A CN113688108A CN 113688108 A CN113688108 A CN 113688108A CN 202110812006 A CN202110812006 A CN 202110812006A CN 113688108 A CN113688108 A CN 113688108A
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- target
- processing
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000007906 compression Methods 0.000 claims abstract description 67
- 230000006835 compression Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013144 data compression Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明实施例公开一种数据处理方法、数据处理装置、设备及计算机存储介质，该方法包括：获取待处理数据；将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。通过本申请实施例，通过将待处理数据输入至压缩模型中进行处理，得到目标压缩数据。其中，该压缩模型是通过对任意不同数据进行学习得到的，使得可以基于任意数据均可以进行压缩。采用该手段，可以有助于提高数据处理的效率。
Description
技术领域
本发明涉及压缩技术领域，尤其涉及一种数据处理方法、数据处理装置、设备及计算机存储介质。
背景技术
现有技术中的压缩技术利用经典信息理论提供的算法。例如，无损压缩是采用在文件中查找和删除数据冗余的结果。经典的压缩算法，甚至是如利用人工智能和机器语言的新算法，都关注冗余。冗余度越高，压缩比越好。
例如，Huffman和Run-Length算法倾向于寻找纯冗余，这意味着它们倾向于发现一段数据(即文本的一个字符)，并在更大的数据块中找到尽可能多的完全相同的副本。这些算法在一定程度上表现良好，但它们已经发展到压缩的瓶颈，所有这些算法都是基于现有的冗余来执行的，仅依赖于现有的冗余和对小数据块的执行限制了传统压缩算法的性能，现有技术并没有提供一种较优的方式来结合历史经验更进一步提高数据处理的效率。
发明内容
本发明实施例提供了一种数据处理方法、数据处理装置、设备及计算机存储介质，可以有助于提高数据处理的效率。
第一方面，本发明实施例提供了一种数据压缩方法，包括：
获取待处理数据；
将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
作为一种可选的实现方式，所述将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，包括：
获取所述待处理数据的类型；
获取与所述待处理数据的类型对应的压缩算法；
根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据。
作为一种可选的实现方式，当所述待处理数据的类型为第一数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条得到所述目标压缩数据。
作为一种可选的实现方式，当所述待处理数据的类型为第二数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
将所述待处理数据按照预设位数进行分割，得到三个数据块；
根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
根据所述目标图形得到所述目标压缩数据。
作为一种可选的实现方式，当所述待处理数据的类型为第三数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
对所述待处理数据进行去重处理，得到处理后的数据；
获取所述去重的总个数，并将所述处理后的数据按照与该去重的总个数对应的算法进行处理，得到所述目标压缩数据。
作为一种可选的实现方式，获取待处理数据；将所述待处理数据转换为二进制数据，并进行平均分割；该分割的单位可以是两位一分割，也可以是三位一分割等，然后将分割后的数据，与映射表进行对应，以获得每个数据的映射数据；根据每个数据的映射数据进而得到压缩后的数据。
例如，100100，分割为10,01,00。预设映射表为10对应X，01对应Y，00对应Z，则处理后的压缩数据为XYZ。或者，在该处理的基础上，结合前述实施例进行继续处理，以得到最终的压缩数据等。
第二方面，本发明实施例提供了一种数据压缩装置，包括：
获取模块，用于获取待处理数据；
处理模块，用于将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
其中，当所述待处理数据的类型为第一数据时，所述处理模块，用于：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条得到所述目标压缩数据。
当所述待处理数据的类型为第二数据时，所述处理模块，用于：
将所述待处理数据按照预设位数进行分割，得到三个数据块；
根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
根据所述目标图形得到所述目标压缩数据。
第三方面，本发明实施例提供了一种数据处理设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行所述的数据处理方法。
第四方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行所述的数据处理方法。
通过本申请实施例，通过将待处理数据输入至压缩模型中进行处理，得到目标压缩数据。其中，该压缩模型是通过对任意不同数据进行学习得到的，使得可以基于任意数据均可以进行压缩。采用该手段，可以有助于提高数据处理的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图；
图2是本发明实施例提供的又一种数据处理方法的流程示意图；
图3是本发明实施例提供的一种数据处理装置的结构示意图；
图4是本发明实施例提供的一种数据处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应当理解，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本发明所描述的实施例可以与其它实施例相结合。
请参见图1，图1是本发明实施例提供的一种数据处理方法的流程示意图。如图1所示，其包括步骤101-102，具体如下：
101、获取待处理数据；
该待处理数据可以是任意形式的数据，如可以是二进制数据，十六进制数据等等，本方案对此不做具体限定。
优选的，该待处理数据可以是用于进行压缩处理的数据。如可以是视频数据、图像数据等。
102、将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
其中，该压缩模型是基于对不同数据进行机器学习，而实现基于随机的数据均可以进行压缩。
该压缩模型可以每次生成唯一的非重复的随机数据块。
作为一种可选的实现方式，上述将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，包括：
对待处理数据进行数据转换处理，得到处理后的数据；
获取与所述处理后的数据对应的压缩算法；
根据所述压缩算法对所述处理后的数据进行处理，得到所述目标压缩数据。
作为一种可选的实现方式，上述将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，包括：
获取所述待处理数据的类型；
获取与所述待处理数据的类型对应的压缩算法；
根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据。
上述待处理数据的类型可以是二进制、十进制、十六进制，或者预设位数、不存在任意重复数字等等。
优选的，可以将待压缩数据转换为二进制等数据，进而进行处理。
作为一种可选的实现方式，当所述待处理数据的类型为第一数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条或目标线条的系数得到所述目标压缩数据。
其中，该目标线条中的上述点均具有标识，例如目标线条中保存有该各个点，突出显示这些点，且将不在线条上的点的信息也保存记录下来。
具体地，将所述待处理数据按照预设位数进行分割，得到K个数据块；根据所述K个数据块得到预设坐标系中的K个点；对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，且在线条上标记该K’个点，其他不在线条上的点则在坐标系中分别对应的位置进行标记，然后保存上述信息，以作为该数据的压缩处理后的数据。
其中，当以系数作为最后的目标压缩数据时，与该系数对应的线条以及所有点均进行保存。
当然，还可以采用其他处理，本方案对此不做具体限定。
上述第一数据可以是二进制数据或者不存在任意重复数字的数据等，其还可以是其他形式，本方案对此不做具体限定。
其中，上述按照预设位数进行分割，可以是按照每两位进行分割，或者每三位进行分割等，还可以以其他形式进行分割，本方案对此不做具体限定。
上述根据所述K个数据块得到预设坐标系中的K个点，例如当按照每两位进行分割时，可以按照从前到后的顺序，得到对应x，y的点的坐标。
例如，1001110111，其进行分割可得到10，01，11，01，11。将10作为点(1,0)，将01作为点(0,1)，将11作为点(1,1)。以此类推，可得到K个点。
可选的，当该分割为均匀分割，分割最后不满足预设位数时，可以填充0来进行处理，或者以其他字母等进行填充等，也可以不做任何处理等。
上述对所述K个点进行处理，得到目标线条。作为一种可选的实现方式，可以基于该K个点拟合得到一条直线或者曲线等。其中，该线条上优选的包含至少K’个点。
或者，直接有该各点组成该线条，按照先后顺序组成一条有向曲线等。上述每个点均标注在该曲线上。
上述仅以一种形式为例进行说明，其还可以是其他形式，本方案对此不作具体限定。
其中，根据所述目标线条的系数得到所述目标压缩数据。也就是说，基于该线条的系数得到目标压缩数据。
例如，该线条可表示为y＝3x3+4x2-x+5，则其系数为(3,4，-1,5)，将该系数作为最后压缩得到的数据，此时，需保存与该系数对应的曲线，点等，如可以设置不同的曲线对应不同的标识等，或者标签等。还可以是将该系数进行相应处理进而得到目标压缩数据等。
当然，也可以将该曲线作为目标压缩数据等，本方案对此不做具体限定。
作为另一种可选的实现方式，当所述待处理数据的类型为第三数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
对所述待处理数据进行去重处理，得到处理后的数据；
获取所述去重的总个数，并将所述处理后的数据按照与该去重的总个数对应的算法进行处理，得到所述目标压缩数据。
其中，预设不同的去重总个数与不同的压缩算法之间的对应关系，进而基于不同的去重总个数获取对应的算法。
可选的，对于101101001，其最多可去重3组，通过进行去重处理得到X1XX01。设定10对应X，该X可以是任意预设的数字。如可以是2。则当去重总个数为3时，根据所述去重后数据212201对应的算法进行处理。例如该对应的算法是将该数据除以3，则得到70733，余数为2。可以将70733以及余数进行处理得到目标数据。通过基于不同的重复字对应的不同标识，来简化处理该数据。上述10对应X，X可以是2，以及去重个数、所选择的如除法算法等可以是基于预设算法获取到的对应的映射等，或者，也可以进一步其他处理，本方案对此不做具体限定。
上述仅为一种示例，其还可以是其他形式，本方案对此不做具体限定。
通过本申请实施例，通过将待处理数据输入至压缩模型中进行处理，得到目标压缩数据。其中，该压缩模型是通过对任意不同数据进行学习得到的，使得可以基于任意数据均可以进行压缩。采用该手段，可以有助于提高数据处理的效率。
请参见图2，是本发明实施例提供的又一种数据处理方法的流程示意图。其包括步骤201-205，具体如下：
201、获取待处理数据；
可选的，该待处理数据的类型为第二数据。该第二数据可以是与第一数据类型一样，也可以不一样。
如，该第二数据可以是超出预设位数的二进制数据等。
202、将所述待处理数据按照预设位数进行分割，得到三个数据块；
上述按照预设位数进行分割，可以是将待处理数据的位数进行均分三份，其中，若有缺失，可以在头部或者尾部进行补充等。
其还可以是以其他形式进行分割，如非均分等。
203、根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
上述根据三个数据块得到三条线段，可以是基于每个数据块中对应的点的坐标来得到线段。如第一个数据块对应6位，则可以将其看作三个二维坐标系的点，或者两个三维坐标系的点等。然后基于该多个点得到一条初始线段。如可以进行拟合处理，或者其他处理等。
通过将三个数据块均进行上述处理，得到三条初始线段。
进一步地，判断该三条初始线段中是否任意两条线段的长度之和大于第三条线段的长度。
若满足，则将上述该三条初始线段确定为上述得到的三条线段。
若不满足，则对该三条初始线段进行处理，使得任意两条线段的长度之和大于第三条线段的长度。
该处理可以是对某条线段进行延长或者缩短等处理。上述仅为一种示例，本方案对此不做具体限定。
可选的，当该三条初始线段不满足任意两条线段的长度之和大于第三条线段的长度时，可以将所述待处理数据进行分割，得到四个数据块，根据所述四个数据块得到四条线段，进而根据该四条线段得到目标图形等。该目标图形可以是四边形等。
204、对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
其中，可将该三条线段组成三角形。
可选的，可以以待处理数据对应的十进制数据作为横坐标，0作为纵坐标，基于该点作为一个顶点，然后将三角形置于该坐标系中。进一步地，该三角形的一条边与该顶点所在的x轴平行。其中，可通过平移等处理使得其组成三角形，其中，所做的平移等可保存对应的边的平移距离、方向等信息。
上述仅为一种示例，其还可以是其他形式，本方案对此不做具体限定。
205、根据所述目标图形中的顶点的坐标得到所述目标压缩数据。
基于该图形的各个顶点可得到压缩数据。其中，可以顺时针进行获取各个顶点的坐标，也可以逆时针等。其中，该顶点对应的图形以及图形中标识的点，以及移动信息等均作为所述压缩数据对应的信息。
优选的，以临近原点的顶点为起始点进行获取。
通过本申请实施例，通过将待处理数据按照预设位数进行分割，得到三个数据块，根据所述三个数据块得到目标图形，进而基于该图形得到压缩数据。采用该手段，可以提高数据处理的效率。
基于上述数据处理方法实施例的描述，本发明实施例还公开了一种数据处理装置，参考图3，图3是本发明实施例提供的一种数据处理装置的结构示意图，所述数据处理装置包括获取模块301和处理模块302，其中：
获取模块301，用于获取待处理数据；
处理模块302，用于将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
其中，当所述待处理数据的类型为第一数据时，所述处理模块302，用于：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条的系数得到所述目标压缩数据。
当所述待处理数据的类型为第二数据时，所述处理模块302，用于：
将所述待处理数据按照预设位数进行分割，得到三个数据块；
根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
根据所述目标图形中的顶点的坐标得到所述目标压缩数据。
值得指出的是，其中，数据处理装置的具体功能实现方式可以参见上述数据处理方法的描述，这里不再进行赘述。数据处理装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成，或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的，在实际应用中，一个单元(或模块)的功能也可以由多个单元(或模块)来实现，或者多个单元(或模块)的功能由一个单元(或模块)实现。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种数据处理设备。
请参见图4，是本发明实施例提供的一种数据处理设备的结构示意图。如图4所示，上述的数据处理装置可以应用于所述数据处理设备，所述数据处理设备400可以包括：处理器401，网络接口404和存储器405，此外，所述数据处理设备400还可以包括：用户接口403，和至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，用户接口403可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口403还可以包括标准的有线接口、无线接口。网络接口404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器405可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示，作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图4所示的数据处理设备400中，网络接口404可提供网络通讯功能；而用户接口403主要用于为用户提供输入的接口；而处理器401可以用于调用存储器405中存储的设备控制应用程序，以实现：
获取待处理数据；
将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
在一个实施例中，所述处理器401在执行时，具体执行以下步骤：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条的系数得到所述目标压缩数据。
将所述待处理数据按照预设位数进行分割，得到三个数据块；
根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
根据所述目标图形中的顶点的坐标得到所述目标压缩数据。
应当理解，本发明实施例中所描述的数据处理设备400可执行前文所述数据处理方法，也可执行前文所述数据处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的数据处理装置所执行的计算机程序，且所述计算机程序包括程序指令，当处理器执行所述程序指令时，能够执行前文所述数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种数据压缩方法，其特征在于，包括：
获取待处理数据；
将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，包括：
获取所述待处理数据的类型；
获取与所述待处理数据的类型对应的压缩算法；
根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据。
3.根据权利要求2所述的方法，其特征在于，当所述待处理数据的类型为第一数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条得到所述目标压缩数据。
4.根据权利要求2或3所述的方法，其特征在于，当所述待处理数据的类型为第二数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
将所述待处理数据按照预设位数进行分割，得到三个数据块；
根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
根据所述目标图形得到所述目标压缩数据。
5.根据权利要求2或3或4所述的方法，其特征在于，当所述待处理数据的类型为第三数据时，所述根据所述压缩算法对所述待处理数据进行处理，得到所述目标压缩数据，包括：
对所述待处理数据进行去重处理，得到处理后的数据；
获取所述去重的总个数，并将所述处理后的数据按照与该去重的总个数对应的算法进行处理，得到所述目标压缩数据。
6.一种数据压缩装置，其特征在于，包括：
获取模块，用于获取待处理数据；
处理模块，用于将所述待处理数据输入至压缩模型中进行处理，得到目标压缩数据，其中，所述压缩模型是通过对任意不同数据进行学习得到的。
7.根据权利要求6所述的装置，其特征在于，当所述待处理数据的类型为第一数据时，所述处理模块，用于：
将所述待处理数据按照预设位数进行分割，得到K个数据块；
根据所述K个数据块得到预设坐标系中的K个点；
对所述K个点进行处理，得到目标线条，所述目标线条上至少包括所述K个点中的K’个，K’为不小于1的整数，且K’不大于K；
根据所述目标线条得到所述目标压缩数据。
8.根据权利要求7所述的装置，其特征在于，当所述待处理数据的类型为第二数据时，所述处理模块，用于：
将所述待处理数据按照预设位数进行分割，得到三个数据块；
根据所述三个数据块得到三条线段，其中，任意两条线段的长度之和大于第三条线段的长度；
对所述三条线段进行处理，得到位于预设坐标系中的目标图形；
根据所述目标图形得到所述目标压缩数据。
9.一种数据压缩设备，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-5任一项所述的数据压缩方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-5任一项所述的数据压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110812006.9A CN113688108B (zh) | 2021-07-16 | 2021-07-16 | 数据处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110812006.9A CN113688108B (zh) | 2021-07-16 | 2021-07-16 | 数据处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688108A true CN113688108A (zh) | 2021-11-23 |
| CN113688108B CN113688108B (zh) | 2024-07-23 |
Family
ID=78577293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110812006.9A Active CN113688108B (zh) | 2021-07-16 | 2021-07-16 | 数据处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688108B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0205751A2 (en) * | 1985-06-27 | 1986-12-30 | Netexpress Systems, Inc. | Method and apparatus for image data compression |
| JP2008299506A (ja) * | 2007-05-30 | 2008-12-11 | Asia Air Survey Co Ltd | 線図の圧縮処理プログラム及び閉図形の分割処理プログラム |
| RU2009104211A (ru) * | 2009-02-09 | 2010-08-20 | Сергей Борисович Муллов (RU) | Способ сжатия и восстановления данных без потерь |
| CN106844091A (zh) * | 2016-12-08 | 2017-06-13 | 深圳市金立通信设备有限公司 | 一种压缩、还原方法及终端 |
| CN107066401A (zh) * | 2016-12-30 | 2017-08-18 | 广东欧珀移动通信有限公司 | 一种基于移动终端架构的数据传输的方法及移动终端 |
| CN110196836A (zh) * | 2019-03-29 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 一种数据存储方法及装置 |
| US20190318016A1 (en) * | 2018-04-17 | 2019-10-17 | EMC IP Holding Company LLC | Concurrent computations operating on same data for cpu cache efficiency |
| CN110796582A (zh) * | 2019-09-26 | 2020-02-14 | 北京大学 | 一种基于矢量图形压缩的可逆明水印方法和装置 |
| CN111095187A (zh) * | 2017-09-12 | 2020-05-01 | 国际商业机器公司 | 磁带驱动器存储器去重复 |
| CN112052228A (zh) * | 2020-09-11 | 2020-12-08 | 赵小章 | 一种基于标准欧几里德空间与平面空间投影互为映射的二进制编码方法 |
| CN112422525A (zh) * | 2020-11-03 | 2021-02-26 | 珠海格力电器股份有限公司 | 一种故障数据传输方法、装置、设备及存储介质 |
| CN112486928A (zh) * | 2020-11-25 | 2021-03-12 | 上海中通吉网络技术有限公司 | 数据压缩方法、装置及终端 |
| CN112506879A (zh) * | 2020-12-18 | 2021-03-16 | 深圳智慧林网络科技有限公司 | 数据处理方法及相关设备 |
| CN112506880A (zh) * | 2020-12-18 | 2021-03-16 | 深圳智慧林网络科技有限公司 | 数据处理方法及相关设备 |
| CN112612762A (zh) * | 2020-12-18 | 2021-04-06 | 深圳智慧林网络科技有限公司 | 数据处理方法及相关设备 |
-
2021
- 2021-07-16 CN CN202110812006.9A patent/CN113688108B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0205751A2 (en) * | 1985-06-27 | 1986-12-30 | Netexpress Systems, Inc. | Method and apparatus for image data compression |
| JP2008299506A (ja) * | 2007-05-30 | 2008-12-11 | Asia Air Survey Co Ltd | 線図の圧縮処理プログラム及び閉図形の分割処理プログラム |
| RU2009104211A (ru) * | 2009-02-09 | 2010-08-20 | Сергей Борисович Муллов (RU) | Способ сжатия и восстановления данных без потерь |
| CN106844091A (zh) * | 2016-12-08 | 2017-06-13 | 深圳市金立通信设备有限公司 | 一种压缩、还原方法及终端 |
| CN107066401A (zh) * | 2016-12-30 | 2017-08-18 | 广东欧珀移动通信有限公司 | 一种基于移动终端架构的数据传输的方法及移动终端 |
| CN111095187A (zh) * | 2017-09-12 | 2020-05-01 | 国际商业机器公司 | 磁带驱动器存储器去重复 |
| US20190318016A1 (en) * | 2018-04-17 | 2019-10-17 | EMC IP Holding Company LLC | Concurrent computations operating on same data for cpu cache efficiency |
| CN110196836A (zh) * | 2019-03-29 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 一种数据存储方法及装置 |
| CN110796582A (zh) * | 2019-09-26 | 2020-02-14 | 北京大学 | 一种基于矢量图形压缩的可逆明水印方法和装置 |
| CN112052228A (zh) * | 2020-09-11 | 2020-12-08 | 赵小章 | 一种基于标准欧几里德空间与平面空间投影互为映射的二进制编码方法 |
| CN112422525A (zh) * | 2020-11-03 | 2021-02-26 | 珠海格力电器股份有限公司 | 一种故障数据传输方法、装置、设备及存储介质 |
| CN112486928A (zh) * | 2020-11-25 | 2021-03-12 | 上海中通吉网络技术有限公司 | 数据压缩方法、装置及终端 |
| CN112506879A (zh) * | 2020-12-18 | 2021-03-16 | 深圳智慧林网络科技有限公司 | 数据处理方法及相关设备 |
| CN112506880A (zh) * | 2020-12-18 | 2021-03-16 | 深圳智慧林网络科技有限公司 | 数据处理方法及相关设备 |
| CN112612762A (zh) * | 2020-12-18 | 2021-04-06 | 深圳智慧林网络科技有限公司 | 数据处理方法及相关设备 |
Non-Patent Citations (3)
| Title |
|---|
| EN-HUI YANG 等: "Efficient universal lossless data compression algorithms based on a greedy sequential grammar transform. I. Without context models", IEEE TRANSACTIONS ON INFORMATION THEORY, 31 May 2000 (2000-05-31), pages 755 * |
| WEN XIA 等: "Ddelta: A deduplication-inspired fast delta compression approach", PERFORMANCE EVALUATION, vol. 79, 30 September 2014 (2014-09-30), pages 258 - 272, XP093081331, DOI: 10.1016/j.peva.2014.07.016 * |
| 高海洋 等: "一种基于数据压缩的Apriori算法", 计算机工程与应用, 15 July 2013 (2013-07-15), pages 117 - 120 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688108B (zh) | 2024-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105207678B (zh) | 一种改进型lz4压缩算法的硬件实现系统 | |
| CN111008230B (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN112506880B (zh) | 数据处理方法及相关设备 | |
| US8300966B2 (en) | Image signal encoding method and decoding method, information source encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs to process gaussian integer signal | |
| CN112506879B (zh) | 数据处理方法及相关设备 | |
| CN106852185A (zh) | 基于字典的并行压缩编码器 | |
| CN110825323B (zh) | 浮点数数据的存储、读取方法和计算机可读存储介质 | |
| CN105426413A (zh) | 一种编码方法及装置 | |
| CN108141225B (zh) | 使用simd引擎的通用数据压缩 | |
| CN114116635A (zh) | 压缩数据流的并行解压缩 | |
| CN104657481A (zh) | 一种存储、查询数据的方法及装置 | |
| EP2462696A1 (en) | Compression of bitmaps and values | |
| CN114579570A (zh) | 数据处理方法及装置 | |
| CN113688108A (zh) | 数据处理方法及相关设备 | |
| JP6833643B2 (ja) | 圧縮処理装置、伸長処理装置、圧縮処理用プログラム、伸長処理用プログラム | |
| CN112612762B (zh) | 数据处理方法及相关设备 | |
| Ouyang et al. | Fast compression of huge DNA sequence data | |
| US8270742B1 (en) | Data compression for computer-aided design systems | |
| CN107341136B (zh) | 序列索引号的生成方法、生成装置及存储介质 | |
| CN111510154A (zh) | 坐标数据压缩方法 | |
| CN114640357B (zh) | 数据编码方法、设备及存储介质 | |
| JP4005180B2 (ja) | 形状データ圧縮装置，伸長装置 | |
| WO2017026952A1 (en) | A data compression and decompression method | |
| WO2019191904A1 (zh) | 一种数据处理方法及装置 | |
| CN117424698A (zh) | 大规模单向散列值的存储方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |