CN112383313B - 一种并行数据解码装置及方法 - Google Patents

一种并行数据解码装置及方法 Download PDF

Info

Publication number
CN112383313B
CN112383313B CN202011077139.8A CN202011077139A CN112383313B CN 112383313 B CN112383313 B CN 112383313B CN 202011077139 A CN202011077139 A CN 202011077139A CN 112383313 B CN112383313 B CN 112383313B
Authority
CN
China
Prior art keywords
data
module
packet
big
packet header
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011077139.8A
Other languages
English (en)
Other versions
CN112383313A (zh
Inventor
鄢贵海
卢文岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yusur Technology Co ltd
Original Assignee
Yusur Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yusur Technology Co ltd filed Critical Yusur Technology Co ltd
Priority to CN202011077139.8A priority Critical patent/CN112383313B/zh
Publication of CN112383313A publication Critical patent/CN112383313A/zh
Application granted granted Critical
Publication of CN112383313B publication Critical patent/CN112383313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/65—Purpose and implementation aspects
    • H03M13/6561—Parallelized implementations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及数据库技术领域，具体涉及一种并行数据解码装置及方法，所述装置包括：任务分配模块，用于获取大包头首地址并发送至数据收发模块；还用于每一个中包分配一个单通道转换模块；数据收发模块，用于提取大包并发送至数据选择模块；数据选择模块，用于将大包头发送至数据处理模块，将中包发送至对应的单通道数据转换模块；数据处理模块，用于解析大包头以获取大包头信息并发送至任务分配模块；单通道转换模块，所述单通道转换模块有多个，均用于接收与其匹配的中包，并按照编码规则对应解码数据。上述装置不仅能够实现数据解码，且能够多通道并行处理，可以在同一时间完成多路数据解码，不仅传输速度快，且效率极大提高。

Description

一种并行数据解码装置及方法
技术领域
本发明涉及数据库技术领域，具体涉及一种并行数据解码装置及方法。
背景技术
随着数据量的增加，数据库访问延时越来越大，许多曾经在小数据上用传统方法很容易完成的任务，如今在大数据上就变得非常困难。目前最快的固态硬盘(SSD)存储可以达到12GB/s的读取速度，但即便这样的速度，如果数据库有15TB大小，想要用完整检索的方式完成一次查询仍然需要33小时。为了加快数据库查询速度，大都采用设计数据库专用处理器的方法来提高性能。
在数据库专用加速器中，数据管理复杂程度高，需要处理的数据格式复杂，为了快速处理数据，提升数据处理效率，需要对数据转化后再进行处理。对应的，在提取数据时，也需要对数据进行解码处理。
为了解决上述问题，本发明提供了一种并行数据解码装置及方法。
发明内容
本发明的目的在于提供一种并行数据解码装置及方法，以解决现有技术中编码数据的读取处理的问题。
一方面，本发明提供的并行数据解码装置，包括：任务分配模块，用于获取大包头首地址并发送至数据收发模块；还用于接收大包头信息，并根据大包头信息为每一个中包分配一个单通道转换模块，同时将中包与单通道转换模块的配对信息发送至数据选择模块；数据收发模块，用于接收大包头首地址并根据大包头首地址从RAM中提取出对应地址上存储的大包，还用于将提取的大包发送至数据选择模块；数据选择模块，用于接收大包，并将大包中的大包头发送至数据处理模块，将大包中的中包按照配对信息发送至对应的单通道转换模块；数据处理模块，用于接收大包头并解析大包头以获取大包头信息，还用于将得到的大包头信息发送至任务分配模块；单通道转换模块，所述单通道转换模块有多个，均用于接收与其匹配的中包，并按照编码规则对应解码数据。
如上所述的并行数据解码装置，进一步优选为，所述编码规则为数据的编码排列方式；其中，所述大包包括大包头和若干个中包，所述大包头至少包括中包个数、中包总字节数、标记2、标志3、标志4和偏移值；所述中包包括中包头和若干个小包，所述中包头包括小包个数、小包总字节数、Type、ID和标志5；所述小包包括小包头和若干个数据；所述小包头包括小包长度。
如上所述的并行数据解码装置，进一步优选为，所述数据收发模块根据大包头首地址从所述RAM中提取出对应地址上存储的大包头，所述大包头经所述数据选择模块发送至所述数据处理模块解析后，获取所述大包头信息；所述大包头信息中的偏移值经所述任务分配模块发送至所述数据收发模块，所述数据收发模块依据所述偏移值得到中包首地址，并根据所述中包首地址从RAM中提取出对应地址上存储的中包。
如上所述的并行数据解码装置，进一步优选为，所述数据收发模块还用于为大包头和中包添加表征信号；所述数据选择模块根据表征信号来区分所述大包头和中包。
如上所述的并行数据解码装置，进一步优选为，每个所述小包数据均包括空数据标识、中包末尾标识或小包末尾标识中的一种或几种，所述空数据标识、中包末尾标识和小包末尾标识用于指示数据位置。
如上所述的并行数据解码装置，进一步优选为，还包括FIFO存储器，所述FIFO存储器用于存储经所述单通道转换模块解码转换的数据。
如上所述的并行数据解码装置，进一步优选为，所述单通道转换模块的数量为四个，每个所述单通道转换模块均具有单独的通道ID，四个所述单通道转换模块的通道ID依次为0-3。
另一方面，本发明还提供了一种并行数据解码方法，用于通过上述任一项所述的并行数据解码装置实现并行数据解码，包括：S1：任务分配模块通过获取大包头首地址启动解码，然后将大包头首地址发送至数据收发模块；S2：数据收发模块根据大包头首地址从RAM中提取出对应地址上存储的大包头并发送数据选择模块；S3：数据选择模块接收大包头并将其发送至数据处理模块；S4：数据处理模块解析大包头得到大包头信息并将大包头信息发送至任务分配模块；S5：任务分配模块根据大包头信息中的中包个数为每一个中包分配一个单通道转换模块，并将中包与单通道转换模块的配对信息发送至数据选择模块；还用于根据大包头信息中的偏移值发送至数据收发模块；S6：数据收发模块根据偏移值得到中包头首地址，然后根据中包头首地址从RAM中提取出对应地址上存储的中包，并将中包发送至数据选择模块；S7：数据选择模块根据配对信息将中包发送至对应的单通道转换模块；S8：单通道转换模块按照编码规则对应解码数据。
如上所述的并行数据解码方法，进一步优选为，步骤S2还包括S21：数据收发模块为大包头添加表征信号；步骤S6还包括S61：数据收发模块为中包添加表征信号；步骤S3和步骤S7中还包括数据选择模块识别表征信号，并根据表征信号将大包头发送至数据处理模块，将中包发送至单通道转换模块。
与现有技术相比，本发明所公开的一种并行数据解码装置及方法具有以下有益效果：
本发明中的并行数据解码装置包括任务分配模块、数据收发模块、数据选择模块、数据处理模块和单通道转换模块，通过上述模块的配合，使得并行数据解码装置在拿到大包头首地址之后能够自行启动解码流程，并相互配合，按照数据的编码格式一一解码存储于RAM中的数据，且解码过程中，多通道并行处理，可以在同一时间完成多路数据解码，不仅传输速度快，且效率极大提高。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中并行数据解码装置的连接框图；
图2为本发明中数据包格式示意图；
图3为本发明中并行数据解码发明的流程图；
图4为本发明中一个具体实施例中数据的编码过程。
具体实施方式
实施例1：
图1为本发明中并行数据解码装置的连接框图，如图1所示，本实施例公开的并行数据解码装置包括：任务分配模块，用于获取大包头首地址并发送至数据收发模块；还用于接收大包头信息，并根据大包头信息为每一个中包分配一个单通道转换模块，同时将中包与单通道转换模块的配对信息发送至数据选择模块；数据收发模块，用于接收大包头首地址并根据大包头首地址从RAM中提取出对应地址上存储的大包，还用于将提取的大包发送至数据选择模块；数据选择模块，用于接收大包，并将大包中的大包头发送至数据处理模块，将大包中的中包按照配对信息发送至对应的单通道转换模块；数据处理模块，用于接收大包头并解析大包头以获取大包头信息，还用于将得到的大包头信息发送至任务分配模块；单通道转换模块，所述单通道转换模块有多个，均用于接收与其匹配的中包，并按照编码规则对应解码数据。
具体的，本实施例中，待解码的数据以若干“大包”的形式存放到随机存取储存器中，即一个地址一个字节数据，按照地址顺序存放，且具体的数据格式如图2所示。所述编码规则为将接收的数据按照大包或中包的排列方式编码排列，解码则与编码相反，用于将编码之后的大包或中包重新整合成数据。
进一步的，所述编码规则为数据的编码排列方式；其中，所述大包包括大包头和若干个中包，所述大包头至少包括中包个数、中包总字节数、标记2、标志3、标志4和偏移值；所述中包包括中包头和若干个小包，所述中包头包括小包个数、小包总字节数、Type、ID和标志5；所述小包包括小包头和若干个数据；所述小包头包括小包长度。
其中，小包的第一个数据“第n个小包长度”是一个4个字节(32位)的长度数据，表示该小包内有多少个数据(一个数据占用8位，即一个字节)，随后跟随连续的多个数据。特殊情况：当第一个数据Length为0时，表示小包出现空数据的情况，空数据也是指一个小包数，计入“小包个数”数值中。中包的第一个数据“小包个数”(4字节)表示有多少个小包，特殊情况：当第一个数据“小包个数”为0时，表示中包出现了空包的情况，一旦出现空包，整个中包只存在中包头占用字节数，也就是说整个空包就是中包头，其中“小包个数”等于0，“小包总字节数”等于16，Type的值以及ID的值；第二个数据“小包总字节数”(4字节)表示该中包总共有多少字节数，这几个包头(小包个数，小包总字节数，Type，ID)数据的字节数，同样的统计在内；第三个数据type(4字节)表示中包最大字节数；第四个数据ID(4字节)表示该中包的编号(用于外部操作查找)；第五个添加了数据“标识5”(4字节)。之后的数据就是连续的小包。到最后一个小包的最后一个数结束，为一个完整的中包。
大包：第一个数据“中包个数”(4字节)表示有多少个中包，第二个数据“中包总字节数”(4字节)表示该大包中总共有多少字节数，所有的包头信息和数据都统计在内；第三个数据标记2“标记2”(4字节)；第四个数据“标志3”(4字节)，第五个数据为“标志4”(4字节)。大包头紧接着有与“中包个数”相同个“偏移值”数据，表示这个大包中所含中包的首地址，一共占“中包个数”*4个字节。
从上述数据格式可知，大包中大包头中用于存储数据信息和偏移值，具体的，用于存储中包个数、中包总字节数和中包地址偏移值，上述信息由数据处理模块解析之后发送至任务分配模块。任务分配模块根据中包个数分配为每一个中包分配一个单通道转换模块，同时将中包与单通道转换模块的配对信息发送至数据选择模块；中包地址偏移值则经任务分配模块发送至数据收发模块，经处理后得到中包存储地址并取出中包。
进一步的，所述数据收发模块用于根据大包头首地址从所述RAM中提取出对应地址上存储的大包头；所述数据收发模块还用于根据所述任务分配模块发送的大包头信息中的偏移值得到中包首地址，并根据所述中包首地址从RAM中提取出对应地址上存储的中包。由于偏移值的数量与中包个数一致，均代表对应中包的存储信息，通过偏移值和大包首地址叠加可得到中包首地址，根据中包首地址，所述数据收发模块可取出大包中所有的中包。此外，所述数据收发模块还用于解析中包的中包头数据，以便于根据中包头中的小包总字节数判断中包地址的起止，以便于将多个中包区分开。
进一步的，所述数据收发模块还用于为大包头和中包添加表征信号；所述数据选择模块根据表征信号来区分所述大包头和中包。例如，表征信号为0时，表示此时数据为大包头数据，表征信号为1时表示此时数据为第一个中包数据，依次类推。此外，还用busy信号来表示数据的传输过程。
进一步的，每个所述小包数据均包括空数据标识、中包末尾标识或小包末尾标识中的一种或几种，所述空数据标识、中包末尾标识和小包末尾标识用于指示数据位置。每个中包被发送至对应的单通道转换模块中进行解码，解码过程中，将数据进行数据转换，实现将N个单位数据顺序转换成单位数据并缓存。
进一步的，还包括FIFO存储器，所述FIFO存储器用于存储经所述单通道转换模块解码转换的数据。
进一步的，所述单通道转换模块的数量为四个，每个所述单通道转换模块均具有单独的通道ID，四个所述单通道转换模块的通道ID依次为0-3。
实施例2：
如图3所示，本实施例公开了并行数据解码方法，用于通过实施例1所述的并行数据解码装置实现并行数据解码，包括：S1：任务分配模块通过获取大包头首地址启动解码，然后将大包头首地址发送至数据收发模块；S2：数据收发模块根据大包头首地址从RAM中提取出对应地址上存储的大包头并发送数据选择模块；S3：数据选择模块接收大包头并将其发送至数据处理模块；S4：数据处理模块解析大包头得到大包头信息并将大包头信息发送至任务分配模块；S5：任务分配模块根据大包头信息中的中包个数为每一个中包分配一个单通道转换模块，并将中包与单通道转换模块的配对信息发送至数据选择模块；还用于根据大包头信息中的偏移值发送至数据收发模块；S6：数据收发模块根据偏移值得到中包头首地址，然后根据中包头首地址从RAM中提取出对应地址上存储的中包，并将中包发送至数据选择模块；S7：数据选择模块根据配对信息将中包发送至对应的单通道转换模块；S8：单通道转换模块按照编码规则对应解码数据。
进一步的，步骤S2还包括S21：数据收发模块为大包头添加表征信号；步骤S6还包括S61：数据收发模块为中包添加表征信号；步骤S3和步骤S7中还包括数据选择模块识别表征信号，并根据表征信号将大包头发送至数据处理模块，将中包发送至单通道转换模块。
具体的，本发明以一个具体的实施例还说明上述并行数据解码装置和方法：
如图4左侧所示为一个完整的大包，数据用16进制表示；需要注意的是，空白的格子并没有数据，右侧表格为了方便理解才将数据按照比较规整的方式在右边排除排出，前面也有说明过，数据是按照地址连续的方式存放在RAM内。RAM中每个地址存放32bit数据即4个字节。
第一个32位数据存放的地址是0；地址0对应的四个字节构成32位的16进制数00000002H，表示这个大包有2个中包，随后的四个字节数据00000074H(对应十进制数116)，表示该大包有116个字节；以下可以此类推；
通过前述的存储格式，我们可以知道第一个中包的第一个数据00000003H，所以小包个数是3个，字节数为00000031H(十进制49)，表示该中包总共有49个字节，中包ID为0000a1a2H；另外一个中包可以此类推；结果如上图右边所示。
在具体实施例中，任务分配装置首先分配大包头地址0，数据收发装置从RAM中取得数据，一直取到0000_004dH，解析大包头得到结果是仅有两个中包，进行两个中包的任务分配，输出两个中包首地址给数据收发装置，数据收发装置根据中包首地址以及总字节数依次从RAM中取得数据。顺序是先取第一个中包数据，再取第二个中包数据，再返回来取第一个中包数据，依次类推，直到对应中包数据取完为止。再取数据的过程中，将取出的数据分配给不同的单通道解码转换装置，第一个通道解码转换装置接收到数据后进行数据转换，得到单位数据即8bit数据缓存在FIFO中。解码装置开始解码后等到缓存器FIFO中有数据，如果有则取出来按照数据格式进行解码。解码得到的第一个中包中总字节数为00000031H，Type为0，ID为0000a1a2H，解码输出第一个小包数据01、02……09、0a，得到第二个小包数据11、12、13，得到第三个小宝数据13、14。依次类推第二个中包解码得到类似结果。
由于具体举例，列举的中包数为2个，而且数据量不大。但一般情况下数据流巨大，有多个大包并且有多个中包组成。故用并行解码能极大地提高效率。
与现有技术相比，本发明所公开的一种并行数据解码装置及方法具有以下有益效果：
本发明中的并行数据解码装置包括任务分配模块、数据收发模块、数据选择模块、数据处理模块和单通道转换模块，通过上述模块的配合，使得并行数据解码装置在拿到大包头首地址之后能够自行启动解码流程，并相互配合，按照数据的编码格式一一解码存储于RAM中的数据，且解码过程中，多通道并行处理，可以在同一时间完成多路数据解码，不仅传输速度快，且效率极大提高。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种并行数据解码装置，其特征在于，包括：
任务分配模块，用于获取大包头首地址并发送至数据收发模块；还用于接收大包头信息，并根据大包头信息为每一个中包分配一个单通道转换模块，同时将中包与单通道转换模块的配对信息发送至数据选择模块；
数据收发模块，用于接收大包头首地址并根据大包头首地址从RAM中提取出对应地址上存储的大包，还用于将提取的大包发送至数据选择模块；
数据选择模块，用于接收大包，并将大包中的大包头发送至数据处理模块，将大包中的中包按照配对信息发送至对应的单通道转换模块；
数据处理模块，用于接收大包头并解析大包头以获取大包头信息，还用于将得到的大包头信息发送至任务分配模块；
单通道转换模块，所述单通道转换模块有多个，均用于接收与其配对的中包，并按照编码规则对应解码数据。
2.根据权利要求1所述的并行数据解码装置，其特征在于，
所述编码规则为数据的编码排列方式；其中，所述大包包括大包头和若干个中包，所述大包头至少包括中包个数、中包总字节数、标记2、标志3、标志4和偏移值；所述中包包括中包头和若干个小包，所述中包头包括小包个数、小包总字节数、Type、ID和标志5；所述小包包括小包头和若干个数据；所述小包头包括小包长度。
3.根据权利要求2所述的并行数据解码装置，其特征在于，
所述数据收发模块用于根据大包头首地址从所述RAM中提取出对应地址上存储的大包头；
所述数据收发模块还用于根据所述任务分配模块发送的大包头信息中的偏移值得到中包首地址，并根据所述中包首地址从RAM中提取出对应地址上存储的中包。
4.根据权利要求3所述的并行数据解码装置，其特征在于，
所述数据收发模块还用于为大包头和中包添加表征信号；所述数据选择模块根据表征信号来区分所述大包头和中包。
5.根据权利要求4所述的并行数据解码装置，其特征在于，
每个所述小包的数据均包括空数据标识、中包末尾标识或小包末尾标识中的一种或几种，所述空数据标识、中包末尾标识和小包末尾标识用于指示数据位置。
6.根据权利要求5所述的并行数据解码装置，其特征在于，
还包括FIFO存储器，所述FIFO存储器用于存储经所述单通道转换模块解码转换的数据。
7.根据权利要求6所述的并行数据解码装置，其特征在于，所述单通道转换模块的数量为四个，每个所述单通道转换模块均具有单独的通道ID，四个所述单通道转换模块的通道ID依次为0-3。
8.一种并行数据解码方法，其特征在于，用于通过权利要求1-7中任一项所述的并行数据解码装置实现并行数据解码，包括：
S1：任务分配模块通过获取大包头首地址启动解码，然后将大包头首地址发送至数据收发模块；
S2：数据收发模块根据大包头首地址从RAM中提取出对应地址上存储的大包头并发送数据选择模块；
S3：数据选择模块接收大包头并将其发送至数据处理模块；
S4：数据处理模块解析大包头得到大包头信息并将大包头信息发送至任务分配模块；
S5：任务分配模块根据大包头信息中的中包个数为每一个中包分配一个单通道转换模块，并将中包与单通道转换模块的配对信息发送至数据选择模块；还用于根据大包头信息中的偏移值发送至数据收发模块；
S6：数据收发模块根据偏移值得到中包头首地址，然后根据中包头首地址从RAM中提取出对应地址上存储的中包，并将中包发送至数据选择模块；
S7：数据选择模块根据配对信息将中包发送至对应的单通道转换模块；
S8：单通道转换模块按照编码规则对应解码数据。
9.根据权利要求8所述的并行数据解码方法，其特征在于，
步骤S2还包括S21：数据收发模块为大包头添加表征信号；
步骤S6还包括S61：数据收发模块为中包添加表征信号；
步骤S3和步骤S7中还包括数据选择模块识别表征信号，并根据表征信号将大包头发送至数据处理模块，将中包发送至单通道转换模块。
CN202011077139.8A 2020-10-10 2020-10-10 一种并行数据解码装置及方法 Active CN112383313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077139.8A CN112383313B (zh) 2020-10-10 2020-10-10 一种并行数据解码装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077139.8A CN112383313B (zh) 2020-10-10 2020-10-10 一种并行数据解码装置及方法

Publications (2)

Publication Number Publication Date
CN112383313A CN112383313A (zh) 2021-02-19
CN112383313B true CN112383313B (zh) 2023-08-04

Family

ID=74581176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077139.8A Active CN112383313B (zh) 2020-10-10 2020-10-10 一种并行数据解码装置及方法

Country Status (1)

Country Link
CN (1) CN112383313B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865171A (ja) * 1994-08-19 1996-03-08 Ricoh Co Ltd データ伸長装置、データ伸長方法、デコーディング装置、デコーディング方法、リアルタイムビデオ装置、エンコーディング装置、及びエントロピー・デコーダ
CN1133512A (zh) * 1994-09-30 1996-10-16 株式会社理光 编码与解码数据的方法和装置
WO2014146468A1 (zh) * 2013-03-21 2014-09-25 中兴通讯股份有限公司 一种数据包调度和缓存的方法、装置和计算机存储介质
CN107784085A (zh) * 2017-09-30 2018-03-09 平安科技（深圳）有限公司 一种数据列表的导出方法及其终端
CN111327603A (zh) * 2020-01-21 2020-06-23 中科驭数（北京）科技有限公司 数据传输方法、装置和系统
CN111600796A (zh) * 2020-05-20 2020-08-28 中国电子科技集团公司第五十四研究所 一种基于可配置解析字段的流识别装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10361817B2 (en) * 2017-01-20 2019-07-23 Dolby Laboratories Licensing Corporation Systems and methods to optimize partitioning of a data segment into data packets for channel encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865171A (ja) * 1994-08-19 1996-03-08 Ricoh Co Ltd データ伸長装置、データ伸長方法、デコーディング装置、デコーディング方法、リアルタイムビデオ装置、エンコーディング装置、及びエントロピー・デコーダ
CN1133512A (zh) * 1994-09-30 1996-10-16 株式会社理光 编码与解码数据的方法和装置
WO2014146468A1 (zh) * 2013-03-21 2014-09-25 中兴通讯股份有限公司 一种数据包调度和缓存的方法、装置和计算机存储介质
CN107784085A (zh) * 2017-09-30 2018-03-09 平安科技（深圳）有限公司 一种数据列表的导出方法及其终端
CN111327603A (zh) * 2020-01-21 2020-06-23 中科驭数（北京）科技有限公司 数据传输方法、装置和系统
CN111600796A (zh) * 2020-05-20 2020-08-28 中国电子科技集团公司第五十四研究所 一种基于可配置解析字段的流识别装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向大数据的列存储数据库关键技术研究;刘慧;《中国博士学位论文全文数据库信息科技辑》;I138-60 *

Also Published As

Publication number Publication date
CN112383313A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
US20170300595A1 (en) Data packet extraction method and apparatus
CN107818120A (zh) 基于大数据的数据处理方法和装置
KR20210086420A (ko) 신경망 데이터 처리 장치, 방법 및 전자 장비
US20070239881A1 (en) Multiplexing binary encoding to facilitate compression
US10057344B2 (en) Efficient transport of data encoded using multiple templates
CN105407356B (zh) 高速实时jpeg2000解码方法
US8688621B2 (en) Systems and methods for information compression
CN101188477A (zh) 一种数据包序列接收的方法及设备
US20220343047A1 (en) Method and system for processing simulation data
EP2408114A2 (en) Parallel entropy encoder and parallel entropy decoder
CN104065588B (zh) 一种数据包调度和缓存的装置及方法
CN115905061B (zh) 数据搬运装置、dma装置、电子设备及数据搬运方法
CN113312325B (zh) 轨迹数据传输方法、装置、设备及存储介质
CN112383313B (zh) 一种并行数据解码装置及方法
EP4217878A1 (en) Combining write transactions of a large write
CN112290953B (zh) 多道数据流的阵列编码装置和方法、阵列解码装置和方法
CA2029390C (en) Data format for packets of information
CN106648722A (zh) 基于大数据的Flume接收端数据处理方法和装置
CN114363304B (zh) Rtp视频流存储、播放方法及装置
CN109842511B (zh) 一种tcp性能参数的确定方法及系统
CN112290952B (zh) 一种并行数据编码装置及方法
CN112100170B (zh) 数据库交互数据解码方法和装置
CN113138711B (zh) 一种存储管理装置及芯片
CN112565821B (zh) 数据处理方法、装置、安全网关及存储设备
CN113242473B (zh) 一种数据处理方法、系统、数据采集设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant