CN113285720B - 基因数据无损压缩方法、集成电路及无损压缩设备 - Google Patents

基因数据无损压缩方法、集成电路及无损压缩设备 Download PDF

Info

Publication number
CN113285720B
CN113285720B CN202110632382.XA CN202110632382A CN113285720B CN 113285720 B CN113285720 B CN 113285720B CN 202110632382 A CN202110632382 A CN 202110632382A CN 113285720 B CN113285720 B CN 113285720B
Authority
CN
China
Prior art keywords
compression
data
operator
gene
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110632382.XA
Other languages
English (en)
Other versions
CN113285720A (zh
Inventor
谭光明
刘万奇
李叶文
康宁
孙凝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Research Institute Of China Science And Technology Computing Technology
Original Assignee
Western Research Institute Of China Science And Technology Computing Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Research Institute Of China Science And Technology Computing Technology filed Critical Western Research Institute Of China Science And Technology Computing Technology
Publication of CN113285720A publication Critical patent/CN113285720A/zh
Application granted granted Critical
Publication of CN113285720B publication Critical patent/CN113285720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及数据压缩技术领域，具体涉及一种基因数据无损压缩方法、集成电路及无损压缩设备，所述集成电路及无损压缩设备均采用所述方法，所述方法包括以下步骤：S1、获取基因数据和对应基因数据的实际压缩需求；S2、将基因数据分割为若干数据字段；S3、根据各数据字段的数据特点以及实际压缩需求选择压缩算子，并组合为压缩算法；S4、将各数据字段根据对应的压缩算法进行压缩处理；S5、将各数据字段的压缩结果进行合并。本发明能实现基因数据无损压缩的同时，实现低压缩率和高压缩效率的基因数据压缩。

Description

基因数据无损压缩方法、集成电路及无损压缩设备
技术领域
本发明涉及数据压缩技术领域，具体涉及一种基因数据无损压缩方法、集成电路及无损压缩设备。
背景技术
基因测序技术作为探索生命奥秘的重要手段，已经成为了生物信息学研究的重要分支，在物种鉴别、基因检测、疾病诊断等方面有着广泛的应用，基因测序技术的飞速发展为精准医疗奠定了坚实的基础。
二代测序成本的不断下降，导致基因测序数据爆炸式增长，这种趋势在未来会更加明显。与此同时，相应的基因分析软件运行过程中也会产生海量的中间数据。面对如此海量的基因测序数据和中间数据，使用数据压缩技术来缓解上述数据对硬盘存储空间、网络带宽、以及计算带来的巨大压力，就成为了一个自然的选择。为了保存完整的基因数据信息，通常采用的是无损压缩。无损压缩是指能够在100％保存源文件的所有数据的前提下，将文件的容量空间压缩得更小，再将压缩后的文件还原后，可完全恢复源文件的所有数据而不引起任何失真。
当前基因分析流程中多采用现有的压缩软件(GZIP)进行数据压缩，其缺点之一就是在压缩率和压缩效率方面存在不足，压缩率是指文件压缩后的大小与压缩前的大小之比，例如：把100M的文件压缩后是90M，压缩率为90/100*100％＝90％，压缩率是越小，对硬盘存储空间、网络带宽、以及计算带来的压力也就越小。但是GZIP的压缩率越小时压缩效率越低，即压缩所需要的时间就越长，不好平衡对于压缩率和压缩效率的选择，局限性较大，难以满足日益增长的海量基因数据的压缩需求；其缺点之二是日益增长的海量基因数据在压缩时会加重CPU的负担，影响整个基因分析流程的性能。综上所述，亟需一种更加高性能、低压缩率、高压缩效率的基因数据压缩处理方式。
发明内容
本发明的目的之一在于提供一种基因数据无损压缩方法，能实现基因数据无损压缩的同时，实现低压缩率和高压缩效率的基因数据压缩。
为了达到上述目的，提供了一种基因数据无损压缩方法，包括以下步骤：
S1、将基因数据分割为若干数据字段；
S2、根据各数据字段的数据特点以及实际压缩需求选择压缩算子，并组合为压缩算法；
S3、将各数据字段根据对应的压缩算法进行压缩处理；
S4、将各数据字段的压缩结果进行合并。
原理及优点：
由于基因数据的测序文件少则几G，多则几十G到上百G，采用常规的压缩软件来压缩，这种方式对计算机CPU的负担大，占用的计算资源多，而且压缩方式单一，压缩率和压缩效率也不能很好的兼顾。而本方案将基因数据分割为若干数据字段，经过分割后每个数据字段的大小都得以变小，计算机处理起来更为容易，可以方便通过并行处理来提高压缩效率。再根据各数据字段的数据特点来选择一个或多个压缩算子而组合而成压缩算法，而压缩算法可以得到多种，使得压缩率和压缩效率得到很好的兼顾。再通过实际压缩需求来对多种压缩算法进行筛选，以最终筛选的压缩算法来对各数据字段进行压缩，从而达到最符合要求且兼顾压缩率和压缩效率的效果。
进一步，所述步骤S1中，将基因数据根据数据类型分割，取得对应数据类型的数据字段；所述数据类型包括名字信息、基因序列信息和基因序列信息中碱基对应的质量分数信息。
数据类型的划分，方便针对性地来选择压缩算子并组合为压缩算法，使得数据字段都能够选择合适的压缩算子进行压缩，从而确保压缩率、压缩效率都能得到很好的兼顾。
进一步，所述步骤S2中，所述压缩算子分类存储在算子池中，并列表记录各种类压缩算子的自身特点和适用场景，以及列表记录各压缩算法的自身特点和适用场景，所述自身特点和实际压缩需求均包括压缩率和压缩效率；所述压缩算子包括数据转换类、熵编码类以及一般编码类。
通过列表记录各种类压缩算子的自身特点和适用场景，以及列表记录各压缩算法的自身特点和适用场景，方便根据各数据字段的特点来对照筛选合适的压缩算子的种类，或者直接筛选出具体的压缩算子，从而节省压缩算子筛选时间，以此提高压缩的效率。
压缩算子是压缩算法的基本组成单元，三种类型压缩算子中的每个算子都有其自身的特点和适用的场景，从而使得多个压缩算子组成的压缩算法能够满足实际压缩需求，以适应多种情况。
进一步，所述步骤S2具体包括以下步骤：
S21、从压缩算子和压缩算法中，根据各数据字段的数据特点，和压缩算子或压缩算法的适用场景，选择出数据特点与适用场景相匹配的压缩算法集；
S22、根据实际压缩需求从压缩算法集中选择符合条件的最优压缩算法。
首先根据各数据字段的数据特点来选择一个或多个压缩算子而组合而成压缩算法，以兼顾压缩率和压缩效率，而压缩算法可以得到多种，可得到压缩算法集。再通过实际压缩需求来对压缩算法集中的压缩算法进行筛选，以最终筛选出的压缩算法为最优压缩算法，并以最优压缩算法来对各数据字段进行压缩，从而达到最符合要求且兼顾压缩率和压缩效率的效果。
进一步，所述步骤S4中，各数据字段压缩结果的合并方式为：将各数据字段压缩结果以特定的格式存储在同一文件中，并在文件的文件头中以存储顺序标明各个数据字段所选择的压缩算法中所包含的压缩算子的组合。
将各数据字段压缩结果以特定的格式存储在同一文件中，方便存储；而在文件头中标明各个数据字段所选择的压缩算法所包含的压缩算子组合，则方便在解压时，能够准确的找到对应的压缩算法进行解压还原数据，充分保证数据的可还原性。
进一步，所述步骤S1中，还包括以下步骤：
S101、将N个数据字段中的每个数据字段分割为M个数据块；
所述步骤S2中，还包括以下步骤：
S201、将压缩算法中的压缩算子并行设置，并设置为M条相同的压缩流水线；每个数据字段分别分配M条相同的压缩流水线；
S202、获取压缩流水线的第一并行度KN，并根据第一并行度KN获取第N个数据字段的第二并行度M*KN。
由于基因数据的测序文件少则几G，多则几十G到上百G，即使将基因数据分割为多个数据字段，但多个数据字段的大小可能仍然很大。本方案通过分为N个数据字段，在字段层次进行了一级并行处理，并行度为N，一定程度提高了压缩效率。再将每个数据字段分割为M个数据块，并为数据字段中每个数据块分配一条相同的压缩流水线，在字段算法层次上进行了二级并行处理，并行度为M，相同时间内处理压缩的能力更强，进一步提高了压缩效率。由于压缩算法由压缩算子组成，在硬件算子层次上进行了三级并行处理，并行度为KN，又进一步的提高了压缩效率。
进一步，还包括以下步骤：
S5、根据第一并行度KN和第二并行度M*KN分析基因数据的压缩性能；
所述步骤S5具体包括以下步骤：
S501、根据第一并行度KN，获取Min(KN)；
S502、根据每个数据字段的第二并行度M*KN，获取基因数据的第三并行度M*N*Min(KN)；
S503、根据第三并行度M*N*Min(KN)分析基因数据的压缩性能。
由于数据字段有N个，因此KN也为N个，其中有大有小，越大KN越大表示压缩流水线中压缩算子的压缩效率更佳，因此通过第二并行度M*KN就能了解到各数据字段压缩效率，从而了解各数据字段的压缩快慢，进而可以方便通过各数据字段的压缩快慢来了解基因数据的压缩性能。由于KN也为N个，其中有大有小，其中KN越小表示压缩流水线中压缩算子的压缩效率越差，需要花费的时间也就越长，从而影响整个基因数据的压缩效率。因此通过获取Min(KN)得到第三并行度M*N*Min(KN)，就能方便的分析基因数据的压缩性能。
进一步，步骤S2中，还包括以下步骤：
S203、根据每个数据字段的第二并行度M*KN，分析每个数据字段完成压缩的完成时间，并记录完成的同步率；
S204、判断同步率是否符合设定值，若不符合，则调整压缩流水线中的压缩算子或压缩算法的组合，获取压缩流水线的第一并行度KN’和每个数据字段的第二并行度M*KN’；
S205、重复执行步骤S203和步骤S204，直至同步率符合设定值。
可通过第二并行度M*KN了解压缩效率，从而分析每个数据字段完成压缩的完成时间，以及完成的先后顺序。其中KN越小表示压缩流水线中压缩算子的压缩效率越差，需要花费的时间也就越长，从而影响整个基因数据的压缩效率。若每个KN都相同，且值越大，说明N个字段数据的压缩都可以同步完成，同步率就高，反之若每个KN都不相同，且值相差大，说明N个字段数据的压缩不会同步完成，完成有快有慢，完成快的需要等待完成慢的，然后才能合并，因此同步率就低，本方案通过调整第一并行度KN’，使每个KN都尽可能相同，且值越大，达到设定值即可，就能让N个字段数据的压缩同步完成，从而提高压缩效率。
本发明的目的之二在于提供一种基因数据无损压缩集成电路，包括：字段分离器、算子池、算子选择器、算子组合器和字段合并器；
字段分离器：用于将输入的基因数据分割为若干数据字段；
算子池：用于存储多种类型的压缩算子；
算子选择器：用于接收各数据字段和对应各个字段的实际压缩需求，并根据各数据字段的数据特点以及实际压缩需求从算子池选择压缩算子；
算子组合器：将选择的压缩算子组合为压缩算法；
字段合并器：将各数据字段根据对应组合好的压缩算法进行压缩处理，并将各数据字段的压缩结果进行合并。
原理及优点：
基因数据无损压缩集成电路采用模块化设计，在集成电路上设计出字段分离器、算子池、算子选择器、算子组合器和字段合并器，可以分别执行各自对应的功能，从而将基因数据压缩的计算由计算机CPU迁移到定制的集成电路硬件上，减轻了计算机CPU的负担，使计算机CPU可以花费更多的资源去运行基因分析流程中的其他程序块，尽可能减小基因数据压缩过程对于整个分析流程性能的影响不至阻塞。达到提高压缩效率的同时，将计算机的计算资源留给基因分析等工程，共同促进基因工程的处理效率。
本发明的目的之三在于提供一种基因数据无损压缩设备，包括基因数据无损压缩集成电路、存储器和处理器，所述处理器获取实际压缩需求，并将存储在存储器中的基因数据，均输入到基因数据无损压缩集成电路中，获取集成电路所得到的压缩合并文件，并存储到存储器中。
所设计的基因数据无损压缩设备采用存储内计算的结构，可以很好地减轻CPU和硬盘之间的I/O开销，使压缩过程可以在存储器完成，尽可能提升性能和能效。
附图说明
图1为本发明实施例基因数据无损压缩方法的流程框图；
图2为基因数据字段分割示意图；
图3为压缩算子池示意图；
图4为基因数据无损压缩集成电路整体结构框图；
图5为一个示例的层次化并行结构框图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例
一种基因数据无损压缩方法，基本如附图1所示：包括以下步骤：
S0、获取基因数据和对应基因数据的实际压缩需求；实际压缩需求为用户权衡后基因数据的压缩率和压缩效率。所述数据类型包括名字信息、基因序列信息和基因序列信息中碱基对应的质量分数信息，以及其它信息。
基因数据中的测序文件通常采用FASTQ文件格式存储，每个基因数据测序文件少则几G，多则几十G到上百G。如图2所示的是基因数据FASTQ文件中的局部一段数据，第一和第三行是名字信息，第二行是基因序列信息，保存着GATC碱基的相对位置的基因序列信息，最后一行是基因序列信息中碱基对应的质量分数信息。
S1、将基因数据根据数据类型分割为若干数据字段；所述数据类型包括名字信息、基因序列信息和基因序列信息中碱基对应的质量分数信息，以及其它信息。在本实施例中，如图1所示，第一行和第三行信息基本相同，统一划归为字段1，基因序列信息划为字段2，质量分数信息划为字段3。
S2、根据各数据字段的数据特点以及实际压缩需求从算子池选择压缩算子，并组合为压缩算法；如图3所示，所述算子池中的压缩算子包括数据转换类(游程编码、MTF编码、LZ77、BWT等)、熵编码类(Huffman编码，算术编码等)以及一般编码类(Unary编码，Rice编码等)。所述压缩算子分类存储在算子池中，并列表记录各种类压缩算子的自身特点和适用场景，以及列表记录各压缩算法的自身特点和适用场景。所述自身特点和实际压缩需求均包括压缩率和压缩率，可以在各压缩算法、压缩算子具体使用后进行统计记录在表格中，以方便后续的直接选取调用；例如，可以根据实际压缩需求中的压缩率和压缩效率，直接在表格中进行对照查找即可。所述压缩算法均由算子池中的压缩算子组合而成，每种压缩算法至少包括一个压缩算子。
所述步骤S2具体包括以下步骤：
S21、从压缩算子和压缩算法中，根据各数据字段的数据特点，和压缩算子或压缩算法的适用场景，选择出数据特点与适用场景相匹配的压缩算法集；
S22、根据实际压缩需求从压缩算法集中选择符合条件的最优压缩算法。
同一数据字段可以采用不同的压缩算法，但压缩率和压缩效率存在差异，故可以根据各字段的数据特点得到压缩算法集，其包括多种压缩算法和压缩算子。本实施例中，针对图2的基因数据，例如可选的最优压缩算法组合为：字段1用一般编码方式进行编码，注意到各read的名称信息大部分相同，可以将相同的部分用一个短符号代替，其余部分保持不变；字段2用BWT压缩算子加MTF压缩算子组合的方式；字段3用差分编码压缩算子加游程编码压缩算子组合的方式。
S3、将各数据字段根据对应组合好的压缩算法进行压缩处理；
S4、将各数据字段的压缩结果进行合并。各数据字段压缩结果的合并方式为：将各数据字段压缩结果以特定的格式存储在同一文件中，且记录各数据字段的压缩结果的存储顺序；并在文件的文件头中以存储顺序标明各个数据字段所选择的压缩算法中所包含的压缩算子的组合。经过上述过程，输入的基因数据在算法层面就被压缩完成并且输出了。
如图4所示，基因数据无损压缩集成电路，包括模块化硬件设置的：字段分离器、算子池、算子选择器、算子组合器和字段合并器；
字段分离器：用于将输入的基因数据分割为若干数据字段；
算子池：用于存储多种类型的压缩算子；所述算子池中的压缩算子均为可配置的硬件库的形式。
算子选择器：用于接收各数据字段和对应各个字段的实际压缩需求，并根据各数据字段的数据特点以及实际压缩需求从算子池选择压缩算子；
算子组合器：将选择的压缩算子组合为压缩算法；
字段合并器：将各数据字段根据对应组合好的压缩算法进行压缩处理，并将各数据字段的压缩结果进行合并。各数据字段压缩结果的合并方式为：将各数据字段压缩结果以特定的格式存储在同一文件中，并在文件头中标明各个数据字段所选择的压缩算法所包含的压缩算子组合。
基因数据无损压缩设备，包括基因数据无损压缩集成电路、存储器和处理器，所述处理器获取实际压缩需求，并将存储在存储器中的基因数据，均输入到基因数据无损压缩集成电路中，获取压缩合并文件，并存储到存储器中。
实施例二
实施例二与实施例一的区别在于，如图5所示，所述步骤S1中，还包括以下步骤：
S101、将N个数据字段中的每个数据字段分割为M个数据块；其中N为字段层次上的一级并行设计，M为字段算法层次上的二级并行设计。N的大小由基因数据的复杂和丰富程度决定，M的大小由硬件资源和压缩效果所限制。
所述步骤S2中，还包括以下步骤：
S201、将压缩算法中的压缩算子并行设置，并设置为M条相同的压缩流水线；每个数据字段分别分配M条相同的压缩流水线；压缩流水线包括若干压缩算法，所述压缩算法由若干压缩算子组合而成。
S202、获取压缩流水线中压缩算子的第一并行度KN，并根据第一并行度KN获取第N个数据字段的第二并行度M*KN。压缩流水线中压缩算子的组合不同，第一并行度KN也有所不同，第一并行度KN是算子层次上的并行度。
S203、根据每个数据字段的第二并行度M*KN，分析每个数据字段完成压缩的完成时间，并记录完成的同步率；
S204、判断同步率是否符合设定值，若不符合，则调整压缩流水线中的压缩算子或压缩算法的组合，获取压缩流水线的第一并行度KN’和每个数据字段的第二并行度M*KN’；
S205、重复执行步骤S203和步骤S204，直至同步率符合设定值。
S5、根据第一并行度KN和第二并行度M*KN分析基因数据的压缩性能。
所述步骤S5具体包括以下步骤：
S501、根据第一并行度KN，获取Min(KN)；
S502、根据每个数据字段的第二并行度M*KN，获取基因数据的第三并行度M*N*Min(KN)；
S503、根据第三并行度M*N*Min(KN)分析基因数据的压缩性能。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (3)

1.基因数据无损压缩方法，其特征在于，包括以下步骤：
S1、将基因数据分割为若干数据字段；所述步骤S1中，将基因数据根据数据类型分割，取得对应数据类型的数据字段；所述数据类型包括名字信息、基因序列信息和基因序列信息中碱基对应的质量分数信息；
S2、根据各数据字段的数据特点以及实际压缩需求选择压缩算子，并组合为压缩算法；所述步骤S2中，所述压缩算子分类存储在算子池中，并列表记录各种类压缩算子的自身特点和适用场景，以及列表记录各压缩算法的自身特点和适用场景，所述自身特点和实际压缩需求均包括压缩率和压缩效率；所述压缩算子的类型包括数据转换类、熵编码类以及其他无损一般编码类；所述步骤S2具体包括以下步骤：
S21、从压缩算子和压缩算法中，根据各数据字段的数据特点，和压缩算子或压缩算法的适用场景，选择出数据特点与适用场景相匹配的压缩算法集；
S22、根据实际压缩需求从压缩算法集中选择符合条件的最优压缩算法；
S3、将各数据字段根据对应的压缩算法进行压缩处理；
S4、将各数据字段的压缩结果进行合并；所述步骤S4中，各数据字段压缩结果的合并方式为：将各数据字段压缩结果以特定的格式存储在同一文件中，并在文件的文件头中以存储顺序标明各个数据字段所选择的压缩算法中所包含的压缩算子的组合；
所述步骤S1中，还包括以下步骤：
S101、将N个数据字段中的每个数据字段分割为M个数据块；
所述步骤S2中，还包括以下步骤：
S201、将压缩算法中的压缩算子并行设置，并设置为M条相同的压缩流水线；每个数据字段分别分配M条相同的压缩流水线；
S202、获取压缩流水线的第一并行度KN，并根据第一并行度KN获取第N个数据字段的第二并行度M*KN；
S203、根据每个数据字段的第二并行度M*KN，分析每个数据字段完成压缩的完成时间，并记录完成的同步率；
S204、判断同步率是否符合设定值，若不符合，则调整压缩流水线中的压缩算子或压缩算法的组合，获取压缩流水线的第一并行度KN’和每个数据字段的第二并行度M*KN’；
S205、重复执行步骤S203和步骤S204，直至同步率符合设定值；
S5、根据第一并行度KN和第二并行度M*KN分析基因数据的压缩性能；
所述步骤S5具体包括以下步骤：
S501、根据第一并行度KN，获取Min(KN)；
S502、根据每个数据字段的第二并行度M*KN，获取基因数据的第三并行度M*N*Min(KN)；
S503、根据第三并行度M*N*Min(KN)分析基因数据的压缩性能。
2.基因数据无损压缩集成电路，其特征在于，运用了如权利要求1所述的基因数据无损压缩方法，其结构包括：字段分离器、算子池、算子选择器、算子组合器和字段合并器；
字段分离器：用于将输入的基因数据分割为若干数据字段；
算子池：用于存储多种类型的压缩算子；
算子选择器：用于接收各数据字段和对应各个字段的实际压缩需求，并根据各数据字段的数据特点以及实际压缩需求从算子池选择压缩算子；
算子组合器：将选择的压缩算子组合为压缩算法；
字段合并器：将各数据字段根据对应组合好的压缩算法进行压缩处理，并将各数据字段的压缩结果进行合并。
3.基因数据无损压缩设备，其特征在于，包括基因数据无损压缩集成电路、存储器和内存控制器，所述内存控制器获取实际压缩需求，并将存储在存储器中的基因数据，均输入到基因数据无损压缩集成电路中，获取根据权利要求2所述的集成电路所得到的压缩合并文件，并存储到存储器中。
CN202110632382.XA 2021-05-28 2021-06-07 基因数据无损压缩方法、集成电路及无损压缩设备 Active CN113285720B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110593899 2021-05-28
CN2021105938992 2021-05-28

Publications (2)

Publication Number Publication Date
CN113285720A CN113285720A (zh) 2021-08-20
CN113285720B true CN113285720B (zh) 2023-07-07

Family

ID=77283569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110632382.XA Active CN113285720B (zh) 2021-05-28 2021-06-07 基因数据无损压缩方法、集成电路及无损压缩设备

Country Status (1)

Country Link
CN (1) CN113285720B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116652A (zh) * 2021-11-29 2022-03-01 苏州浪潮智能科技有限公司 一种数据聚合存储方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106100641A (zh) * 2016-06-12 2016-11-09 深圳大学 针对fastq数据的多线程快速存储无损压缩方法及其系统
CA3052772A1 (en) * 2016-10-11 2018-08-23 Genomsys Sa Method and systems for the reconstruction of genomic reference sequences from compressed genomic sequence reads
WO2019076177A1 (zh) * 2017-10-20 2019-04-25 人和未来生物科技（长沙）有限公司 基因测序数据压缩预处理、压缩、解压方法、系统及计算机可读介质
CN110021368A (zh) * 2017-10-20 2019-07-16 人和未来生物科技（长沙）有限公司 比对型基因测序数据压缩方法、系统及计算机可读介质
EA201991906A1 (ru) * 2016-10-11 2020-01-21 Геномсыс Са Способ и системы для восстановления геномных референсных последовательностей из сжатых прочтений геномной последовательности
CN112437930A (zh) * 2018-07-12 2021-03-02 华为技术有限公司 以熟练的推理速度和功耗，生成神经网络的压缩表示
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419020B2 (en) * 2015-06-18 2019-09-17 International Business Machines Corporation Increasing storage capacity and data transfer speed in genome data backup
CN105553937B (zh) * 2015-12-03 2018-12-07 华为技术有限公司 数据压缩的系统和方法
CN107565970B (zh) * 2017-08-17 2021-01-15 苏州浪潮智能科技有限公司 一种基于特征识别的混合无损压缩方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106100641A (zh) * 2016-06-12 2016-11-09 深圳大学 针对fastq数据的多线程快速存储无损压缩方法及其系统
CA3052772A1 (en) * 2016-10-11 2018-08-23 Genomsys Sa Method and systems for the reconstruction of genomic reference sequences from compressed genomic sequence reads
EA201991906A1 (ru) * 2016-10-11 2020-01-21 Геномсыс Са Способ и системы для восстановления геномных референсных последовательностей из сжатых прочтений геномной последовательности
WO2019076177A1 (zh) * 2017-10-20 2019-04-25 人和未来生物科技（长沙）有限公司 基因测序数据压缩预处理、压缩、解压方法、系统及计算机可读介质
CN110021368A (zh) * 2017-10-20 2019-07-16 人和未来生物科技（长沙）有限公司 比对型基因测序数据压缩方法、系统及计算机可读介质
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统
CN112437930A (zh) * 2018-07-12 2021-03-02 华为技术有限公司 以熟练的推理速度和功耗，生成神经网络的压缩表示

Also Published As

Publication number Publication date
CN113285720A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN110299187B (zh) 一种基于Hadoop的并行化基因数据压缩方法
CN106549673B (zh) 一种数据压缩方法及装置
CN102334097B (zh) 使用simd指令的rdp位图散列加速
WO2020207410A1 (zh) 一种数据压缩方法、电子设备及存储介质
CN113285720B (zh) 基因数据无损压缩方法、集成电路及无损压缩设备
CN112633077B (zh) 一种基于层内多尺度特征增强的人脸检测方法、系统、存储介质及终端
CN112015366B (zh) 数据排序方法、数据排序装置及数据库系统
CN110162290B (zh) 一种针对OLED屏DeMURA数据的压缩方法
US20220114454A1 (en) Electronic apparatus for decompressing a compressed artificial intelligence model and control method therefor
JP2008067361A (ja) 符号化装置、復号化装置、符号化方法及びプログラム
JP6222285B1 (ja) データ処理装置、データ処理方法及びプログラム
WO2021145105A1 (ja) データ圧縮装置、およびデータ圧縮方法
JP2017163390A (ja) 情報処理装置、データ圧縮方法、及び、データ圧縮プログラム
CN110021349B (zh) 基因数据的编码方法
CN112753016A (zh) 神经网络中数据预处理阶段的计算资源的管理方法和装置
CN113268460B (zh) 基于多层次并行的基因数据无损压缩方法及装置
CN114401496A (zh) 一种基于5g边缘计算的视频信息快速处理方法
JP3432039B2 (ja) 画像符号化方法及びその装置
CN113760898A (zh) 表连接操作的处理方法和装置
WO2019155556A1 (ja) 行列圧縮装置、圧縮行列アクセス装置、方法、及びコンピュータ可読媒体
JP6961950B2 (ja) 格納方法、格納装置および格納プログラム
KR20210038027A (ko) 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법
CN110175262A (zh) 基于聚类的深度学习模型压缩方法、存储介质及系统
CN113139798B (zh) 基因测序流程管理控制方法及系统
CN111370070B (zh) 一种针对大数据基因测序文件的压缩处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant