CN110111851A - 基因测序数据压缩方法、系统及计算机可读介质 - Google Patents

基因测序数据压缩方法、系统及计算机可读介质 Download PDF

Info

Publication number
CN110111851A
CN110111851A CN201710982696.6A CN201710982696A CN110111851A CN 110111851 A CN110111851 A CN 110111851A CN 201710982696 A CN201710982696 A CN 201710982696A CN 110111851 A CN110111851 A CN 110111851A
Authority
CN
China
Prior art keywords
mer
character
sequence
prediction
string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710982696.6A
Other languages
English (en)
Other versions
CN110111851B (zh
Inventor
李�根
宋卓
刘蓬侠
王振国
冯博伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human And Future Biotechnology (changsha) Co Ltd
Original Assignee
Human And Future Biotechnology (changsha) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human And Future Biotechnology (changsha) Co Ltd filed Critical Human And Future Biotechnology (changsha) Co Ltd
Priority to CN201710982696.6A priority Critical patent/CN110111851B/zh
Priority to US16/618,404 priority patent/US11551785B2/en
Priority to PCT/CN2018/106192 priority patent/WO2019076177A1/zh
Publication of CN110111851A publication Critical patent/CN110111851A/zh
Application granted granted Critical
Publication of CN110111851B publication Critical patent/CN110111851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Genetics & Genomics (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基因测序数据压缩方法、系统及计算机可读介质，压缩方法包括遍历获取读长为Lr的读序列，针对每一条读序列生成短串K‑mer，选择原始基因字符串CS0并确定正负链类型d，通过预测数据模型P1获取每个短串K‑mer的预测字符c得到预测字符集PS，将读序列R的Lr‑k位、预测字符集PS编码后通过可逆函数进行可逆运算；将读序列R的正负链类型d、CS0及可逆运算结果压缩输出。本发明具有压缩率低，压缩时间短，压缩性能稳定的优点，不需要对基因数据进行精准比对，有较高的计算效率，预测数据模型P1的预测准确度越高，则可逆运算结果中的重复字符串就越多，压缩的压缩率就越低。

Description

基因测序数据压缩方法、系统及计算机可读介质
技术领域
本发明涉及基因测序和数据压缩技术，具体涉及一种基因测序数据压缩方法、系统及计算机可读介质。
背景技术
近年来，随着下一代测序技术（Next Generation Sequence, NGS）的持续进步，基因测序的速度更快，成本更低，基因测序技术得以在更加广泛的生物、医疗、健康、刑侦、农业等等许多领域被推广应用，从而导致基因测序产生的原始数据量以每年3到5倍、甚至更快的速度爆炸式增长。而且，每个基因测序样本数据又很大，例如一个人的55x全基因组测序数据大约是400GB。因此，海量的基因测试数据的存储、管理、检索和传输面临技术和成本的挑战。
数据压缩（data compression）就是缓解这个挑战的技术之一。数据压缩，是为了减少存储空间而把数据转换成比原始格式更紧凑形式的过程。原始的输入数据包含我们需要压缩或减小尺寸的符号序列。这些符号被压缩器编码，输出结果是编码过的数据。通常在之后的某个时间，编码后的数据会被输入到一个解压缩器，在这里数据被解码、重建，并以符号序列的形式输出原始数据。如果输出数据和输入数据始终完全相同，那么这个压缩方案被称为无损的（lossless），也称无损编码器。否则，它就是一个有损的（lossy）压缩方案。
目前，世界各国研究人员已经开发出多种用于基因测序数据的压缩方法。基于基因测序数据的用途，其压缩后必须随时可以重建、恢复成原始数据，因此，有实际意义的基因测序数据压缩方法都是无损压缩。如果按总的技术路线分类，可以将基因测序数据压缩方法分成三大类：通用（general purpose）压缩算法、有参考基因组（reference-based）的压缩算法和无参考基因组（reference-free）的压缩算法。
通用压缩算法，就是不考虑基因测序数据的特点，采用通用的压缩方法进行数据压缩。
无参考基因组压缩算法，就是不使用参考基因组，只是利用基因测序数据自身的特点，采用某种压缩方法对目标样本数据直接进行数据压缩。已有的无参考基因组压缩算法常用的压缩方法有霍夫曼编码、以LZ77和LZ78为代表的字典方法、算术编码等基础的压缩算法及其变种和优化。
有参考基因组压缩算法，就是选取某个基因组数据作为参考基因组，利用基因测序数据自身的特点，以及目标样本数据和参考基因组数据之间的相似性，间接进行数据压缩。已有的有参考基因组压缩算法常用的相似性表示、编码和压缩方法主要还是霍夫曼编码、以LZ77和LZ78为代表的字典方法、算术编码等基础的压缩算法及其变种和优化。
衡量压缩算法性能或效率的2个最常用的技术指标是：压缩率（compressionratio）或压缩比；压缩/解压时间或压缩/解压速度。压缩率=（压缩后数据大小/压缩前数据大小）*100%，压缩比=（压缩前数据大小/压缩后数据大小），即压缩率和压缩比互为倒数。压缩率和压缩比只和压缩算法本身有关，多种算法间可以直接进行比较，压缩率越小或压缩比越大，表明算法性能或效率越好；压缩/解压时间，即从读取原始数据到解压完成所需的机器运行时间；压缩/解压速度，即平均每单位时间可以处理压缩的数据量。压缩/解压时间和压缩/解压速度，既和压缩算法本身有关，也和使用的机器环境（包括硬件和系统软件）有关，因此，多种算法必须基于相同的机器环境运行，压缩/解压时间或压缩/解压速度的比较才有意义，在此前提下，压缩/解压时间越短，压缩/解压速度越快，表明算法性能或效率越好。另外，还有一个参考技术指标是运行时的资源消耗，主要是机器存储的峰值。在压缩率和压缩/解压时间相当的情况下，对存储的要求越少，表明算法性能或效率越好。
根据研究人员对已有的基因测序数据压缩方法的比较研究结果，无论是通用压缩算法、无参考基因组的压缩算法，还是有参考基因组压缩算法，都存在的问题有：1、压缩率还有进一步下降的空间；2、在获得相对较好的压缩率时，算法的压缩/解压时间相对较长，时间成本成为新的问题。此外，与通用压缩算法和无参考基因组压缩算法相比，有参考基因组压缩算法通常能获得更好的压缩率。但是，对于有参考基因组的压缩算法，参考基因组的选择会导致算法性能的稳定性问题，即处理相同的目标样本数据，当选择不同的参考基因组时，压缩算法性能可能存在明显差异；而使用相同的参考基因组选择策略，当处理同种的、不同的基因测序样本数据时，压缩算法的性能同样可能存在明显差异。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基因测序数据压缩方法、系统及计算机可读介质，本发明的基因测序数据压缩方法是一种无损的、有参考基因组的基因测序数据压缩方法，具有压缩率低，压缩时间短，压缩性能稳定的优点，不需要对基因数据进行精准比对，有较高的计算效率，预测数据模型P1的预测准确度越高，则可逆运算结果中的重复字符串就越多，从而压缩的压缩率就越低。
为了解决上述技术问题，本发明采用的技术方案为：
一方面，本发明提供一种基因测序数据压缩方法，实施步骤包括：
1）从基因测序数据样本data中遍历获取读长为Lr的读序列R；
2）针对每一条读序列R，选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长的k位字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；将读序列R的正负链类型d、k位原始基因字母以及可逆运算结果作为三条数据流压缩输出。
优选地，步骤2）的实施步骤包括：
2.1）从基因测序数据样本data中遍历获取一条读长为Lr的读序列R，针对读序列R选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长子字符串作为短串K-mer得到读序列短串集合KR；
2.2）按照顺序生成定长子字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；
2.3）将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；
2.4）将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出；
2.5）判断基因测序数据样本data中的读序列R是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤2.1）；否则结束并退出。
优选地，步骤2.2）的详细步骤包括：
2.2.1）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造正链预测序列KP1，正链预测序列KP1中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,0)，其中k-mer为短串K-mer，0表示假设该短串K-mer来自正链；
2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其对应的预测字符c，得到所有预测字符c构成的正链预测字符序列PS1；所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其相邻位对应的预测字符c；
2.2.3）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造负链预测序列KP2，负链预测序列KP2中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,1)，其中k-mer为短串K-mer，1表示假设该短串K-mer来自负链；
2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c，得到所有预测字符c构成的负链预测字符序列PS2；
2.2.5）计算正链预测字符序列PS1、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L1，计算负链预测字符序列PS2、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L2；
2.2.6）判断编辑距离为L1小于L2是否成立，如果成立则判定读序列R的正负链类别d为正链、将正链预测字符序列PS1作为Lr-k位的预测字符集PS；否则，判定读序列R的正负链类别d为负链、将负链预测字符序列PS2作为Lr-k位的预测字符集PS。
优选地，所述预测数据模型P1为长度为L的基因字符串，步骤2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其相邻位对应的预测字符c的详细步骤包括：
2.2.2.1）使用预测数据模型P1对应的映射函数将正链预测序列KP1中的每一个元组(k-mer,0)映射到一个[0,L]范围的整数集合中的某一行，其中L是整数集合的上确界，整数集合的上确界L与预测数据模型P1的长度相同，0是整数集合的下确界，根据映射结果生成一维表T1，一维表T1的长度为(Lr–k+1)，一维表T1中的第i个元素T1[i]分别顺序存储映射至整数集合中第i行的元组(k-mer,0)对应的映射函数的值，i∈[0，Lr - k]；
2.2.2.2）根据一维表T1各个元组(k-mer,0)对应的映射函数的值从预测数据模型P1获取在其相邻位对应的预测字符c生成一维字符序列PS1，使得一维字符序列PS1的第i位PS1[i]的值等于预测数据模型P1中的第i位字符P1[T1[i]] ，预测数据模型P1中的第i位字符P1[T1[i]]为映射函数的值为PS1[i]对应的元组(k-mer,0) 对应的预测字符c，其中i∈[0，Lr - k]，Lr为读序列R的读长，k为短串K-mer的长度。
优选地，步骤2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c的详细步骤包括：
2.2.4.1）使用预测数据模型P1对应的映射函数将负链预测序列KP2中的每一个元组(k-mer,1)映射到一个[0,L]范围的整数集合中的某一行，其中L是整数集合的上确界，整数集合的上确界L与预测数据模型P1的长度相同，0是整数集合的下确界，根据映射结果生成一维表T2，一维表T2中长度为(Lr–k+1)，一维表T2中的第i个元素T2[i] 分别顺序存储映射至整数集合中第i行的元组(k-mer,1)对应的映射函数的值，i∈[0，Lr-k]；
2.2.4.2）根据一维表T2各个元组(k-mer,1)对应的映射函数的值从预测数据模型P1获取在其相邻位对应的预测字符c生成一维字符序列PS2，使得一维字符序列PS2的第i位PS2[i]的值等于预测数据模型P1中的第i位字符P1[T2[i]]，预测数据模型P1中的第i位字符P1[T2[i]]为映射函数的值为PS2[i]对应的元组(k-mer,0) 对应的预测字符c，其中i∈[0，Lr-k]，Lr为读序列R的读长，k为短串K-mer的长度。
优选地，所述预测数据模型P1为预先基于参考基因组中的短串K-mer及其相邻位对应的碱基字母c0完成训练的神经网络模型；步骤2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1的映射函数映射获取其对应的预测字符c具体是指将正链预测序列KP1中的每一个元组(k-mer,0)输入神经网络模型，得到该元组(k-mer,0)对应的预测字符c；步骤2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1的映射函数映射获取其相邻位对应的预测字符c具体是指将正链预测序列KP2中的每一个元组(k-mer,1)输入神经网络模型，得到该元组(k-mer,1)对应的预测字符c。
优选地，步骤2）中的可逆函数具体采用XOR异或函数或者位减法函数。
优选地，步骤2）中的压缩具体是指使用统计模型和熵编码进行压缩。
另一方面，本发明还提供一种基因测序数据压缩系统，包括计算机系统，所述计算机系统被编程以执行本发明前述基因测序数据压缩方法的步骤。
此外，本发明还提供一种计算机可读介质，所述计算机可读介质上存储有计算机程序，其特征在于，所述计算机程序使计算机执行本发明前述基因测序数据压缩方法的步骤。
本发明具有下述优点：
1、本发明的基因测序数据压缩方法是一种无损的、有参考基因组的基因测序数据压缩方法，通过利用参考基因组的预测数据模型P1，能够有效提升基因序列数据的压缩倍率，具有压缩率低，压缩时间短，压缩性能稳定的优点。
2、区别于现有技术使用参考序列进行基因序列精准比对后再进行数据压缩，本发明不需要对基因数据进行精准比对，有较高的计算效率；预测数据模型P1的预测准确度越高，则可逆运算结果中的重复字符串就越多，从而压缩的压缩率就越低。
附图说明
图1为本发明实施例一方法的原理示意图。
具体实施方式
实施例一：
参见图1，本实施例基因测序数据压缩方法的实施步骤包括：
1）从基因测序数据样本data中遍历获取读长为Lr的读序列R；
2）针对每一条读序列R，选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长的k位字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出。本实施例中，正负链类型d为0或1，0表示读序列R来自正链，1表示读序列R来自负链。
需要说明的是，获取相邻位的预测字符c时，相邻位的定义和选择原始基因字符串CS0的方式相关，如果选择原始基因字符串CS0为读序列R的前k位，则相邻位是指下一位；如果选择原始基因字符串CS0为读序列R的后k位，则相邻位是指上一位；如果选择原始基因字符串CS0为读序列R的中间k位，则相邻位包括上一位和下一位。参见图1，本实施例中相邻位具体指下一位，选择原始基因字符串CS0时选择前k位原始基因字母，读序列R中不含k位原始基因字母的Lr-k位原始基因字母具体是指读序列R中的后Lr-k位原始基因字母。
本实施例中，步骤2）的实施步骤包括：
2.1）从基因测序数据样本data中遍历获取一条读长为Lr的读序列R，针对读序列R选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长子字符串作为短串K-mer得到读序列短串集合KR；
2.2）按照顺序生成定长子字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；
2.3）将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；
2.4）将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出；
2.5）判断基因测序数据样本data中的读序列R是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤2.1）；否则结束并退出。
需要说明的是，读序列R的读长Lr可以根据需要进行指定，例如在某些极限情况下甚至可以指定一个足够大的读长Lr，从而将一个基因测序数据样本data指定在一个读序列R中。
本实施例中，步骤2.2）的详细步骤包括：
2.2.1）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造正链预测序列KP1，正链预测序列KP1中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,0)，其中k-mer为短串K-mer，0表示假设该短串K-mer来自正链；
2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其对应的预测字符c，得到所有预测字符c构成的正链预测字符序列PS1；所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其相邻位对应的预测字符c；
2.2.3）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造负链预测序列KP2，负链预测序列KP2中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,1)，其中k-mer为短串K-mer，1表示假设该短串K-mer来自负链；
2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c，得到所有预测字符c构成的负链预测字符序列PS2；
2.2.5）计算正链预测字符序列PS1、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L1，计算负链预测字符序列PS2、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L2；
2.2.6）判断编辑距离为L1小于L2是否成立，如果成立则判定读序列R的正负链类别d为正链、将正链预测字符序列PS1作为Lr-k位的预测字符集PS；否则，判定读序列R的正负链类别d为负链、将负链预测字符序列PS2作为Lr-k位的预测字符集PS。
如果选择k位原始基因字母为读序列R的前k位，预测字符集PS实质上是读序列R的后Lr-k位对应的预测字符集；如果选择k位原始基因字母为读序列R的后k位，则预测字符集PS实质上是读序列R的前Lr-k位对应的预测字符集；如果选择k位原始基因字母为读序列R的中间k位，则预测字符集PS实质上包含了两部分预测字符集，两部分预测字符集的总长度为Lr-k位，对应读序列R中不含k位原始基因字母的Lr-k位原始基因字母。
本实施例中，所述预测数据模型P1为长度为L的基因字符串，步骤2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其相邻位对应的预测字符c的详细步骤包括：
2.2.2.1）使用预测数据模型P1对应的映射函数将正链预测序列KP1中的每一个元组(k-mer,0)映射到一个[0,L]范围的整数集合中的某一行，其中L是整数集合的上确界，整数集合的上确界L与预测数据模型P1的长度相同，0是整数集合的下确界，根据映射结果生成一维表T1，一维表T1的长度为(Lr–k+1)，一维表T1中的第i个元素T1[i]分别顺序存储映射至整数集合中第i行的元组(k-mer,0)对应的映射函数的值，i∈[0，Lr - k]；
2.2.2.2）根据一维表T1各个元组(k-mer,0)对应的映射函数的值从预测数据模型P1获取在其相邻位对应的预测字符c生成一维字符序列PS1，使得一维字符序列PS1的第i位PS1[i]的值等于预测数据模型P1中的第i位字符P1[T1[i]] ，预测数据模型P1中的第i位字符P1[T1[i]]为映射函数的值为PS1[i]对应的元组(k-mer,0) 对应的预测字符c，其中i∈[0，Lr - k]，Lr为读序列R的读长，k为短串K-mer的长度。
本实施例中，步骤2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c的详细步骤包括：
2.2.4.1）使用预测数据模型P1对应的映射函数将负链预测序列KP2中的每一个元组(k-mer,1)映射到一个[0,L]范围的整数集合中的某一行，其中L是整数集合的上确界，整数集合的上确界L与预测数据模型P1的长度相同，0是整数集合的下确界，根据映射结果生成一维表T2，一维表T2中长度为(Lr–k+1)，一维表T2中的第i个元素T2[i] 分别顺序存储映射至整数集合中第i行的元组(k-mer,1)对应的映射函数的值，i∈[0，Lr-k]；
2.2.4.2）根据一维表T2各个元组(k-mer,1)对应的映射函数的值从预测数据模型P1获取在其相邻位对应的预测字符c生成一维字符序列PS2，使得一维字符序列PS2的第i位PS2[i]的值等于预测数据模型P1中的第i位字符P1[T2[i]]，预测数据模型P1中的第i位字符P1[T2[i]]为映射函数的值为PS2[i]对应的元组(k-mer,0) 对应的预测字符c，其中i∈[0，Lr-k]，Lr为读序列R的读长，k为短串K-mer的长度。
需要说明的是，预测数据模型P1的长度L涉及压缩处理的性能和压缩率，预测数据模型P1的长度L越大，则将取出的每一个元组(k-mer,d, c0) 的子元组(k-mer,d)映射到一个范围为[0，L]的整数集合中的某一行生成一个L行4列的二维统计表F时发生冲突的机会就越少，从而使得预测的准确率就会越高，但是这样会导致计算消费的资源较多；相反，预测数据模型P1的长度L越小，则将取出的每一个元组(k-mer,d, c0) 的子元组(k-mer,d)映射到一个范围为[0，L]的整数集合中的某一行生成一个L行4列的二维统计表F时发生冲突的机会就越多，从而使得预测的准确率就会越低，计算消费的资源较少。
本实施例中，步骤2）中的可逆函数具体采用XOR异或函数。本实施例中，A、C、G、T四种基因字母分别被编码为00、01、10和11四种字符编码，例如某一位基因字母为A，而预测字符c同样为A，则该位的XOR异或操作结果（可逆运算结果）为00，否则XOR异或操作结果根据预测字符c不同而有所不同；在解压时，针对预测字符c的字符编码和XOR异或操作结果（可逆运算结果）再进行XOR异或操作（通过可逆函数的反函数进行逆向操作），即可复原得到原始的基因字母。将A、C、G、T四种基因字母分别被编码为00、01、10和11四种字符编码是一种优选的比较精简的编码方式，此外也可以根据需要采用其他的二进制编码方式，同样也可以实现基因字母、预测字符、可逆运算结果三者的可逆转换。毫无疑问，除了XOR异或运算以外，可逆函数也可以采用位减法函数，此时则可逆函数的反函数为位加法，同样也可以实现基因字母、预测字符、可逆运算结果三者的可逆转换。
本实施例中，步骤2）中的压缩具体是指使用统计模型和熵编码进行压缩。
本实施例中，步骤1）中的预测数据模型P1生成步骤包括：
A1）获取待处理的参考基因组数据dataref（参考基因组数据dataref为一个或多个物种的完整或部分参考基因组或物种中某一个具体个体测序得到的基因序列）；
A2）获取参考基因组数据dataref中作为短串K-mer的任意定长子字符串及其预测字符c之间的映射关系，得到包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c的预测数据模型P1。短串K-mer的长度k一般取值为16~32中的一个具体值。
其中，步骤A2）的实施步骤包括：
A2.1）按照指定间隔顺序提取参考基因组数据dataref的正链S1中的定长子字符串作为短串K-mer构造正链短串集合KS1，正链S1为原始顺序的参考基因组数据dataref本身；
A2.2）按照指定间隔顺序提取参考基因组数据 dataref的负链S2中的定长子字符串作为短串K-mer构造负链短串集合KS2，负链S2为参考基因组数据 dataref的逆序互补基因序列，逆序互补基因序列和参考基因组数据dataref之间碱基A和T互换、碱基C和G互换；
A2.3）根据正链短串集合KS1、负链短串集合KS2生成参考基因组数据 dataref对应的预测数据模型P1，预测数据模型P1包含正链S1及负链S2中的任意短串K-mer及其对应的统计得到的最大可能相邻位的预测字符c之间的映射关系。
其中，步骤A2.3）的详细步骤包括：
A2.3.1）针对正链短串集合KS1顺序提取短串K-mer并构造正链预测集合KP1，正链短串集合KS1中的每一个元素在正链预测集合KP1中存在一个对应的元组，该元组至少包含三种信息：短串K-mer、来自正链的标记d、在正链S1中的下一个碱基字母c0；
A2.3.2）针对负链短串集合KS2顺序提取短串K-mer并构造负链预测集合KP2，负链短串集合KS2中的每一个元素在负链预测集合KP2中存在一个对应的元组，该元组至少包含三种信息：短串K-mer、自负链的标记d、元素在负链S2中的下一个碱基字母c0；
A2.3.3）将正链预测集合KP1和负链预测集合KP2中的元组映射到碱基字母A、C、G、T，统计正链S1及负链S2中的任意短串K-mer及其对应的统计得到的最大可能相邻位的碱基字母，得到包含正链S1及负链S2中的任意短串K-mer及其对应的统计得到的最大可能相邻位的预测字符c之间的映射关系预测数据模型P1。
其中，步骤A2.3.3）的详细步骤包括：
A2.3.3.1）逐个从正链预测集合KP1、负链预测集合KP2中取出每一个元组(k-mer,d,c0)，其中k-mer为元组对应的短串K-mer，d为正负链类别，d=0表示为正链，d=1 表示为负链，c0为元组对应的短串K-mer在正链S1或负链S2中对应的下一个碱基字母；
A2.3.3.2）使用预设的映射函数，将取出的每一个元组(k-mer,d, c0) 的子元组(k-mer,d)映射到一个范围为[0，L]的整数集合中的某一行生成一个L行4列的二维统计表F且由元组(k-mer,d, c0)中元组对应的短串K-mer在正链S1或负链S2中对应的下一个碱基字母c0确定其命中行的对应列，其中L是整数集合的上确界，0是整数集合的下确界，统计整数集合中每个值对应出现的碱基字母A、C、G、T的数目，二维统计表F中的4列对应碱基字母A、C、G、T，二维统计表F中的元素Fi,c存储了值为i的子元组(k-mer,d)所对应的碱基字母A、C、G、T出现的数目，其中，下标i∈[0，L]，c∈{A、C、G、T}；
A2.3.3.3）从0到L行遍历二维统计表 F，将每行中最大值的元素Fi,c所对应的碱基字母构成一维字符序列作为预测数据模型P1，预测数据模型P1的长度为L，L是整数集合的上确界，预测数据模型P1的第i位字符P1[i]表示命中整数集合第i行的元组对应的短串K-mer的预测字符c。
其中，步骤A2.3.3.2）中统计整数集合中每个值对应出现的A、C、G、T的数目具体是指：在将取出的每一个元组(k-mer,d, c0) 的子元组(k-mer,d)映射到一个范围为[0，L]的整数集合时，针对二维统计表F的每一行的四个元素Fi,c分别设置四个计数值的Fi,A、Fi,C、Fi,G、Fi,T，若命中整数集合第i行的元组对应的短串K-mer在正链S1或负链S2中对应的下一个碱基字母c0为A，则将第i行的Fi,A加1；若命中整数集合第i行的元组对应的短串K-mer在正链S1或负链S2中对应的下一个碱基字母c0为C，则将第i行的Fi,C加1；若命中整数集合第i行的元组对应的短串K-mer在正链S1或负链S2中对应的下一个碱基字母c0为G，则将第i行的Fi,G加1；若命中整数集合第i行的元组对应的短串K-mer在正链S1或负链S2中对应的下一个碱基字母c0为T，则将第i行的Fi,T加1；最终统计得到整数集合中每个值对应出现的A、C、G、T的数目Fi,A、Fi,C、Fi,G、Fi,T。
综上所述，本实施例的基因测序数据压缩方法能够满足基因测序数据压缩的无损、压缩率低、压缩时间短、性能稳定的要求，能够极大地缓解基因测试数据面临的存储、管理、检索和传输技术及成本的挑战。
本实施例还提供一种基因测序数据压缩系统，包括计算机系统，计算机系统被编程以执行本实施例前述基因测序数据压缩方法的步骤，在此不再赘述。此外，本实施例还提供一种计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序使计算机执行本实施例前述基因测序数据压缩方法的步骤，在此不再赘述。
实施例二：
本实施例与实施例一基本相同，其主要区别点为步骤1）中的预测数据模型P1不同。
本实施例中，预测数据模型P1为预先基于参考基因组中的短串K-mer及其相邻位对应的碱基字母c0完成训练的神经网络模型；步骤2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1的映射函数映射获取其对应的预测字符c具体是指将正链预测序列KP1中的每一个元组(k-mer,0)输入神经网络模型，得到该元组(k-mer,0)对应的预测字符c；步骤2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1的映射函数映射获取其相邻位对应的预测字符c具体是指将正链预测序列KP2中的每一个元组(k-mer,1)输入神经网络模型，得到该元组(k-mer,1)对应的预测字符c。
对应地实施例一的步骤A2.3），本实施例生成的预测数据模型P1的详细步骤包括：
B2.3.1）针对正链短串集合KS1顺序提取短串K-mer并构造正链预测集合KP1，使得正链短串集合KS1中的每一个元素在正链预测集合KP1中存在一个对应的元组，该元组至少包含三种信息：短串K-mer、来自正链的标记d、在正链S1中的下一个碱基字母c0；
B2.3.2）针对负链短串集合KS2顺序提取短串K-mer并构造负链预测集合KP2，使得负链短串集合KS2中的每一个元素在负链预测集合KP2中存在一个对应的元组，该元组至少包含三种信息：短串K-mer、来自负链的标记d、负链S2中的下一个碱基字母c0；
B2.3.3）将正链预测集合KP1和负链预测集合KP2中的元组对应的短串K-mer及其在正链S1或负链S2中对应的下一个碱基字母c0生成训练集，通过训练集来对神经网络模型进行训练，并将完成训练的神经网络模型作为预测数据模型P1。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本发明领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基因测序数据压缩方法，其特征在于实施步骤包括：
1）从基因测序数据样本data中遍历获取读长为Lr的读序列R；
2）针对每一条读序列R，选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长的k位字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出。
2.根据权利要求1所述的基因测序数据压缩方法，其特征在于，步骤2）的实施步骤包括：
2.1）从基因测序数据样本data中遍历获取一条读长为Lr的读序列R，针对读序列R选择k位原始基因字母作为原始基因字符串CS0，从原始基因字符串CS0开始以k位长度作为滑动窗口顺序生成定长子字符串作为短串K-mer得到读序列短串集合KR；
2.2）按照顺序生成定长子字符串作为短串K-mer，根据短串K-mer确定读序列R的正负链类型d，且通过预设的预测数据模型P1获取每一个短串K-mer对应相邻位的预测字符c得到长度为Lr-k位的预测字符集PS，所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其对应相邻位的预测字符c；
2.3）将读序列R中不含k位原始基因字母的Lr-k位原始基因字母、预测字符集PS编码后通过可逆函数进行可逆运算，所述可逆函数将任意一对相同的字符编码的运算输出结果相同；
2.4）将读序列R的正负链类型d、原始基因字符串CS0以及可逆运算结果作为三条数据流压缩输出；
2.5）判断基因测序数据样本data中的读序列R是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤2.1）；否则结束并退出。
3.根据权利要求2所述的基因测序数据压缩方法，其特征在于，步骤2.2）的详细步骤包括：
2.2.1）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造正链预测序列KP1，正链预测序列KP1中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,0)，其中k-mer为短串K-mer，0表示假设该短串K-mer来自正链；
2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其对应的预测字符c，得到所有预测字符c构成的正链预测字符序列PS1；所述预测数据模型P1包含参考基因组的正链及负链中任意短串K-mer及其相邻位对应的预测字符c；
2.2.3）针对读序列短串集合KR顺序提取短串K-mer，基于短串K-mer构造负链预测序列KP2，负链预测序列KP2中对于读序列短串集合KR中任意短串K-mer均存在一个对应的元组(k-mer,1)，其中k-mer为短串K-mer，1表示假设该短串K-mer来自负链；
2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c，得到所有预测字符c构成的负链预测字符序列PS2；
2.2.5）计算正链预测字符序列PS1、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L1，计算负链预测字符序列PS2、读序列R中不含k位原始基因字母的Lr-k位原始基因字母两者之间的编辑距离L2；
2.2.6）判断编辑距离为L1小于L2是否成立，如果成立则判定读序列R的正负链类别d为正链、将正链预测字符序列PS1作为Lr-k位的预测字符集PS；否则，判定读序列R的正负链类别d为负链、将负链预测字符序列PS2作为Lr-k位的预测字符集PS。
4.根据权利要求3所述的基因测序数据压缩方法，其特征在于，所述预测数据模型P1为长度为L的基因字符串，步骤2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1获取其相邻位对应的预测字符c的详细步骤包括：
2.2.2.1）使用预测数据模型P1对应的映射函数将正链预测序列KP1中的每一个元组(k-mer,0)映射到一个[0,L]范围的整数集合中的某一行，其中L是整数集合的上确界，整数集合的上确界L与预测数据模型P1的长度相同，0是整数集合的下确界，根据映射结果生成一维表T1，一维表T1的长度为(Lr–k+1)，一维表T1中的第i个元素T1[i]分别顺序存储映射至整数集合中第i行的元组(k-mer,0)对应的映射函数的值，i∈[0，Lr - k]；
2.2.2.2）根据一维表T1各个元组(k-mer,0)对应的映射函数的值从预测数据模型P1获取在其相邻位对应的预测字符c生成一维字符序列PS1，使得一维字符序列PS1的第i位PS1[i]的值等于预测数据模型P1中的第i位字符P1[T1[i]] ，预测数据模型P1中的第i位字符P1[T1[i]]为映射函数的值为PS1[i]对应的元组(k-mer,0) 对应的预测字符c，其中i∈[0，Lr - k]，Lr为读序列R的读长，k为短串K-mer的长度。
5.根据权利要求4所述的基因测序数据压缩方法，其特征在于，步骤2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1获取其相邻位对应的预测字符c的详细步骤包括：
2.2.4.1）使用预测数据模型P1对应的映射函数将负链预测序列KP2中的每一个元组(k-mer,1)映射到一个[0,L]范围的整数集合中的某一行，其中L是整数集合的上确界，整数集合的上确界L与预测数据模型P1的长度相同，0是整数集合的下确界，根据映射结果生成一维表T2，一维表T2中长度为(Lr–k+1)，一维表T2中的第i个元素T2[i] 分别顺序存储映射至整数集合中第i行的元组(k-mer,1)对应的映射函数的值，i∈[0，Lr-k]；
2.2.4.2）根据一维表T2各个元组(k-mer,1)对应的映射函数的值从预测数据模型P1获取在其相邻位对应的预测字符c生成一维字符序列PS2，使得一维字符序列PS2的第i位PS2[i]的值等于预测数据模型P1中的第i位字符P1[T2[i]]，预测数据模型P1中的第i位字符P1[T2[i]]为映射函数的值为PS2[i]对应的元组(k-mer,0) 对应的预测字符c，其中i∈[0，Lr-k]，Lr为读序列R的读长，k为短串K-mer的长度。
6.根据权利要求3所述的基因测序数据压缩方法，其特征在于，所述预测数据模型P1为预先基于参考基因组中的短串K-mer及其相邻位对应的碱基字母c0完成训练的神经网络模型；步骤2.2.2）针对正链预测序列KP1中的每一个元组(k-mer,0)通过预测数据模型P1的映射函数映射获取其对应的预测字符c具体是指将正链预测序列KP1中的每一个元组(k-mer,0)输入神经网络模型，得到该元组(k-mer,0)对应的预测字符c；步骤2.2.4）针对负链预测序列KP2中的每一个元组(k-mer,1)通过预测数据模型P1的映射函数映射获取其相邻位对应的预测字符c具体是指将正链预测序列KP2中的每一个元组(k-mer,1)输入神经网络模型，得到该元组(k-mer,1)对应的预测字符c。
7.根据权利要求1所述的基因测序数据压缩方法，其特征在于，步骤2）中的可逆函数具体采用XOR异或函数或者位减法函数。
8.根据权利要求1所述的基因测序数据压缩方法，其特征在于，步骤2）中的压缩具体是指使用统计模型和熵编码进行压缩。
9.一种基因测序数据压缩系统，包括计算机系统，其特征在于，所述计算机系统被编程以执行权利要求1～8中任意一项所述的基因测序数据压缩方法的步骤。
10.一种计算机可读介质，所述计算机可读介质上存储有计算机程序，其特征在于，所述计算机程序使计算机执行权利要求1～8中任意一项所述的基因测序数据压缩方法的步骤。
CN201710982696.6A 2017-10-20 2017-10-20 基因测序数据压缩方法、系统及计算机可读介质 Active CN110111851B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710982696.6A CN110111851B (zh) 2017-10-20 2017-10-20 基因测序数据压缩方法、系统及计算机可读介质
US16/618,404 US11551785B2 (en) 2017-10-20 2018-09-18 Gene sequencing data compression preprocessing, compression and decompression method, system, and computer-readable medium
PCT/CN2018/106192 WO2019076177A1 (zh) 2017-10-20 2018-09-18 基因测序数据压缩预处理、压缩、解压方法、系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710982696.6A CN110111851B (zh) 2017-10-20 2017-10-20 基因测序数据压缩方法、系统及计算机可读介质

Publications (2)

Publication Number Publication Date
CN110111851A true CN110111851A (zh) 2019-08-09
CN110111851B CN110111851B (zh) 2020-07-24

Family

ID=67483453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710982696.6A Active CN110111851B (zh) 2017-10-20 2017-10-20 基因测序数据压缩方法、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN110111851B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116153452A (zh) * 2023-04-18 2023-05-23 济南科汛智能科技有限公司 基于人工智能的医疗电子病历存储系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546160A (zh) * 2013-09-22 2014-01-29 上海交通大学 基于多参考序列的基因序列分级压缩方法
US20150113220A1 (en) * 2013-10-21 2015-04-23 International Business Machines Corporation Efficient one-pass cache-aware compression
US20160132636A1 (en) * 2014-10-30 2016-05-12 International Business Machines Corporation Managing gene sequences
CN107066837A (zh) * 2017-04-01 2017-08-18 上海交通大学 一种有参考dna序列压缩方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546160A (zh) * 2013-09-22 2014-01-29 上海交通大学 基于多参考序列的基因序列分级压缩方法
US20150113220A1 (en) * 2013-10-21 2015-04-23 International Business Machines Corporation Efficient one-pass cache-aware compression
US20160132636A1 (en) * 2014-10-30 2016-05-12 International Business Machines Corporation Managing gene sequences
CN107066837A (zh) * 2017-04-01 2017-08-18 上海交通大学 一种有参考dna序列压缩方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟倩: "基于高通量测序的短序列生物数据压缩研究", 《计算机应用与软件》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116153452A (zh) * 2023-04-18 2023-05-23 济南科汛智能科技有限公司 基于人工智能的医疗电子病历存储系统

Also Published As

Publication number Publication date
CN110111851B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
Goyal et al. Deepzip: Lossless data compression using recurrent neural networks
CN103814396B (zh) 编解码比特流的方法和装置
CN110021369B (zh) 基因测序数据压缩解压方法、系统及计算机可读介质
US10547324B2 (en) Data compression coding method, apparatus therefor, and program therefor
KR101049699B1 (ko) 데이터의 압축방법
CN103995887B (zh) 位图索引压缩方法和位图索引解压方法
WO2019076177A1 (zh) 基因测序数据压缩预处理、压缩、解压方法、系统及计算机可读介质
CN1183683C (zh) 使用前缀预测的位自适应编码方法
CN103995988A (zh) 一种高通量dna测序质量分数无损压缩系统及压缩方法
CN107066837A (zh) 一种有参考dna序列压缩方法和系统
CN114697654B (zh) 一种神经网络量化压缩方法及系统
CN112506879A (zh) 数据处理方法及相关设备
CN110021368A (zh) 比对型基因测序数据压缩方法、系统及计算机可读介质
CN108287985A (zh) 一种gpu加速的dna序列压缩方法及系统
US20240220457A1 (en) Method of compressing and decompressing a file via cellular automata pre-processing
Banerjee et al. Reference based inter chromosomal similarity based DNA sequence compression algorithm
CN109698703B (zh) 基因测序数据解压方法、系统及计算机可读介质
CN110111851A (zh) 基因测序数据压缩方法、系统及计算机可读介质
CN116743182B (zh) 一种数据无损压缩方法
CN110310709B (zh) 一种基于参考序列的基因压缩方法
CN109698702A (zh) 基因测序数据压缩预处理方法、系统及计算机可读介质
Absardi et al. A fast reference-free genome compression using deep neural networks
US20230053844A1 (en) Improved Quality Value Compression Framework in Aligned Sequencing Data Based on Novel Contexts
Pinho et al. Finite-context models for DNA coding
CN108259515A (zh) 一种适用于带宽受限下传输链路的无损信源压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant