CN108629157A - 一种用于核酸测序数据压缩和加密的方法 - Google Patents

一种用于核酸测序数据压缩和加密的方法 Download PDF

Info

Publication number
CN108629157A
CN108629157A CN201710173990.2A CN201710173990A CN108629157A CN 108629157 A CN108629157 A CN 108629157A CN 201710173990 A CN201710173990 A CN 201710173990A CN 108629157 A CN108629157 A CN 108629157A
Authority
CN
China
Prior art keywords
nucleic acid
sequence
sequencing data
base
acid sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710173990.2A
Other languages
English (en)
Other versions
CN108629157B (zh
Inventor
邓天全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huada Qinglan Biotechnology Wuxi Co ltd
BGI Technology Solutions Co Ltd
Original Assignee
BGI Technology Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BGI Technology Solutions Co Ltd filed Critical BGI Technology Solutions Co Ltd
Priority to CN201710173990.2A priority Critical patent/CN108629157B/zh
Publication of CN108629157A publication Critical patent/CN108629157A/zh
Application granted granted Critical
Publication of CN108629157B publication Critical patent/CN108629157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B30/00—ICT specially adapted for sequence analysis involving nucleotides or amino acids

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Genetics & Genomics (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开了一种用于核酸测序数据压缩和加密的方法。本申请的用于核酸测序数据压缩和加密的方法，包括在测序获得的核酸序列中，以4‑7个碱基序列为一个序列单元，每个序列单元对应不同的特异符号，以特异符号的形式进行核酸测序数据的压缩和保存；同时，建立序列单元和所述特异符号对应的解密数据库，实现核酸测序数据的加密。本申请的核酸测序数据压缩和加密方法，采用一个特异符号代表核酸序列中的4‑7个碱基序列，减小了存储空间，方便存储和传输；同时，特异符号与序列单元的自定义对应关系，起到加密作用，增加了核酸测序数据的安全性。

Description

一种用于核酸测序数据压缩和加密的方法
技术领域
本申请涉及核酸测序数据处理领域，特别是涉及一种用于核酸测序数据压缩和加密的方法。
背景技术
随着测序技术的进步，全世界测序产出的DNA数据正在激增中，如何有效降低DNA数据的存储空间已经成为了一个急需解决的难题。目前测序数据压缩格式，如gz、bz2等，只能将DNA的测序数据压缩至原来的30％左右。DNA的测序数据，通常为FASTQ格式，或称fq格式；FASTQ格式或fq格式的数据有着自己固定的格式形式，DNA测序数据也只有4种碱基，由A，C，G，T这四个字母表示，加上测序失败时用来替补的N补位码，FASTQ总共有5种碱基。DNA测序数据量大，不仅耗费存储空间；而且，使用网络传输会需要花费大量的时间和很多带宽。
此外，现有的DNA测序数据压缩格式通常没有考虑加密问题，或者只是简单的对压缩文件进行加密，而对DNA测序数据本身没有加密。随着测序技术的发展和推广，私人定制的基因测序可以对个人或物种个体进行测序，而其测序数据里保含了各种遗传、疾病风险等各种重要信息，基于个人隐私和数据安全，数据进行加密十分必要，而仅仅对压缩文件进行加密很容易被破解，一旦被不法分子获得，可能会造成十分严重的后果。
因此，亟需一种新的核酸测序数据压缩和加密方法，一方面减小测序数据存储空间，便于存储和传输；另一方面提高测序数据安全性，保障个人隐私。
发明内容
本申请的目的是提供一种新的核酸测序数据压缩和加密的方法。
为了实现上述目的，本申请采用了以下技术方案：
本申请公开了一种用于核酸测序数据压缩和加密的方法，包括在测序获得的核酸序列中，以4-7个碱基序列为一个序列单元，每个序列单元对应不同的特异符号，以特异符号的形式进行核酸测序数据的压缩和保存；同时，建立序列单元和特异符号对应的解密数据库，实现核酸测序数据的加密。
需要说明的是，本申请的关键在于，采用一个特异符号代表核酸序列中的4-7个碱基序列，一方面一个特异符号所占的存储空间小于4-7个碱基序列，达到了减小存储空间的目的；另一方面，保存和传输过程使用的都是特异符号，而不是核酸序列本身，因此起到了很好的数据加密作用。
还需要说明的是，以4-7个碱基序列为一个序列单元，主要考虑的是特异符号数量和压缩程度问题，在核酸测序数据中碱基有4个，加上一个补位码，总共有5个，以4-7个碱基序列为一个序列单元，则序列单元的理论个数为54-57个，即需要625至78125个特异符号。可以理解，序列单元中的碱基序列越多，压缩程度越高，但是所需的特异符号也越多；例如以7个碱基序列为一个序列单元，则需要78125个特异符号，而7个碱基序列占用7个字节，一个特异符号只占1-2个字节，核酸序列的存储空间只需要原本的1/7至2/7，压缩程度高。
优选的，特异符号的大小为1-2个字节。
优选的，特异符号为汉字。
需要说明的是，本申请的一种实现方式中，以汉字为特异符号，中国有约10万个汉字，因此，完全可以满足特异符号所需的数量；并且，还可以推广汉字。
优选的，核酸测序数据为FASTQ数据。
本申请的实现方式中主要是针对FASTQ数据进行压缩和加密的，可以理解，本申请的基本发明思路是采用一个特异符号代表核酸序列中的4-7个碱基序列，因此，本申请的方法可以适用于各种测序数据，甚至可以适用于测序输出的最终DNA数据，在此不做具体限定。
优选的，本申请的方法以6个碱基序列为一个序列单元。
需要说明的是，以6个碱基序列为一个序列单元，以汉字为特异符号为例进行说明，6个碱基序列占用6个字节，而一个汉字占用2个字节，因此，核酸序列的存储空间只需要原本的三分之一；6个碱基序列为一个序列单元，需要15625个不重复的汉字，完全可以满足使用需求。
优选的，本申请的方法还包括按照序列单元的整数倍，用A、G、C或T补齐测序获得的核酸序列，并记录补齐核酸序列的碱基个数。其中，记录补齐核酸序列的碱基个数，是为了解压后删除核酸序列末尾的补齐碱基。
需要说明的是，按照序列单元的整数倍补齐核酸序列，主要是为了使整个核酸序列都采用特异符号表示。可以理解，如果不补齐核酸序列，以6个碱基序列为一个序列单元为例进行说明，则最后可能会多余1-5个碱基。对于FASTQ数据来说，核酸测序数据是由若干个FASTQ序列单元组成的，每一个FASTQ序列单元为一个测序长度，每一个FASTQ序列单元有四行，如图1所示，
第一行为序列标识以及相关的描述信息，以‘@’开头，是每一个序列的唯一标识符；
第二行是序列，由A，C，G，T和N构成，以当前高通量测序技术其长度一般在100个字符以上，不同测序仪会有差别，其中A，C，G，T是碱基信息，N为测序失败时用来替补的补位码；
第三行以‘+’开头，后面是序列标示符、描述信息，或者什么也不加；本申请的实施例中所用的数据该行只有‘+’，评估也将以只有‘+’的这类情况评定；
第四行是序列的质量信息，和第二行序列中的碱基一一对应，每一个碱基对应一个质量值，质量值用ASCII码表示，用以衡量该测序碱基的可靠程度，质量值越高越可靠。
本申请的方法采用一个特异符号代表一个序列单元(核酸序列中的4-7个碱基序列)就是针对第二行的序列进行的。然而，在多数情况下第二行的序列不能被分成整数个序列单元，如果不补齐核酸序列，则每一个FASTQ序列单元的第二行都会有多余碱基；会影响整个序列的压缩效率和质量。为避免上述问题，本申请的优选方案中采用A、G、C或T补齐核酸序列，使之能够被分成整数个序列单元。例如，本申请的实施例以6个碱基序列为一个序列单元，测序获得的FASTQ序列单元的第二行序列，其末尾往往会多余1-5个碱基，无法形成序列单元，因此，本申请的实施例采用碱基A补齐，使末尾多余的碱基也能够组成一个完整的序列单元，以便完成整个序列的压缩。
优选的，本申请的方法还包括在解压时，按照记录的补齐核酸序列的碱基个数，删除解压获得的核酸序列的末端碱基。
由于采用以上技术方案，本申请的有益效果在于：
本申请的核酸测序数据压缩和加密方法，采用一个特异符号代表核酸序列中的4-7个碱基序列，减小了存储空间，方便存储和传输；同时，特异符号与序列单元的自定义对应关系，起到加密作用，增加了核酸测序数据的安全性。
附图说明
图1是本申请中FASTQ序列单元格式；
图2是本申请实施例中FASTQ序列单元第二行序列末尾添加碱基的方法框图；
图3是本申请实施例中FASTQ序列单元第二行序列的压缩加密方法框图；
图4是本申请实施例中FASTQ序列单元第二行序列解压时去掉原来压缩时增加的补齐碱基的方法框图。
具体实施方式
本申请的核酸测序数据压缩和加密方法，主要是针对核酸测序获得的FASTQ数据的。在FASTQ数据中，每四行为一段测序长度的序列，其中第二行记录的是每个测序长度的测序数据，即A、G、C、T和N组成的核酸序列；本申请的压缩和加密方法就是针对第二行的核酸序列而提出的，即用一个特异符号代表核酸序列中的4-7个碱基序列，特异符号与4-7个碱基序列的对应关系是自定义的，因此，起到压缩和加密的效果。具体的，本申请的一种实现方式中核酸测序数据压缩和加密方法包括以下步骤：
(1)以x个碱基序列为一个序列单元，按照每个碱基序列可能为A、G、C、T或N排列组合，共获得5x个序列单元，其中x大于或等于4，小于或等于7；
(2)从汉字中选取5x个不同的汉字，分别与5x个序列单元一一对应，建立解密数据库；
(3)调整核酸序列为x的整数倍，如果核酸序列不是x的整数倍，在核酸序列末尾补充碱基A、G、C或T，并记录补充碱基的数量为y；
(4)按照步骤(2)建立的5x个汉字与5x个序列单元的对应关系，对核酸序列进行压缩和加密，以此压缩和加密的数据进行存储和传输。
最后，在终端使用时，按照解密数据库，对数据进行解压，还原数据。
下面通过具体实施例和附图对本申请作进一步详细说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。
实施例
本例的核酸测序数据压缩和加密方法，以6个碱基序列为一个序列单元，对FASTQ序列单元第二行序列进行压缩和加密。
如表1所示，表1为部分汉字数据库和序列单元的一一对应关系，如表1所示，由于汉字有10多万个，而序列碱基只有A、T、C、G、N共5个，而6个A、T、C、G、N碱基以内的序列最多的组合为5的6次方，即15625个，故每个序列单元可以用唯一的一个汉字表示，即只需挑出15625个不重复的汉字与序列单元建立一一对应的关系数据库，即解密数据库。由于汉字一般在计算机系统中占用2个字节，而A、T、C、G、N字符各占用一个字节，一个序列单元6个碱基占用6个字节，所以本例对FASTQ序列单元的核酸序列存储可以将近节省到原有的三分之一的存储空间。
建立解密数据库后，如图2所示，先统计FASTQ序列单元的第二行核酸序列是否为6的整数倍，步骤202示出本例某条序列碱基信息，步骤204示出统计序列长度是否为6的整数倍，不足的用A补充。
表1汉字和序列单元的一一对应表
汉字 6个碱基序列
仓 GGTTCC
颉 TACTTC
发 GGGTCA
明 TAAAGC
汉 CTAAAT
字 AGCCCA
邓 CACGTT
天 CCCCTT
全 AAATAA
推 GACATC
广 ACGATG
到 GATCAC
序 AAAAAC
列 AAAAAT
压 AAAAAG
缩 AAAATA
加 AAAATC
密 AAAATT
…. ….
补齐核酸序列后，如图3所示，对FASTQ序列单元的第二行核酸序列进行压缩加密；步骤302示出第二行序列压缩加密前的状态，步骤304示出了具体的替换过程，并示出了最终替换的结果。
压缩加密完成后，解压数据，如图4所示，步骤402示出汉字解压后的第二行序列信息，步骤404示出如何去掉原来压缩时增加的碱基。
具体的，本例以一个大小为2.7G的FASTQ数据，按照本例的压缩和加密方法进行处理。FASTQ数据中，FASTQ序列单元的长度为101bp，质量值体系为33。在本例中，实现FASTQ的高效压缩，具体步骤如下：
(1)15625个不重复汉字和15625个不重复6连续A、T、C、G、N碱基序列建立一对一对应关系表
选取15625个不重复的汉字与15625个不重复6连续A、T、C、G、N的组合序列，建立一对一的关系表。
(2)调整第二行序列长度长度为6的整数倍；
将第二行101bp的序列末端添加1个A碱基凑足6的整数倍。
(3)第二行序列进行压缩加密；
以6个碱基对第二行102个碱基序列进行切分成17份，根据步骤(1)建立起的数据库表，用17个汉字进行替换。以此类推，最终将2.7Gb的数据压缩到2.0Gb，实现了压缩和加密。
(4)解压还原压缩加密后的序列。
以每2个字节读取第二行的每个汉字，并根据数据库表1将每个汉字还原成6个碱基。17个汉字共还原成102个碱基，由于第四行质量值的个数和第二行的碱基个数是一一对应的，用第二行的碱基个数102减去第四行的质量值个数101，可计算出第二行之前补充了1个碱基，去掉第二行末端补充的1个碱基。可得到原始的2.7Gb的原始数据。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本申请的保护范围。

Claims (8)

1.一种用于核酸测序数据压缩和加密的方法，其特征在于：包括在测序获得的核酸序列中，以4-7个碱基序列为一个序列单元，每个序列单元对应不同的特异符号，以特异符号的形式进行核酸测序数据的压缩和保存；同时，建立所述序列单元和所述特异符号对应的解密数据库，实现核酸测序数据的加密。
2.根据权利要求1所述的方法，其特征在于：所述特异符号的大小为1-2个字节。
3.根据权利要求1所述的方法，其特征在于：所述特异符号为汉字。
4.根据权利要求1所述的方法，其特征在于：所述核酸测序数据为FASTQ数据。
5.根据权利要求1所述的方法，其特征在于：以6个碱基序列为一个序列单元。
6.根据权利要求1-5任一项所述的方法，其特征在于：还包括按照所述序列单元的整数倍，用A、G、C或T补齐测序获得的核酸序列，并记录补齐核酸序列的碱基个数。
7.根据权利要求1-5任一项所述的方法，其特征在于：还包括按照所述序列单元的整数倍，用A补齐测序获得的核酸序列，并记录补齐核酸序列的碱基个数。
8.根据权利要求1-5任一项所述的方法，其特征在于：还包括在解压时，按照记录的补齐核酸序列的碱基个数，删除解压获得的核酸序列的末端碱基。
CN201710173990.2A 2017-03-22 2017-03-22 一种用于核酸测序数据压缩和加密的方法 Active CN108629157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710173990.2A CN108629157B (zh) 2017-03-22 2017-03-22 一种用于核酸测序数据压缩和加密的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710173990.2A CN108629157B (zh) 2017-03-22 2017-03-22 一种用于核酸测序数据压缩和加密的方法

Publications (2)

Publication Number Publication Date
CN108629157A true CN108629157A (zh) 2018-10-09
CN108629157B CN108629157B (zh) 2021-08-31

Family

ID=63707020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710173990.2A Active CN108629157B (zh) 2017-03-22 2017-03-22 一种用于核酸测序数据压缩和加密的方法

Country Status (1)

Country Link
CN (1) CN108629157B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272499A1 (zh) * 2021-06-29 2023-01-05 中国科学院深圳先进技术研究院 编码方法、解码方法、装置、终端设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080119447A1 (en) * 2005-09-30 2008-05-22 James Yarger 6-alkoxyalkyl estradiol derivatives and methods of use
CN103559020A (zh) * 2013-11-07 2014-02-05 中国科学院软件研究所 一种dna读序数据fastq文件并行压缩和解压缩方法
CN103917654A (zh) * 2011-04-01 2014-07-09 桑特里莱恩科技控股公司 用于对长核酸进行测序的方法和系统
CN104917747A (zh) * 2015-03-27 2015-09-16 中国科学技术大学苏州研究院 一种隐秘通信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080119447A1 (en) * 2005-09-30 2008-05-22 James Yarger 6-alkoxyalkyl estradiol derivatives and methods of use
CN103917654A (zh) * 2011-04-01 2014-07-09 桑特里莱恩科技控股公司 用于对长核酸进行测序的方法和系统
CN103559020A (zh) * 2013-11-07 2014-02-05 中国科学院软件研究所 一种dna读序数据fastq文件并行压缩和解压缩方法
CN104917747A (zh) * 2015-03-27 2015-09-16 中国科学技术大学苏州研究院 一种隐秘通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王景如: "面向云平台的生物信息数据高效存储压缩研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272499A1 (zh) * 2021-06-29 2023-01-05 中国科学院深圳先进技术研究院 编码方法、解码方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
CN108629157B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN105684316B (zh) 一种Polar码编码方法、装置
CN101350858B (zh) 一种短信解码的方法和用户终端
CN104579360B (zh) 一种数据处理的方法和设备
JP2001526004A (ja) 電子プログラムガイドの圧縮方法および機器
CN109313713B (zh) 二维码及其生成方法、生成装置、程序、读取方法、读取装置、以及管理系统
CN101729075A (zh) 一种数据压缩、解压缩的方法和装置
EP3208747B1 (en) Two-dimensional code generating method, two-dimensional code generating device, program, two-dimensional code, two-dimensional code reading method, and two-dimensional code reading device
EP2482231B1 (en) Method for encoding and decoding data on a matrix code symbol
CN112152634B (zh) 分块压缩编码方法、装置、计算机设备及可读存储介质
CN101345952B (zh) 客户身份识别卡的数据存储、读取方法、装置及系统
EP2442256A1 (en) Method of encoding and decoding text on a matrix code symbol
CN108629157A (zh) 一种用于核酸测序数据压缩和加密的方法
CN104133883B (zh) 电话号码归属地数据压缩方法
Affandi et al. The application of text compression to short message service using huffman table
CN101170467B (zh) 用于将特定网络标识符存储于无线设备的装置及相关方法
CN109271797B (zh) 一种提高数据库敏感信息安全性的方法及系统
US9143163B2 (en) Method and system for text compression and decompression
CN114239779A (zh) 一种数据传输方法、传输系统、采集设备及接收设备
CN103366716B (zh) 点阵字库中字符及点阵字库的压缩和解压方法及设备
CN103138766A (zh) 数据压缩与解压缩的方法及装置
CN105938489A (zh) 一种压缩详单的存储和展示方法及系统
EP2113845A1 (en) Character conversion method and apparatus
Husodo et al. Arithmetic coding modification to compress SMS
CN109086850B (zh) 一种利用层级式图形编码数据进行信息处理的方法及系统
CN115208667B (zh) 通过混合编程实现芯片与文件进行双重加密解密方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: No. 128, Hengtong Road, huankeyuan, Yixing, Wuxi, Jiangsu, 214205

Patentee after: Huada Qinglan Biotechnology (Wuxi) Co.,Ltd.

Patentee after: BGI TECH SOLUTIONS Co.,Ltd.

Address before: 518083 science and Technology Pioneer Park 201, Beishan Industrial Park, Yantian District, Shenzhen City, Guangdong Province

Patentee before: BGI TECH SOLUTIONS Co.,Ltd.

TR01 Transfer of patent right