CN111986730A - 一种预测siRNA沉默效率的方法 - Google Patents
一种预测siRNA沉默效率的方法 Download PDFInfo
- Publication number
- CN111986730A CN111986730A CN202010729971.5A CN202010729971A CN111986730A CN 111986730 A CN111986730 A CN 111986730A CN 202010729971 A CN202010729971 A CN 202010729971A CN 111986730 A CN111986730 A CN 111986730A
- Authority
- CN
- China
- Prior art keywords
- model
- sirna
- silencing efficiency
- predicting
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000006807 siRNA silencing Effects 0.000 title claims abstract description 31
- 230000030279 gene silencing Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 230000000306 recurrent effect Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000007477 logistic regression Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 108020004459 Small interfering RNA Proteins 0.000 claims description 49
- 239000010410 layer Substances 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013139 quantization Methods 0.000 abstract description 2
- 239000004055 small Interfering RNA Substances 0.000 description 40
- 238000004422 calculation algorithm Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000012228 RNA interference-mediated gene silencing Methods 0.000 description 7
- 230000009368 gene silencing by RNA Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 108020004999 messenger RNA Proteins 0.000 description 3
- 108091032973 (ribonucleotides)n+m Proteins 0.000 description 2
- 102000040650 (ribonucleotides)n+m Human genes 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012226 gene silencing method Methods 0.000 description 2
- 108091070501 miRNA Proteins 0.000 description 2
- 239000002679 microRNA Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108010057163 Ribonuclease III Proteins 0.000 description 1
- 102000003661 Ribonuclease III Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007230 neural mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
- G16B20/30—Detection of binding sites or motifs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Biotechnology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Genetics & Genomics (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明揭示了一种预测siRNA沉默效率的方法，其特征在于：在输入层设置特征提取模块对数据集进行特征提取和处理，使用多模motif输入结合词向量预训练模型获得序列词向量、循环神经网络提取序列的潜在特征并引入注意力模型，利用逻辑回归模块计算得到siRNA沉默效率的预测结果。应用本发明预测siRNA沉默效率的技术解决方案，通过训练得到神经网络模型能提高对输入序列进行预测的效率，为实验人员提供效率上的参考，减少试验次数，降低时间与金钱成本；有利于实现沉默效率预测的量化，并提升预测准确度，模型预测效果在Husken数据集上PCC值达到0.716。
Description
技术领域
本发明涉及一种研究基因沉默的方法，尤其涉及一种预测siRNA沉默效率的方法，属于计算机应用领域。
背景技术
在探索基因的过程中，人们发现了RNA干扰(RNAi)这一现象，发现微量的双链 RNA能够抑制某个基因的表达，能够起到基因沉默的效果。经过多年的研究，RNA干扰技术逐渐成熟，如今RNA干扰技术已经被广泛应用在基因调控筛选、基因功能分析、生物制药、疾病治疗等方面。
RAN干扰主要通过两种媒介实现：一种是小干扰RNA(siRNA)，另一种是微小RNA(miRNA)。它们产生基因抑制效果的主要步骤类似，以siRNA为例，细胞中的dsRNA被 Dicer酶特异性识别后，会被切割为短链siRNA分子，siRNA会与靶mRNA结合，最终实现靶mRNA的降解。
实现RNA干扰的关键是设计高效的siRNA序列，完全依靠生物学实验来设计siRNA序列，将消耗大量的资金和时间。而早期用总结的规则来设计siRNA，同样存在效率低下、准确率低的问题。
siRNA沉默效率预测在早期主要是基于实验经验，总结针对某些特定位置碱基的设计规则。在2002年，Sayda M.Elbashir首先提出了一种siRNA设计规则，但是只考虑到的GC 碱基的含量。后来Timothy A.Vickers和Anastasia Khvorova分别提出siRNA沉默效率会受到mRNA二级结构和热力学稳定性影响。接下来Angela Reynolds、Kumiko Ui-Tei、Mohammed Amarzguioui、Andrew C.Hsieh、Kathy Q.Luo等人分别提出一系列针对siRNA 序列及其沉默效率关系的规则。但这些规则大多存在样本量少、规则不够具体、不同规则间存在矛盾、无法定量预测缺点。
后来人们开始使用机器学习算法，这相对以往的基于规则的算法效率更高，准确性也更高。最早是在2004年，Saetrom使用GP算法进行siRNA的分类，后来分别由Teramoto、Shabalina、Huesken、Vert等人提出SVM模型、人工神经网络模型、线性回归模型等来预测siRNA沉默效率。他们利用不同的算法建立预测模型，相比基于规则的方法更有效。但是普遍存在只能对siRNA进行高效和低效的分类，而无法定量预测，并且不同算法划分高效和低效的阈值不同，不同模型间缺少可比性。
近年来，开始有研究者使用深度学习模型来对siRNA序列进行沉默效率的预测。其中具有代表性的是2017年韩烨等人提出的用CNN网络模型预测siRNA沉默效率的方法，他们在Husken数据集上进行了训练，最后的相关系数达到了0.717，并在2018年优化模型，结合了DNN，使模型效果达到了0.725。韩烨的成功也验证了深度学习方法在RNAi领域内的可行性，基于深度学习的预测方法目前已经成为研究siRNA沉默效率的主要研究方向。
深度学习方法开始于MP模型的提出，它本质上其实是对人类思维的模拟。2006年神经网络开始了爆发式发展，一方面是Geoffrey Hinton在Science上提出了训练深层网络的新思想，解决了梯度消失的问题，另一方面也得益于目前计算机算力的提升和数据规模的迅速增大。
深度学习相比传统机器学习具有从数据中挖掘有效特征的能力，这避免了人为的特征工程。同时使用比较简单的表示来表达复杂的表示，如在图像处理中先提取边再到角、轮廓最后图像整体。
深度神经网络的训练过程分为前向传播和反向传播。前向传播是，在接收输入数据后，数据从输入层向输出层流动，这称为前向传播。而在训练过程中，我们需要不断更新参数来优化模型，这个过程通常是从输出层流向输入层，是反向传播。
在普通的RNN(Recurrent Neural Network)网络中，反向传播阶段更新参数时，容易出现梯度消失的问题，即在距离输出较远的地方，梯度就会变得变得非常小，从而导致无法很好的训练远处的节点参数。
在机器学习及深度学习相关任务中，数据的编码是很重要的一个环节。自然语言处理任务中的文本数据，需要人为的为文本数据编码，一方面要能够表示出词汇的唯一性，另一方面还需要表示其在语句中的含义。早期在这方面主要是使用离散型的编码，最初是ont-hot，后来逐渐出现了词袋编码、Bi-gram、N-gram以及TF-IDF等编码。这些编码主要还是基于 ont-hot的思想以及词频的计数和统计。后来发展出了分布式的表示方法，经典的方法有 2003年提出的NNLM(Neural Network Language model)以及2013年的word2vec。
Ont-hot编码的基本思想是让每个词都表示成互不相同的二进制串，词编码的维度便是词汇的总数，编码中只有1位为1，其余都为0。One-hot的优点是将文字转换成了可使用的数字编码，缺点是编码的结果太稀疏，且无法表示词汇在语句中的重要性、语义、和其他词汇的关系等。
在one-hot的基础上，发展出了Bag of Words即词袋编码。它也只是简单地将文本中所有词汇的编码相加，得到一个整体的编码，同时可以获得每个词汇在文本中的出现次数。后来出现了Bi-gram和N-gram，这两种编码方式基本相同，在Bag of Words的基础上，Bi- gram是对相邻的两个词编码，N-gram则是对相邻的N个词编码，Bi-gram相当于N-gram中 N等于2的情况。此外还有基于频率统计的TF-IDF编码等。
最早是由Bengio在2003年提出了Neural Network Language model(NNLM)，基本思想是用前n-1个词预测第n个词，并且使用长度为n-1的滑动窗口遍历文本中的词汇，使得目标概率之和最大。最后求出的所有词的概率之和应该为1。令wn为待预测词汇，前 n-1个词分别是w1..n-1，则目标函数和约束条件可以表示如下：
∑w∈vocabularyP(w|wt-n+1，...，wt-1)＝1 (2)
训练过程中要不断地调整神经网络的参数，在训练第i个词时，可以优化前n-1个词的编码，当所有语料训练完毕，可以得到所有词汇的分布式表示，保存在Matrix C中，Matrix C格式如式(3)所示：
其中参数D为词汇的编码维度。使用Matrix C预测候选词时，使用前n-1个词的编码，因此隐藏层存在(n-1)*D个节点，输出层使用Softmax回归，神经元个数与词汇总数相同。
NNLM模型解决了词汇在语义表示上的问题，联系前文的内容表示当前词，但是缺点也很明显，计算量会非常大。
此外，注意力机制最早在视觉图像领域提出来的，用于给予需要重点关注的目标区域 (注意力焦点)更重要的注意力，同时基于周围的图像更低的注意力，然后随着时间的推移调整焦点。
NLP领域的注意力机制最早可以追溯到2015年Bahdanau等提出的《NeuralMachine Translation by Jointly Learning to Align and Translate》，后续陆续提出了各种注意力模型。直观上可以把注意力机制理解成为模型添加一层权重，让模型关注到那些重要的元素，而对不重要的元素较少关注。
发明内容
为解决上述现有技术中存在的问题及已有的技术基础，本发明的目的旨在提出一种预测 siRNA沉默效率的方法。
本发明实现上述目的的技术解决方案是：一种预测siRNA沉默效率的方法，其特征在于：在输入层设置特征提取模块对数据集进行特征提取和处理，使用词向量预训练模型获得序列词向量，并结合循环神经网络提取序列的潜在特征，再利用逻辑回归模块计算得到 siRNA沉默效率的预测结果。
上述预测siRNA沉默效率的方法，进一步地在输入层使用多模motif输入，所述词向量预训练模型至少为word2vec模型、glove模型、ELMo模型、BERT模型中的一种，且循环神经网络中引入有注意力模型。
上述预测siRNA沉默效率的方法，进一步地包括步骤：S1、在输入层将包含AUGCT五种碱基、长度介于19bp至29bp之间且已知的siRNA序列及对应的沉默效率整合构成数据集；S2、将数据集中各个siRNA序列分别提取特征，令一模motif为G、C、A、T或U 的单个碱基，二模motif为双连续碱基，三模motif为三连续碱基，进行多模motif输入； S3、在Embedding层对提取的特征进行编码，并使用数据集训练word2vec模型，将前步训练模型的输入Embedding权重作为后续模型的Embedding编码值；S4、在LSTM Attention 层将编码好的siRNA序列特征输入到LSTM循环神经网络中进行模型训练，通过反向传播在训练阶段调整参数，并通过注意力模型更新每个位置的权重参数，逐一与siRNA序列对应位置原始生成的隐状态相乘后累加，得到处理结果；S5、将处理结果输入逻辑回归模块的多层感知机，得到siRNA序列沉默效率的预测模型。
上述预测siRNA沉默效率的方法，更进一步地，得出siRNA序列沉默效率的预测模型后，还包括S6、通过人机交互模块调用预测模型，将待预测siRNA序列直接输入并返回得到预测结果。
上述预测siRNA沉默效率的方法，再进一步地，所述人机交互模块为Web页面、Android软件、微信小程序或PC端应用程序。
上述预测siRNA沉默效率的方法，更进一步地，步骤S3中对单个碱基、双连续碱基、三连续碱基分别按照固定顺序将序列转换成数字编码。
上述预测siRNA沉默效率的方法，更进一步地，步骤S3中训练word2vec模型可选为sikp-gram模型或cbow模型。
上述预测siRNA沉默效率的方法，更进一步地，所述LSTM循环神经网络为单层LSTM网络或多层LSTM网络，且每层LSTM网络单向或双向。
上述预测siRNA沉默效率的方法，更进一步地，所述注意力模型选为全局注意力，包含General，Dot-Product，Concat-Product三种模型，且全局注意力计算权重分数的公式为：
上述预测siRNA沉默效率的方法，再进一步地，所述全连接层之间还设有至少包括sigmoid，ReLu，Leaky_ReLu，Tanh，ELU，Maxout中的一种激活函数。
应用本发明预测siRNA沉默效率的技术解决方案，具备突出的实质性特点和显著的进步性：该方案通过训练得到神经网络模型能提高对输入序列进行预测的效率，为实验人员提供效率上的参考，减少试验次数，降低时间与金钱成本；有利于实现沉默效率预测的量化，并提升预测准确度，模型预测效果在Husken数据集上PCC值达到0.716。
附图说明
图1是本发明所整合的siRNA沉默效率预测模型结构。
图2是本发明预测方法中所用LSTM节点的内部结构示意图。
具体实施方式
有鉴于现有对RNA干扰技术深入研究在siRNA沉默效率预测方面的新要求，本申请设计人结合多年计算机算法研发的技术经验，在综合分析预测全过程中所用及的各项技术的优选特性，创新提出了一种预测siRNA沉默效率的方法。其技术特征的概述为：着眼于使用深度学习模型的方法探索，在输入层设置特征提取模块对数据集进行特征提取和处理，使用多模motif输入结合词向量预训练模型获得序列词向量、循环神经网络提取序列的潜在特征，再利用逻辑回归模块计算得到siRNA沉默效率的预测结果；最后通过人机交互模块高效率、高准确率地完成对待测siRNA的沉默效率预测。其中词向量预训练模型可选为word2vec、glove、ELMo、BERT等模型中的一种，且循环神经网络中引入有注意力模型。
以下便结合实施例图示对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。
该预测siRNA沉默效率的方法，从数据流向上来看包括步骤：S1、在输入层将包含AUGCT五种碱基、长度介于19bp至29bp之间且已知的siRNA序列及对应的沉默效率整合构成数据集；S2、将数据集中各个siRNA序列分别提取特征，令一模motif为G、C、A、T 或U的单个碱基，二模motif为双连续碱基，三模motif为三连续碱基，进行多模motif输入；S3、在Embedding层对提取的特征进行编码，并使用数据集训练word2vec模型，将前步训练模型的输入Embedding权重作为后续模型的Embedding编码值；S4、在深度学习层将编码好的siRNA序列特征输入到LSTM循环神经网络中进行模型训练，通过反向传播在训练阶段调整参数，并通过注意力模型更新每个位置的权重参数，逐一与siRNA序列对应位置原始生成的隐状态相乘后累加，得到处理结果；S5、将处理结果输入逻辑回归模块的多层感知机，得到siRNA序列沉默效率的预测模型。
具体地，(1)、数据集：使用已有的siRNA数据集或者自行收集长度在19bp至29bp之间的siRNA数据集，每条序列要有对应的沉默效率。数据集中符合要求的为长度为21bp的siRNA序列，这是最优选，上位可以划分到19bp至29bp长度。每条序列包含A、U、 G、C、T这五种碱基，如CUAAUAUGUUAAUUGAUUUAT。
(2)、特征提取模块：进行特征提取和处理。令一模motif为G或C或A或T或U这样的单个碱基，二模motif为GC、CA、CC等双连续碱基，三模motif为GGG，GCC， GAC，CAG等三连续碱基。提取各个siRNA序列中的一模、二模、三模碱基作为一条序列的特征，在输入层1进行多模motif输入，优势是能够进一步提高模型预测的准确性。
(3)、特征编码模块：对提取的特征使用word2vec方法对特征进行编码，使用数据集训练word2vec模型，可以使用sikp-gram模型也可以使用cbow模型。word2vec属于稠密型，能够表示更多信息，优势在于能够更加关注到特征之间的语义相关性。
Word2vec模型便是在NNLM的基础上，对模型进行了优化，并且将当前词和上下文词汇联系在一起。
在word2vec的Skip-gram算法中，使用一个滑动窗口对语料进行数据采集，设置窗口中心词作为样本的输入，中心词周围的词汇作为样本的输出。由于使用滑动窗口只能得到相邻词汇，数据集缺少了负样本即不相邻词汇，因此这里使用了负例采样(NegativeSampling)的方法，随机挑选和中心词不相邻的词汇作为对应的负样本。这样在训练时，便将word2vec转换成了二分类问题。
Word2vec简单的使用输入词和输出词编码的点积作为过程的输出，然后使用Sigmoid 激活函数将其约束在0至1之间，作为此输出词是相邻词的概率。然后再使用反向传播算法，对词汇的编码进行优化。最后经过不断的迭代后，输入层的D维向量就是需要的编码结果。
在Embedding层2得到这一条序列对应一模、二模和三模的编码。Embedding层相当于一个查找表，内容便是word2vec训练得到的结果，并将一模motif按照A，G，U，C，T排好顺序，二模motif按照AA，AG，AU，…TU，TC，TT(共计52个)，三模motif按照 AAA，AAG，AAU…TTU，TTC，TTT(共计53个)排好顺序，每条序列特征输入时，按照下标查找到对应的编码值，最后将其合并，作为这条序列整体的编码。即对单个碱基、双连续碱基、三连续碱基分别按照固定顺序将序列转换成数字编码。如一模motif的0进来，第0个表示A，就找到第0个位置表示A的编码，1进来就找到第1个位置表示G的编码。
(4)、LSTM模块与Attention模块：对Embedding层2的输出进行处理，通过反向传播在模型训练阶段不断调整参数，从而达到学习的目的。相比其他模型的优势是，LSTM能够继承循环神经网络RNN的优点，即关注到序列上下文的信息，同时能够克服RNN循环神经网络的梯度消失的问题。在LSTM模型的基础上增加注意力机制，为重要的位置增加更大的权重，减少不重要位置的权重，优势在于能更加关注到对序列沉默效率影响大的位置。故形成了图1所示的LSTM Attention层3。其中可以包括单层LSTM网络，也可以包括多层LSTM网络，而每层LSTM可以是单向或是双向的。若序列有n个motif，(1模motif 有5个，二模25个，三模125个)，则会生成n个隐状态，最后一层的最后一个隐状态可以表示整个序列的语义内容。
LSTM设置了一个用于保存长期状态的Cell State，为了控制输入对Cell State、上一个 LSTM单元的Cell State对目前Cell State和当前Cell State对输出的影响，分别设置了Input Gate、Forget Gate和Output Gate。一个Gate相当于一个全连接层，如图2所示。
LSTM网络前向传播中主要是计算每个LSTM节点的Cell State和节点输出，令输入为 z，input gate、forget gate、output gate权重分别为zi，zf，zo，输出为y，cell state为c，当前时刻为t，则计算过程如式(4)(5)所示：
由于每个Gate都有各自的权重参数，因此LSTM的参数非常多，模型也相对比较复杂。
上述注意力模型虽然提出较晚，但发展迅速，短时期内已然形成包括四大分类及各分类中所属的多种模型。本发明注意力模型选为Minh-Thang Luong在论文《EffectiveApproaches to Attention-based Neural Machine Translation》中提出的全局注意力，其包含General，Dot- Product，Concat-Product三种模型。其计算权重分数的公式为：
(5)、逻辑回归模块：在得到LSTM加上注意力机制的处理结果后，把结果回归到数值，即需要的siRNA的沉默效率。图1所示可见，该模块可以设为三层全连接层4，即MLP多层感知机。在全连接层之间还是用了一些激活函数，包括但不限于sigmoid，ReLu， Leaky_ReLu，Tanh，ELU，Maxout。
(6)、在得出siRNA序列沉默效率的预测模型后，还包括S6、通过人机交互模块5调用预测模型，将待预测siRNA序列直接输入并返回得到预测结果。该人机交互模块至少为Web页面，Android软件，微信小程序，PC端应用程序。可以理解为：人机交互模块是系统的外在表现形式，而系统核心是上述的模型算法。
综上关于本发明预测siRNA沉默效率的系统方案介绍和实施例详述，可见该方案具备突出的实质性特点和显著的进步性。
1、为实验人员提供辅助，使用训练好的神经网络模型能够很快地对输入的序列进行高效率预测，为实验人员提供沉默效率上的参考，从而减少试验次数，降低时间和金钱成本；
2、在预测的准确度上，相比传统的机器学习方法，深度学习方法有较好的效果提升，且能够避免大量的特征工程，减少工作量；
3、突破性地实现了预测沉默效率的量化；
4、在数据编码时使用了word2vec模型，能够训练得到word2ve模型，通过反向传播得到编码的结果，更加具有特征之间的相关性。
5、在同属深度学习方法的模型中，本专利效果和其他模型效果在Husken数据集上的效果PCC(R)对比如下：Biopredsi--0.6600，DSIR--0.6700，韩烨等人CNN-DNN--0.725，本发明模型—0.716。
除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。
Claims (10)
1.一种预测siRNA沉默效率的方法，其特征在于：在输入层设置特征提取模块对数据集进行特征提取和处理，使用词向量预训练模型获得序列词向量，并结合循环神经网络提取序列的潜在特征，再利用逻辑回归模块计算得到siRNA沉默效率的预测结果。
2.根据权利要求1所述预测siRNA沉默效率的方法，其特征在于：在输入层使用多模motif输入，所述词向量预训练模型至少为word2vec模型、glove模型、ELMo模型、BERT模型中的一种，且循环神经网络中引入有注意力模型。
3.根据权利要求1所述预测siRNA沉默效率的方法，其特征在于包括步骤：
S1、在输入层将包含AUGCT五种碱基、长度介于19bp至29bp之间且已知的siRNA序列及对应的沉默效率整合构成数据集；
S2、将数据集中各个siRNA序列分别提取特征，令一模motif为G、C、A、T或U的单个碱基，二模motif为双连续碱基，三模motif为三连续碱基，进行多模motif输入；
S3、在Embedding层对提取的特征进行编码，并使用数据集训练word2vec模型，将前步训练模型的输入Embedding权重作为后续模型的Embedding编码值；
S4、在LSTM Attention层将编码好的siRNA序列特征输入到LSTM循环神经网络中进行模型训练，通过反向传播在训练阶段调整参数，并通过注意力模型更新每个位置的权重参数，逐一与siRNA序列对应位置原始生成的隐状态相乘后累加，得到处理结果；
S5、将处理结果输入逻辑回归模块的多层感知机，得到siRNA序列沉默效率的预测模型。
4.根据权利要求1或2所述预测siRNA沉默效率的方法，其特征在于：得出siRNA序列沉默效率的预测模型后，还包括S6、通过人机交互模块调用预测模型，将待预测siRNA序列直接输入并返回得到预测结果。
5.根据权利要求3所述预测siRNA沉默效率的方法，其特征在于：所述人机交互模块为Web页面、Android软件、微信小程序或PC端应用程序。
6.根据权利要求2所述预测siRNA沉默效率的方法，其特征在于：步骤S3中对单个碱基、双连续碱基、三连续碱基分别按照固定顺序将序列转换成数字编码。
7.根据权利要求2所述预测siRNA沉默效率的方法，其特征在于：步骤S3中训练word2vec模型可选为sikp-gram模型或cbow模型。
8.根据权利要求2所述预测siRNA沉默效率的方法，其特征在于：所述LSTM循环神经网络为单层LSTM网络或多层LSTM网络，且每层LSTM网络单向或双向。
9.根据权利要求2所述预测siRNA沉默效率的方法，其特征在于：所述注意力模型选为全局注意力，包含General，Dot-Product，Concat-Product三种模型，且全局注意力计算权重分数的公式为：
10.根据权利要求9所述预测siRNA沉默效率的方法，其特征在于：所述全连接层之间还设有至少包括sigmoid，ReLu，Leaky_ReLu，Tanh，ELU，Maxout中的一种激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729971.5A CN111986730A (zh) | 2020-07-27 | 2020-07-27 | 一种预测siRNA沉默效率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729971.5A CN111986730A (zh) | 2020-07-27 | 2020-07-27 | 一种预测siRNA沉默效率的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111986730A true CN111986730A (zh) | 2020-11-24 |
Family
ID=73438194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010729971.5A Pending CN111986730A (zh) | 2020-07-27 | 2020-07-27 | 一种预测siRNA沉默效率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986730A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112951322A (zh) * | 2021-03-08 | 2021-06-11 | 深圳市新合生物医疗科技有限公司 | 一种基于网格搜索的规则权重分配siRNA设计方法 |
| CN114121149A (zh) * | 2021-12-01 | 2022-03-01 | 天津理工大学 | 一种基于双向gru和注意力机制的rna二级结构预测算法 |
| CN114863995A (zh) * | 2022-03-30 | 2022-08-05 | 安徽大学 | 一种基于双向门控循环神经网络的沉默子预测算法 |
| WO2023070493A1 (zh) * | 2021-10-29 | 2023-05-04 | 京东方科技集团股份有限公司 | Rna定位预测方法、装置及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005036442A1 (ja) * | 2003-10-08 | 2005-04-21 | National Institute Of Advanced Industrial Science And Technology | ｓｉＲＮＡのＲＮＡｉ効果の予測装置およびその方法 |
| CN101137903A (zh) * | 2004-07-19 | 2008-03-05 | 罗彻斯特大学 | 神经变性疾病的生物标记 |
| US20130064839A1 (en) * | 2010-10-27 | 2013-03-14 | Harrisvaccines, Inc. | Method of rapidly producing improved vaccines for animals |
| GB2546360A (en) * | 2016-01-13 | 2017-07-19 | Adobe Systems Inc | Image captioning with weak supervision |
| US20170278510A1 (en) * | 2016-03-22 | 2017-09-28 | Sony Corporation | Electronic device, method and training method for natural language processing |
| CN107358948A (zh) * | 2017-06-27 | 2017-11-17 | 上海交通大学 | 基于注意力模型的语言输入关联性检测方法 |
| CN109472024A (zh) * | 2018-10-25 | 2019-03-15 | 安徽工业大学 | 一种基于双向循环注意力神经网络的文本分类方法 |
| CN109598387A (zh) * | 2018-12-14 | 2019-04-09 | 华东师范大学 | 基于双向跨模态注意力网络模型的股价预测方法及系统 |
| CN109671469A (zh) * | 2018-12-11 | 2019-04-23 | 浙江大学 | 基于循环神经网络预测多肽与hla i型分子之间结合关系与结合亲和力的方法 |
| WO2020140633A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 文本主题提取方法、装置、电子设备及存储介质 |
| CN111444311A (zh) * | 2020-02-26 | 2020-07-24 | 平安科技（深圳）有限公司 | 语义理解模型训练方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-27 CN CN202010729971.5A patent/CN111986730A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005036442A1 (ja) * | 2003-10-08 | 2005-04-21 | National Institute Of Advanced Industrial Science And Technology | ｓｉＲＮＡのＲＮＡｉ効果の予測装置およびその方法 |
| CN101137903A (zh) * | 2004-07-19 | 2008-03-05 | 罗彻斯特大学 | 神经变性疾病的生物标记 |
| US20130064839A1 (en) * | 2010-10-27 | 2013-03-14 | Harrisvaccines, Inc. | Method of rapidly producing improved vaccines for animals |
| GB2546360A (en) * | 2016-01-13 | 2017-07-19 | Adobe Systems Inc | Image captioning with weak supervision |
| US20170278510A1 (en) * | 2016-03-22 | 2017-09-28 | Sony Corporation | Electronic device, method and training method for natural language processing |
| CN107358948A (zh) * | 2017-06-27 | 2017-11-17 | 上海交通大学 | 基于注意力模型的语言输入关联性检测方法 |
| CN109472024A (zh) * | 2018-10-25 | 2019-03-15 | 安徽工业大学 | 一种基于双向循环注意力神经网络的文本分类方法 |
| CN109671469A (zh) * | 2018-12-11 | 2019-04-23 | 浙江大学 | 基于循环神经网络预测多肽与hla i型分子之间结合关系与结合亲和力的方法 |
| CN109598387A (zh) * | 2018-12-14 | 2019-04-09 | 华东师范大学 | 基于双向跨模态注意力网络模型的股价预测方法及系统 |
| WO2020140633A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 文本主题提取方法、装置、电子设备及存储介质 |
| CN111444311A (zh) * | 2020-02-26 | 2020-07-24 | 平安科技（深圳）有限公司 | 语义理解模型训练方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| SHEN ZHEN，等: "A Deep Learning Model for RNA-Protein Binding Preference Prediction Based on Hierarchical LSTM and Attention Network", 《IEEE》, vol. 19, no. 2, pages 753 - 762, XP011904938, DOI: 10.1109/TCBB.2020.3007544 * |
| 韩烨: "基于及其学习的siRNA沉默效率预测方法研究", 《中国博士学位论文全文 基础学科辑》, no. 9, pages 006 - 57 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112951322A (zh) * | 2021-03-08 | 2021-06-11 | 深圳市新合生物医疗科技有限公司 | 一种基于网格搜索的规则权重分配siRNA设计方法 |
| CN112951322B (zh) * | 2021-03-08 | 2023-09-26 | 深圳市新合生物医疗科技有限公司 | 一种基于网格搜索的规则权重分配siRNA设计方法 |
| WO2023070493A1 (zh) * | 2021-10-29 | 2023-05-04 | 京东方科技集团股份有限公司 | Rna定位预测方法、装置及存储介质 |
| CN114121149A (zh) * | 2021-12-01 | 2022-03-01 | 天津理工大学 | 一种基于双向gru和注意力机制的rna二级结构预测算法 |
| CN114863995A (zh) * | 2022-03-30 | 2022-08-05 | 安徽大学 | 一种基于双向门控循环神经网络的沉默子预测算法 |
| CN114863995B (zh) * | 2022-03-30 | 2024-05-07 | 安徽大学 | 一种基于双向门控循环神经网络的沉默子预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11934791B2 (en) | On-device projection neural networks for natural language understanding | |
| US11210306B2 (en) | Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system | |
| Zia et al. | Long short-term memory recurrent neural network architectures for Urdu acoustic modeling | |
| US11741109B2 (en) | Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system | |
| Malte et al. | Evolution of transfer learning in natural language processing | |
| Collobert et al. | Natural language processing (almost) from scratch | |
| Yao et al. | Bi-directional LSTM recurrent neural network for Chinese word segmentation | |
| CN112257858B (zh) | 一种模型压缩方法及装置 | |
| CN111986730A (zh) | 一种预测siRNA沉默效率的方法 | |
| CN113239700A (zh) | 改进bert的文本语义匹配设备、系统、方法及存储介质 | |
| CN111782961B (zh) | 一种面向机器阅读理解的答案推荐方法 | |
| Qin et al. | Towards end-to-end speech recognition with transfer learning | |
| Yolchuyeva et al. | Text normalization with convolutional neural networks | |
| CN113987187B (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| CN109918477B (zh) | 一种基于变分自编码器的分布式检索资源库选择方法 | |
| CN115329075A (zh) | 基于分布式机器学习的文本分类方法 | |
| Shi | A study on neural network language modeling | |
| US11941360B2 (en) | Acronym definition network | |
| Fu et al. | CGSPN: cascading gated self-attention and phrase-attention network for sentence modeling | |
| CN116611436A (zh) | 一种基于威胁情报的网络安全命名实体识别方法 | |
| CN116403231A (zh) | 基于双视图对比学习与图剪枝的多跳阅读理解方法及系统 | |
| Jin et al. | Attention‐Based Bi‐DLSTM for Sentiment Analysis of Beijing Opera Lyrics | |
| Shahid et al. | Next word prediction for Urdu language using deep learning models | |
| CN115905539A (zh) | 一种基于CNNFeed网络模型的文本分类方法 | |
| Li et al. | A position weighted information based word embedding model for machine translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 215123 unit D1, artificial intelligence Industrial Park, No. 88, Jinjihu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Zhongke Suzhou Intelligent Computing Technology Research Institute Address before: 215123 unit D1, artificial intelligence Industrial Park, No. 88, Jinjihu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: Institute of computing technology, Chinese Academy of Sciences |
|
| CB02 | Change of applicant information |