CN114121149A - 一种基于双向gru和注意力机制的rna二级结构预测算法 - Google Patents
一种基于双向gru和注意力机制的rna二级结构预测算法 Download PDFInfo
- Publication number
- CN114121149A CN114121149A CN202111450840.4A CN202111450840A CN114121149A CN 114121149 A CN114121149 A CN 114121149A CN 202111450840 A CN202111450840 A CN 202111450840A CN 114121149 A CN114121149 A CN 114121149A
- Authority
- CN
- China
- Prior art keywords
- secondary structure
- rna secondary
- rna
- prediction
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 24
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000547 structure data Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 108091032973 (ribonucleotides)n+m Proteins 0.000 abstract description 60
- 239000011159 matrix material Substances 0.000 abstract description 21
- 108091028043 Nucleic acid sequence Proteins 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 102000042567 non-coding RNA Human genes 0.000 description 2
- 108091027963 non-coding RNA Proteins 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 102000039634 Untranslated RNA Human genes 0.000 description 1
- 108020004417 Untranslated RNA Proteins 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007119 pathological manifestation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B15/00—ICT specially adapted for analysing two-dimensional or three-dimensional molecular structures, e.g. structural or functional relations or structure alignment
- G16B15/20—Protein or domain folding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于双向GRU和注意力机制的RNA二级结构预测算法，该方法首先获取到RNA二级结构数据集；然后进行数据预处理，即将RNA序列信息进行向量化，得到矩阵形式表示的特征信息，并按固定维度进行特征矩阵拼接；设计融合了加权向量、标志向量，在双向GRU神经网络的基础上，增加了注意力机制，增强了网络的预测能力；然后将特征矩阵输入到网络中对RNA二级结构进行预测，充分的利用了前后碱基的信息，预测结果较为准确，而且能够处理变长的RNA序列，同时，可以有效地处理正负样本不平衡的问题，有助于预测出更精准的RNA二级结构。
Description
技术领域
本发明涉及生物研究领域，特别涉及一种基于双向GRU网络和注意力机制的RNA二级结构预测方法。
背景技术
RNA作为存储信息的中间媒介，包含丰富的生化信息，且影响了RNA三级结构。如新型急性呼吸综合征冠状病毒COVID-19，其中的单链RNA，能转录并最终翻译生成新生病毒的蛋白质。也有不直接编码蛋白质的RNA序列，称为非编码RNA(ncRNA)。最近的研究表明，ncRNA可作为COVID-19患者病理表现的生物标记和可能的治疗手段。
RNA分子结构有三个层次的描述，包括一级序列、二级结构和三级空间结构。尽管RNA 三级空间结构是在空间中形成的一种稳定结构，但它是由二级结构单元之间的相互作用、变形、折叠等产生的。此外，如果没有RNA二级结构，RNA三级结构是很难获得的。而且RNA二级结构预测不仅需要考虑序列的排列，还需要考虑稳定的配对方式，包括假结、发夹等。由于这些结构的存在，RNA二级结构预测的情况比一级结构复杂得多。如何有效地识别RNA二级结构已经成为生物信息学中具有挑战性的研究领域之一。
近年来，深度学习技术已在人工智能领域取得了突破性的进展，在生物信息领域也有所应用。其中，如何将深度学习相关技术应用于RNA二级结构预测是计算生物学领域中具有代表性的课题之一，该领域结合了生物信息学及计算科学中的模式识别等相关技术。传统的机器学习技术中对序列建模经典的是隐马尔可夫模型(HMM)，它需要原始数据具备一定的特征表达能力，这种特征表达往往是通过人工标注完成。随着计算生物学的发展，深度学习的方法在生物信息领域的应用上取得了很好的效果。传统机器学习模型通常会丢失全局信息，并需要耗费大量的特征工程成本。但在深度学习方法上，可以从原始数据中自动学习出一定的特征表达。
双向循环神经网络是一种深度学习架构，每一个训练序列向前和向后分别是两个循环神经网络，而且这两个都连接着一个输出层。这种结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。由于RNA二级结构的复杂性，引入注意力机制来计算注意力分配概率分布信息，重点关注RNA二级结构预测过程中的重要信息，以提高RNA二级结构预测精度。因此，可以利用双向GRU神经网络和注意力机制结合的深度学习方法对RNA二级结构进行预测，并针对处理变长的RNA序列和正负样本不平衡的特定问题，提出了特定的网络架构模型。
发明内容
本发明的目的在于提供一种基于双向GRU神经网络和注意力机制的RNA二级结构预测算法，以提高RNA二级结构预测的精度，解决RNA二级结构预测中的难点。
为此，本发明采用的技术方案，包括下列步骤：
1.对RNA二级结构的数据集进行数据预处理，即将数据集中的序列信息进行向量化，得到矩阵形式表示的特征信息，并进行矩阵拼接，得到固定维度的特征矩阵；
2.将特征矩阵输入到基于双向GRU神经网络和注意力机制的网络模型中，进行RNA二级结构预测；
3.进行多次实验，探究最佳的网络参数，并记录每次的评价指标；
4.设计对比实验，探究该方法的可行性和优越性。
本发明提供一种基于双向GRU神经网络和注意力机制的RNA二级结构预测算法，其优点在于：
1.由于网络使用的是双向GRU神经网络，因此实验结果相对于其他方法更能充分利用 RNA二级结构信息，预测结果更准确。
2.本发明在双向GRU层之后增加了注意力机制层，对包含更多有效信息的特征分配更大的权重，突出RNA二级结构中的重要信息，并提高隐藏层特征提取的质量，方法可行，通过微调，可应用于其他计算生物学预测领域中。
3.本发明为序列中的每个碱基提供了一个标志向量，以便于处理包含不同长度RNA序列的数据集。
4.本发明还为每个样本设置了一个权重向量，以解决正样本和负样本之间的不平衡问题。换言之，在计算每个基的损失函数时，可以自适应地调整每个基在损失函数中的比例，以避免模型陷入局部最优，使训练后的模型更好。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明中所需要使用的附图作简单地介绍：
图1：本发明提供的基于双向GRU神经网络和注意力机制的RNA二级结构预测算法中的流程示意图；
图2：本发明采用的网络模型架构示意图；
图3：本发明利用数据集做预测，得到的RNA二级结构预测结果，并与其他典型方法的预测结果对比图；
在图2中：图中的文字表示相应的子模块。“/”表示双向GRU层之后的连接操作；“×”表示退出操作。位于左下角的子图是关于正向传播GRU的单元结构。上标(f)和(b)表示GRU向前或向后。
具体实施方式
下面结合附图对本发明作进一步的具体说明，对本发明中的技术方案进行清楚、完整地描述。
为了解决RNA二级结构预测过程中的种种困难，本发明设计出一种基于双向GRU神经网络和注意力机制的RNA二级结构预测算法，如图2所示，该RNA二级结构预测网络主要包含图中的几个部分，利用官网上下载的RNA二级结构数据集作为训练数据集，先经过数据预处理和特征提取获得特征矩阵，再通过本发明提出的网络模型进行RNA二级结构预测，这部分引入了双向GRU神经网络和注意力机制，充分利用RNA二级结构信息的同时，更加关注重点信息，获得预测的显著特征，再进行后续的预测任务，之后引入的两层dropout有效地避免了模型陷入过拟合。
在我们的神经网络算法中，先对数据集进行数据预处理，将序列中的碱基A、U、C、G用向量形式表示，同时，为序列中的每个碱基提供了一个标志向量，以便于处理包含不同长度RNA序列的数据集。将处理好的序列信息进行矩阵的拼接，将拼接好的特征矩阵输入到网络模型中，进行RNA二级结构的预测。通过注意力层对不同的特征实施不同的加权，使网络学习到更有效的RNA二级结构特征，在提取到有效的特征后，对不同尺度的特征进行融合，充分挖掘RNA二级结构的特征，进行RNA二级结构的预测。最后在计算每个基的损失函数时，可以自适应地调整每个基在损失函数中的比例，以避免模型陷入局部最优，使训练后的模型更好。
本发明选定了准确度、精确率、灵敏度、f1-score、马修斯相关系数五个特征作为RNA二级结构预测准确率的评价指标。在RNA二级结构的预测中，用TP表示正确预测碱基对的个数；FN表示真实结构中存在但没有被正确预测出的碱基对个数；FP表示真实结构中不存在却被错误预测到的碱基对个数；TN表示正确预测的不配对的碱基个数。具体计算公式为：
①准确度(Accuracy)：
②精确率(Precision)：
③灵敏度(Sensitivity)：
④F1系数(F1 Score)：
⑤马修斯相关系数(Matthews correlation coefficient)：
下面首先对本发明提供的基于双向GRU神经网络和注意力机制算法进行介绍。
通过对RNA STRAND中的五个数据集进行数据预处理，将其按同样的标准补齐为同一维度，对于每个样本的输入矩阵，不满足标准维度的用0补齐。将这些RNA二级结构数据集随机分为训练集和测试集，输入到本发明的网络中训练得到预测结果后，再去验证得到各项评价指标。
进一步地，所示本发明模型结构如图2所示，预测过程中，定义当前时刻为t，上一时刻为t-1，下一时刻为t+l；在双向GRU网络中每一时刻均设有更新门和重置门；重置门用于确定是否以一定的概率忘记上一层的隐藏层单元状态，更新门定义了保存到当前时间步长的上一状态的内存量。
所述的重置门和更新门的计算公式为：
rt (f)＝σ(Wr (f)xt+Ur (f)ht-1 (f)+br (f)) (2)
zt (f)＝σ(WZ (f)xt+UZ (f)ht-1 (f)+bz (f)) (3)
其中，Wr (f)、Wz (f)、Wh (f)这几个超参数分别是神经元当前状态向量的输入权重，Ur (f)、Uz (f)、Uh (f)分别是隐藏状态向量的输入权重，br (f)、bz (f)、bh (f)代表各个状态的偏置项。
在经过以上计算后，将计算结果与偏置项和输入矩阵xt相加，最后由一个非线性激活函数
激活，计算公式为：
在获得两个门的两个输出信号后，我们需要在计算ht (f)时获得后遗忘状态rt-l (f)，⊙其中表示与元素相乘运算相对应的哈达玛积。然后在这轮加权后，将其与偏置项和输入矩阵xt相加，计算公式为：
对于反向GRU，也是一个类似的计算过程。
本发明的预测过程中，在将中间结果输入到注意力层之前，需要计算两个方向GRU的隐藏状态向量ht (f)和ht (b)，将这两个方向的隐藏层状态相加以获得该时刻对应的隐藏层状态ht，表达式为：
ht＝ht (f)+ht (b) (1)
本发明中，在双向GRU层之后，我们引入了注意力机制层，通过自适应加权数据来突出 RNA二级结构预测中的重要信息。计算公式为：
et＝tanh(wt×ht+bt) (8)
其中，et表示由隐藏层状态向量ht确定的能量向量值；uw代表一个初始化后的注意力向量； wt和bt分别表示权重系数矩阵和偏置矩阵。
所述本发明中还设有Dropout层，将概率分配给具有伯努利分布的输入值，从而有效的克服过拟合的问题。同时，对数据集中的数据进行特征提取，分配相应权重累加求和，最后在softmax输出层分类，使用adam作为优化器，sgd(随机梯度下降法)作为我们的优化策略，使模型的训练和收敛得更快。
综上所述，本发明通过对RNA二级结构的数据集进行数据预处理，即将RNA二级结构的数据集中的序列信息进行向量化，得到矩阵形式表示的特征信息，并按标准的维度进行拼接，将不足标准的序列样本的特征信息用0进行填充，得到固定维度的特征矩阵，将特征矩阵输入到本发明的模型中进行RNA二级结构预测。本发明可以充分利用RNA二级结构前后碱基的信息，提高了RNA二级结构预测的准确率。进一步地，本发明相对于常规的递归神经网络模型，可以处理不同长度的RNA序列数据集。另外，本发明设置了一个权重向量去解决正负样本不平衡的问题。也就是说，在计算每个基的损失函数时，动态的调整每个基在损失函数中的占比，从而使模型避免陷入局部最优，增加模型的鲁棒性。
本发明的流程如图1所示，本发明提供的基于双向GRU神经网络和注意力机制算法可以包括如下步骤：
1.首先对RNA二级结构数据集进行数据预处理，将序列中的碱基用向量形式表示，再将矩阵进行拼接，得到标准化之后的特征矩阵。
2.设计适用于现有数据集的神经网络模型，以实现对RNA二级结构的预测，主要是特征提取网络，提取RNA二级结构的特征信息，以更好完成后续的对RNA二级结构预测的任务。其中的特征提取网络是对RNA二级结构进行特征学习。
3.通过计算RNA二级结构数据集的评价指标对网络性能进行评价，证明其预测的优越性。
Claims (4)
1.一种基于双向GRU和注意力机制的RNA二级结构预测算法，所述方法包括下列步骤：
步骤1：获取RNA二级结构数据集；
步骤2：定义评价指标；
步骤3：构建合适的循环神经网络的框架，对其损失函数进行修改；
步骤4：使用RNA二级结构数据集对网络进行训练，保存模型；
步骤5：预测RNA二级结构。
2.根据权利要求1中所述的基于双向GRU和注意力机制的RNA二级结构预测算法，其特征在于：在步骤1中，预测RNA二级结构的过程，利用RNA二级结构的数据集进行数据预处理。
3.根据权利要求1中所述的基于双向GRU和注意力机制的RNA二级结构预测算法，其特征在于：在步骤2中，选取五个特征作为RNA二级结构预测效果的评价指标，分别为：
①准确度(Accuracy)：
②精确率(Precision)：
③灵敏度(Sensitivity)：
④F1系数(F1 Score)：
⑤马修斯相关系数(Matthews correlation coefficient)：
在上述公式(1)、(2)、(3)、(4)、(5)和公式(6)中，用TP表示正确预测碱基对的个数；FN表示真实结构中存在但没有被正确预测出的碱基对个数；FP表示真实结构中不存在却被错误预测到的碱基对个数；TN表示正确预测的不配对的碱基个数。
4.根据权利要求1中所述的双向GRU和注意力机制的RNA二级结构预测算法，其特征在于：在步骤3中，构建循环神经网络RNN的框架过程中，计算序列的交叉熵公式为：
flag向量表示该位置的基是否存在，1表示存在，0表示不存在，n表示序列的长度，最后，在soffmax输出层对数据进行分类，使用Adam作为优化器，SGD(随机梯度下降)作为优化策略，以加快模型的训练和收敛速度，
此外，神经网络可能会陷入过拟合，特征解码层的输入对应于注意层后两个dropoutlayers的输出，具体公式如下：
其中，
是预测输出的标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111450840.4A CN114121149A (zh) | 2021-12-01 | 2021-12-01 | 一种基于双向gru和注意力机制的rna二级结构预测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111450840.4A CN114121149A (zh) | 2021-12-01 | 2021-12-01 | 一种基于双向gru和注意力机制的rna二级结构预测算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114121149A true CN114121149A (zh) | 2022-03-01 |
Family
ID=80369061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111450840.4A Pending CN114121149A (zh) | 2021-12-01 | 2021-12-01 | 一种基于双向gru和注意力机制的rna二级结构预测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114121149A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930686A (zh) * | 2016-07-05 | 2016-09-07 | 四川大学 | 一种基于深度神经网络的蛋白质二级结构预测方法 |
| CN110060728A (zh) * | 2019-04-10 | 2019-07-26 | 浙江科技学院 | 基于递归神经网络的rna二级结构预测方法 |
| US20200234788A1 (en) * | 2019-01-04 | 2020-07-23 | President And Fellows Of Harvard College | Protein structures from amino-acid sequences using neural networks |
| CN111986730A (zh) * | 2020-07-27 | 2020-11-24 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 一种预测siRNA沉默效率的方法 |
| CN112270958A (zh) * | 2020-10-23 | 2021-01-26 | 大连民族大学 | 一种基于分层深度学习miRNA-lncRNA互作关系的预测方法 |
| CN112270955A (zh) * | 2020-10-23 | 2021-01-26 | 大连民族大学 | 一种注意力机制预测lncRNA的RBP结合位点的方法 |
| CN112767997A (zh) * | 2021-02-04 | 2021-05-07 | 齐鲁工业大学 | 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法 |
| CN113361752A (zh) * | 2021-05-21 | 2021-09-07 | 浙江工业大学 | 一种基于多视角学习的蛋白质溶剂可及性预测方法 |
-
2021
- 2021-12-01 CN CN202111450840.4A patent/CN114121149A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930686A (zh) * | 2016-07-05 | 2016-09-07 | 四川大学 | 一种基于深度神经网络的蛋白质二级结构预测方法 |
| US20200234788A1 (en) * | 2019-01-04 | 2020-07-23 | President And Fellows Of Harvard College | Protein structures from amino-acid sequences using neural networks |
| CN110060728A (zh) * | 2019-04-10 | 2019-07-26 | 浙江科技学院 | 基于递归神经网络的rna二级结构预测方法 |
| CN111986730A (zh) * | 2020-07-27 | 2020-11-24 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 一种预测siRNA沉默效率的方法 |
| CN112270958A (zh) * | 2020-10-23 | 2021-01-26 | 大连民族大学 | 一种基于分层深度学习miRNA-lncRNA互作关系的预测方法 |
| CN112270955A (zh) * | 2020-10-23 | 2021-01-26 | 大连民族大学 | 一种注意力机制预测lncRNA的RBP结合位点的方法 |
| CN112767997A (zh) * | 2021-02-04 | 2021-05-07 | 齐鲁工业大学 | 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法 |
| CN113361752A (zh) * | 2021-05-21 | 2021-09-07 | 浙江工业大学 | 一种基于多视角学习的蛋白质溶剂可及性预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| SHUHUI CHENG等: "TWD-SFNN: Three-way decisions with a single hidden layer feedforward neural network", 《INFORMATION SCIENCES》, 31 July 2021 (2021-07-31), pages 1 - 18 * |
| WEIZHONG LU等: "Research on RNA secondary structure predicting via bidirectional recurrent neural network", 《BMC BIOINFORMATICS》, 8 September 2021 (2021-09-08), pages 1 - 19 * |
| ZHEN SHEN等: "A Deep Learning Model for RNA-Protein Binding Preference Prediction Based on Hierarchical LSTM and Attention Network", 《IEEE/ACM TRANSACTIONS ON COMPUTATIONAL BIOLOGY AND BIOINFORMATICS》, 7 July 2020 (2020-07-07), pages 1 - 11 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110083705B (zh) | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 | |
| CN110969020B (zh) | 基于cnn和注意力机制的中文命名实体识别方法、系统及介质 | |
| CN111858931B (zh) | 一种基于深度学习的文本生成方法 | |
| CN109299262A (zh) | 一种融合多粒度信息的文本蕴含关系识别方法 | |
| CN112818159A (zh) | 一种基于生成对抗网络的图像描述文本生成方法 | |
| CN108717439A (zh) | 一种基于注意力机制和特征强化融合的中文文本分类方法 | |
| CN111291556B (zh) | 基于实体义项的字和词特征融合的中文实体关系抽取方法 | |
| Liu et al. | Block proposal neural architecture search | |
| CN112905801B (zh) | 基于事件图谱的行程预测方法、系统、设备及存储介质 | |
| CN111079409B (zh) | 一种利用上下文和方面记忆信息的情感分类方法 | |
| CN111782961B (zh) | 一种面向机器阅读理解的答案推荐方法 | |
| CN111460157B (zh) | 用于多领域文本分类的循环卷积多任务学习方法 | |
| CN111400494B (zh) | 一种基于GCN-Attention的情感分析方法 | |
| CN112527993B (zh) | 一种跨媒体层次化深度视频问答推理框架 | |
| CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
| Liu et al. | Deep Boltzmann machines aided design based on genetic algorithms | |
| CN111882042B (zh) | 用于液体状态机的神经网络架构自动搜索方法、系统及介质 | |
| CN112732888A (zh) | 一种基于图推理模型的答案预测方法及装置 | |
| CN114625882B (zh) | 提高图像文本描述独特多样性的网络构建方法 | |
| CN115563315A (zh) | 一种面向持续少样本学习的主动复杂关系抽取方法 | |
| CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
| CN113179276B (zh) | 基于显式和隐含特征学习的智能入侵检测方法和系统 | |
| CN111708865B (zh) | 一种基于改进XGBoost算法的技术预见及专利预警分析方法 | |
| CN116720519B (zh) | 一种苗医药命名实体识别方法 | |
| CN114121149A (zh) | 一种基于双向gru和注意力机制的rna二级结构预测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |