CN114333982B - 蛋白质表示模型预训练、蛋白质相互作用预测方法和装置 - Google Patents
蛋白质表示模型预训练、蛋白质相互作用预测方法和装置 Download PDFInfo
- Publication number
- CN114333982B CN114333982B CN202111423752.5A CN202111423752A CN114333982B CN 114333982 B CN114333982 B CN 114333982B CN 202111423752 A CN202111423752 A CN 202111423752A CN 114333982 B CN114333982 B CN 114333982B
- Authority
- CN
- China
- Prior art keywords
- protein
- amino acid
- information
- training
- acid sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 102000004169 proteins and genes Human genes 0.000 title claims abstract description 321
- 108090000623 proteins and genes Proteins 0.000 title claims abstract description 321
- 238000012549 training Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000006916 protein interaction Effects 0.000 title claims abstract description 52
- 125000003275 alpha amino acid group Chemical group 0.000 claims abstract description 107
- 239000013598 vector Substances 0.000 claims description 59
- 230000004927 fusion Effects 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 37
- 150000001413 amino acids Chemical class 0.000 claims description 36
- 239000013604 expression vector Substances 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 21
- 230000000873 masking effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000004850 protein–protein interaction Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004853 protein function Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229920001184 polypeptide Polymers 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 238000012514 protein characterization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B15/00—ICT specially adapted for analysing two-dimensional or three-dimensional molecular structures, e.g. structural or functional relations or structure alignment
- G16B15/20—Protein or domain folding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B30/00—ICT specially adapted for sequence analysis involving nucleotides or amino acids
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
- G16B40/20—Supervised data analysis
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Molecular Biology (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Artificial Intelligence (AREA)
- Crystallography & Structural Chemistry (AREA)
- Genetics & Genomics (AREA)
- Physiology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
本公开提供了一种蛋白质表示模型预训练、蛋白质相互作用预测方法和装置，涉及人工智能技术领域，具体为自然语言处理、深度学习技术领域。具体实现方案为：获取蛋白质的氨基酸序列、功能信息和结构信息，根据上述氨基酸的序列、功能信息和结构信息，对蛋白质表示模型进行预训练。由此，提供了一种基于多模态蛋白质表示模型的预训练方式。
Description
技术领域
本公开涉及人工智能技术领域，具体为自然语言处理、深度学习技术领域，尤其涉及蛋白质表示模型预训练、蛋白质相互作用预测方法和装置。
背景技术
预测蛋白质间相互作用对疫苗设计、抗体药物设计、多肽药物设计等应用有重大意义。在对蛋白质间相互作用进行预测的过程中，蛋白质的表示的准确程度直接影响着蛋白质间相互作用的预测结果。
发明内容
本公开提供了一种蛋白质表示模型预训练、蛋白质相互作用预测方法和装置。
根据本公开的一方面，提供了一种蛋白质表示模型预训练方法，所述方法包括：获取蛋白质的氨基酸序列、功能信息和结构信息；根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
本申请实施例的蛋白质表示模型预训练方法，获取蛋白质的氨基酸序列、功能信息和结构信息，根据上述氨基酸的序列、功能信息和结构信息，对蛋白质表示模型进行预训练。由此，提供了一种对蛋白质表示模型进行预训练的方式，从而可使得训练出的蛋白质表示模型准确。
根据本公开的另一方面，提供了一种蛋白质相互作用预测方法，所述方法包括：获取待处理的多个蛋白质以及各个所述蛋白质对应的氨基酸序列、功能信息和结构信息；基于各个所述蛋白质对应的氨基酸序列、功能信息和结构信息，通过预训练所得到的蛋白质表示模型，得到各个所述蛋白质对应的融合表示向量；将各个所述蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个所述蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。
本公开实施例的蛋白质相互作用预测方法，通过预训练所得到的蛋白质表示模型对各个蛋白质对应的氨基酸序列、功能信息和结构信息进行融合表示，以得到各个蛋白质对应的融合表示向量，并将各个所述蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个所述蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。由此，在准确的蛋白质的融合表示向量的基础上，使得蛋白质相互作用预测模型可以有更好的预测精度、鲁棒性和泛化性。
根据本公开的另一方面，提供了一种蛋白质表示模型的预训练装置，所述装置包括：获取模块，用于获取蛋白质的氨基酸序列、功能信息和结构信息；第一预训练模块，用于根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
根据本公开的另一方面，提供了一种蛋白质相互作用预测装置，所述装置包括：获取模块，用于获取待处理的多个蛋白质以及各个所述蛋白质对应的氨基酸序列、功能信息和结构信息；表示模块，用于基于各个所述蛋白质对应的氨基酸序列、功能信息和结构信息，通过上述预训练所得到的蛋白质表示模型，得到各个所述蛋白质对应的融合表示向量；相互作用预测模块，用于将各个所述蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个所述蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的蛋白质表示模型的预训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的蛋白质表示模型的预训练方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的蛋白质表示模型的预训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的蛋白质表示模型的预训练方法的流程示意图；
图2是根据本公开第二实施例的蛋白质表示模型的预训练方法的流程示意图；
图3是根据本公开第三实施例的蛋白质表示模型的预训练方法的流程示意图；
图4是根据本公开第四实施例的蛋白质表示模型的预训练方法的流程示意图；
图5是根据本公开第五实施例的蛋白质“序列-结构-功能”多模态预训练模型示意图；
图6是根据本公开第六实施例的蛋白质相互作用预测方法的流程示意图；
图7是根据本公开第七实施例的蛋白质表示模型的预训练装置的结构示意图。
图8是根据本公开第八实施例的蛋白质表示模型的预训练装置的结构示意图；
图9是根据本公开第九实施例的蛋白质相互作用预测装置的结构示意图；
图10是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，蛋白质间相互作用预测方法可以分为两个阶段：(1)蛋白质的表示，即将蛋白质的氨基酸序列或结构文件表示为计算机模型可以理解的特征向量形式。(2)下游预测网络，即分类或回归模型预测蛋白质间能否发生相互作用，或预测蛋白质间发生相互作用的亲和力分数。通常蛋白质的表示的准确程度对于下游预测网络进行蛋白质间相互作用十分重要的。相关技术中，通常是采用基于蛋白质的氨基酸信息，对蛋白质表示模型进行预训练，并基于训练后的蛋白质表示模型对蛋白质进行表示。然而，基于蛋白质预训练语言模型的做法依然遗漏了蛋白质的结构和功能等高层次的特征，而这些特征对蛋白质间相互作用的预测又尤为重要。
为此，本公开提出了一种蛋白质表示模型的预训练方法，该方法利用蛋白质的序列、结构和功能三个模态的协同数据，训练多模态的蛋白质表示模，从而可建立更优的蛋白质表征模型。
下面参考附图描述本公开实施例的蛋白质表示模型的预训练方法、蛋白质相互作用预测方法和装置。
图1是根据本公开第一实施例的蛋白质表示模型的预训练方法的流程示意图；
如图1所示，该蛋白质表示模型的预训练方法可以包括：
步骤101，获取蛋白质的氨基酸序列、功能信息和结构信息。
其中，需要说明的是，本实施的蛋白质表示模型的预训练方法的执行主体为蛋白质表示模型的预训练装置，该蛋白质表示模型的预训练装置可以由软件和/或硬件实现，该蛋白质表示模型的预训练装置可以配置在电子设备，该电子设备可以包括但不限于终端设备、服务器等，该实施例对电子设备不作具体限定。
在一些实施例中，上述功能信息为蛋白质的功能文字描述信息。
在一些实施例中，为了使得蛋白质表示模型可基于对蛋白质间相互作用有用的结构信息，对蛋白质进行表示，上述结构信息可以是从该蛋白质对应的结构文件中提取出的信息。具体而言，可获取所述蛋白质的结构文件，然后，从结构文件中提取蛋白质的重原子组成的点云，并根据点云，确定蛋白质的拓扑复型的条形码信息，然后，对条形码信息进行离散化，以得到蛋白质的结构信息。由此，得到了蛋白质在原子粒度的精细化结构信息。
其中，上述蛋白质的重原子可以包括但不限碳C、氮N、氧O等重原子。
步骤102，根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
在一些实施例中，可以基于蛋白质“序列-结构-功能”多模态预训练模型进行预训练。
在一些实施例中，在不同应用场景中，上述根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练的实现方式不同，一种示例性的实施方式可以为：将氨基酸序列、功能信息和结构信息输入到蛋白质表示模型，以得到融合表示向量，根据预设的解码网络，确定融合表示向量对应的预测蛋白质，根据蛋白质和该预测蛋白质，对蛋白质表示模型进行预训练。
具体地，可对氨基酸序列、功能信息和结构信息进行向量化表示，以得到上述三个信息各自对应的向量表示，并将上述三个信息各自对应的向量表示进行相加，并将相加所得到的向量表示输入到蛋白质表示模型中，以得到融合表示向量。
需要说明的是，对蛋白质表示模型进行预训练可以多次进行，可以利用多组的蛋白质的氨基酸序列、功能信息和结构信息作为输入，训练的次数与输入的组数在此不作具体限定。
在一些实施例中，为了提高上述蛋白质表示模型的准确性，上述预设的解码网络可以根据输入的蛋白质的类型进行分类，不同的蛋白质类型可以对应不同的预设解码网络。
本公开实施例的蛋白质表示模型的预训练方法，获取蛋白质的氨基酸序列、功能信息和结构信息，根据上述氨基酸的序列、功能信息和结构信息，对蛋白质表示模型进行预训练。由此，提供了一种对蛋白质表示模型进行预训练的方式，从而可使得训练出的蛋白质表示模型准确。
基于上述实施例的基础上，下面结合图2进一步对该实施例的方法进一步描述。
如图2所示，该方法可以包括：
步骤201，获取蛋白质的氨基酸序列、功能信息和结构信息。
其中，需要说明的是，步骤201的具体实施方式，可参见上述实施例的相关描述，此处不再赘述。
步骤202，将功能信息替换为一个掩码字符，并根据氨基酸序列、结构信息和该蛋白质，对该蛋白质表示模型进行预训练。
在一些实施例中，将功能信息替换为一个掩码字符，并根据氨基酸序列、结构信息和该蛋白质，对该蛋白质表示模型进行预训练的示例性方式可以为：可将氨基酸序列、结构信息输入到蛋白质表示模型中，以得到融合表示向量，并将融合表示向量输入到预设的解码网络中，以得到对应的预测蛋白质，并根据蛋白质和该预测蛋白质之间的差异性，对蛋白质表示模型的参数进行调整，直至预测蛋白质与该蛋白质相同，此时，说明该蛋白质表示模型已训练好。
在本实施例中，有时存在蛋白质缺少功能信息的情况下，为了使得蛋白质表示模型可基于蛋白质的氨基酸序列和结构信息，对蛋白质进行准确表示，本实施例中，在对蛋白质表示模型进行预训练的过程中，还基于氨基酸序列和结构信息，对蛋白质表示模型进行预训练。
步骤203，将功能信息以及结构信息分别替换为一个掩码字符，并根据氨基酸序列和该蛋白质，对蛋白质表示模型进行预训练。
在一些实施例中，有时存在蛋白质缺少功能信息以及结构信息的情况下，为了使得蛋白质表示模型可基于蛋白质的氨基酸序列，对蛋白质进行准确表示，本实施例中，在对蛋白质表示模型进行预训练的过程中，还基于氨基酸序列和蛋白质，对蛋白质表示模型进行预训练。
在一些实施例中，基于氨基酸序列和蛋白质，对蛋白质表示模型进行预训练的示例性实施方式可以为：将氨基酸序列输入到蛋白质表示模型中，以得到融合表示向量，并将融合表示向量输入到预设的解码网络中，以得到预测蛋白质，并根据预测蛋白质和蛋白质之间的差异性，对蛋白质表示模型进行预训练。
步骤204，将结构信息替换为一个掩码字符，并根据氨基酸序列、功能信息和该蛋白质，对该蛋白质表示模型进行预训练。
在一些实施例中，有时蛋白质存在缺失结构信息的情况下，为了使得蛋白质表示模型可基于蛋白质的氨基酸序列和功能信息，对蛋白质进行准确表示，本实施例中，在对蛋白质表示模型进行预训练的过程中，还基于蛋白质的氨基酸序列、功能信息和蛋白质，对蛋白质表示模型进行预训练。在一些实施例中，基于氨基酸序列、功能信息和蛋白质，对蛋白质表示模型进行预训练的一种示例性实施方式为：将氨基酸序列、功能信息输入到蛋白质表示模型中，以得到融合表示向量，然后，将融合表示向量输入到预设的解码网络中，以得到预测蛋白质，并根据该预测蛋白质和蛋白质之间的差异性，对蛋白质表示模型进行预训练。
其中，需要说明的是，可基于上述步骤202、步骤203和步骤204中的之一或者组合，对该蛋白质表示模型进行预训练，该实施例对此不作具体限定。
在一些实施例中，有时存在蛋白质的氨基酸序列中的氨基酸存在错误或者缺少的情况下，为了进一步提高蛋白质表示模型的蛋白质表示的准确性，基于上述任意一个实施例的基础上，如图3所示，该方法还可以包括：
步骤301，对氨基酸序列中的待掩码氨基酸进行掩码处理，以得到掩码后的氨基酸序列。
其中，在不同应用场景中，对所述氨基酸序列中的待掩码氨基酸进行掩码处理，以得到掩码后的氨基酸序列可通过多种方式实现，示例性说明如下；
作为一种示例性的实施方式，可对氨基酸序列中的待掩码氨基酸采用随机字符进行替换，以得到掩码后的氨基酸序列。
作为另一种示例性的实施方式，对氨基酸序列中的待掩码氨基酸采用预设标识符进行替换，以得到掩码后的氨基酸序列。
步骤302，根据待掩码氨基酸、掩码后的氨基酸序列、功能信息和结构信息，对蛋白质表示模型进行预训练。
也就是说，在本实施例中，还可以基于自监督的掩码序列建模任务的方式，对蛋白质表示模型进行预训练。
在一些实施例中，为了可以对蛋白质表示模型进行准确预训练，上述根据待掩码氨基酸、掩码后的氨基酸序列、功能信息和结构信息，对蛋白质表示模型进行预训练的一种示例性的实施方式为：将掩码后的氨基酸序列、功能信息和结构信息输入至蛋白质表示模型，以得到第一融合表示向量；根据第一融合表示向量，确定待掩码氨基酸对应的氨基酸预测结果；根据待掩码氨基酸以及氨基酸预测结果，对蛋白质表示模型进行预训练。
具体地，根据待掩码氨基酸与氨基酸预测结果之间的差异性信息，对蛋白质表示模型的参数进行调整，直至待掩码氨基酸与氨基酸预测结果之间的差异性信息小于预设阈值，或者，待掩码氨基酸与氨基酸预测结果相同。
在一些实施例中，为了使得蛋白质表示模型可以对蛋白质进行准确表示，将掩码后的氨基酸序列、功能信息和结构信息输入至蛋白质表示模型，以得到第一融合表示向量的一种示例性的实施方式为：分别确定掩码后的氨基酸序列、结构信息和掩码处理后的功能信息中各字符对应的字符向量以及位置向量；将掩码后的氨基酸序列、结构信息和功能信息中各字符对应的字符向量以及位置向量进行联合，以得到各个字符对应的联合向量；将各个字符对应的联合向量输入到所述蛋白质表示模型中，以得到第一融合表示向量。
其中，可以理解的是，掩码后的氨基酸序列中对应字符所对应的位置向量，用于表示对应字符(即，氨基酸)在氨基酸序列中的位置。
其中，功能信息中对应符所对应的位置向量，用于表示对应字符在功能信息中的位置。
其中，结构信息中对应字符所对应的位置向量均为零。
具体地，基于蛋白质“序列-结构-功能”多模态预训练模型，对蛋白质序列和蛋白质功能这两个序列化的模态引入独立的位置编码，使得模型可以得到氨基酸和功能描述词的顺序信息。掩码后的氨基酸序列、结构信息和掩码处理后的功能信息中的各字符对应具有特征向量的字符向量和位置向量。将掩码后的氨基酸序列、结构信息和功能信息中各字符对应的字符向量以及位置向量进行相加联合，即可得到各个字符相对应的联合向量。将各个字符对应的联合向量输入到所述蛋白质表示模型中，以得到第一融合表示向量。
在一些实施例中，有时存在蛋白质的功能信息存在字符错误或者缺少的情况下，为了进一步提高蛋白质表示模型的蛋白质表示的准确性，使得训练后的蛋白质表示模型可以功能信息存在字符缺少或者错误的蛋白质进行准确表示，基于上述任意一个实施例的基础上，如图4所示，该蛋白质表示模型的预训练方法还可以包括：
步骤401，对功能信息中的待掩码字符进行掩码处理，以得到掩码后的功能信息。
其中，在不同应用场景中，对功能信息中的待掩码字符进行掩码处理，以得到掩码后的功能信息可通过多种方式实现，示例性说明如下：
作为一种示例性的实施方式，可对功能信息中的待掩码字符采用随机字符进行替换，以得到掩码后的功能信息。
作为另一种示例性的实施方式，可对功能信息中的待掩码字符采用预设标识符进行替换，以得到掩码后的功能信息。
步骤402，根据待掩码字符、掩码后的功能信息、功能信息和结构信息，对该蛋白质表示模型进行预训练。
也就是说，在本实施例中，还可以基于自监督的掩码功能建模任务的方式，对蛋白质表示模型进行预训练。
在一些实施例中，为了可以对蛋白质表示模型进行准确预训练，根据待掩码字符、掩码后的功能信息、功能信息和结构信息，对该蛋白质表示模型进行预训练的一种示例性的实施方式为：将掩码后的功能信息、功能信息和结构信息输入至蛋白质表示模型中，以得到第二融合表示向量；根据第二融合表示向量，确定待掩码字符对应的字符预测结果；根据待掩码字符以及字符预测结果，对蛋白质表示模型进行预训练。
具体地，待掩码字符以及字符预测结果之间出差异性信息，对蛋白质表示模型的参数进行调整，直至掩码字符和字符预测结果相同，结束蛋白质表示模型的预训练。
在一些实施例中，为了使得本领技术人员可以清楚了解本公开，下面结合图5对该实施例的蛋白质表示模型的训练过程进行示例性描述。
需要说明的是，本实施方式基于蛋白质“序列-结构-功能”多模态预训练模型进行实现，该模型是基于转换Transformer的单流式多模态预训练模型，不同的模态之间由分段表征(Segment Embedding)区分，不同于单模态的Transformer模型只有一组位置编码(Position Embedding)，该模型对蛋白质序列和蛋白质功能(蛋白质功能的文字描述)这两个序列化的模态引入独立的位置编码，使得模型可以得到氨基酸和功能描述词的顺序信息，多模态语义元素Token编码(Multimodal Token Embedding)包含序列、结构和功能3个模态。该模型针对序列化的蛋白质序氨基酸序列和功能描述数据，引入自监督的掩码序列建模(Masked SequenceModeling)和掩码功能建模(Masked Function Modeling)任务。另外，为学习多模态之间的协同信息，本公开引入了“序列-结构-功能”多模态对齐任务(Sequence-Structure-Function Alignment)。其中，多模态对齐任务对蛋白质表示模型进行预训练的过程中，可参见图2实施例中的相关描述，此处不再赘述。
本公开实施例还提供了一种蛋白质相互作用预测方法。
图6是根据本公开第六实施例的蛋白质相互作用预测方法的流程示意图。
如图6所示，该蛋白质相互作用预测方法可以包括：
步骤601，获取待处理的多个蛋白质以及各个蛋白质对应的氨基酸序列、功能信息和结构信息。
步骤602，基于各个蛋白质对应的氨基酸序列、功能信息和结构信息，通过上述预训练所得到的蛋白质表示模型，得到各个蛋白质对应的融合表示向量。
具体地，基于预训练所得到的蛋白质表示模型，以蛋白质预训练表征为输入，得到各个蛋白质对应的融合表示向量。
其中，预训练蛋白质表示模型的具体过程，可参见上述实施例的相关描述，此处不再赘述。
步骤603，将各个蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。
具体地，针对不同蛋白质间相互作用任务下的下游神经网络，以各个蛋白质对应的融合表示向量作为输入，对各个蛋白质间进行相互作用的预测，得到各个蛋白质相互作用预测结果。
需要说明的是，蛋白质间相互作用预测模型可以被设计成多种下游任务网，以满足不同类型蛋白质的需要。例如，下游任务模型可以针对一对蛋白质做输入的蛋白质间的相互作用任务，可以针对三个蛋白质做输入的蛋白质间的相互作用任务，也可以针对两对蛋白质做输入的蛋白质间的相互作用任务。
本公开实施例的蛋白质相互作用预测方法，通过预训练所得到的蛋白质表示模型对各个蛋白质对应的氨基酸序列、功能信息和结构信息进行融合表示，以得到各个蛋白质对应的融合表示向量，并将各个所述蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个所述蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。由此，在准确的蛋白质的融合表示向量的基础上，使得蛋白质相互作用预测模型可以有更好的预测精度、鲁棒性和泛化性。
为了实现上述实施例，本公开实施例还提供了一种蛋白质表示模型预训练装置。
图7是根据本公开第七实施例的蛋白质表示模型的预训练装置的结构示意图。
如图7所示，该蛋白质表示模型的预训练装置700可以包括获取模块701和第一预训练模块702，其中：
获取模块701，用于获取蛋白质的氨基酸序列、功能信息和结构信息。
第一预训练模块702，用于根据氨基酸序列、功能信息和结构信息，对该蛋白质表示模型进行预训练。其中，需要说明的是，前述对蛋白质表示模型的预训练方法实施例的解释说明也适用于本实施例，本实施对此不再赘述。
本公开实施例的蛋白质表示模型的预训练装置，获取蛋白质的氨基酸序列、功能信息和结构信息，根据上述氨基酸的序列、功能信息和结构信息，对蛋白质表示模型进行预训练。由此，提供了一种对蛋白质表示模型进行预训练的方式，从而可使得训练出的蛋白质表示模型准确。
在一些实施例中，如图8所示，该蛋白质表示模型的预训练装置800可以包括：获取模块801、第一预训练模块802、第二预训练模块803和第三预训练模块804。
其中，需要说明的是，关于获取模块801的详细描述可参见图7所示实施例中的获取模块701的说明，此处不再进行描述。
在一些实施例中，上述第一预训练模块802，具体用于：将功能信息替换为一个掩码，并根据氨基酸序列、结构信息和蛋白质，对蛋白质表示模型进行预训练；和/或者；将功能信息以及结构信息分别替换为一个掩码字符，并根据氨基酸序列和蛋白质，对蛋白质表示模型进行预训练；和/或者将结构信息替换为一个掩码字符，并根据氨基酸序列、功能信息和蛋白质，对蛋白质表示模型进行预训练。
在一些实施例中，上述第二预训练模块803，用于对氨基酸序列中的待掩码氨基酸进行掩码处理，以得到掩码后的氨基酸序列，并根据待掩码氨基酸、掩码后的氨基酸序列、功能信息和结构信息，对蛋白质表示模型进行预训练。
在一些实施例中，上述第二预训练模块803，具体用于：将掩码后的氨基酸序列、功能信息和结构信息输入至蛋白质表示模型，以得到第一融合表示向量；根据第一融合表示向量，确定待掩码氨基酸对应的氨基酸预测结果；根据待掩码氨基酸以及氨基酸预测结果，对蛋白质表示模型进行预训练。在一些实施例中，上述将掩码后的氨基酸序列、功能信息和结构信息输入至蛋白质表示模型，以得到第一融合表示向量的一种示例性的实施方式为：分别确定掩码后的氨基酸序列、结构信息和掩码处理后的功能信息中各字符对应的字符向量以及位置向量；将掩码后的氨基酸序列、结构信息和功能信息中各字符对应的字符向量以及位置向量进行联合，以得到各个字符对应的联合向量；将各个字符对应的联合向量输入到蛋白质表示模型中，以得到第一融合表示向量。
在一些实施例中，第三预训练模块804用于，用于对功能信息中的待掩码字符进行掩码处理，以得到掩码后的功能信息，并根据待掩码字符、掩码后的功能信息、功能信息和结构信息，对蛋白质表示模型进行预训练。
在本公开的一些实施例中，上述第三预训练模块804，具体用于：将掩码后的功能信息、功能信息和结构信息输入至蛋白质表示模型中，以得到第二融合表示向量；根据第二融合表示向量，确定待掩码字符对应的字符预测结果；根据待掩码字符以及字符预测结果，对蛋白质表示模型进行预训练。在一些实施例中，结构信息通过下述方式得到：获取蛋白质的结构文件；从结构文件中提取蛋白质的重原子组成的点云；根据点云，确定蛋白质的拓扑复型的条形码信息；对条形码信息进行离散化，以得到蛋白质的结构信息。
其中，需要说明的是，前述对蛋白质表示模型预训练方法实施例的解释说明也适用于本实施例中的蛋白质表示模型预训练装置，此处不再赘述。
本公开实施例还提供一种蛋白质相互作用预测装置。
图9是根据本公开第九实施例的蛋白质相互作用预测装置的结构示意图。
如图9所示，该的蛋白质相互作用预测装置900可以包括获取模块901、表示模块902和相互作用预测模块903，其中：
获取模块901，用于获取待处理的多个蛋白质以及各个蛋白质对应的氨基酸序列、功能信息和结构信息。
表示模块902，用于基于各个蛋白质对应的氨基酸序列、功能信息和结构信息，通过上述预训练所得到的蛋白质表示模型，得到各个蛋白质对应的融合表示向量。
相互作用预测模块903，用于将各个蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。
其中，需要说明的是，前述对蛋白质相互作用预测方法实施例的解释说明也适用于本实施例，本实施对此不再赘述。
本公开实施例的蛋白质相互作用预测装置，通过预训练所得到的蛋白质表示模型对各个蛋白质对应的氨基酸序列、功能信息和结构信息进行融合表示，以得到各个蛋白质对应的融合表示向量，并将各个蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。由此，在准确的蛋白质的融合表示向量的基础上，使得蛋白质相互作用预测模型可以有更好的预测精度、鲁棒性和泛化性。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如蛋白质表示模型的预训练方法。例如，在一些实施例中，蛋白质表示模型的预训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的蛋白质表示模型的预训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行蛋白质表示模型的预训练方法。
在另一些实施例中，上述计算单元1001执行上文所描述的蛋白质相互作用预测方法，例如，在一些实施例中，蛋白质相互作用预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算单元1001执行时，可以执行上文描述的蛋白质相互作用预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行蛋白质相互作用预测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual PrivateServer"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种蛋白质表示模型的预训练方法，包括：
获取蛋白质的氨基酸序列、功能信息和结构信息；
根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练；
所述根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练：
将所述氨基酸序列、所述功能信息和所述结构信息输入到所述蛋白质表示模型，以得到融合表示向量；
确定所述融合表示向量对应的预测蛋白质，根据所述蛋白质和所述预测蛋白质，对所述蛋白质表示模型进行预训练。
2.根据权利要求1所述的方法，其中，所述根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练，包括：
将所述功能信息替换为一个掩码，并根据所述氨基酸序列、所述结构信息和所述蛋白质，对所述蛋白质表示模型进行预训练；和/或者；
将所述功能信息以及所述结构信息分别替换为一个掩码字符，并根据所述氨基酸序列和所述蛋白质，对所述蛋白质表示模型进行预训练；和/或者
将所述结构信息替换为一个掩码字符，并根据所述氨基酸序列、所述功能信息和所述蛋白质，对所述蛋白质表示模型进行预训练。
3.根据权利要求2所述的方法，其中，所述方法还包括：
对所述氨基酸序列中的待掩码氨基酸进行掩码处理，以得到掩码后的氨基酸序列；
根据所述待掩码氨基酸、所述掩码后的氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
4.根据权利要求3所述的方法，其中，所述根据所述待掩码氨基酸、所述掩码后的氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练，包括：
将所述掩码后的氨基酸序列、所述功能信息和所述结构信息输入至所述蛋白质表示模型，以得到第一融合表示向量；
根据所述第一融合表示向量，确定所述待掩码氨基酸对应的氨基酸预测结果；
根据所述待掩码氨基酸以及所述氨基酸预测结果，对所述蛋白质表示模型进行预训练。
5.根据权利要求4所述的方法，其中，所述将所述掩码后的氨基酸序列、所述功能信息和所述结构信息输入至所述蛋白质表示模型，以得到第一融合表示向量，包括：
分别确定所述掩码后的氨基酸序列、所述结构信息和掩码处理后的所述功能信息中各字符对应的字符向量以及位置向量；
将所述掩码后的氨基酸序列、所述结构信息和所述功能信息中各字符对应的字符向量以及位置向量进行联合，以得到各个字符对应的联合向量；
将各个字符对应的联合向量输入到所述蛋白质表示模型中，以得到所述第一融合表示向量。
6.根据权利要求2-5任一项所述的方法，其中，所述方法还包括：
对所述功能信息中的待掩码字符进行掩码处理，以得到掩码后的功能信息；
根据所述待掩码字符、所述掩码后的功能信息、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
7.根据权利要求6所述的方法，其中，所述根据所述待掩码字符、所述掩码后的功能信息、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练，包括：
将所述掩码后的功能信息、所述功能信息和所述结构信息输入至所述蛋白质表示模型中，以得到第二融合表示向量；
根据所述第二融合表示向量，确定所述待掩码字符对应的字符预测结果；
根据所述待掩码字符以及所述字符预测结果，对所述蛋白质表示模型进行预训练。
8.根据权利要求1所述的方法，其中，所述结构信息通过下述方式得到：
获取所述蛋白质的结构文件；
从所述结构文件中提取所述蛋白质的重原子组成的点云；
根据所述点云，确定所述蛋白质的拓扑复型的条形码信息；
对所述条形码信息进行离散化，以得到所述蛋白质的结构信息。
9.一种蛋白质相互作用预测方法，包括：
获取待处理的多个蛋白质以及各个所述蛋白质对应的氨基酸序列、功能信息和结构信息；
基于各个所述蛋白质对应的氨基酸序列、功能信息和结构信息，通过如权利要求1-8任一项预训练所得到的蛋白质表示模型，得到各个所述蛋白质对应的融合表示向量；
将各个所述蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个所述蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。
10.一种蛋白质表示模型的预训练装置，包括：
获取模块，用于获取蛋白质的氨基酸序列、功能信息和结构信息；
第一预训练模块，用于根据所述氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练；
所述第一预训练模块，具体用于：
将所述氨基酸序列、所述功能信息和所述结构信息输入到所述蛋白质表示模型，以得到融合表示向量；
确定所述融合表示向量对应的预测蛋白质，根据所述蛋白质和所述预测蛋白质，对所述蛋白质表示模型进行预训练。
11.根据权利要求10所述的装置，其中，所述第一预训练模块，具体用于：
将所述功能信息替换为一个掩码，并根据所述氨基酸序列、所述结构信息和所述蛋白质，对所述蛋白质表示模型进行预训练；和/或者；
将所述功能信息以及所述结构信息分别替换为一个掩码字符，并根据所述氨基酸序列和所述蛋白质，对所述蛋白质表示模型进行预训练；和/或者
将所述结构信息替换为一个掩码字符，并根据所述氨基酸序列、所述功能信息和所述蛋白质，对所述蛋白质表示模型进行预训练。
12.根据权利要求11所述的装置，其中，所述装置还包括：
第二预训练模块，用于对所述氨基酸序列中的待掩码氨基酸进行掩码处理，以得到掩码后的氨基酸序列，并根据所述待掩码氨基酸、所述掩码后的氨基酸序列、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
13.根据权利要求11-12任一项所述的装置，其中，所述装置还包括：
第三预训练模块，用于对所述功能信息中的待掩码字符进行掩码处理，以得到掩码后的功能信息，并根据所述待掩码字符、所述掩码后的功能信息、所述功能信息和所述结构信息，对所述蛋白质表示模型进行预训练。
14.一种蛋白质相互作用预测装置，包括：
获取模块，用于获取待处理的多个蛋白质以及各个所述蛋白质对应的氨基酸序列、功能信息和结构信息；
表示模块，用于基于各个所述蛋白质对应的氨基酸序列、功能信息和结构信息，通过如权利要求1-8任一项预训练所得到的蛋白质表示模型，得到各个所述蛋白质对应的融合表示向量；
相互作用预测模块，用于将各个所述蛋白质对应的融合表示向量输入至蛋白质相互作用预测模型，以对多个所述蛋白质相互作用进行预测，以得到蛋白质相互作用预测结果。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8或9中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8或9中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111423752.5A CN114333982B (zh) | 2021-11-26 | 2021-11-26 | 蛋白质表示模型预训练、蛋白质相互作用预测方法和装置 |
| US17/935,233 US20230011678A1 (en) | 2021-11-26 | 2022-09-26 | Method for predicting protein-protein interaction |
| JP2022179421A JP7495467B2 (ja) | 2021-11-26 | 2022-11-09 | タンパク質表現モデルの事前トレーニング、タンパク質相互作用の予測方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111423752.5A CN114333982B (zh) | 2021-11-26 | 2021-11-26 | 蛋白质表示模型预训练、蛋白质相互作用预测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114333982A CN114333982A (zh) | 2022-04-12 |
| CN114333982B true CN114333982B (zh) | 2023-09-26 |
Family
ID=81046152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111423752.5A Active CN114333982B (zh) | 2021-11-26 | 2021-11-26 | 蛋白质表示模型预训练、蛋白质相互作用预测方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230011678A1 (zh) |
| JP (1) | JP7495467B2 (zh) |
| CN (1) | CN114333982B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115116559B (zh) * | 2022-06-21 | 2023-04-18 | 北京百度网讯科技有限公司 | 氨基酸中原子坐标的确定及训练方法、装置、设备和介质 |
| CN115312127B (zh) * | 2022-08-05 | 2023-04-18 | 抖音视界有限公司 | 识别模型的预训练方法、识别方法、装置、介质和设备 |
| CN115512763B (zh) * | 2022-09-06 | 2023-10-24 | 北京百度网讯科技有限公司 | 多肽序列的生成方法、多肽生成模型的训练方法和装置 |
| CN115565607B (zh) * | 2022-10-20 | 2024-02-23 | 抖音视界有限公司 | 确定蛋白质信息的方法、装置、可读介质及电子设备 |
| CN116189769A (zh) * | 2022-12-12 | 2023-05-30 | 百图生科(北京)智能技术有限公司 | 神经网络的训练方法和预测蛋白质结构的方法 |
| CN115938470B (zh) * | 2023-01-04 | 2024-01-19 | 抖音视界有限公司 | 蛋白质特征预处理方法、装置、介质及设备 |
| CN115862747B (zh) * | 2023-02-27 | 2023-06-30 | 北京航空航天大学 | 一种序列-结构-功能耦合的蛋白质预训练模型构建方法 |
| CN117174177B (zh) * | 2023-06-25 | 2024-10-15 | 北京百度网讯科技有限公司 | 蛋白质序列生成模型的训练方法、装置及电子设备 |
| CN117437975B (zh) * | 2023-12-19 | 2024-06-18 | 粤港澳大湾区数字经济研究院(福田) | 一种蛋白质结合位点预测方法、装置、终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070909A (zh) * | 2019-03-21 | 2019-07-30 | 中南大学 | 一种基于深度学习的融合多特征的蛋白质功能预测方法 |
| WO2020167667A1 (en) * | 2019-02-11 | 2020-08-20 | Flagship Pioneering Innovations Vi, Llc | Machine learning guided polypeptide analysis |
| CN111916148A (zh) * | 2020-08-13 | 2020-11-10 | 中国计量大学 | 蛋白质相互作用的预测方法 |
| CN112614538A (zh) * | 2020-12-17 | 2021-04-06 | 厦门大学 | 一种基于蛋白质预训练表征学习的抗菌肽预测方法和装置 |
| CN113239705A (zh) * | 2021-07-12 | 2021-08-10 | 北京百度网讯科技有限公司 | 语义表示模型的预训练方法、装置、电子设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190244680A1 (en) * | 2018-02-07 | 2019-08-08 | D-Wave Systems Inc. | Systems and methods for generative machine learning |
| US20200392178A1 (en) * | 2019-05-15 | 2020-12-17 | International Business Machines Corporation | Protein-targeted drug compound identification |
| US20210098074A1 (en) * | 2019-09-27 | 2021-04-01 | International Business Machines Corporation | Designing and folding structural proteins from the primary amino acid sequence |
-
2021
- 2021-11-26 CN CN202111423752.5A patent/CN114333982B/zh active Active
-
2022
- 2022-09-26 US US17/935,233 patent/US20230011678A1/en active Pending
- 2022-11-09 JP JP2022179421A patent/JP7495467B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020167667A1 (en) * | 2019-02-11 | 2020-08-20 | Flagship Pioneering Innovations Vi, Llc | Machine learning guided polypeptide analysis |
| CN113412519A (zh) * | 2019-02-11 | 2021-09-17 | 旗舰开拓创新六世公司 | 机器学习引导的多肽分析 |
| CN110070909A (zh) * | 2019-03-21 | 2019-07-30 | 中南大学 | 一种基于深度学习的融合多特征的蛋白质功能预测方法 |
| CN111916148A (zh) * | 2020-08-13 | 2020-11-10 | 中国计量大学 | 蛋白质相互作用的预测方法 |
| CN112614538A (zh) * | 2020-12-17 | 2021-04-06 | 厦门大学 | 一种基于蛋白质预训练表征学习的抗菌肽预测方法和装置 |
| CN113239705A (zh) * | 2021-07-12 | 2021-08-10 | 北京百度网讯科技有限公司 | 语义表示模型的预训练方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Large-scale prediction of protein ubiquitination sites using a multimodal deep architecture;Fei He 等;《BMC Systems Biology》;第12卷;81-90 * |
| MULTIMODAL PRE-TRAINING MODEL FOR SEQUENCE-BASED PREDICTION OF PROTEIN-PROTEIN INTERACTION;Yang Xue 等;《arXiv》;1-13 * |
| 基于深度神经网络和局部描述符的大规模蛋白质互作预测方法;桂元苗 等;《计算机应用与软件》;第36卷(第4期);273-280 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230011678A1 (en) | 2023-01-12 |
| JP2023022060A (ja) | 2023-02-14 |
| CN114333982A (zh) | 2022-04-12 |
| JP7495467B2 (ja) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114333982B (zh) | 蛋白质表示模型预训练、蛋白质相互作用预测方法和装置 | |
| CN112560496B (zh) | 语义分析模型的训练方法、装置、电子设备及存储介质 | |
| CN114970522B (zh) | 语言模型的预训练方法、装置、设备、存储介质 | |
| CN113705628B (zh) | 预训练模型的确定方法、装置、电子设备以及存储介质 | |
| CN112560481B (zh) | 语句处理方法、设备和存储介质 | |
| CN112786108B (zh) | 分子理解模型的训练方法、装置、设备和介质 | |
| CN112989970A (zh) | 文档版面分析方法、装置、电子设备及可读存储介质 | |
| CN113641829B (zh) | 图神经网络的训练与知识图谱的补全方法、装置 | |
| CN113780098A (zh) | 文字识别方法、装置、电子设备以及存储介质 | |
| CN115640520B (zh) | 跨语言跨模态模型的预训练方法、设备和存储介质 | |
| CN114416976A (zh) | 文本标注方法、装置及电子设备 | |
| CN112580733A (zh) | 分类模型的训练方法、装置、设备以及存储介质 | |
| CN114490998A (zh) | 文本信息的抽取方法、装置、电子设备和存储介质 | |
| CN113742457B (zh) | 应答处理方法、装置、电子设备及存储介质 | |
| CN113468857B (zh) | 风格转换模型的训练方法、装置、电子设备以及存储介质 | |
| CN112699237B (zh) | 标签确定方法、设备和存储介质 | |
| CN117333889A (zh) | 文档检测模型的训练方法、装置及电子设备 | |
| CN116257611B (zh) | 问答模型的训练方法、问答处理方法、装置及存储介质 | |
| CN113204616B (zh) | 文本抽取模型的训练与文本抽取的方法、装置 | |
| CN113361522B (zh) | 用于确定字符序列的方法、装置和电子设备 | |
| CN112905917B (zh) | 内链生成方法、模型训练方法、相关装置及电子设备 | |
| CN112966513B (zh) | 用于实体链接的方法和装置 | |
| CN112632999A (zh) | 命名实体识别模型获取及命名实体识别方法、装置及介质 | |
| CN117174177B (zh) | 蛋白质序列生成模型的训练方法、装置及电子设备 | |
| CN116244432B (zh) | 语言模型的预训练方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |