CN114048729A - 医学文献评价方法、电子设备、存储介质和程序产品 - Google Patents

医学文献评价方法、电子设备、存储介质和程序产品 Download PDF

Info

Publication number
CN114048729A
CN114048729A CN202111216927.5A CN202111216927A CN114048729A CN 114048729 A CN114048729 A CN 114048729A CN 202111216927 A CN202111216927 A CN 202111216927A CN 114048729 A CN114048729 A CN 114048729A
Authority
CN
China
Prior art keywords
sentence
model
sentence vector
vector
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111216927.5A
Other languages
English (en)
Inventor
余晓霞
伍俊妍
何志超
朱建红
骆锦均
刘鹏
王则远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingxi Quantum Beijing Medical Technology Co ltd
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Original Assignee
Lingxi Quantum Beijing Medical Technology Co ltd
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingxi Quantum Beijing Medical Technology Co ltd, Sun Yat Sen Memorial Hospital Sun Yat Sen University filed Critical Lingxi Quantum Beijing Medical Technology Co ltd
Priority to CN202111216927.5A priority Critical patent/CN114048729A/zh
Publication of CN114048729A publication Critical patent/CN114048729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种医学文献评价方法、电子设备、存储介质和程序产品，方法包括获取待评价医学文献的待评价文本；将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。本发明实现基于相似的句向量进行模型训练，进而训练得到精确率高和召回率高的质量评价模型，从而满足医学文献质量评价的需求，最终实现通过人工智能技术对医学文献进行质量评价。

Description

医学文献评价方法、电子设备、存储介质和程序产品
技术领域
本发明涉及文本分析技术领域，尤其涉及一种医学文献评价方法、电子设备、存储介质和程序产品。
背景技术
NLP(natural language processing，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向，其包括人与计算机之间用自然语言进行有效通信的各种理论和方法。
随着NLP技术的发展，尤其是BERT(Bidirectional Encoder Representationfrom Transformers)预训练模型发布之后，基于BERT做文本任务质量更高、效率更高。而在生物医学领域上，由于生物医学文本数据的特殊性，普通的文本挖掘方法不能很好的处理这些医学词汇，基于此，提出生物医学预训练模型(PubMedBERT)，以实现生物医学领域的文本任务。
然而，现有技术中并未采用NLP技术对医学文献进行质量评价，更谈不上利用生物医学预训练模型对医学文献进行质量评价。而不采用NLP技术进行医学文献质量评价时，将会导致评价效率低和准确率差的问题。因此，如何通过人工智能技术对医学文献进行质量评价，是目前亟需解决的问题。
发明内容
针对现有技术存在的问题，本发明提供一种医学文献评价方法、电子设备、存储介质和程序产品。
本发明提供一种医学文献评价方法，包括：
获取待评价医学文献的待评价文本；
将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
根据本发明提供的一种医学文献评价方法，还包括所述质量评价模型的训练方法：
获取作为训练数据的第一句子文本和第二句子文本，将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，所述句向量生成模型包括生物医学预训练模型；
对所述第一句向量和所述第二句向量进行相似度计算，获得句向量相似度结果；
基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型。
根据本发明提供的一种医学文献评价方法，所述句向量生成模型包括第一句向量生成子模型和第二句向量生成子模型，所述将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，包括：
将所述第一句子文本输入至所述第一句向量生成子模型，进行特征提取，获得所述第一句向量生成子模型输出的第一句向量；
将所述第二句子文本输入至所述第二句向量生成子模型，进行特征提取，获得所述第二句向量生成子模型输出的第二句向量。
根据本发明提供的一种医学文献评价方法，所述第一句向量生成子模型包括生物医学预训练模型和池化层，所述将所述第一句子文本输入至所述第一句向量生成子模型，进行特征提取，获得所述第一句向量生成子模型输出的第一句向量，包括：
将所述第一句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的第一特征向量；
将所述第一特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第一句向量。
根据本发明提供的一种医学文献评价方法，所述第一特征向量为第一词向量，所述将所述第一特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第一句向量，包括：
将所述第一词向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第一句向量。
根据本发明提供的一种医学文献评价方法，所述基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型之前，还包括：
获取所述第一句向量和所述第二句向量的距离向量；
将所述第一句向量、所述第二句向量和所述距离向量进行拼接，获得聚合向量；
其中，所述基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型，包括：
基于所述句向量相似度结果和所述聚合向量，对待训练模型进行训练得到质量评价模型。
根据本发明提供的一种医学文献评价方法，所述待训练模型包括丢弃层Dropout，所述对待训练模型进行训练得到质量评价模型，包括：
基于所述Dropout，获取同一输入的两个输出分布；
计算所述两个输出分布的KL散度和交叉熵损失，并计算所述KL散度和所述交叉熵损失的总损失；
基于所述总损失，对待训练模型进行训练得到质量评价模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述医学文献评价方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述医学文献评价方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述医学文献评价方法的步骤。
本发明提供的医学文献评价方法、电子设备、存储介质和程序产品，通过获取待评价医学文献的待评价文本，然后，将待评价文本输入至质量评价模型，进行质量评价，获得质量评价模型输出的质量评价结果，从而实现通过人工智能技术对医学文献进行质量评价。同时，由于质量评价模型是基于句向量相似度结果训练得到的，句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，从而实现基于相似的句向量进行模型训练，进而训练得到精确率高和召回率高的质量评价模型，从而满足医学文献质量评价的需求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的医学文献评价方法的流程图之一；
图2为本发明提供的医学文献评价方法的流程图之二；
图3为本发明提供的医学文献评价方法的流程图之三；
图4示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的医学文献评价方法的流程图之一，如图1所示，本发明提供的医学文献评价方法，包括：
步骤110，获取待评价医学文献的待评价文本；
在本实施例中，待评价医学文献为需要进行质量评价的医学文献。该待评价医学文献可以为用户选择的目标医学文献，也可以为医学文献评价方法的应用设备自动选择的医学文献。该待评价医学文献可以为已有文献库中涉及生物或医学领域的文献。
其中，待评价文本包括以下至少一种：摘要、文献题目、期刊、影响因子、背景内容或首段文本等。
在一实施例中，上述步骤110包括：
获取待评价医学文献的摘要。
步骤120，将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
在本实施例中，质量评价结果的种类可以根据实际需要进行设定，例如，分为高、中、低三种质量评价结果，当然，也可以为二分类或更多种类的分类，此处不作限定。
其中，生物医学预训练模型(PubMedBERT)用于生成具有语义意义的embedding(嵌入向量)，以供后续获得定长的句向量。即句向量具有语义意义，基于此，对句向量进行相似度计算得到语义相似度距离，从而将语义相似的句子作为正样本进行模型训练，也就是说，质量评价模型是基于句向量相似度结果训练得到的。
其中，质量评价模型为机器学习模型，具体地，质量评价模型是采用自然语言处理(NLP)算法进行文本分类任务的模型。
在具体实施例中，所述质量评价模型包括特征提取器和分类器。具体地，基于训练后的质量评价模型中的特征提取器，提取待评价文本的文本特征信息，进而依据文本特征信息以及质量评价模型中的分类器，对文本特征信息进行分类预测，得到分类预测结果，即质量评价模型输出的质量评价结果。
其中，特征提取器可以为句向量生成模型，从而提取待评价文本的句向量，进而依据句向量以及质量评价模型中的分类器，对句向量进行分类预测，得到分类预测结果。
其中，分类器的具体执行过程为获得分类概率向量(即输入的待评价文本对于每一个类别的可能性预测)，然后，确定该分类概率向量中最大的分类概率值对应的质量评价结果。该分类器可以包括全连接层和softmax函数。
在一些实施例中，所述特征提取器为编码器，所述编码器包括句向量生成模型，所述句向量生成模型包括微调后的生物医学预训练模型和池化层，所述分类器包括全连接层和softmax函数，上述步骤120包括：
基于所述质量评价模型的编码器，对所述待评价文本进行特征提取，获得文本特征向量；基于所述质量评价模型的全连接层，对所述文本特征向量进行类别预测，获得所述质量评价模型输出的质量评价结果。
其中，全连接层的具体执行过程为通过softmax函数获得分类概率向量(即输入的待评价文本对于每一个类别的可能性预测)，然后，确定该分类概率向量中最大的分类概率值对应的质量评价结果。
其中，微调后的生物医学预训练模型用于生成token向量，该token向量可以为词向量(词嵌入向量)；当然，若采用其他的分段策略(分词策略)，则token向量为分段特征向量。
其中，池化层(Pooling)用于将所有token向量进行平均池化处理或最大池化处理，以得到对应的句向量。例如，通过Pooling将句子的所有token维度上计算平均，可以得到768维度的向量。此外，进行池化处理，可以大大减小网络参数，避免过拟合。
为训练得到所述质量评价模型，还包括所述质量评价模型的训练方法：
获取文本数据，所述文本数据为文献库中的数据；对所述文本数据进行针对于质量评价结果的标签标注，得到质量评价结果标签数据；获取待训练模型，在所述文本数据和所述质量评价结果标签数据中选取训练样本数据；基于所述训练样本数据和预设损失函数，对所述待训练模型进行迭代训练，得到所述质量评价模型。
具体地，在训练样本数据中选取训练样本，并将训练样本对应的文本数据和质量评价结果标签数据输入待训练模型，执行模型预测，获得模型输出标签，进而基于预设损失函数，计算模型损失，进而基于模型损失，更新待训练模型，直至待训练模型的迭代次数达到预设迭代次数或对应的损失函数(目标函数)达到预设值。
需要说明的是，可以结合训练效果不断调整合适的迭代次数。此外，通过梯度下降，可以找到使目标函数最小的最优权重值，并通过训练会自主学习到权重值，进而更新待训练模型。
此外，还需要说明的是，基于已有文献库数据主要针对RCT和Meta两种类型进行训练数据标注，标注过程主要依靠专业医师根据主流的医学领域的文献评价体系AMSTAR1、AMSTAR2、GRADE等，进行训练数据的人工标注，得到训练样本数据。
进一步地，将训练样本数据划分为训练集和验证集，例如，将训练样本数据按一定比例划分为训练集和验证集。其中，训练集用于训练模型，验证集用于验证模型。具体地，用训练集进行训练，使得目标函数越小越好，并在每轮训练后用验证集来评价验证模型，直至模型收敛后导出该模型的权重，进而得到最终的质量评价模型。
其中，由于训练样本数据中包括正样本和负样本，因此，在基于所述训练样本数据和预设损失函数，对所述待训练模型进行迭代训练，得到所述质量评价模型之前，先从训练样本数据中筛选得到正样本，再基于正样本和预设损失函数，对待训练模型进行迭代训练，得到质量评价模型。
具体地，正样本的筛选方式为：获取作为训练数据的第一句子文本和第二句子文本，将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，所述句向量生成模型包括生物医学预训练模型；对所述第一句向量和所述第二句向量进行相似度计算，获得句向量相似度结果；基于所述句向量相似度结果，确定训练数据中的正样本；基于所述正样本，对待训练模型进行训练得到质量评价模型。也就是说，利用相似度算法得到语义相近的句子，从而基于语义相近的句子(正样本)进行模型训练。
可以理解，对医学文献进行质量评价得到质量评价结果，以使基于质量评价结果可以更好地服务于循证医学证据研究等科学研究、平台搭建领域等。
根据本发明实施例的医学文献评价方法，通过获取待评价医学文献的待评价文本，然后，将待评价文本输入至质量评价模型，进行质量评价，获得质量评价模型输出的质量评价结果，从而实现通过人工智能技术对医学文献进行质量评价。同时，由于质量评价模型是基于句向量相似度结果训练得到的，句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，从而实现基于相似的句向量进行模型训练，进而训练得到精确率高和召回率高的质量评价模型，从而满足医学文献质量评价的需求。
进一步地，基于上述第一实施例，提出本发明医学文献评价方法的第二实施例。图2为本发明提供的医学文献评价方法的流程图之二，如图2所示，在本实施例中，还包括所述质量评价模型的训练方法：
步骤210，获取作为训练数据的第一句子文本和第二句子文本，将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，所述句向量生成模型包括生物医学预训练模型；
在本实施例中，第一句子文本包括一个句子，第二句子文本包括一个句子。该第一句子文本和第二句子文本是基于待训练文本数据截取得到的两个句子。
其中，孪生网络结构的句向量生成模型包括两个子模型，该两个子模型是两个结构相同且共享权值的子网络。在训练过程中，由于两个子模型的权重共享，所以可以节省计算开销，从而提高训练效率。
其中，生物医学预训练模型(PubMedBERT)用于生成具有语义意义的embedding(嵌入向量)，以供后续获得定长的句向量。即第一句向量和第二句向量具有语义意义，以供后续对第一句向量和第二句向量进行相似度计算得到语义相似度距离，从而将语义相似的第一句子文本和第二句子文本作为正样本进行模型训练，也就是说，质量评价模型是基于句向量相似度结果训练得到的。
具体地，将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行语义特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量。所述句向量生成模型包括用于提取语义意义的生物医学预训练模型，所述第一句向量和所述第二句向量均包括语义意义。
在一实施例中，所述句向量生成模型包括第一句向量生成子模型和第二句向量生成子模型，上述步骤210包括：
步骤211，将所述第一句子文本输入至所述第一句向量生成子模型，进行特征提取，获得所述第一句向量生成子模型输出的第一句向量；
步骤212，将所述第二句子文本输入至所述第二句向量生成子模型，进行特征提取，获得所述第二句向量生成子模型输出的第二句向量。
在本实施例中，第一句向量生成子模型和第二句向量生成子模型的网络结构相同且权重共享。
由于第一句向量生成子模型和第二句向量生成子模型的权重共享，所以在训练过程中，可以节省计算开销，从而提高模型的训练效率。
需要说明的是，第一句向量生成子模型和第二句向量生成子模型均包括生物医学预训练模型(PubMedBERT)，从而可生成具有语义意义的第一句向量和具有语义意义的第二句向量，以供后续对第一句向量和第二句向量进行相似度计算得到语义相似度距离，从而将语义相似的第一句子文本和第二句子文本作为正样本进行模型训练。
在另一实施例中，所述第一句向量生成子模型包括生物医学预训练模型和池化层，上述步骤211包括：
步骤2111，将所述第一句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的第一特征向量；
在本实施例中，生物医学预训练模型用于生成token向量，该token向量可以为词向量(词嵌入向量)；当然，若采用其他的分段策略(分词策略)，则token向量为分段特征向量。基于此，将词向量和分段特征向量统称为特征向量。
在一实施例中，上述步骤2111包括：
将所述第一句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的词向量。
在另一实施例中，上述步骤2111包括：
将所述第一句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的分段特征向量。
步骤2112，将所述第一特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第一句向量。
其中，池化层(Pooling)用于将所有第一特征向量进行平均池化处理或最大池化处理，以输出对应的第一句向量。进行池化处理，可以大大减小网络参数，避免过拟合。
在一实施例中，将所述第一特征向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第一句向量。
例如，通过Pooling将句子的所有token维度上计算平均，可以得到768维度的向量。
在另一实施例中，将所述第一特征向量输入至所述池化层，进行最大池化处理，获得所述池化层输出的第一句向量。
在另一实施例中，所述第一特征向量为第一词向量，上述步骤2112包括：
步骤21121，将所述第一词向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第一句向量。
在本实施例中，第一词向量也称为第一词嵌入向量(embedding)。进行平均池化可以获取第一词向量中的重要信息，进而基于重要信息生成第一句向量。
在另一实施例中，所述第二句向量生成子模型包括生物医学预训练模型和池化层，上述步骤212包括：
将所述第二句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的第二特征向量；将所述第二特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第二句向量。
其中，生物医学预训练模型用于生成token向量，该token向量可以为词向量(词嵌入向量)；当然，若采用其他的分段策略(分词策略)，则token向量为分段特征向量。基于此，将词向量和分段特征向量统称为特征向量。
在一实施例中，将所述第二句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的词向量。
在另一实施例中，将所述第二句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的分段特征向量。
其中，池化层(Pooling)用于将所有第二特征向量进行平均池化处理或最大池化处理，以输出对应的第二句向量。进行池化处理，可以大大减小网络参数，避免过拟合。
在一实施例中，将所述第二特征向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第二句向量。例如，通过Pooling将句子的所有token维度上计算平均，可以得到768维度的向量。
在另一实施例中，将所述第二特征向量输入至所述池化层，进行最大池化处理，获得所述池化层输出的第二句向量。
在另一实施例中，所述第二特征向量为第二词向量，将所述第二词向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第二句向量。第二词向量也称为第二词嵌入向量(embedding)。进行平均池化可以获取第二词向量中的重要信息，进而基于重要信息生成第二句向量。
此外，还需要说明的是，训练数据可以是基于已有文献库数据，以主要针对RCT和Meta两种类型进行训练数据标注，标注过程主要依靠专业医师根据主流的医学领域的文献评价体系AMSTAR1、AMSTAR2、GRADE等，进行训练数据的人工标注，得到训练数据。
进一步地，将训练数据划分为训练集和验证集，例如，将训练数据按一定比例划分为训练集和验证集。其中，训练集用于训练模型，验证集用于验证模型。
步骤220，对所述第一句向量和所述第二句向量进行相似度计算，获得句向量相似度结果；
在本实施例中，句向量相似度结果为语义相似度结果，即第一句向量和第二句向量均具有语义意义，且对二者进行语义相似度计算。
其中，相似度计算的方法可以包括余弦相似度、曼哈顿距离计算和欧式距离计算等。
在一实施例中，上述步骤220包括：
对所述第一句向量和所述第二句向量进行余弦相似度计算，获得句向量相似度结果。具体地，对所述第一句向量和所述第二句向量进行余弦相似度计算，获得句向量余弦距离；基于所述句向量余弦距离和预设距离，确定句向量相似度结果。
在另一实施例中，上述步骤220包括：
对所述第一句向量和所述第二句向量进行欧式距离计算，获得句向量相似度结果。具体地，对所述第一句向量和所述第二句向量进行欧式距离计算，获得句向量欧式距离；基于所述句向量欧式距离和预设距离，确定句向量相似度结果。
需要说明的是，将相似度计算得到的相似度距离与预设距离进行比较，若相似度距离小于预设距离，则判定为正样本，即判定为语义相近的句子；若相似度距离大于或等于预设距离，则判定为负样本。
步骤230，基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型。
在本实施例中，由于训练数据中包括正样本和负样本，因此，在进行模型训练之前，先从训练数据中筛选得到正样本，再基于正样本和预设损失函数，对待训练模型进行迭代训练，得到质量评价模型。
具体地，基于所述句向量相似度结果，确定所述训练数据中的正样本；基于所述正样本，对待训练模型进行训练得到质量评价模型。也就是说，利用相似度算法得到语义相近的句子，从而基于语义相近的句子(正样本)进行模型训练。
在一实施例中，训练得到的质量评价模型可以采用F-Measure进行评估。F-Measure的公式为：
Figure BDA0003311109920000141
其中，精确率P表示所有被预测正样本中，正确样本所占的比例。召回率R表示所有正样本中，被预测为正样本所在的比例。一般情况下，精确率与召回率相互制约，因此使用F-Measure对模型进行综合评估，F-Measure越高，性能越好。
在另一实施例中，训练得到的质量评价模型可以采用准确率(Accuracy)进行评估。其中，Accuracy表示对于给定的数据集，模型正确分类的样本数与总样本数之比。
本实施例中，通过获取作为训练数据的第一句子文本和第二句子文本，将第一句子文本和第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得第一句子文本对应的第一句向量和第二句子文本对应的第二句向量，从而对第一句向量和第二句向量进行相似度计算，获得句向量相似度结果，进而实现基于相似的句向量进行模型训练，进而训练得到精确率高和召回率高的质量评价模型，即训练得到性能高的质量评价模型，最终提高医学文献质量评价的准确性。
进一步地，基于上述第二实施例，提出本发明医学文献评价方法的第三实施例。图3为本发明提供的医学文献评价方法的流程图之三，如图3所示，在本实施例中，在上述步骤230之前，所述医学文献评价方法还包括：
步骤310，获取所述第一句向量和所述第二句向量的距离向量；
在本实施例中，第一句向量和第二句向量的距离向量可以为上述步骤220进行相似度计算得到的向量，也可以再对第一句向量和第二句向量进行相似度计算得到。
其中，相似度计算的方法可以包括余弦相似度、曼哈顿距离计算和欧式距离计算等。
在一实施例中，基于三级网络结构的待训练模型，获取所述第一句向量和所述第二句向量的距离向量。
为便于理解，假设第一句向量为u，第二句向量为v，则距离向量为|u-v|。
步骤320，将所述第一句向量、所述第二句向量和所述距离向量进行拼接，获得聚合向量；
在本实施例中，聚合向量的维度为第一句向量维度的三倍，聚合向量的维度为第二句向量维度的三倍，聚合向量的维度为距离向量维度的三倍。
为便于理解，假设第一句向量为u，第二句向量为v，使用(u,v,|u-v|)的特征提取策略,即将u、v、|u-v|三个向量进行拼接，最终得到维度为3*d的聚合向量(d为第一句向量的维度)。
相应的，上述步骤230包括：
步骤231，基于所述句向量相似度结果和所述聚合向量，对待训练模型进行训练得到质量评价模型。
本实施例中，将第一句向量、第二句向量及二者的距离向量进行拼接，获得聚合向量，从而基于更高维的聚合向量进行模型训练，相比现有技术中采用低维的句向量进行模型训练，本实施例可提高模型训练效果，以得到准确率更高的质量评价模型，进而提高医学文献质量评价的准确性。
进一步地，基于上述各实施例，提出本发明医学文献评价方法的第四实施例。在本实施例中，所述待训练模型包括丢弃层Dropout，上述步骤230中，对待训练模型进行训练得到质量评价模型，包括：
步骤232，基于所述Dropout，获取同一输入的两个输出分布；
在本实施例中，为了避免模型训练过拟合，在待训练模型中添加Dropout(丢弃层)，即采用Dropout的正则化策略对输入进行处理。
需要说明的是，对于同样的输入和同样的待训练模型，走过两个Dropout正则化策略得到的是两个不同的输出分布。具体地，每一次丢弃的神经元基本不相同，基于此，待训练模型得到两个不同的输出分布。
为便于理解，给定一个样本集合为：
Figure BDA0003311109920000161
从而可以将两个输出分布分别记为：
Pθ(y|χ)和P′θ(y|χ)。
步骤233，计算所述两个输出分布的KL散度和交叉熵损失，并计算所述KL散度和所述交叉熵损失的总损失；
其中，KL散度可以作为模型训练的损失，其用于表征两个输出分布的差异情况。
在本实施例中，包括两个交叉熵损失，即一个输出分布对应一个交叉熵损失。总损失由两个交叉熵损失和KL散度相加得到。
步骤234，基于所述总损失，对待训练模型进行训练得到质量评价模型。
具体地，基于预设损失函数，对待训练模型进行训练得到质量评价模型。该预设损失函数包括KL散度函数和交叉熵损失函数。
本实施例中，基于两个输出分布的KL散度和交叉熵损失得到总损失，然后基于总损失进行模型训练，以在训练时不断拉低两个输出分布之间的KL散度，并且通过交换这两种输出分布的位置以间接使用整体对称的KL散度，从而减少Dropout的随机性，即通过对损失函数的设计，弥补Dropout在训练和测试过程中的不一致性，进而约束Dropout对网络带来的随机性，降低易学习样本对损失的贡献，侧重难学习样本，进而起到优化训练结果的作用，以训练得到性能更高的质量评价模型，最终进一步提高医学文献质量评价的准确性。
下面对本发明提供的医学文献评价装置进行描述，下文描述的医学文献评价装置与上文描述的医学文献评价方法可相互对应参照。
本发明提供的医学文献评价装置，包括：
获取模块，用于获取待评价医学文献的待评价文本；
评价模块，用于将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
所述医学文献评价装置还包括训练模块，所述训练模块用于获取作为训练数据的第一句子文本和第二句子文本，将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，所述句向量生成模型包括生物医学预训练模型；对所述第一句向量和所述第二句向量进行相似度计算，获得句向量相似度结果；基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型。
所述句向量生成模型包括第一句向量生成子模型和第二句向量生成子模型，所述训练模块还用于将所述第一句子文本输入至所述第一句向量生成子模型，进行特征提取，获得所述第一句向量生成子模型输出的第一句向量；将所述第二句子文本输入至所述第二句向量生成子模型，进行特征提取，获得所述第二句向量生成子模型输出的第二句向量。
所述第一句向量生成子模型包括生物医学预训练模型和池化层，所述训练模块还用于将所述第一句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的第一特征向量；将所述第一特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第一句向量。
所述第一特征向量为第一词向量，所述训练模块还用于将所述第一词向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第一句向量。
所述训练模块还用于获取所述第一句向量和所述第二句向量的距离向量；将所述第一句向量、所述第二句向量和所述距离向量进行拼接，获得聚合向量；基于所述句向量相似度结果和所述聚合向量，对待训练模型进行训练得到质量评价模型。
所述待训练模型包括丢弃层Dropout，所述训练模块还用于基于所述Dropout，获取同一输入的两个输出分布；计算所述两个输出分布的KL散度和交叉熵损失，并计算所述KL散度和所述交叉熵损失的总损失；基于所述总损失，对待训练模型进行训练得到质量评价模型。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行医学文献评价方法，该方法包括：获取待评价医学文献的待评价文本；将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的医学文献评价方法，该方法包括：获取待评价医学文献的待评价文本；将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的医学文献评价方法，该方法包括：获取待评价医学文献的待评价文本；将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种医学文献评价方法，其特征在于，包括：
获取待评价医学文献的待评价文本；
将所述待评价文本输入至质量评价模型，进行质量评价，获得所述质量评价模型输出的质量评价结果，所述质量评价模型是基于句向量相似度结果训练得到的，所述句向量相似度结果是对孪生网络结构的句向量生成模型生成的句向量进行相似度计算得到的，所述句向量生成模型包括生物医学预训练模型。
2.根据权利要求1所述的医学文献评价方法，其特征在于，还包括所述质量评价模型的训练方法：
获取作为训练数据的第一句子文本和第二句子文本，将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，所述句向量生成模型包括生物医学预训练模型；
对所述第一句向量和所述第二句向量进行相似度计算，获得句向量相似度结果；
基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型。
3.根据权利要求2所述的医学文献评价方法，其特征在于，所述句向量生成模型包括第一句向量生成子模型和第二句向量生成子模型，所述将所述第一句子文本和所述第二句子文本输入至孪生网络结构的句向量生成模型，进行特征提取，获得所述第一句子文本对应的第一句向量和所述第二句子文本对应的第二句向量，包括：
将所述第一句子文本输入至所述第一句向量生成子模型，进行特征提取，获得所述第一句向量生成子模型输出的第一句向量；
将所述第二句子文本输入至所述第二句向量生成子模型，进行特征提取，获得所述第二句向量生成子模型输出的第二句向量。
4.根据权利要求3所述的医学文献评价方法，其特征在于，所述第一句向量生成子模型包括生物医学预训练模型和池化层，所述将所述第一句子文本输入至所述第一句向量生成子模型，进行特征提取，获得所述第一句向量生成子模型输出的第一句向量，包括：
将所述第一句子文本输入至所述生物医学预训练模型，进行特征提取，获得所述生物医学预训练模型输出的第一特征向量；
将所述第一特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第一句向量。
5.根据权利要求4所述的医学文献评价方法，其特征在于，所述第一特征向量为第一词向量，所述将所述第一特征向量输入至所述池化层，进行池化处理，获得所述池化层输出的第一句向量，包括：
将所述第一词向量输入至所述池化层，进行平均池化处理，获得所述池化层输出的第一句向量。
6.根据权利要求2所述的医学文献评价方法，其特征在于，所述基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型之前，还包括：
获取所述第一句向量和所述第二句向量的距离向量；
将所述第一句向量、所述第二句向量和所述距离向量进行拼接，获得聚合向量；
其中，所述基于所述句向量相似度结果，对待训练模型进行训练得到质量评价模型，包括：
基于所述句向量相似度结果和所述聚合向量，对待训练模型进行训练得到质量评价模型。
7.根据权利要求2至6任一项所述的医学文献评价方法，其特征在于，所述待训练模型包括丢弃层Dropout，所述对待训练模型进行训练得到质量评价模型，包括：
基于所述Dropout，获取同一输入的两个输出分布；
计算所述两个输出分布的KL散度和交叉熵损失，并计算所述KL散度和所述交叉熵损失的总损失；
基于所述总损失，对待训练模型进行训练得到质量评价模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述医学文献评价方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述医学文献评价方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述医学文献评价方法的步骤。
CN202111216927.5A 2021-10-19 2021-10-19 医学文献评价方法、电子设备、存储介质和程序产品 Pending CN114048729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111216927.5A CN114048729A (zh) 2021-10-19 2021-10-19 医学文献评价方法、电子设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111216927.5A CN114048729A (zh) 2021-10-19 2021-10-19 医学文献评价方法、电子设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN114048729A true CN114048729A (zh) 2022-02-15

Family

ID=80205504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111216927.5A Pending CN114048729A (zh) 2021-10-19 2021-10-19 医学文献评价方法、电子设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN114048729A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130468A (zh) * 2022-05-06 2022-09-30 北京安智因生物技术有限公司 基于字词融合表示与图注意力网络的心梗实体识别方法
CN115358213A (zh) * 2022-10-20 2022-11-18 阿里巴巴（中国）有限公司 模型数据处理及模型预训练方法、电子设备及存储介质
CN117079081A (zh) * 2023-10-16 2023-11-17 山东海博科技信息系统股份有限公司 一种多模态视频文本处理模型训练方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130468A (zh) * 2022-05-06 2022-09-30 北京安智因生物技术有限公司 基于字词融合表示与图注意力网络的心梗实体识别方法
CN115358213A (zh) * 2022-10-20 2022-11-18 阿里巴巴（中国）有限公司 模型数据处理及模型预训练方法、电子设备及存储介质
CN117079081A (zh) * 2023-10-16 2023-11-17 山东海博科技信息系统股份有限公司 一种多模态视频文本处理模型训练方法及系统
CN117079081B (zh) * 2023-10-16 2024-01-26 山东海博科技信息系统股份有限公司 一种多模态视频文本处理模型训练方法及系统

Similar Documents

Publication Publication Date Title
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
Alam et al. Sentiment analysis for Bangla sentences using convolutional neural network
CN114048729A (zh) 医学文献评价方法、电子设备、存储介质和程序产品
CN112711953A (zh) 一种基于注意力机制和gcn的文本多标签分类方法和系统
CN110188195B (zh) 一种基于深度学习的文本意图识别方法、装置及设备
WO2022048363A1 (zh) 网站分类方法、装置、计算机设备及存储介质
CN111046178B (zh) 一种文本序列生成方法及其系统
CN111027292B (zh) 一种限定采样文本序列生成方法及其系统
CN111126067B (zh) 实体关系抽取方法及装置
CN113627151B (zh) 跨模态数据的匹配方法、装置、设备及介质
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN111428448A (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN112434686B (zh) 针对ocr图片的端到端含错文本分类识别仪
CN115952292B (zh) 多标签分类方法、装置及计算机可读介质
CN111709225B (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
CN114741507B (zh) 基于Transformer的图卷积网络的引文网络分类模型建立及分类
CN115130038A (zh) 网页分类方法及装置
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN114662477A (zh) 基于中医对话的停用词表生成方法、装置及存储介质
CN110807517A (zh) 用于多任务识别的神经网络系统
Lyu et al. Deep learning for textual entailment recognition
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
Gema et al. It takes two to tango: modification of siamese long short term memory network with attention mechanism in recognizing argumentative relations in persuasive essay
CN114757310B (zh) 情感识别模型及其训练方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination