CN116153492A - 一种基于深度学习超声文本诊断结果的辅助诊断方法 - Google Patents

Abstract

本发明属于医学诊断技术领域，具体为一种基于深度学习超声文本诊断结果的辅助诊断方法，包括步骤1：Report Preparation，超声检查所见和诊断结果报告由医生人工输入，能够有效地处理报告，减少错别字和无效文本对信息抽取的影响，必须在提取所需信息之前对其进行预处理；步骤2：Information Extraction，把序列到序列模型应用到超声文本的信息抽取中，并结合基于规则的NLP算法完善seq2seq模型的结果：步骤3：Extrinsic Evaluation Framework，通过观察步骤2部分的结果，发现医生诊断习惯也会影响实验结果，不同医生对待同一个疾病的表述不同，因此，加入同义词处理和概率准确性方法来解决这一问题，其结构合理，普适性高，不受领域的限制，具有较好的可扩展性，可以迁移到其它医学诊断领域中。

Description

一种基于深度学习超声文本诊断结果的辅助诊断方法

技术领域

本发明涉及医学诊断技术领域，具体为一种基于深度学习超声文本诊断结果的辅助诊断方法。

背景技术

超声是一种常用的成像方式，被医生公认为是一种强大的辅助诊断工具。其优点是检查方法简便、诊断准确率高。目前已经广泛应用于多种疾病的诊断中。在医院妇产科临床中，超声检查技术的应用也是至关重要的。超声可以筛查出子宫肌瘤、子宫肌腺症等常见妇科疾病。妇产科疾病病情多样、发生率高，对女性健康危害极大，而超声检查能非常有效地提高妇产科疾病的诊断效率，最大程度地避免妇科疾病恶化。在超声检查中，超声科医生通过超声影像结果观察各个脏器的形态、大小等物理特征，总结出超声检查所见文本，进而给出超声诊断结果。最终交由妇产科医生结合超声诊断结果和患者的临床表现给出最终的诊断结果。

知识提取(Knowledge Extraction,KE)指的是根据人们的实际需求，利用计算机技术识别文档中的信息片段，并将其转换为适合计算机存储、处理和检索的表示形式。KE系统的输入可能是各种各样结构化或者非结构化的知识，输出是任务定制的特定标准化的输出。知识提取技术有助于高效地分析文本，从中发现有价值的相关知识。KE目前已经广泛应用在结构化信息抽取、新闻检测和桥梁维修等领域。知识提取有许多下游应用，如知识感知的问题回答，推荐系统，temporal event reasoning等。信息提取在这些领域中都已经取得了较好的效果。在医学领域，已经有学者研究肿瘤、消化系统、循环系统和神经系统等疾病的信息提取，包括识别有胰腺癌家族史的患者、从超声心动图报告中识别充血性心力衰竭、优化胰腺囊肿和头痛的治疗等。The included IE studies involved 14 diseasecategories among a total of 19 ICD-9 categories，Five disease areas were notcovered in these studies(i.e.,diseases of the sense organs；complications ofpregnancy,childbirth,and the puerperium；congenital anomalies；certainconditions originating in the perinatal period)。由此可知，国际上很少有学者研究妇科领域的疾病，产生这一问题的可能原因主要有两点，一是合适的妇科检查报告难以获得，需要大量有标注的数据集，而网络上没有类似的公开数据集；二是处理数据还需要结合一定相关的领域知识。我们的研究针对这一空白，利用医院真实的妇产科超声报告数据，从报告中自动识别关键的医学观察结果。

在医学领域，信息抽取已经广泛应用在识别癌症、循环系统疾病、消化系统疾病、神经系统疾病、代谢疾病和免疫紊乱等领域中。Fu等设计了基于规则和机器学习两种方法的系统。从电子健康记录(EHR)中识别Silent brain infarction(SBI)和white matterdisease(WMD)，准确率等各项指标均可达到0.9以上。Selen等提出了一个NLP模型，综合了基于规则的特征提取模块和条件随机场模型。该模型可以从放射学报告中提取96％正确的measurements and their core descriptors。Zhou等采用NLP的方法，从临床记录数据中抽取了260名患者和正常患者的生活方式信息，根据这些信息探索可能导致AD dementia的因素。结果表明该方法能正确提取74％的影响因素。Warner等设计了一个NLP算法，从EHR中提取癌症的stage信息。结果表明，72％的患者可以根据该算法计算出确切的stage(如I期，II期)。Mehrabi等提出了一个基于规则的NLP方法来识别有胰腺癌家族史的患者。该方法在两个公开数据集上的精度分别达到了87.8％和88.1％。Farrugia等提出了一个NLP方法，从放射学报告中提取癌症的stage和复发信息。该方法正确鉴别原发肿瘤流、转移和复发的准确率可达97.3％。

在本发明中，我们提出了一个基于深度学习的NLP模型，which aims to从超声检查报告中自动生成关键的超声诊断结果。与上述方法相比，我们提出的方法基于深度学习，而不是传统的机器学习模型。我们研究的另一贡献是针对妇科疾病，填补了国际上少有学者研究妇科疾病这一空白。

基于上述问题，我们提出一种基于深度学习超声文本诊断结果的辅助诊断方法。

发明内容

本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于现有技术中存在的问题，提出了本发明。

因此，本发明的目的是提供一种基于深度学习超声文本诊断结果的辅助诊断方法，能够实现在使用的过程中，普适性高，不受领域的限制，具有较好的可扩展性，可以迁移到其它医学诊断领域中。

为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：

一种基于深度学习超声文本诊断结果的辅助诊断方法，其包括如下步骤：

步骤1：Report Preparation，超声检查所见和诊断结果报告由医生人工输入，能够有效地处理报告，减少错别字和无效文本对信息抽取的影响，必须在提取所需信息之前对其进行预处理；

步骤2：Information Extraction，把序列到序列模型应用到超声文本的信息抽取中，并结合基于规则的NLP算法完善seq2seq模型的结果；第一步将训练集的检查所见和诊断结果文本输入到transformer模型中训练；第二步将测试集的检查所见文本输入到第一步训练的模型中得到初步结果；第三步将其中的错误结果根据基于规则的NLP算法修改，得到信息抽取部分的最终结果：

步骤3：Extrinsic Evaluation Framework，通过观察步骤2部分的结果，发现医生诊断习惯也会影响实验结果，不同医生对待同一个疾病的表述不同，因此，加入同义词处理和概率准确性方法来解决这一问题。

作为本发明所述的一种基于深度学习超声文本诊断结果的辅助诊断方法的一种优选方案，其中：所述步骤1的具体流程如下：

(1)处理结果中常见的拼写错误，例如“纳囊”被拼写为“那囊”；处理报告中的无效文本，超声报告中的检查结果是间接的诊断结果，医生根据超声报告和患者的临床表现产生最终的诊断结果，因此超声报告中会存在大量建议性语句，例如“建议会诊胎儿超声和产前咨询”、“请结合临床”，这些语句对医生判断病情没有帮助，因此将类似的条语句去除，减少其对后续特征抽取的影响；

(2)使用Jieba Chinese word segmentation tool结合超声领域专业词典完成分词工作，构建超声领域专业词典；原因有两点：第一，超声检查报告中存在大量医学专业词汇，由于专业词汇在现实生活中出现的频率远远低于常用词汇，分词工具容易产生错误，例如“宫腔线清”会被分词工具分为“宫腔”和“线清”，而正确的分词结果是“宫腔线”和“清”；第二，医学检查报告使用的词汇相对闭合，数据集涉及到的词汇数量较少，在该数据集的检查所见文本中，只涉及3763个词语，在诊断结果文本中，只涉及498个词语，因此构建超声领域专业词典会显著增加分词的准确率，有助于后续的信息提取工作；

通过观察报告文本，发现96.3％的专业词汇都是由两个字或三个字组成，四个字以上词汇都是由短词汇组成，因此在构建词典时以每个字为单位，使用bigram和trigram方法，将组合后的所有词语按照出现次数进行排序，从中取出次数较高的1281个词语，最终结合超声科医生的建议，标注了其中的382个词语作为自定义词典；

(3)在分词任务结束后，对超声报告中的同义词进行处理，例如“宫颈处见外凸低回声”被分词为“宫颈处见外凸低回声”，“胃泡可见”被分词为“胃泡可见”；其中的“处见”、“可见”均和“见”是相同的含义，则将类似的词语都替换成“见”，降低同义词对信息抽取的影响。

作为本发明所述的一种基于深度学习超声文本诊断结果的辅助诊断方法的一种优选方案，其中：所述步骤2的具体流程如下：

(1)选择了Transformer作为信息抽取的基础模型，它是一个完全基于注意力的encoder-decoder模型，使用多头注意力方法，在生成结果序列时，对每个词语都考虑不同的侧重点，大幅度地提高了预测的精度；

(2)通过观察Transformer模型得到的初步预测结果，我们发现有22.8％的语句，可以利用规则直接推理出正确结论。

作为本发明所述的一种基于深度学习超声文本诊断结果的辅助诊断方法的一种优选方案，其中：所述步骤3的具体流程如下：

(1)同义词处理，医生在进行诊断时，用不同的词语表达同一个意思，例如“极少”和“过少”，“附件”和“附件区”；测试集中某个正确词语没有被推理出，但是推理出了它的同义词，那么这个同义词也应该被视为预测正确，将超声报告分词后，使用Word2vec工具得到了词向量；经计算“极少”和“过少”的余弦相似度为0.953，“偏多”和“过多”的余弦相似度为0.968，因此可以用余弦相似度进行同义词处理，当模型生成的词语与正确词语的余弦相似度大于或等于0.9时，则认为模型生成的词语是正确的；

(2)概率准确性，对于正常的检查结果，不同医生可能会选择用不同的语句描述，例如“子宫前位，正常大，宫腔线清，内膜厚0.8cm，宫壁回声不均匀；双卵巢正常大，回声正常；CDFI:未见异常血流信号；”这条检查所见，有的医生会得出“子宫正常大”的诊断结果，有的医生则会得出“回声不均”的诊断结果，从超声的专业角度来说，这位患者的各项指标都是正常的，宫壁回声不均匀也是正常现象，此时不存在一个标准的诊断结果，因此模型输出“子宫正常大”、“回声不均”或者二者均未输出都应视为预测正确；

为了解决这一问题，提出了Algorithm 2，第一步，如果在测试集的检查所见和诊断结果文本中都出现“回声不均匀”、“回声不均”或“子宫正常大”词语组合，但是在模型输出的结果中没有出现相应词语，则在模型输出的结果中补充相应正确的诊断结果：“回声不均匀”、“回声不均”或“子宫正常大”；第二步，如果在测试集的检查所见和模型输出的结果中都出现“回声不均匀”、“回声不均”或“子宫正常大”词语组合，但是在测试集的诊断结果中没有出现相应词语，则在测试集的诊断结果中补充“回声不均匀”、“回声不均”或“子宫正常大”；按照这一方法尽可能降低医生个人习惯带来的影响，以便能更精确地计算准确率、召回率和F1值等指标；

(3)评价方法，评价方法采用准确率、召回率和F1值进行评价，评价对象是测试集中正确的诊断结果和模型的预测结果。

与现有技术相比，本发明的有益效果是：

(1)通过从妇科放射学reports中提取医疗短语生成诊断结果。由于超声报告是由超声科医生手动输入的，因此文本中会出现拼写错误和无效信息。医生的主观思维也会影响诊断结果。本方法会自动纠正这些错误和无效信息，降低医生主观思维带来的影响，来提高生成诊断结果的准确性。

(2)选择了RNN、LSTM、copyRNN、Reinforcement Learning和Transformer模型实现信息抽取，在此基础上加入了基于规则的方法。其中Transformer模型效果最好，具有约90％的F1值。这说明attention机制的引入对超声领域信息抽取是非常有意义的。实验结果已经证明了本发明便于研究者有效地从获取超声报告中有价值的信息。本发明提出的方法可以应用在其他医学领域中，可以作为超声及其他医学领域与人工智能技术结合进一步改进的基础。进一步挖掘超声文本的特点，提高识别罕见妇科疾病的准确率。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明整体流程结构示意图；

图2为本发明Pipeline of the report preparation结构示意图；

图3为本发明部分数据流结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。

其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明提供如下技术方案：一种基于深度学习超声文本诊断结果的辅助诊断方法，在使用过程中，普适性高，不受领域的限制，具有较好的可扩展性，可以迁移到其它医学诊断领域中；

实施例1

步骤1：Report Preparation，超声检查所见和诊断结果报告由医生人工输入，能够有效地处理报告，减少错别字和无效文本对信息抽取的影响，必须在提取所需信息之前对其进行预处理；具体流程如下：

(1)处理结果中常见的拼写错误，例如“纳囊”被拼写为“那囊”；处理报告中的无效文本，超声报告中的检查结果是间接的诊断结果，医生根据超声报告和患者的临床表现产生最终的诊断结果，因此超声报告中会存在大量建议性语句，例如“建议会诊胎儿超声和产前咨询”、“请结合临床”，这些语句对医生判断病情没有帮助，因此将类似的条语句去除，减少其对后续特征抽取的影响；

(2)使用Jieba Chinese word segmentation tool结合超声领域专业词典完成分词工作，构建超声领域专业词典；原因有两点：第一，超声检查报告中存在大量医学专业词汇，由于专业词汇在现实生活中出现的频率远远低于常用词汇，分词工具容易产生错误，例如“宫腔线清”会被分词工具分为“宫腔”和“线清”，而正确的分词结果是“宫腔线”和“清”；第二，医学检查报告使用的词汇相对闭合，数据集涉及到的词汇数量较少，在该数据集的检查所见文本中，只涉及3763个词语，在诊断结果文本中，只涉及498个词语，因此构建超声领域专业词典会显著增加分词的准确率，有助于后续的信息提取工作；

通过观察报告文本，发现96.3％的专业词汇都是由两个字或三个字组成，四个字以上词汇都是由短词汇组成，因此在构建词典时以每个字为单位，使用bigram和trigram方法，将组合后的所有词语按照出现次数进行排序，从中取出次数较高的1281个词语，最终结合超声科医生的建议，标注了其中的382个词语作为自定义词典；

(3)在分词任务结束后，对超声报告中的同义词进行处理，例如“宫颈处见外凸低回声”被分词为“宫颈处见外凸低回声”，“胃泡可见”被分词为“胃泡可见”；其中的“处见”、“可见”均和“见”是相同的含义，则将类似的词语都替换成“见”，降低同义词对信息抽取的影响。

步骤2：Information Extraction，把序列到序列模型应用到超声文本的信息抽取中，并结合基于规则的NLP算法完善seq2seq模型的结果；第一步将训练集的检查所见和诊断结果文本输入到transformer模型中训练；第二步将测试集的检查所见文本输入到第一步训练的模型中得到初步结果；第三步将其中的错误结果根据基于规则的NLP算法修改，得到信息抽取部分的最终结果：具体流程如下：

(1)选择了Transformer作为信息抽取的基础模型，它是一个完全基于注意力的encoder-decoder模型，使用多头注意力方法，在生成结果序列时，对每个词语都考虑不同的侧重点，大幅度地提高了预测的精度；

(2)通过观察Transformer模型得到的初步预测结果，我们发现有22.8％的语句，可以利用规则直接推理出正确结论

步骤3：Extrinsic Evaluation Framework，通过观察步骤2部分的结果，发现医生诊断习惯也会影响实验结果，不同医生对待同一个疾病的表述不同，因此，加入同义词处理和概率准确性方法来解决这一问题；

(1)同义词处理，医生在进行诊断时，用不同的词语表达同一个意思，例如“极少”和“过少”，“附件”和“附件区”；测试集中某个正确词语没有被推理出，但是推理出了它的同义词，那么这个同义词也应该被视为预测正确，将超声报告分词后，使用Word2vec工具得到了词向量；经计算“极少”和“过少”的余弦相似度为0.953，“偏多”和“过多”的余弦相似度为0.968，因此可以用余弦相似度进行同义词处理，当模型生成的词语与正确词语的余弦相似度大于或等于0.9时，则认为模型生成的词语是正确的；

(2)概率准确性，对于正常的检查结果，不同医生可能会选择用不同的语句描述，例如“子宫前位，正常大，宫腔线清，内膜厚0.8cm，宫壁回声不均匀；双卵巢正常大，回声正常；CDFI:未见异常血流信号；”这条检查所见，有的医生会得出“子宫正常大”的诊断结果，有的医生则会得出“回声不均”的诊断结果，从超声的专业角度来说，这位患者的各项指标都是正常的，宫壁回声不均匀也是正常现象，此时不存在一个标准的诊断结果，因此模型输出“子宫正常大”、“回声不均”或者二者均未输出都应视为预测正确；

为了解决这一问题，提出了Algorithm 2，第一步，如果在测试集的检查所见和诊断结果文本中都出现“回声不均匀”、“回声不均”或“子宫正常大”词语组合，但是在模型输出的结果中没有出现相应词语，则在模型输出的结果中补充相应正确的诊断结果：“回声不均匀”、“回声不均”或“子宫正常大”；第二步，如果在测试集的检查所见和模型输出的结果中都出现“回声不均匀”、“回声不均”或“子宫正常大”词语组合，但是在测试集的诊断结果中没有出现相应词语，则在测试集的诊断结果中补充“回声不均匀”、“回声不均”或“子宫正常大”；按照这一方法尽可能降低医生个人习惯带来的影响，以便能更精确地计算准确率、召回率和F1值等指标；

(3)评价方法，评价方法采用准确率、召回率和F1值进行评价，评价对象是测试集中正确的诊断结果和模型的预测结果；

计算所述准确率的具体公式为：

计算所述召回率的具体公式为：

计算所述F1值的具体公式为：

其中，p_true表示正确的诊断结果中有多少个词被最终的诊断结果正确诊断出，p_false表示正确的诊断结果中有多少个词没有被最终的诊断结果正确诊断出，n_false表示最终的诊断结果中有多少个词没有在正确的诊断结果中出现，acc表示诊断结果的准确率，rec表示诊断结果的召回率，F1表示诊断结果的F1值。

虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种基于深度学习超声文本诊断结果的辅助诊断方法，其特征在于：包括如下步骤：

步骤1：Report Preparation，超声检查所见和诊断结果报告由医生人工输入，能够有效地处理报告，减少错别字和无效文本对信息抽取的影响，必须在提取所需信息之前对其进行预处理；

步骤2：Information Extraction，把序列到序列模型应用到超声文本的信息抽取中，并结合基于规则的NLP算法完善seq2seq模型的结果；第一步将训练集的检查所见和诊断结果文本输入到transformer模型中训练；第二步将测试集的检查所见文本输入到第一步训练的模型中得到初步结果；第三步将其中的错误结果根据基于规则的NLP算法修改，得到信息抽取部分的最终结果：

步骤3：Extrinsic Evaluation Framework，通过观察步骤2部分的结果，发现医生诊断习惯也会影响实验结果，不同医生对待同一个疾病的表述不同，因此，加入同义词处理和概率准确性方法来解决这一问题。

2.根据权利要求1所述的一种基于深度学习超声文本诊断结果的辅助诊断方法，其特征在于：所述步骤1的具体流程如下：

(1)处理结果中常见的拼写错误，例如“纳囊”被拼写为“那囊”；处理报告中的无效文本，超声报告中的检查结果是间接的诊断结果，医生根据超声报告和患者的临床表现产生最终的诊断结果，因此超声报告中会存在大量建议性语句，例如“建议会诊胎儿超声和产前咨询”、“请结合临床”，这些语句对医生判断病情没有帮助，因此将类似的条语句去除，减少其对后续特征抽取的影响；

(2)使用Jieba Chinese word segmentation tool结合超声领域专业词典完成分词工作，构建超声领域专业词典；原因有两点：第一，超声检查报告中存在大量医学专业词汇，由于专业词汇在现实生活中出现的频率远远低于常用词汇，分词工具容易产生错误，例如“宫腔线清”会被分词工具分为“宫腔”和“线清”，而正确的分词结果是“宫腔线”和“清”；第二，医学检查报告使用的词汇相对闭合，数据集涉及到的词汇数量较少，在该数据集的检查所见文本中，只涉及3763个词语，在诊断结果文本中，只涉及498个词语，因此构建超声领域专业词典会显著增加分词的准确率，有助于后续的信息提取工作；

通过观察报告文本，发现96.3％的专业词汇都是由两个字或三个字组成，四个字以上词汇都是由短词汇组成，因此在构建词典时以每个字为单位，使用bigram和trigram方法，将组合后的所有词语按照出现次数进行排序，从中取出次数较高的1281个词语，最终结合超声科医生的建议，标注了其中的382个词语作为自定义词典；

(3)在分词任务结束后，对超声报告中的同义词进行处理，例如“宫颈处见外凸低回声”被分词为“宫颈处见外凸低回声”，“胃泡可见”被分词为“胃泡可见”；其中的“处见”、“可见”均和“见”是相同的含义，则将类似的词语都替换成“见”，降低同义词对信息抽取的影响。

3.根据权利要求1所述的一种基于深度学习超声文本诊断结果的辅助诊断方法，其特征在于：所述步骤2的具体流程如下：

(1)选择了Transformer作为信息抽取的基础模型，它是一个完全基于注意力的encoder-decoder模型，使用多头注意力方法，在生成结果序列时，对每个词语都考虑不同的侧重点，大幅度地提高了预测的精度；

(2)通过观察Transformer模型得到的初步预测结果，我们发现有22.8％的语句，可以利用规则直接推理出正确结论。

4.根据权利要求1所述的一种基于深度学习超声文本诊断结果的辅助诊断方法，其特征在于：所述步骤3的具体流程如下：

(1)同义词处理，医生在进行诊断时，用不同的词语表达同一个意思，例如“极少”和“过少”，“附件”和“附件区”；测试集中某个正确词语没有被推理出，但是推理出了它的同义词，那么这个同义词也应该被视为预测正确，将超声报告分词后，使用Word2vec工具得到了词向量；经计算“极少”和“过少”的余弦相似度为0.953，“偏多”和“过多”的余弦相似度为0.968，因此可以用余弦相似度进行同义词处理，当模型生成的词语与正确词语的余弦相似度大于或等于0.9时，则认为模型生成的词语是正确的；

(2)概率准确性，对于正常的检查结果，不同医生可能会选择用不同的语句描述，例如“子宫前位，正常大，宫腔线清，内膜厚0.8cm，宫壁回声不均匀；双卵巢正常大，回声正常；CDFI:未见异常血流信号；”这条检查所见，有的医生会得出“子宫正常大”的诊断结果，有的医生则会得出“回声不均”的诊断结果，从超声的专业角度来说，这位患者的各项指标都是正常的，宫壁回声不均匀也是正常现象，此时不存在一个标准的诊断结果，因此模型输出“子宫正常大”、“回声不均”或者二者均未输出都应视为预测正确；

为了解决这一问题，提出了Algorithm 2，第一步，如果在测试集的检查所见和诊断结果文本中都出现“回声不均匀”、“回声不均”或“子宫正常大”词语组合，但是在模型输出的结果中没有出现相应词语，则在模型输出的结果中补充相应正确的诊断结果：“回声不均匀”、“回声不均”或“子宫正常大”；第二步，如果在测试集的检查所见和模型输出的结果中都出现“回声不均匀”、“回声不均”或“子宫正常大”词语组合，但是在测试集的诊断结果中没有出现相应词语，则在测试集的诊断结果中补充“回声不均匀”、“回声不均”或“子宫正常大”；按照这一方法尽可能降低医生个人习惯带来的影响，以便能更精确地计算准确率、召回率和F1值等指标；

(3)评价方法，评价方法采用准确率、召回率和F1值进行评价，评价对象是测试集中正确的诊断结果和模型的预测结果。

Images