CN112309528B - 一种基于视觉问答方法的医疗影像报告生成方法 - Google Patents

Abstract

本发明公开了一种基于视觉问答方法的医疗影像报告生成方法，涉及计算机视觉方向的图片处理领域和自然语言处理的问答领域，包括问答数据集生成模块、视觉问答模块和报告生成模块，其中，所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的数据集，所述视觉问答模块基于医疗影像图片和给定问题生成回答。该方法生成的报告内容有实际意义且有据可循，可帮助影像科实现更少人手、更短时间内完成更多的诊断。

Description

一种基于视觉问答方法的医疗影像报告生成方法

技术领域

本发明涉及计算机视觉中的医疗影像分析领域和自然语言处理中的文本生成领域，尤其涉及一种基于视觉问答方法的医疗影像报告生成方法。

背景技术

医疗影像报告生成任务由于其复杂的背景而面临巨大的挑战。随着科学技术的不断发展，人类已经发明出了多种辅助诊断的手段，但无论是哪一类辅助诊断方法，都需要仍旧需要人类医师对图片内容进行进一步解读，才能用于后一步治疗和处理。近年来，医学影像技术的快速发展大大提高了医疗水平。但医师数量的增长远不及影像数量的增长，且具有专家诊断水平的医生耗时漫长。而放射科医师数量不足则会直接带来很多隐患，最直接的体现便是繁重的任务带来较高的误诊、漏诊率。

医师任务繁重给医疗体系带来巨大压力，但其对应面则是医疗影像图片的样本量巨大，针对同一类医疗影像图片可以有大量不同样本，且医院大多有数据存档，样本的获取成本较低，这为深度学习在医疗影像上的应用扫清了障碍。近年来随着深度学习的不断发展，其中对目前已经有很多机构开启了医疗图片的研究。深度学习在图像领域取得了突破性进展，已经成为人工智能的一个热潮，而一些在普通通用图片数据集上诞生的模型也被修改后应用到了医疗影像上，并获得了相当不错的结果，利用深度学习辅助医疗影像的信息分析，可以提高检测精度或减少人类专家的阅读时间。目前主流的研究方向包括医学影像的分类、医学影像的检测和医学影像的分割。为了生成一个语义连贯的报告，该模型需要将视觉信息和语义信息以适当的方式结合起来，然后为相应的图像提供准确的描述，这应该与医学领域的知识相一致。

因此本领域的研究人员目前主要使用图片标题生成等主要基于文本生成的自然语言处理方法来生成医疗影像报告。但实际上医疗领域的数据集普遍偏小，因此模块在训练过程中效率较低。即便是能给出一定结果的模型，也往往耗费大量算力让循环神经网络学习当前句子与前一个句子之间的关系。但是在诊断报告中，医师们列出的结果在逻辑上是并行而非递进的。因此学习不同的描述顺序可能是毫无意义的，因为句子顺序在很大程度上是由医师的写作习惯决定。此外，已有方法基本上都需要医师参与数据集的构造过程，也即为图片增加标签，这种做法固然可以在现有数据集上获得较好的实验结果，但模型无法直接拓展到其他数据集上。利用已有医疗影像图片和报告文本直接生成训练数据集才能实现模型的鲁棒性。

因此，本领域的技术人员致力于一种不需要医师参与标注的方法。该方法可生成包含医疗影像报告核心内容而非无意义词汇，通过分析获取医疗影像报告中的核心内容并将其转化为问题-回答组合对，利用视觉问答这一成熟模型让训练的目的性更清晰，实现在更短时间内获得更高准确性，生成报告中的核心内容也更稳定。

发明内容

有鉴于现有技术的上述缺陷，本发明要解决的主要问题是如何设计一个医疗影像报告生成方法，仅借助现有数据集，不需要医师提供过多额外帮助，且可以生成准确性较高而非单词重复率较高的影像报告。

为实现上述目的，本发明提供了一种基于视觉问答方法的医疗影像报告生成方法，包括问答数据集生成模块、视觉问答模块和报告生成模块，其中，所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的视觉问答数据集，所述视觉问答模块基于所述医疗影像图片和给定问题生成回答。

进一步地，所述方法包括训练阶段和运行阶段，所述训练阶段会根据现有所述医疗影像报告生成所述视觉问答数据集并基于所述视觉问答数据集进行深度神经网络训练，所述运行阶段可直接根据所述医疗影像图片生成诊断报告。

进一步地，所述训练阶段包括如下步骤：

步骤S01、构建所述问答数据集生成模块，输入原始的所述医疗影像报告，利用无监督分类方法对报告特征进行聚类，最后根据聚类结果获取组内高频关键词；

步骤S02、训练所述视觉问答模块，输入所述问答数据集生成模块提供的问题-回答组合对，利用交叉熵损失函数对所述视觉问答模块进行训练；

步骤S03、构建报告生成模块，输入所述聚类结果中除去所述组内高频关键词后的剩余部分，组合后生成模板。

进一步地，所述步骤S01中，对所述医疗影像报告中所含句子的特征获取由预训练好的Bert模型处理句中所含的词汇特征组合获得。

进一步地，所述步骤S01中，所述无监督分类方法选用K-means，距离矩阵选用句子特征的L2距离，并基于该所述距离矩阵将句子分配至不同组中，其中所述K-means中的类别数为模型自动选择获取。

进一步地，所述步骤S01中，所述组内高频关键词为组内句子进行相似度排序后计数排序靠前的所述组内高频关键词。

进一步地，所述步骤S02的具体步骤为：

步骤S21、输入所述原始医疗影像图片和所述问题-回答组合对后，卷积神经网络获取所述医疗影像图片特征，嵌入层对问题文本编码，并通过循环神经网络获得句子特征；

步骤S22、注意力模块结合所述医疗影像图片特征和所述句子特征获得各部分权重，并传入下一层的分类网络，输出给定回答。

进一步地，所述生成阶段，其输入为所述原始医疗影像图片和所述问答数据集生成模块提供的所述问题-回答组合对，所述卷积神经网络获取所述医疗影像图片特征，所述嵌入层对所述问题文本编码，并通过所述循环神经网络获得所述句子特征；所述注意力模块结合所述医疗影像图片特征和所述句子特征获得各部分权重，并传入下一层的所述分类网络，输出给定回答；而后所述报告生成模块会生成所述医疗影像报告，其输入为所述视觉问答模块生成的回答，利用正则表达式通过关键词句子的二次聚类生成空格模板，最终输出报告。

进一步地，所述视觉问答数据集生成模块直接由所述医疗影像报告获得，通过所述无监督分类算法和自然语言处理工具分析构成报告的单句，生成所述关键词后组成所述问题-回答组合对。

进一步地，所述视觉问答模块选择了已在通用数据集上预训练的的卷积神经网络提取所述医疗影像图片特征，用已在通用数据集上预训练的GRU模型提取句子特征。

与现有技术相比，本发明通过一种不需要医师参与标注的方法，从而具备以下有益效果：

(1)本发明在保证生成报告关键词准确性而非无用词准确性的前提下，完成医疗影像报告生成任务。

(2)本发明提出的方法全程不需要医师参与，数据集生成完全基于数据分析生成。但若医师有更进一步的想法和补充也可以低成本代价补充调整。

(3)本发明提出的方法对训练硬件资源要求小，可以处理的数据量范围更广，本发明应用在大数据集上时训练时间更短，应用在小数据集上也可以获得较好的结果，而一般深度学习算法尤其是自然语言处理模型根本无法处理太小的数据集。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明提出方法的的完整示意图；

图2是本发明提出方法的训练流程示意图；

图3是本发明提出方法的运行流程示意图。

具体实施方式

以下参考说明书附图介绍本发明的一个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

如图1所示，本发明所述的基于视觉问答方法的医疗影像报告生成方法，其建立方法包括以下步骤：

步骤1、输入所有诊断报告，对其进行语法分析后，去无效词和停用词，并拆成句子，使用预训练的编码模型对句子进行编码获取句子特征向量。本实施例采用预训练的Bert-base模型作为文本特征提取模型，获得768维的句子特征向量。

步骤2、根据句子特征向量计算L₂距离矩阵。

步骤3、根据距离矩阵进行句子级别的无监督聚类，将构成报告的句子分入不同组别。

步骤4、根据聚类算法的结果对类内句子进行相似度排序，根据排序结果选取排序靠前的句子，利用语法分析工具恢复动词原形并统计当前句子组中的词汇。根据词汇分析结果设定阈值选定组内高频词汇，并根据词性分析筛选高频词获取其中的名词和名词词组，将其中的名词部分设置为问题核心部分，形容词和副词部分设为回答核心内容，根据语法规则补全问题-回答组合对中的其他部分，生成视觉问答模型所需的问答部分数据集。

步骤5、对所有医疗影像报告进行步骤5中得的问题-回答对匹配，为每一位病患生成[医疗影像图片，问题-回答对]，完成医疗影像报告到视觉问答数据集的转换。

步骤6、利用嵌入层对问题中的单词进行编码，再使用循环神经网络将单词编码转换成句子编码获得文本特征向量，本实例中使用的是GRU网络；使用卷积神经网络对输入图片进行编码获得图片特征向量。

步骤7、利用注意力模块分析编码生成权重，本实例中使用的注意力模块为矩阵乘法后加Softmax激活函数。

步骤8、将加权后的特征向量和原特征向量导入分类网络后生成最终回答。

步骤9、根据生成的回答和报告模板合成最终的报告。

图2给出了本发明中视觉问答模型的一个较佳实施例的迭代算法流程示意图。模型的输入为步骤5生成的[医疗影像图片，问题-回答对]，并将回答转换成索引。利用模型输出索引和原索引组成的交叉熵损失函数即可更新该模型中循环神经网络、卷积神经网络和分类器的参数直到N轮，可使分类器生成的回答索引与原数据集中的索引相同。训练模型算法的主程序伪代码如下：

VQA_MODEL_PRE_TRAIN(image,text,img_selector,text_selector,attention,classifier)

for i＝1,2,…,N

img_feats＝GET_CNN_FEATS(image,img_selector)

text_feats＝GET_RNN_FEATS(text,text_selector)

attention＝GET_ATT(img_feats,text_feats)

prediction＝PREDICT_ANSWER(img_feats,text_feats,attention,classifier)

UPDATE_MODEL(loss,img_selector,text_selector,attention,classifier)

return[img_feats,text_feats,attention,classifier]

图3展示了本发明最终应用的流程，输入超声图片后，问答数据集会匹配所需问题，而后视觉问答模块可依据超声图片和问题生成回答，再将回答和空白模板组合即可获得最终报告。

需要注意，上述过程中生成的报告均包含问题回答组合对，也即包含经过判断的信息量，相比以前直接由循环神经网络依次输出词汇组成整份报告的方法，本方法杜绝了无脑生成无效句子的可能性，并实现端到端训练。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种基于视觉问答方法的医疗影像报告生成方法，其特征在于，包括问答数据集生成模块、视觉问答模块和报告生成模块，其中，所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的视觉问答数据集，所述视觉问答模块基于医疗影像图片和给定问题生成回答；

所述方法包括训练阶段和运行阶段，所述训练阶段会根据现有所述医疗影像报告生成所述视觉问答数据集并基于所述视觉问答数据集进行深度神经网络训练，所述运行阶段可直接根据所述医疗影像图片生成诊断报告；

所述训练阶段包括如下步骤：

步骤S01、构建所述问答数据集生成模块，输入所述医疗影像报告，利用无监督分类算法对报告特征进行聚类，最后根据聚类结果获取组内高频关键词；

步骤S02、训练所述视觉问答模块，输入所述问答数据集生成模块提供的问题-回答组合对，利用交叉熵损失函数对所述视觉问答模块进行训练；

步骤S03、构建报告生成模块，输入所述聚类结果中除去所述组内高频关键词后的剩余部分，组合后生成模板；

所述步骤S02的具体步骤为：

步骤S21、输入所述医疗影像图片和所述问题-回答组合对后，卷积神经网络获取所述医疗影像图片特征，嵌入层对问题文本编码，并通过循环神经网络获得句子特征；

步骤S22、注意力模块结合所述医疗影像图片特征和所述句子特征获得各部分权重，并传入下一层的分类网络，输出给定回答；

所述报告生成模块利用正则表达式通过关键词句子的二次聚类生成空格模板，最终输出报告；

所述视觉问答数据集生成模块直接由所述医疗影像报告获得，通过所述无监督分类算法和自然语言处理工具分析构成报告的单句，生成所述关键词后组成所述问题-回答组合对；

所述视觉问答模块选择了已在通用数据集上预训练的的卷积神经网络提取所述医疗影像图片特征，用已在通用数据集上预训练的GRU模型提取句子特征。

2.如权利要求1所述的基于视觉问答方法的医疗影像报告生成方法，其特征在于，所述步骤S01中，对所述医疗影像报告中所含句子的特征获取由预训练好的Bert模型处理句中所含的词汇特征组合获得。

3.如权利要求2所述的基于视觉问答方法的医疗影像报告生成方法，其特征在于，所述步骤S01中，所述无监督分类方法选用K-means，距离矩阵选用句子特征的L2距离，并基于该所述距离矩阵将句子分配至不同组中，其中所述K-means中的类别数为模型自动选择获取。

4.如权利要求3所述的基于视觉问答方法的医疗影像报告生成方法，其特征在于，所述步骤S01中，所述组内高频关键词为组内句子进行相似度排序后计数排序靠前的所述组内高频关键词。

Images