CN109065110B

CN109065110B - 一种基于深度学习方法的自动生成医学影像诊断报告的方法

Info

Publication number: CN109065110B
Application number: CN201810758999.4A
Authority: CN
Inventors: 苏统华; 于丽娟; 霍栋
Original assignee: Hainan Cancer Hospital; Harbin Institute of Technology
Current assignee: Hainan Cancer Hospital; Harbin Institute of Technology
Priority date: 2018-07-11
Filing date: 2018-07-11
Publication date: 2021-10-19
Anticipated expiration: 2038-07-11
Also published as: CN109065110A

Abstract

本发明公开了一种基于深度学习方法的自动生成医学影像诊断报告的方法，所述方法步骤如下：一、基于LDA算法对诊断报告进行主题聚类，将诊断报告按照主题分别进行保存；二、将主题向量作为每一个医学影像的标签；三、将大小不同的CT图和PET图缩放到相同大小作为训练数据，主题向量作为标签，以VGGNet‑19为网络模型进行训练，得到主题向量生成模型；四、构建文本生成模型；五、根据每一张图片的主题向量，匹配对应主题的文本，得到图像的诊断报告。该方法能够适用于图像有病灶标注的场景；不需要医生过多地人工总结训练数据标签，仅需要病灶的位置、大小标注即可，在提高正确率的同时有效减少了医生的工作。

Description

一种基于深度学习方法的自动生成医学影像诊断报告的方法

技术领域

本发明属于放射医学技术领域，涉及一种医学影像诊断报告生成方法，具体涉及一种基于深度学习方法的自动生成医学影像诊断报告的方法。

背景技术

在放射医学中，影像医师通常借助CAD(计算机辅助检测系统)例如CT(电子计算机断层扫描)、PET(正电子发射型计算机断层显像)得到患者的影像信息。影像信息保存于dicom格式的文件中，dicom文件除主要的像素信息外，还包含患者的姓名、性别、年龄、影像类型、影像序列号等一系列信息。放射医师总结医学影像信息得到检查所见，并根据自身经验得出患者的诊断意见，生成诊断报告。诊断报告包括患者基本信息、检查部位、影像医师的检查方法与诊断，反映了影像医师对影像信息的分析过程和结论，为临床医生诊断疾病和确定治疗方案提供了重要依据。CAD在放射性医学诊断中占据核心的位置，所有的疾病诊断都是基于CAD的输出结果做出的。其中CT图像和PET图像被广泛地应用在异常解刨学例如肿瘤的相关检测。其中，CT图用于判断器官在形状上的异常情况，PET图用于判断器官在代谢强度上的异常情况。但是，对于经验缺乏的放射医师，尤其是在CAD设备非常落后地区工作的医师，撰写影像报告非常困难。对两类医学影像观察总结需要影像医师具有大量的经验以及专业知识，例如针对肺癌而言，医生需要熟练掌握肺部生理特征的基本知识、分析放射影像的技能、肺癌诊断方法的现状及历史、其他相关诊断的信息等。即使对于经验和知识都非常丰富的医师来说，基于医学影像撰写诊断报告都是非常耗时的，尤其是在人口较多的国家，影像专家的供不应求导致死亡率居高不下，繁重的工作更让医师的误诊率大大提高。

一种基于深度学习的方法：自动生成医学影像报告(B Jing,P Xie,E Xing.Onthe Automatic Generation of Medical Imaging Reports.arXiv:1711.08195v2[cs.CL]25Nov 2017.)，算法整合了三个模型：CNN、sentence LSTM、word LSTM。算法将三个模型的损失加权求和，统一进行损失优化。同时在sentence LSTM中使用了注意力(attention)机制，提高了所生成的报告对影像局部的描述能力。

算法使用了IU X-Ray数据集，该数据集的每一条数据都包括一张含有病灶的X光影像、一句诊断意见(Impression)、一到多段的检查所见(Findings)、几个用于描述影像的关键词(MTI Tags)，数据样例如图1所示。

该算法的整体结构如图2所示，首先对MTI Tags进行词嵌入，使得每一张图片都对应一个标签向量，标签向量的维度为MTI Tags词表的大小，向量某个元素为1代表图像拥有对应位置所代表的MTI Tags。将胸部X光图像作为训练输入，标签向量作为标签，训练CNN模型，提取CNN的最后一个全连接层作为视觉特征(visual feature)，训练得到的输出作为语义特征(semantic feature)，将两个特征矩阵结合注意力机制传入sentence LSTM，得到代表每一个句子的主题向量，主题向量生成的结束通过Stop Control来控制，在得到主题向量之后，将其传入word LSTM中，生成每一个主题对应的词序列，拼接每一个主题的词序列，得到最终的文本。该算法的缺点如下：

(1)针对没有病灶标注的X光图像，正确率非常有限。

(2)文本信息的组成非常繁琐，大部分的诊断报告无法做到有如此完备的信息，拥有MTI Tags的诊断报告更加少见。医生对于这类文本信息的总结需要花费大量的时间，这样反而影响了医生的诊断效率。

(3)对于不同模型(CNN、sentence LSTM、word LSTM)统一计算损失，需要设定不同超参数λ，需要大量的实验，不适用于工程化。

(4)目前最先进且使用最多的计算机辅助诊断手段为CT影像与PET影像诊断，现有的技术基于X光影像的，实用效果非常有限。

发明内容

针对现有技术存在的上述缺点，本发明提供了一种基于深度学习方法的自动生成医学影像诊断报告的方法。该方法能够适用于图像有病灶标注的场景；不需要医生过多地人工总结训练数据标签，仅需要病灶的位置、大小标注即可，在提高正确率的同时有效减少了医生的工作；逐模块最优化，更具有实用性，适用于工程化；能够适用于更先进的CT图与PET图，适应场景更广，更具有实际价值。

本发明的目的是通过以下技术方案实现的：

一种基于深度学习方法的自动生成医学影像诊断报告的方法，包括如下步骤：

一、基于现有LDA算法对医学影像诊断报告进行主题聚类，将每一个主题对应的文本分别汇总到同一个文件并保存，其中：每一张医学影像得到诊断报告对应的主题向量V，主题向量的维度为设置维度主题数量，V_i＝1代表拥有主题i，V_i＝0代表没有主题i；所述医学影像诊断报告为经过文本预处理、HMM中文分词和skip-gram词嵌入处理后的诊断报告；

二、将主题向量作为每一个医学影像的标签，将大小不同的CT图和PET图缩放(resize)到相同的大小，合并大小相同的单通道CT图和PET图得到双通道图；以圆心坐标和半径表示影像中肿瘤的位置和大小，在标签圆中随机采样，以采样点为中心，从双通道图中截取出正方形图像，取所有正方形中最大的边长作为标准大小，将其余的采样结果都填充边界(padding)到标准大小；

三、将大小统一后的图像作为训练数据，主题向量作为标签，以VGGNet-19为网络模型进行训练，得到主题向量生成模型；

四、根据步骤一主题分类的结果，构建文本生成模型，将每一个文本作为文本生成模型的语料分别训练文本生成模型，根据训练得到的模型分别生成代表每个主题的文本；

五、根据每一张图片的主题向量，匹配对应主题的文本，得到图像的诊断报告。

本发明具有如下优点：

1、本发明基于放射医师的影像标注，只需在简单诊断建议的辅助下就能准确地指出病灶的位置，解决了无法知道病灶位置所带来的正确率低的问题。

2、本发明所标注的图像为CT图与PET图，其中PET图在智能医疗领域的使用还是很少见的，使用PET图像除了能从外形判断病灶之外，还能通过代谢率是否异常来判断，能极大提高智能医疗的正确率。

3、本发明仅需要图像中病灶的位置和大小做过标注的影像以及诊断报告，不需要医生对影像的标签进行总结，极大地减少了医生的工作量。

4、本发明将模型分为三个独立的模块，包括主题聚类模块、文本生成模块以及主题向量生成模块，每个模块做独立的最优化，不需要大量的实验，适用于工程化。

附图说明

图1为自动生成医学影像报告的数据样例；

图2为自动生成医学影像报告的算法流程图；

图3为处理前文本；

图4为文本预处理流程；

图5为处理后文本；

图6为分词标注样例；

图7为分词实现流程图；

图8为分词测试结果；

图9为词嵌入实现流程；

图10为词向量生成样例；

图11为LDA实现流程；

图12为句子主题分布效果样例图；

图13为主题分布对应句子样例图；

图14为开始标志添加样例；

图15为结束标志添加样例；

图16为文本生成实现流程；

图17为训练步骤示意图；

图18为文本生成效果样例图；

图19为主题生成实现流程；

图20为测试效果图；

图21为前端界面实现流程；

图22为初始界面；

图23为图像导入效果图；

图24为图像跳转效果图；

图25为坐标显示效果图；

图26为文本生成效果图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：本实施方式提供了一种基于深度学习方法的自动生成医学影像诊断报告的方法，具体实施步骤如下：

一、基于LDA算法对诊断报告进行主题聚类，将诊断报告按照主题分别进行保存。所述医学影像诊断报告为经过文本预处理、HMM中文分词和skip-gram词嵌入处理后的诊断报告。由于每一张影像对应一段诊断报告，因此经过主题聚类之后，每一张影像将会得到诊断报告对应的主题向量V。主题向量的维度为设置维度主题数量，V_i＝1代表拥有主题i，V_i＝0代表没有主题i。

二、系统默认影像中的肿瘤位置和大小均已得到，以圆心坐标和半径表示。将主题向量作为每一个医学影像的标签，将大小不同的CT图和PET图resize到相同的大小。合并大小相同的单通道CT图和PET图，合并结果为双通道图。标签圆中随机采样十个点，以这十个点为中心，5倍圆半径为边长，从双通道图中截取出5R*5R大小的正方形图像，由于半径的大小不一致，因此，取所有正方形中最大的边长作为标准大小，将其余的采样结果都padding到标准大小，padding方式为在采样图的四周补充黑色像素。

三、将大小统一后的图像作为训练数据，主题向量作为标签，以VGGNet-19为网络模型进行训练，得到主题向量生成模型。

四、根据主题分类的结果，构建文本生成模型。由于主题聚类对每一个主题对应的文本分别汇总到了同一个文件，因此，将每一个文本作为文本生成模型的语料分别训练文本生成模型，根据训练得到的模型分别生成代表每个主题的文本。

具体实施方式二：本实施方式结合CT和PET影像数据给出具体的实施过程。具体实现过程包括以下几个步骤：

(1)文本预处理

文本预处理即提取excel文本中与肺相关的信息，并去除一些不相关字符，处理前的文本如图3所示。

文本预处理的整体实现流程如图4所示。主要操作涉及到excel文件的便利读取，使用基于python的excel读取库xlrd，读入文件，剔除每一行前后的序号、引号、标点，并做关键词匹配，提取出与肺病相关的文本。

处理后的文本如图5所示。

(2)HMM中文分词

在训练HMM模型时之前，需要对文本进行分词标注，标注样例如图6所示。

分词实现的流程如图7所示。整个流程包括三个矩阵的初始化以及viterbi矩阵的迭代更新，最终基于viterbi矩阵逆向推导状态序列并输出。

分词测试结果样例如图8所示。可以看到测试效果与标注效果基本一致。

(3)skip-gram词嵌入

词嵌入部分基于tensorflow实现，主要实现流程如图9所示。三层感知机的隐藏层的维度为词向量的维度，设为300，输出层的维度为词表的大小N，最后的300*N矩阵的每一行即为所求的词向量。由于基于tensorflow实现，因此简化了梯度下降的实现，实现更为简洁。词向量的生成样例如图10所示。

(4)LDA主题提取

主题提取所用的模块为python下的gensim模块，使用gensim模块能极大地简化接待采样计算的过程。这部分首先将预处理后的文本以“，”、“。”、“；”等标点符号进行切分，保证一行句子尽可能只有一个主题，并作为文本主题聚类的训练集(由于本文中提到的所有图像均为肺癌相关的图像，因此需要将肺相关的句子进行筛选)。由于需要基于主题序号进行文本生成，因此如果每个句子的主题比较模糊，会使文本生成的效果非常差。

设定LDA模型的超参数为0.001，超参数越小，每一条句子属于单一主题的可能性就越高，但由于超参数是人为定的，过小的超参数会导致模型快速收敛到较差的结果。将训练好的模型保存到.model文件中。主题提取流程如图11所示。

句子的主题分布效果样例如图12所示。第一行为测试句子；第二行为该句子主题分布中前五个概率最大的主题号及其概率，可以看到，主题号69对应的概率值要远大于其他主题对应的概率值；第三行是主题号为69的主题对应的词分布(前50个)，从词分布中可以看出该句子的内容大致为“肺或纵膈某个部分的钙化”，基本满足训练句子所描述的内容。

每一个主题对应的句子和句子主题分布样例如图13所示。图中第一行为第34号主题对应的词分布(前50个)，从该主题所对应的句子可以看出，该主题表述的大致为肺气肿相关内容。

LDA模型中，主题数为事先定好的，因此选择合适的主题数对聚类的效果至关重要，但是主题数的选择目前没有一个良好的标准，基于困惑度(Perplexity)来评估主题模型的好坏效果也很一般，目前最好的效果还是将结果保存下来进行人工判断。

(5)LSTM文本生成

文本生成是基于主题提取的结果进行的，主题提取将每个主题对应的句子汇总到单个文件，本文最终选择的主题个数为200个，将每个句子的开头添加句子开始标志，本文所使用的开始标志为单词start，添加结果样例如图14所示；将每个句子的结尾添加句子结束标志，本文所使用的结束标志为单词end，添加结果样例如图15所示。

分别对200个文本文档进行词嵌入，对每一个文档均作为语料进行单独训练模型。模型的实现流程如图16所示。主要包括数据预处理、权值初始化、迭代生成每个主题文本。

每一个模型的训练大致需要1小时左右。训练步骤示意如图17所示。文本的生成结果如图18所示。

(6)主题向量生成与报告匹配

主题向量生成使用了VGGNet-19模型，训练dicom图与文本之间的映射关系。整个模型同样基于tensorflow进行搭建。在训练之前，在标签圆中随机选择10个点，生成10组坐标，以这十个坐标为中心，在dicom图中切割出10个4R*4R大小的图像，其中R为标签圆的半径，然后将图像填充边界(padding)到大小为128*128，padding颜色选择为黑色，将生成的图像作为训练集，主要原因是让模型对训练的部位有所选择。标签为主体向量。主题向量生成实现流程如图19所示，主要包括模型构建和损失优化。

训练好模型之后，对模型结果进行测试，测试结果如图20所示。可以看到测试集的准确率基本稳定在64％左右。

将生成的200维向量的前五个最大值对应的位置置为1，其余位置置为0，构成主题向量。将主题向量中所有值为1对应位置的主题所生成的文本合并，作为生成的诊断报告。

(7)前端搭建

前端界面用PyQt5实现，前端界面的整体实现流程如图21所示，包括界面组件的初始化、信号槽的定义、槽函数的定义。

界面运行时弹出界面如图22所示。初始界面下方有三个按钮分别是上一张、下一张、生成报告，左侧空白区域用于显示CT图和PET图，中间列表栏用于显示所生成的报告，下方有一个按钮表示对生成的文本进行处理，其右侧列表显示所有病人的id，最右侧列表显示某病人所有的CT图对应的序号，以便于跳转。

点击列表中任意病人id，病人的第一张CT图、第一张PET图将显示在界面左侧。图序号列表将显示在右侧。效果如图23所示。

可以点击上一张或者下一张切换图片，也可以点击右侧的顺序列表直接跳转，跳转结果如图24所示。

医生可以在CT图或者PET图中选择关键部位，用鼠标单击某区域即可，被选择的坐标将会显示在图下方，如图25所示。

点击生成报告按钮，系统会基于所选的关键区域进行识别，生成的诊断报告展示在中部列表栏，如图26所示。

Claims

1.一种基于深度学习方法的自动生成医学影像诊断报告的方法，其特征在于所述方法步骤如下：

一、基于LDA算法对医学影像诊断报告进行主题聚类，将每一个主题对应的文本分别汇总到同一个文件并保存，其中：每一张医学影像得到诊断报告对应的主题向量V，主题向量的维度为设置维度主题数量，V_i＝1代表拥有主题i，V_i＝0代表没有主题i；

二、将主题向量作为每一个医学影像的标签，将大小不同的CT图和PET图缩放到相同的大小，合并大小相同的单通道CT图和PET图得到双通道图；以圆心坐标和半径表示影像中肿瘤的位置和大小，在标签圆中随机采样，以采样点为中心，从双通道图中截取出正方形图像，取所有正方形中最大的边长作为标准大小，将其余的采样结果都填充边界到标准大小；

五、根据步骤三训练得到的每一张图片的主题向量，匹配对应主题的文本，得到图像的诊断报告。

2.根据权利要求1所述的基于深度学习方法的自动生成医学影像诊断报告的方法，其特征在于所述医学影像诊断报告为经过文本预处理、HMM中文分词和skip-gram词嵌入处理后的诊断报告。

3.根据权利要求1所述的基于深度学习方法的自动生成医学影像诊断报告的方法，其特征在于所述采样点以5倍圆半径为边长。

4.根据权利要求1所述的基于深度学习方法的自动生成医学影像诊断报告的方法，其特征在于所述padding方式为在采样图的四周补充黑色像素。

5.根据权利要求1所述的基于深度学习方法的自动生成医学影像诊断报告的方法，其特征在于所述LDA算法所用的模块为python下的gensim模块。

6.根据权利要求1所述的基于深度学习方法的自动生成医学影像诊断报告的方法，其特征在于所述LDA算法中设定LDA模型的超参数为0.001。