CN111832644A - 一种基于序列级别的脑部医疗影像报告生成方法及系统 - Google Patents
一种基于序列级别的脑部医疗影像报告生成方法及系统 Download PDFInfo
- Publication number
- CN111832644A CN111832644A CN202010651959.7A CN202010651959A CN111832644A CN 111832644 A CN111832644 A CN 111832644A CN 202010651959 A CN202010651959 A CN 202010651959A CN 111832644 A CN111832644 A CN 111832644A
- Authority
- CN
- China
- Prior art keywords
- medical image
- brain medical
- brain
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 162
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 31
- 201000010099 disease Diseases 0.000 claims abstract description 26
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 230000003902 lesion Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 abstract description 14
- 208000014644 Brain disease Diseases 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于序列级别的脑部医疗影像报告生成方法及系统。该方法包括：获取具有预设标准的待判断脑部医疗图像；将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。本发明实施例通过对符合DICOM标准的脑部医疗影像进行模型训练，训练好的模型可以生成辅助医生进行脑部疾病诊断的报告，节约医生诊断的时间和减小工作量，同时减少漏诊、误诊的发生概率。
Description
技术领域
本发明涉及医疗图像处理技术领域，尤其涉及一种基于序列级别的脑部医疗影像报告生成方法及系统。
背景技术
在医学诊断过程中，医疗影像是重要的疾病诊断工具，脑部计算机断层扫描(Computed Tomography)和颅脑磁共振成像(Magnetic Resonance Imaging)都可提供有关脑组织和脑部结构的信息，且脑部CT扫描具有非侵入性的优点，MRI具有成像信息丰富的优点，它们为医生的判断提供了强有力的支持。
由于大脑结构的复杂性和疾病的多样性，对医疗影像上反映的疾病做出正确的判断是非常困难的，轻微的粗心会导致误诊和漏诊的发生。需要经验丰富医生进行仔细检查才有可能做出正确的判断，然而培训一名专业且经验丰富的医生通常需要花费数年时间,这导致了经验丰富的医生供不应求。
随着深度学习技术的发展，特别是卷积神经网络的出现，为构建高性能的医疗图像辅助诊断系统提供了可能。对于医疗图像处理领域，可解释性是非常重要的，能够生成医生读懂的报告作为参考，这有助于医生的疾病诊断。
然而现有的脑部医疗图像分类方法是基于单张切片且给出的可解释性是图片级别的。这些方法没有考虑切片之间的依赖关系，无法把重点放在关键切片上，并且不能给出序列级别的可解释性。
发明内容
本发明实施例提供一种基于序列级别的脑部医疗影像报告生成方法及系统，该方法基于序列级别，能给出图片级别和序列级别的可解释性，用以解决现有技术中通过脑部医疗影像无法精确快速地进行脑部疾病的诊断。
第一方面，本发明实施例提供一种基于序列级别的脑部医疗影像报告生成方法，包括：
获取具有预设标准的序列级别待判断脑部医疗图像；
将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
进一步地，所述脑部医疗影像判别模型，通过以下步骤获得：
获取脑部医疗影像的样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据；
按照脑部医疗疾病标准等级对所述预处理样本集数据进行分类，得到所述序列级别分类标签；
基于所述序列级别的分类标签和所述预处理样本集数据生成用于训练的数据集；
构建脑部医疗影像判别网络初始模型；
将所述数据集输入所述脑部医疗影像判别网络初始模型进行训练，训练完成得到所述脑部医疗影像判别模型。
进一步地，所述获取脑部医疗影像的样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据，具体包括：
获取用于训练的脑部医疗图像数据；
由预处理模块对所述脑部医疗图像数据进行去冗余，采用预设固定步长将所述脑部医疗图像数据采样为具有相同数量的切片集合；
由抽取特征模块对所述切片集合提取特征，基于所述特征将所述脑部医疗图像数据转化成低维向量表示。
进一步地，所述构建脑部医疗影像判别网络初始模型，具体包括：
设置主网络、辅助网络和融合网络构成所述脑部医疗影像判别网络初始模型；其中：
所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器；
所述辅助网络包括特征提取模块、第二依赖学习模块和第二分类器；
所述融合网络将所述第一依赖学习模块的输出和所述第二依赖学习模块的输出进行知识融合，得到综合判断结果。
进一步地，所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器，具体包括：
所述特征注意力模块采用注意力机制，为特征向量的不同维度分配不同权重；
所述第一依赖学习模块通过双向递归神经网络学习切片之间的依赖关系；
所述切片注意力模块为存在预设病变可能性的切片特征向量分配权重；
所述第一分类器将经过切片注意力模型的新特征表示放入具有预设激活函数的全连接层中，获得第一概率值。
进一步地，所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器，进一步包括：
将所述切片注意力模块得到的权重值进行降序排序，获取预设排名的可疑切片；
采用双线性插值算法将所述可疑切片放大，将放大后的可疑切片输入至所述辅助网络。
进一步地，所述辅助网络包括特征提取模块、第二依赖学习模块和第二分类器，具体包括：
将所述放大后的可疑切片输入所述特征提取模块，提取切片特征；
所述第二依赖学习模块通过双向递归神经网络学习切片之间的依赖关系；
所述第二分类器将经过所述第二依赖学习模块后的新的特征表示放入具有预设激活函数的全连接层中，获得第二概率值。
第二方面，本发明实施例提供一种基于序列级别的脑部医疗影像报告生成系统，包括：
获取模块，用于获取具有预设标准的序列级别待判断脑部医疗图像；
处理模块，用于将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别的分类标签进行训练得到的。
第三方面，本发明实施例提供一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述基于序列级别的脑部医疗影像报告生成方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述基于序列级别的脑部医疗影像报告生成方法的步骤。
本发明实施例提供的基于序列级别的脑部医疗影像报告生成方法及系统，通过对符合DICOM标准的脑部医疗影像进行模型训练，训练好的模型可以生成辅助医生进行脑部疾病诊断的报告，节约医生诊断的时间和减小工作量，同时减少漏诊、误诊的发生概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于序列级别的脑部医疗影像报告生成方法流程图；
图2为本发明实施例提供的主体流程图；
图3为本发明实施例提供的训练主网络和辅助网络过程子图；
图4为本发明实施例提供的挑选关键切片过程子图；
图5为本发明实施例提供的辅助网络模块子图；
图6为本发明实施例提供的生成病例报告示例图；
图7为本发明实施例提供的一种基于序列级别的脑部医疗影像报告生成系统结构图；
图8为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
针对现有技术存在的问题，本发明实施例提供了一种基于序列级别的脑部医疗影像判别报告生成方法，该方法基于符合DICOM标准的脑部医疗图像进行训练，训练完毕的模型可提供一个诊断报告以辅助医生进行疾病的判断，该报告可提供多种疾病的患病概率、标注出最有可能包含病灶的切片以及高亮出可疑切片的患病区域。
图1为本发明实施例提供的一种基于序列级别的脑部医疗影像报告生成方法流程图，如图1所示，包括：
S1，获取具有预设标准的序列级别待判断脑部医疗图像；
S2，将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
具体地，获取具有DICOM(Digital Imaging and Communications in Medicine)标准的脑部医疗图像，将该标准的脑部医疗图像输入到预先训练好的脑部医疗影像判别模型，得到输出的脑部医疗影像报告结果；其中的脑部医疗影像判别模型是基于原始的脑部医疗图像进行一系列预处理得到的样本集数据构建的包括对整套的切片数据进行去冗余操作，通过抽取特征模块将去冗余后的图片转化为低维的向量表示，进一步地构建由主网络、辅助网络和融合网络组成的脑部医疗影像分类网络初始模型，将样本集数据和分类标签对网络初始模型进行模型训练，直到模型达到收敛条件后，得到最终的脑部医疗影像判别模型。整体的流程如图2所示。
本发明实施例通过对符合DICOM标准的脑部医疗影像进行模型训练，训练好的模型可以生成辅助医生进行脑部疾病诊断的报告，节约医生诊断的时间和减小工作量，同时减少漏诊、误诊的发生概率。
基于上述实施例，所述脑部医疗影像判别模型，通过以下步骤获得：
获取脑部医疗影像的样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据；
按照脑部医疗疾病标准等级对所述预处理样本集数据进行分类，得到所述序列级别分类标签；
基于所述序列级别的分类标签和所述预处理样本集数据生成用于训练的数据集；
构建脑部医疗影像判别网络初始模型；
将所述数据集输入所述脑部医疗影像判别网络初始模型进行训练，训练完成得到所述脑部医疗影像判别模型。
其中，所述获取脑部医疗影像的样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据，具体包括：
获取用于训练的脑部医疗图像数据；
由预处理模块对所述脑部医疗图像数据进行去冗余，采用预设固定步长将所述脑部医疗图像数据采样为具有相同数量的切片集合；
由抽取特征模块对所述切片集合提取特征，基于所述特征将所述脑部医疗图像数据转化成低维向量表示。
其中，所述构建脑部医疗影像判别网络初始模型，具体包括：
设置主网络、辅助网络和融合网络构成所述脑部医疗影像判别网络初始模型；其中：
所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器；
所述辅助网络包括特征提取模块、第二依赖学习模块和第二分类器；
所述融合网络将所述第一依赖学习模块的输出和所述第二依赖学习模块的输出进行知识融合，得到综合判断结果。
其中，所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器，具体包括：
所述特征注意力模块采用注意力机制，为特征向量的不同维度分配不同权重；
所述第一依赖学习模块通过双向递归神经网络学习切片之间的依赖关系；
所述切片注意力模块为存在预设病变可能性的切片特征向量分配权重；
所述第一分类器将经过切片注意力模型的新特征表示放入具有预设激活函数的全连接层中，获得第一概率值。
其中，所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器，进一步包括：
将所述切片注意力模块得到的权重值进行降序排序，获取预设排名的可疑切片；
采用双线性插值算法将所述可疑切片放大，将放大后的可疑切片输入至所述辅助网络。
其中，所述辅助网络包括特征提取模块、第二依赖学习模块和第二分类器，具体包括：
将所述放大后的可疑切片输入所述特征提取模块，提取切片特征；
所述第二依赖学习模块通过双向递归神经网络学习切片之间的依赖关系；
所述第二分类器将经过所述第二依赖学习模块后的新的特征表示放入具有预设激活函数的全连接层中，获得第二概率值。
具体地，用于进行结果预测和生成报告的脑部医疗影像判别模型通过以下步骤获得：
如图2所示，输入为整套切片，首先经过预处理模块，预处理模块对输入数据进行去冗余操作，采用固定步长采样的方法将整套脑部医疗影像采样成相同切片数量的切片集合。
抽取特征模块采用以下操作：
1)使用预训练的卷积神经网络模型提取切片的特征，将图片转化成低维的向量表示；
2)将去冗余后的整套切片编码转换为一个二维矩阵。
可以理解的是，使用预训练模型对去冗余后的切片数据提取特征，使用在大型数据集ImageNet上预训练模型VGG16提取特征，预训练模型将去冗余后的切片编码成一个2-D矩阵，每一行表示一张切片的信息，单张切片用512的向量表示。
进一步地，将提取的特征输入到脑部医疗影像判别网络中进行训练，训练至收敛就可用该模型预测疾病分类概率。其中脑部医疗影像判别网络由主网络、辅助网络和融合网络组成，图3是主网络和辅助网络流程的子图。
本发明实施例涉及的公式如下：
Sm＝{si},i∈[1,n]
fm＝E(Sm)
yf1,ym,w＝Fm(fm)
Sm是去冗余后的n张切片，函数E是预训练卷积神经网络(CNN)来提取切片的特征，fm是提取的特征向量。Fm是主网络函数。对w结果进行降序排序，取前m张切片记作集合Sa。
Ma＝M(Sa)
fa＝E(Ma)
yf2,ya＝Fa(fa)
yf＝Ff(yf1+yf2)
Loss＝Lossmain(ym,L)+Lossauxiliary(ya,L)+Lossfusion(yf,L)
Fm是辅助网络函数，ym,ya,yf分别是主网络、辅助网络、融合网络输出的概率值，L是数据中整套脑部医疗影像序列级别的标签。M函数采用双线性插值算法放大切片。yf1和yf2分别是主网络和辅助网络BRNN模块的输出，将它们的输出加起来，输入分类器(Ff)中得到最终的预测结果。
其中主网络损失Lossmain和辅助网络损失Lossauxiliary采用均方误差(MeanSquared Error)损失函数：
其中M为样本的数量，y和y0分别是标签值和模型预测的结果。
融合网络损失Lossfusion采用交叉熵损失函数(Cross Entropy Error)：
L＝-∑kyk log(σ(lk))+(1-yk)log(1-σ(lk))
其中σ(lk)表示使用Sigmoid函数激活输出层对应的神经元，yk为第k个标签的真实值，将一个多标签问题转化为了在每个标签上的二分类问题。
主网络将预训练模型提取地特征输入到特征注意力模块，该模块会为不同通道的特征向量分配不同地权重，公式如下：
其中zi是512维向量中第i维向量的值，wi是分配给第i维向量的权重。与分配的权重(w1,…,w512)合并以获得新的切片特征表示。
把经过特征注意力模块切片新的特征表示放入依赖学习模块，该模块通过双向递归神经网络(BRNN)学习切片之间的依赖关系。Gated recurrent unit(GRU)作为双向递归神经网络的基本单元，每个时间步的基本单位输入是经过特征注意力模块后的切片的新特征表示。
使用切片注意力模块来为不同切片赋予不同地权重，可能包含病灶的切片赋予更多的权重。同时，切片注意力机制可增加序列级别的可解释性，即找出分配权重最大的几张切片，这些切片可能是包含病灶的切片。切片注意力模块的公式为：
ai＝f(yi)
其中yi是第i个时间步的基本单元的输出，而f函数将每个基本单元的输出映射到长度为1的值。N表示去除冗余后的切片数量，xi表示疾病判断中的第i个切片的重要程度，(y1,…,yn)和(x1,…,xn)进行逐元素相乘的方法获得切片注意力模块后的结果。
进一步将切片注意力机制模块的输出放入分类器中，分类器是两个激活函数为ReLU全连接层中。然后将维度转换为疾病种类的数量，结果再通过激活函数为Sigmoid的全链接层中，便可以获得多种疾病的概率值。将疾病的概率值和该套切片的标签计算损失，使用梯度下降算法进行优化损失。
图4为挑选关键切片模块，输入切片注意力模块的权重结果，将权重进行降序排序，取前m张切片进行放大操作，前m张切片是最有可能包含病灶的切片，称为关键切片。其中放大操作采用双线性插值算法，放大的目的是那些难以被观察到的病变特征(例如出血点或者细粒度的病变特征)可能出现在高级特征检测器的视野域中。
如图5所示，辅助网络模块包含特征提取、依赖学习、分类器，其功能与主网络中相应模块相似。融合网络将主网络模块中BRNN的输出和辅助网络中的BRNN输出融合起来，放入到分类器中。将两个网络学习到的知识融合起来放入分类器中，作为最后的判断。主网络、辅助网络、融合网络分别有一个损失函数，主网络损失和辅助网络损失采用均方误差(Mean Squared Error)损失函数，融合网络损失采用交叉熵损失函数(Cross EntropyError)，使用梯度下降算法优化损失函数，训练模型至收敛。
再用训练完的模型预测结果，将一套去冗余的切片输入到模型中，模型可以输出该套脑影像中多种疾病的患病概率。将特征注意力模块的结果进行降序排序，取前三个通道的特征图，根据注意力值大小对应比例合并起来，与原始切片重合，从而增加切片级别的可解释性。将切片注意力模块的结果进行降序排序，前几张切片视为可疑切片，这些切片是算法认为最有可能包含病灶。如图6所示，该图为生成的辅助报告示例，该报告圈出了ID为21，22，23，24，25的5张切片，这些切片是模型认为最有可能包含病灶的切片，且每张都给出了切片级别的可解释性，其中图6下方的直方图是切片注意力模块输出结果的权重分配情况。
图6结果展示了本发明实施例使用训练完的模型预测输入影像的患病概率结果，生成医生能够读懂的报告，该报告包括：
1)多种脑疾病的患病概率；
2)选出5张最有可能包含病灶的切片；
3)高亮出5张可疑切片的患病区域。
图7为本发明实施例提供的一种基于序列级别的脑部医疗影像报告生成系统结构图，如图7所示，包括：获取模块71和处理模块72；其中：获取模块71和处理模块72；其中：
获取模块71用于获取具有预设标准的序列级别待判断脑部医疗图像；处理模块72用于将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。
本发明实施例通过对符合DICOM标准的脑部医疗影像进行模型训练，训练好的模型可以生成辅助医生进行脑部疾病诊断的报告，节约医生诊断的时间和减小工作量，同时减少漏诊、误诊的发生概率。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：获取具有预设标准的序列级别待判断脑部医疗图像；将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取具有预设标准的序列级别待判断脑部医疗图像；将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于序列级别的脑部医疗影像报告生成方法，其特征在于，包括：
获取具有预设标准的序列级别待判断脑部医疗图像；
将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
2.根据权利要求1所述的基于序列级别的脑部医疗影像报告生成方法，其特征在于，所述脑部医疗影像判别模型，通过以下步骤获得：
获取脑部医疗影像的样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据；
按照脑部医疗疾病标准等级对所述预处理样本集数据进行分类，得到所述序列级别分类标签；
基于所述序列级别的分类标签和所述预处理样本集数据生成用于训练的数据集；
构建脑部医疗影像判别网络初始模型；
将所述数据集输入所述脑部医疗影像判别网络初始模型进行训练，训练完成得到所述脑部医疗影像判别模型。
3.根据权利要求2所述的基于序列级别的脑部医疗影像报告生成方法，其特征在于，所述获取脑部医疗影像的样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据，具体包括：
获取用于训练的脑部医疗图像数据；
由预处理模块对所述脑部医疗图像数据进行去冗余，采用预设固定步长将所述脑部医疗图像数据采样为具有相同数量的切片集合；
由抽取特征模块对所述切片集合提取特征，基于所述特征将所述脑部医疗图像数据转化成低维向量表示。
4.根据权利要求2所述的基于序列级别的脑部医疗影像报告生成方法，其特征在于，所述构建脑部医疗影像判别网络初始模型，具体包括：
设置主网络、辅助网络和融合网络构成所述脑部医疗影像判别网络初始模型；其中：
所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器；
所述辅助网络包括特征提取模块、第二依赖学习模块和第二分类器；
所述融合网络将所述第一依赖学习模块的输出和所述第二依赖学习模块的输出进行知识融合，得到综合判断结果。
5.根据权利要求4所述的基于序列级别的脑部医疗影像报告生成方法，其特征在于，所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器，具体包括：
所述特征注意力模块采用注意力机制，为特征向量的不同维度分配不同权重；
所述第一依赖学习模块通过双向递归神经网络学习切片之间的依赖关系；
所述切片注意力模块为存在预设病变可能性的切片特征向量分配权重；
所述第一分类器将经过切片注意力模型的新特征表示放入具有预设激活函数的全连接层中，获得第一概率值。
6.根据权利要求5所述的基于序列级别的脑部医疗影像报告生成方法，其特征在于，所述主网络包括特征注意力模块、第一依赖学习模块、切片注意力模块和第一分类器，进一步包括：
将所述切片注意力模块得到的权重值进行降序排序，获取预设排名的可疑切片；
采用双线性插值算法将所述可疑切片放大，将放大后的可疑切片输入至所述辅助网络。
7.根据权利要求6所述的基于序列级别的脑部医疗影像报告生成方法，其特征在于，所述辅助网络包括特征提取模块、第二依赖学习模块和第二分类器，具体包括：
将所述放大后的可疑切片输入所述特征提取模块，提取切片特征；
所述第二依赖学习模块通过双向递归神经网络学习切片之间的依赖关系；
所述第二分类器将经过所述第二依赖学习模块后的新的特征表示放入具有预设激活函数的全连接层中，获得第二概率值。
8.一种基于序列级别的脑部医疗影像报告生成系统，其特征在于，包括：
获取模块，用于获取具有预设标准的序列级别待判断脑部医疗图像；
处理模块，用于将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于序列级别的脑部医疗影像报告生成方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于序列级别的脑部医疗影像报告生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010651959.7A CN111832644A (zh) | 2020-07-08 | 2020-07-08 | 一种基于序列级别的脑部医疗影像报告生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010651959.7A CN111832644A (zh) | 2020-07-08 | 2020-07-08 | 一种基于序列级别的脑部医疗影像报告生成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111832644A true CN111832644A (zh) | 2020-10-27 |
Family
ID=72901291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010651959.7A Pending CN111832644A (zh) | 2020-07-08 | 2020-07-08 | 一种基于序列级别的脑部医疗影像报告生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832644A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614561A (zh) * | 2020-12-24 | 2021-04-06 | 北京工业大学 | 一种基于层级自注意力序列编码的脑ct医学报告生成方法 |
| CN113012146A (zh) * | 2021-04-12 | 2021-06-22 | 东北大学 | 血管信息获取方法及装置、电子设备和存储介质 |
| CN113077887A (zh) * | 2021-03-24 | 2021-07-06 | 四川大学华西医院 | 大脑白质病变自动化定量分析系统与判读方法 |
| CN113768528A (zh) * | 2021-09-26 | 2021-12-10 | 华中科技大学 | 一种ct影像脑出血辅助定位系统 |
| CN116152241A (zh) * | 2023-04-18 | 2023-05-23 | 湖南炅旭生物科技有限公司 | 一种脑部影像的处理方法、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250707A (zh) * | 2016-08-12 | 2016-12-21 | 王双坤 | 一种基于深度学习算法处理头部结构像数据的方法 |
| CN109003679A (zh) * | 2018-06-28 | 2018-12-14 | 众安信息技术服务有限公司 | 一种脑血管出血与缺血预测方法及装置 |
| CN109065110A (zh) * | 2018-07-11 | 2018-12-21 | 哈尔滨工业大学 | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 |
| CN110472229A (zh) * | 2019-07-11 | 2019-11-19 | 新华三大数据技术有限公司 | 序列标注模型训练方法、电子病历处理方法及相关装置 |
-
2020
- 2020-07-08 CN CN202010651959.7A patent/CN111832644A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250707A (zh) * | 2016-08-12 | 2016-12-21 | 王双坤 | 一种基于深度学习算法处理头部结构像数据的方法 |
| CN109003679A (zh) * | 2018-06-28 | 2018-12-14 | 众安信息技术服务有限公司 | 一种脑血管出血与缺血预测方法及装置 |
| CN109065110A (zh) * | 2018-07-11 | 2018-12-21 | 哈尔滨工业大学 | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 |
| CN110472229A (zh) * | 2019-07-11 | 2019-11-19 | 新华三大数据技术有限公司 | 序列标注模型训练方法、电子病历处理方法及相关装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614561A (zh) * | 2020-12-24 | 2021-04-06 | 北京工业大学 | 一种基于层级自注意力序列编码的脑ct医学报告生成方法 |
| CN113077887A (zh) * | 2021-03-24 | 2021-07-06 | 四川大学华西医院 | 大脑白质病变自动化定量分析系统与判读方法 |
| CN113077887B (zh) * | 2021-03-24 | 2022-09-02 | 四川大学华西医院 | 大脑白质病变自动化定量分析系统与判读方法 |
| CN113012146A (zh) * | 2021-04-12 | 2021-06-22 | 东北大学 | 血管信息获取方法及装置、电子设备和存储介质 |
| CN113012146B (zh) * | 2021-04-12 | 2023-10-24 | 东北大学 | 血管信息获取方法及装置、电子设备和存储介质 |
| CN113768528A (zh) * | 2021-09-26 | 2021-12-10 | 华中科技大学 | 一种ct影像脑出血辅助定位系统 |
| CN116152241A (zh) * | 2023-04-18 | 2023-05-23 | 湖南炅旭生物科技有限公司 | 一种脑部影像的处理方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111832644A (zh) | 一种基于序列级别的脑部医疗影像报告生成方法及系统 | |
| EP3864577B1 (en) | Systems and methods for image preprocessing | |
| Arias-Londono et al. | Artificial intelligence applied to chest X-ray images for the automatic detection of COVID-19. A thoughtful evaluation approach | |
| US11106950B2 (en) | Multi-modal medical image processing | |
| EP4036931A1 (en) | Training method for specializing artificial intelligence model in institution for deployment, and apparatus for training artificial intelligence model | |
| Mansour et al. | Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification | |
| KR102542037B1 (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
| CN111340135B (zh) | 基于随机投影的肾小肿块分类方法 | |
| EP3564857A1 (en) | Pattern recognition method of autoantibody immunofluorescence image | |
| Sulam et al. | Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets. | |
| Agarwal et al. | Coronet: a deep network architecture for enhanced identification of covid-19 from chest x-ray images | |
| Kaur et al. | Analysis of brain tumor using pre-trained CNN models and machine learning techniques | |
| Barua et al. | Explainable ai-based humerus fracture detection and classification from x-ray images | |
| Haque et al. | Improving Performance of a Brain Tumor Detection on MRI Images Using DCGAN-Based Data Augmentation and Vision Transformer (ViT) Approach | |
| Tobin et al. | Using a patient image archive to diagnose retinopathy | |
| Remzan et al. | Ensemble learning based-features extraction for brain mr images classification with machine learning classifiers | |
| Ahmad et al. | Breast Cancer Detection Using Deep Learning: An Investigation Using the DDSM Dataset and a Customized AlexNet and Support Vector Machine | |
| Ahmed et al. | A CNN-based novel approach for the detection of compound Bangla handwritten characters | |
| Muñoz-Aseguinolaza et al. | Convolutional neural network-based classification and monitoring models for lung cancer detection: 3D perspective approach | |
| Jadhav | Lung cancer detection using classification algorithms | |
| Kovalev et al. | Automatic detection of pathological changes in chest X-ray screening images using deep learning methods | |
| Rocha et al. | Confident-CAM: Improving Heat Map Interpretation in Chest X-Ray Image Classification | |
| US11948297B1 (en) | Racially unbiased deep learning-based mammogram analyzer | |
| Lu | Convolutional Neural Network (CNN) for COVID-19 Lung CT Scans Classification Detection | |
| Najar | Early detection of Melanoma using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |