CN113627564A - 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 - Google Patents
基于深度学习的ct医学影像处理模型训练方法及诊疗系统 Download PDFInfo
- Publication number
- CN113627564A CN113627564A CN202110966567.4A CN202110966567A CN113627564A CN 113627564 A CN113627564 A CN 113627564A CN 202110966567 A CN202110966567 A CN 202110966567A CN 113627564 A CN113627564 A CN 113627564A
- Authority
- CN
- China
- Prior art keywords
- image
- diagnosis
- patient
- semantic segmentation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003745 diagnosis Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000011282 treatment Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 72
- 208000006011 Stroke Diseases 0.000 claims abstract description 63
- 230000003902 lesion Effects 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 206010008190 Cerebrovascular accident Diseases 0.000 claims description 11
- 230000002490 cerebral effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 210000003484 anatomy Anatomy 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000011269 treatment regimen Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 206010061216 Infarction Diseases 0.000 abstract description 7
- 230000007574 infarction Effects 0.000 abstract description 7
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 4
- 230000004083 survival effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 210000001159 caudate nucleus Anatomy 0.000 description 4
- 210000003657 middle cerebral artery Anatomy 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 208000035657 Abasia Diseases 0.000 description 1
- 206010013887 Dysarthria Diseases 0.000 description 1
- 208000004929 Facial Paralysis Diseases 0.000 description 1
- 102000007999 Nuclear Proteins Human genes 0.000 description 1
- 108010089610 Nuclear Proteins Proteins 0.000 description 1
- 208000036826 VIIth nerve paralysis Diseases 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 210000001653 corpus striatum Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 208000026473 slurred speech Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000542 thalamic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于深度学习的CT医学影像处理模型训练方法及诊疗系统。其采用CT图像语义分割模型,为CT图像中的脑卒中核心梗死区的病灶分割提供精确的定位及分割效果,解决了磁共振图像设备因高成本难以在中小型医院普及和CT图像受图像原理限制难以辨别病灶位置和轮廓大小的实际问题;采用CT图像诊断信息生成模型,智能分析患者CT图像和临床表现,自动生成对应的诊断报告;采用治疗方案评级预测系统,综合脑卒中患者CT图像病灶诊断所见和患者临床表现,生成患者病情对应的治疗方案,降低了误诊率,减少诊断时间,有效提高病人存活率。
Description
技术领域
本发明属于医疗设备技术领域,具体涉及一种基于深度学习的CT医学影像处理模型训练方法及联合诊疗系统。
背景技术
目前,市场上的基于人工智能的脑卒中医学影像处理系统主要设计思路均为利用深度学习算法对脑卒中患者的CT图像或磁共振DWI图像进行图像语义分割,将脑卒中患者医学影像成片中的病灶部位分割出来并进行可视化显示,作为辅助治疗手段提供给医生进行早期脑卒中的诊断。其中,训练基于深度学习的脑卒中病灶图像分割模型主要有以下3种研究方向:直接针对CT图像训练学习;直接针对磁共振DWI图像训练学习;将CT图像通过深度学习虚拟成DWI图像,利用深度学习进行图像分割,如技术实例:CN110853111A医学影像处理系统、模型训练方法及训练装置所示,该发明通过深度学习模型将CT图像虚拟成DWI图像,虚拟的DWI图像相比于原始CT图像,能够提供更精准全面的信息显示,但是虚拟的DWI图像无法完全替代实际的DWI图像,且该方法并没有最终完成对病灶的精准定位分割,无法提供具有参考价值的诊断结果。
磁共振DWI图像是当前针对早期脑卒中最敏感且特异性最高的诊断方法,DWI图像相比于CT图像可以提供有关脑卒中信息的更精准、全面的显示,因此极大地方便了医生进行早期脑卒中的诊断,是梗死核心区最准确的评估检测方式。但由于磁共振图像设备动辄上千万的价格,十倍于CT图像设备,所以磁共振图像设备的普及率相较于CT图像设备的普及率很低,且检查时间较长,部分病人难以配合。
CT是目前一种可行的脑卒中诊断方式,但是受CT成像原理的限制,CT图片上梗死核心区通常显示不清晰,与正常脑组织对比不明显,难以通过人眼判读,极其难于辨别。因此目前大部分产品和研究都将重点放在直接利用人工智能学习CT图像中对脑卒中病变部位的识别。但无论是利用深度学习办法还是传统机器学习办法来学习对脑卒中病变部位的识别都存在一个基础问题尚未解决,即用于训练机器学习模型需要的基础数据集准确性,由于CT图像中的脑卒中病变部位与正常脑组织在视觉上无明显差异,极其难于辨别,所以前期的数据集标注,主观性极大,无法确保统一标准和精准度。不准确,不规范的数据集进而会导致深度学习模型无法准确完整的学习脑卒中病灶的CT图像特点,从而导致目前大部分研究和技术的实用性和可行性极低,无法进入实际应用环节。
临床表现也是诊断病情的重要指标和参照,现有技术产品均只提供对脑卒中患者医学影像的处理和分析,并未考虑脑卒中患者的发病时间、临床症状、基础疾病等临床一般资料,脱离了临床的综合诊断,难以有足够的说服力证明其技术和产品的置信度。
现有技术产品在对医学影像处理分析后提供均为基于模板的检查所见,无法深度理解脑卒中患者医学影像特征与病情严重程度联系,不具备辅助治疗决策以及预后判读的能力,无绝对的技术优势和应用意义。
因此,如何制作精度准确、标准统一,结果可靠的脑卒中病灶CT数据集对准确识别脑卒中CT图像中的病灶具有十分必要,且考虑脑卒中患者的发病时间、临床症状、基础疾病等临床一般资料的诊疗系统对辅助医生进行脑卒中的诊疗具有十分重要的意义。
发明内容
针对上述问题,本发明提供了一种基于深度学习的CT医学影像处理模型训练方法,训练出的CT图像语义分割模型可以实现对CT图像中病灶的精准定位和有效分割;基于上述CT图像语义分割模型本发明提出一种基于深度学习的CT图像诊断信息生成模型,提供可供参考的病灶诊断信息;基于上述CT图像诊断信息生成模型,本发明提出一种治疗方案评级预测系统,提供具有参考价值的治疗方案,有效降低误诊率,减少诊断时间,提高病人存活率。
本发明提出的技术方案如下:
一方面本发明公开了一种基于深度学习的CT医学影像处理模型训练方法:
S1)采用ISLE数据集训练出磁共振DWI图像语义分割模型;
S2)采集预设时间窗口内脑卒中患者磁共振DWI图像和CT图像;
S3)将所述磁共振DWI图像和CT图像在空间解剖结构上进行配准;
S4)利用S1)所述磁共振DWI图像语义分割模型分割所述磁共振DWI图像中的病灶;
S5)利用S3)所述磁共振DWI图像和CT图像在空间解剖结构上的配准,将S4)中磁共振DWI图像中的病灶分割结果映射到CT图像中,对CT图像中的病灶进行分割标注;
S6)重复S2)-S5),将S5)所述CT图像中的病灶分割结果制作成CT图像语义分割数据集;
S7)利用S6)所述CT图像语义分割数据集训练出CT图像语义分割模型。
作为优选,S1)所述磁共振DWI图像语义分割模型基于全卷积神经网络U-net训练得到。
作为优选,所述S3)的具体过程是:
S3.1)对所述磁共振DWI图像和CT图像进行预处理,滤除影响配准效果的因素;
S3.2)对所述CT图像进行空间变化,通过仿射变换,建立磁共振DWI图像和CT图像的空间对应关系;
S3.3)对所述CT图像进行插值操作,得到可以存储在计算机中的数字图像;
S3.4)对所述磁共振DWI图像和CT图像的配准效果进行相似性检测,其中相似性通过计算互信息值来判断;
S3.5)判断所述相似性检测结果是否最优,如果最优则输出配准参数和配准后的图像,否则修改初始变换参数,重复配准过程。
作为优选,S7)所述CT图像语义分割模型基于全卷积神经网络FCN8s训练得到。
一方面本发明公开了一种基于深度学习的CT图像诊断信息生成模型,该模型基于上述CT图像语义分割模型构建,构建过程包括以下步骤:
S1)将所述CT图像语义分割模型作为编码器待用;
S2)将应用于自然语言处理内的双向循环神经网络作为解码器待用;
S3)用S1)所述CT图像语义分割模型提取医学影像语料数据库中的CT图像;
S4)用S2)所述双向循环神经网络提取医学影像语料数据库中的电子病历文本数据集,将所述电子病历文本中的单词转化为预设维度的向量,并用上下文信息来丰富每一个单词的含义,计算每一个单词的表示,其中:
所述双向循环神经网络的确切形式如下:
et=f(Wext+be)
式中h是预设维度,t是单词在电子病历文本中的索引,Ww是指定单词的编码矩阵,st是第t个单词的预设维度表示,We,Wf,Wb,Wd是学习参数,be,bf,bb,bd是相应偏差;
S5)制定一个定义CT图像-电子病历文本之间分数的函数,用于对齐CT图像和对应电子病例文本;
S6)构建CT图像诊断信息生成模型,其中具体构建过程如下:
S6.1)获取图像像素和输入向量序列;
S6.2)迭代递归关系来计算隐藏状态序列和输出序列,其中,递归关系如下:
yt=softmax(Wohht+bo)
S6.3)综合代价函数判断是否完成训练。
作为优选,所述S5)的具体过程是:
S5.1)针对电子病历文本中的单词引入与分割区域相对应的隐对齐变量,沿着所述电子病历文本的顺序形成一个链式结构的马尔科夫随机场,通过动态编程将能量最小化以找到最佳对齐方式,所述马尔科夫随机场表示如下:
S5.3)根据S5.2)所述CT图像与电子病历文本之间得分对齐CT图像和对应电子病例文本。
作为优选,S3)或S4)所述医学影像语料数据库的建立方式包括以下步骤:
S1)收集脑卒中患者CT图像及对应的临床表现、检查所见和诊断所见;
S2)用所述CT图像语义分割模型对所述CT图像进行分割处理;
S3)将S2)中CT图像的分割结果制作成新的CT图像语义分割数据集;
S4)用所述CT图像对应的临床表现、检查所见和诊断所见构建电子病例数据集;
S5)用S3)所述新的CT图像语义分割数据集和S4)所述的电子病例数据集组建医学影像语料数据库。
一方面本发明公开了一种治疗方案评级预测系统,由上述CT图像诊断信息生成模型为所述系统提供诊断信息,所述系统包括:
S1)信息获取模块,用于收集脑卒中患者病情信息,其中所述患者病情信息包括患者CT图像病灶诊断所见和患者临床表现;
S2)评分模块,用于对S1)所述脑卒中患者病情信息进行评分;
S3)评级模块,用于根据S2)所述评分结果对患者病情进行评级;
S4)预测模块,用于根据S3)所述评级结果预测对应的治疗方案。
作为优选,S3)所述评级模块提供了两种不同的评级方法,包括:
方法一:使用RCNN深度学习网络进行评级;
方法二:使用脑卒中患者病情快速评级表进行评级,其中,所述脑卒中患者病情快速评级表详情如下:
作为优选,方法二所述脑卒中患者病情快速评级表由Alberta卒中项目早期计算机断层扫描评分(Alberta Stroke Program Early CT Score,ASPECTS)和中国脑卒中患者临床神经功能缺损程度评分量表(1995)(China Stroke Scale,CSS)两部分评分综合得出,其中ASPECTS评分部分运算标准为ASPECTS评分*10*权重0.7,CSS评分部分运算标准为[(100-CSS评分)*权重0.3],两部分评分相加得到最终诊断评分,诊断评级按诊断评分划分,其中0-30分为危重三级,31-70分为中度二级,71-100分为轻微一级。
本发明提出的CT医学影像处理模型训练方法训练出的CT图像语义分割模型,为CT图像中的脑卒中核心梗死区的病灶分割提供精确的定位及分割效果,解决了磁共振图像设备因高成本难以在中小型医院普及和CT图像受图像原理限制难以辨别病灶位置和轮廓大小的实际问题。
本发明提出的基于深度学习的CT图像诊断信息生成模型,智能分析患者CT图像和临床表现,自动生成对应的诊断报告。
本发明提出的治疗方案评级预测系统,综合脑卒中患者CT图像病灶诊断所见和患者临床表现,生成患者病情对应的治疗方案。对于缺乏经验的放射科医生和病理学家,特别是那些在医疗保健质量相对较低的农村地区工作的医生,提供了极具参考价值的诊断信息和治疗决策,降低了误诊率,减少诊断时间,有效提高病人存活率。
附图说明
图1是本发明实施例中CT图像语义分割模型训练方法流程示意图;
图2是本发明实施例中磁共振DWI图像语义分割模型结构示意图;
图3是本发明实施例中脑卒中患者磁共振DWI和CT图像配准流程示意图;
图4是本发明实施例中CT数据集配准生成流程示意图;
图5是本发明实施例中CT图像脑卒中图像语义分割网络模型结构示意图;
图6是本发明实施例中CT图像脑卒中图像语义分割网络模型训练方法示意图;
图7是本发明实施例中脑卒中患者CT图像和对应英文电子病例文本对齐原理示意图;
图8是本发明实施例中CT图像诊断信息生成模型结构示意图;
图9是本发明实施例中医学影像语料数据库建立方法示意图;
图10是本发明实施例中医学影像语料数据库建立流程示意图;
图11是本发明实施例中治疗方案评级预测系统的工作流程示意图;
图12是本发明实施例中患者的脑部CT图像;
图13是本发明实施例中RCNN网络结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明的基于深度学习的CT医学影像处理模型训练方法和CT医学影像联合诊疗系统作进一步详细说明。
本实施例提出一种基于深度学习的CT医学影像处理模型训练方法,图1是本实施例模型训练方法的流程图,参照图1,所述模型训练方法包括以下步骤:
步骤1:使用脑卒中磁共振公开数据集ISLE基于全卷积神经网络U-net单独训练完善的磁共振DWI图像语义分割模型,模型结构如图2所示;
步骤2:采集大量脑卒中患者在<1h时间窗口内脑部的磁共振DWI图像和CT图像。
步骤3:将采集的磁共振DWI图像和CT图像在空间解剖结构上进行配准,配准流程如图3所示,参照图3,所述配准过程包括以下步骤:
步骤3.1:对采集的磁共振DWI图像和CT图像进行预处理,使参考图像和浮动图像的信息和空间分布保持一致,滤除噪声等影响配准效果的因素;
步骤3.2:对所述CT图像进行空间变化,通过仿射变换,建立磁共振DWI图像和CT图像的空间对应关系;
步骤3.3:使用部分体积(Partial Volume,PV)插值算法,对所述CT图像进行插值操作,解决图像在经过空间变换后像素点不是整数的问题,得到可以存储在计算机中的数字图像;
步骤3.4:对所述磁共振DWI图像和CT图像的配准效果进行相似性检测,通过计算互信息值对两幅图像的匹配效果进行定量衡量;
步骤3.5:判断所述相似性检测结果是否最优,如果最优则输出配准参数和配准后的图像,否则修改初始变换参数,重复配准过程;
步骤4:再经由步骤1训练的磁共振DWI图像分割模型对脑卒中患者的磁共振图像进行分析处理,对病患的脑卒中病灶进行精准分割和定位;
步骤5:通过步骤3对患者磁共振DWI图像和CT图像在空间解剖结构上的配准,间接的将病灶分割结果精准在CT图像上定位,形成分割精度准确、标准统一,结果可靠的脑卒中病灶CT数据集,CT数据集配准生成流程如图4所示;
步骤6:重复步骤2-步骤5,采集大量CT数据集。
步骤7:使用步骤6采集的CT数据集,基于全卷积神经网络FCN8s,训练出精准、真实,具有实际意义的脑卒中CT图像语义分割模型,模型结构如图5所示,训练方法如图6所示;
本实施例基于上述CT图像语义分割模型,设计了一种基于深度学习的CT图像诊断信息生成模型,模型构建步骤如下:
步骤1:将上述的CT图像语义分割模型作为编码器待用;
步骤2:将应用于自然语言处理内的双向循环神经网络(BidirectionalRecurrent Neural Network,BRNN)作为解码器待用;
步骤3:提取医学影像语料数据库中的脑卒中患者CT图像,利用CT图像语义分割模型针对ASPECTS评分提取脑卒中患者CT图像中10个图像区域,再加上整张CT图像,计算一共11个图像的特征,每个图像区域表示为h维的向量;
步骤4:提取医学影像语料数据库中的英文电子病历文本数据集,利用BRNN把病历文本中的每一个单词转化为h维的向量,并用上下文信息来丰富每一个单词的含义,计算每一个单词的表示。索引t=1…n,表示一个单词在句子中的位置,BRNN的确切形式如下
et=f(Wext+be)
这里,t是在单词词汇表中第t个单词的索引处具有唯一一个的指标列向量。权重Ww指定一个字嵌入矩阵,用300维的word2vec权重初始化。第t个单词的最终h维表示st是句子中该单词和其周围上下文的函数。学习参数We,Wf,Wb,Wd和相应的偏差为be,bf,bb,bd。
步骤5:对齐脑卒中患者CT图像和对应英文电子病例文本,策略是制定一个图像-句子分数作为个别地区单词分数的函数。将第i个区域和第t个单词之间的点积解释为相似性度量,并用它来定义图像k和句子i之间的分数为:
具体地,给定N个单词的句子和M个分割目标的图像,针对N个单词(j=1……N)可以引入M个隐对齐变量(latent alignment variables):aj∈{1...M},沿着句子的顺序形成一个链式结构的马尔科夫随机场(Markov random field,MRF)
其中β是超参数,控制对较长的单词短语的亲和力。这个参数允许我们在单词比对(β=0)之间进行插值,并且当β很大时,将整个句子对齐到一个单一的最大得分区域。我们通过动态编程将能量最小化以找到最佳对齐方式,这个过程的输出是一组使用文本段注释的图像区域。我们现在描述一种基于这些对应关系生成新词组的方法。此时,模型的输出是一个分割目标的图像合集,每个分割目标用文本片段(text segments)进行标注。脑卒中患者CT图像和对应英文电子病例文本对齐原理如图7所示:
Skl为图像-句子评分,脑卒中病灶分割区域嵌入FCN(左图)。电子病例中单词(通过上下文丰富)与BRNN(右)嵌入在同一个多模态空间中。两两相似度用内积(灰度显示的大小)计算,最后用公式降为图像-句子得分。
步骤6:构建用于生成CT图像诊断信息的CT图像诊断信息生成模型,模型结构如图8所示,具体地,获取图像像素I和输入向量序列x1,…,xt,然后通过迭代t=1到T的递归关系来计算隐藏状态序列h1,…,ht和输出序列y1,…,yt。递归关系如下:
yt=softmax(Wohht+bo)
其中学习的参数包括Whi、Whx、Whh、Woh、xt、bh、bo,是FCN的最后一层,输出向量yt代表了词典中单词的未经正则化的分布log概率。BRNN被训练用于根据一个单词xt,前一个上下文ht-1的组合来预测下一个单词yt。通过第一步的偏差交互作用,我们将BRNN的预测条件设置在图像信息bv上。我们将x1设置为一个特殊的START向量,并将期望的标签y1作为序列的第一个单词。类似地,我们将x2设为第一个单词的单词向量,并期望网络能够预测第二个单词,等等。最后,在xT表示最后一个单词的最后一步,目标标签被设置为一个特殊的END标记。代价函数是最大化分配给目标标签(即Softmax分类器)的日志概率。
其中,用于为上述CT图像诊断信息生成模型提供专用数据的医学影像语料数据库建立方法如图9所示,建立流程如图10所示,参照图10,所述数据库建立方法包括如下步骤:
步骤1:收集脑卒中患者CT图像及对应的临床表现、检查所见和诊断所见;
步骤2:用所述CT图像语义分割模型对所述CT图像进行分割处理;
步骤3:将步骤2中CT图像的分割结果制作成新的CT图像语义分割数据集;
步骤4:将所述CT图像对应的临床表现、检查所见和诊断所见描述按照规范化模板整理并翻译为专业英文文本,构建电子病例数据集;
步骤5:用所述新的CT图像语义分割数据集和对应的电子病例数据集组建医学影像语料数据库。
本实施例基于上述CT图像诊断信息生成模型提出一种治疗方案评级预测系统,系统的工作流程如图11所示,图12为本实施例中该名患者的脑部CT图像,参照图11,工作步骤如下:
步骤1:收集患者病情信息。患者病情信息由两部分信息组成,第一部分为患者CT图像病灶诊断所见,该部分信息由CT图像诊断信息生成模型智能生成的患者脑卒中病灶诊断所见信息自动生成,本实施例中该患者检查所见:左侧顶枕叶见斑片状低密度影,境界欠清,诊断所见:多发性脑梗死;第二部分为患者临床表现,由主治医生给出,该患者临床表现:1h前无明显诱因言语不清,NIHSS评分2分。
步骤2:根据上述患者病情信息对患者病情进行评分。其中第一部分患者CT图像病灶诊断所见评分参照ASPECTS评分,具体评分细则如下:在CT影像上选取大脑中动脉(middle cerebralartery,MCA)供血区2个层面的10个区域:①核团层面(即丘脑和纹状体平面),分为M1、M2、M3、岛叶l、豆状核L、尾状核C和内囊后肢IC7个区域;②核团以上层面(在核团水平上2cm),包括M4、M5和M6。两者的界限为尾状核头部,在横断面CT影像中,任何位于尾状核及其以下层面的缺血性改变均定义为核团层面,而在尾状核头部层面以上的缺血性改变则定义为核团上层面。
根据上述评分细则,本实施例中该患者的ASPECT评分为8分(扣分的区域为左侧M2大脑中动脉岛叶外侧皮质区、左侧M3大脑中动脉后皮层区)。
第二部分患者临床表现评分为主治医师参照CSS对患者的临床表现作出的评分,具体评分细则如下:该量表共包括8个维度,分别是意识、水平凝视功能、面瘫、言语、上肢肌力、手肌力、下肢肌力和步行能力。
根据上述评分细则,本实施例中该患者的CSS评分为14分(得分的分项为:左侧上肢、下肢肌力降低,不能独立行走,言语不清)。
步骤3:根据上述评分结果由RCNN深度学习网络对患者病情进行评级,RCNN将患者病情分为三个等级(危重三级,中度二级,轻微一级),本实施例中该患者的病情评级为轻微一级,RCNN网络结构如图13所示。
另外,本实施例还提供了一种脑卒中患者病情快速评级表作为另一种可供选择的评级方法。
该表由Alberta卒中项目早期计算机断层扫描评分和中国脑卒中患者临床神经功能缺损程度评分量表两部分评分综合得出,其中ASPECTS评分部分运算标准为ASPECTS评分*10*权重0.7,CSS评分部分运算标准为[(100-CSS评分)*权重0.3],两部分评分相加得到最终诊断评分,诊断评级按诊断评分划分,其中0-30分为危重三级,31-70分为中度二级,71-100分为轻微一级。
该表将患者根据ASPECTS评分分为3个亚组:0-4分组(较大体积梗死);5-7分组(中等体积梗死);8-10分组(小体积梗死);根据CSS评分分为轻型(0~15分)、中型(16~30分)、重型(31~45分)。
此评级表由上述RCNN深度学习网络最终实验结果证明真实,准确,有效。
本实施例中该患者的ASPECT评分为8分,CSS评分为14分,查询脑卒中患者病情快速评级表可知评级结果为轻微一级,与RCNN的评级结果一致。
步骤4:根据诊断评级结果,给出具有参考价值的治疗方案决策。本实施例中医生可参考轻微一级决策对该患者进行治疗。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (10)
1.一种基于深度学习的CT医学影像处理模型训练方法,其特征在于,包括以下步骤:
S1)采用ISLE数据集训练出磁共振DWI图像语义分割模型;
S2)采集预设时间窗口内脑卒中患者磁共振DWI图像和CT图像;
S3)将所述磁共振DWI图像和CT图像在空间解剖结构上进行配准;
S4)利用S1)所述磁共振DWI图像语义分割模型分割所述磁共振DWI图像中的病灶;
S5)利用S3)所述磁共振DWI图像和CT图像在空间解剖结构上的配准,将S4)中磁共振DWI图像中的病灶分割结果映射到CT图像中,对CT图像中的病灶进行分割标注;
S6)重复S2)-S5),将S5)所述CT图像中的病灶分割结果制作成CT图像语义分割数据集;
S7)利用S6)所述CT图像语义分割数据集训练出CT图像语义分割模型。
2.根据权利要求1所述的一种基于深度学习的CT医学影像处理模型训练方法,其特征在于,S1)所述磁共振DWI图像语义分割模型基于全卷积神经网络U-net训练得到。
3.根据权利要求1所述的一种基于深度学习的CT医学影像处理模型训练方法,其特征在于,所述S3)的具体过程是:
S3.1)对所述磁共振DWI图像和CT图像进行预处理,滤除影响配准效果的因素;
S3.2)对所述CT图像进行空间变化,通过仿射变换,建立磁共振DWI图像和CT图像的空间对应关系;
S3.3)对所述CT图像进行插值操作,得到可以存储在计算机中的数字图像;
S3.4)对所述磁共振DWI图像和CT图像的配准效果进行相似性检测,其中相似性通过计算互信息值来判断;
S3.5)判断所述相似性检测结果是否最优,如果最优则输出配准参数和配准后的图像,否则修改初始变换参数,重复配准过程。
4.根据权利要求1所述的一种基于深度学习的CT医学影像处理模型训练方法,其特征在于,S7)所述CT图像语义分割模型基于全卷积神经网络FCN8s训练得到。
5.一种基于深度学习的CT图像诊断信息生成模型,其特征在于,所述CT图像诊断信息生成模型,基于权利要求1中S7)所述CT图像语义分割模型构建,构建过程包括以下步骤:
S1)将所述CT图像语义分割模型作为编码器待用;
S2)将应用于自然语言处理内的双向循环神经网络作为解码器待用;
S3)用S1)所述CT图像语义分割模型提取医学影像语料数据库中的CT图像;
S4)用S2)所述双向循环神经网络提取医学影像语料数据库中的电子病历文本数据集,将所述电子病历文本中的单词转化为预设维度的向量,并用上下文信息来丰富每一个单词的含义,计算每一个单词的表示,其中:
所述双向循环神经网络的确切形式如下:
et=f(Wext+be)
式中h是预设维度,t是单词在电子病历文本中的索引,Ww是指定单词的编码矩阵,st是第t个单词的预设维度表示,We,Wf,Wb,Wd是学习参数,be,bf,bb,bd是相应偏差;
S5)制定一个定义CT图像-电子病历文本之间分数的函数,用于对齐CT图像和对应电子病例文本;
S6)构建CT图像诊断信息生成模型,其中具体构建过程如下:
S6.1)获取图像像素和输入向量序列;
S6.2)迭代递归关系来计算隐藏状态序列和输出序列,其中,递归关系如下:
yt=softmax(Wohht+bo)
S6.3)综合代价函数判断是否完成训练。
6.根据权利要求5所述的一种基于深度学习的CT图像诊断信息生成模型,其特征在于,所述S5)的具体过程是:
S5.1)针对电子病历文本中的单词引入与分割区域相对应的隐对齐变量,沿着所述电子病历文本的顺序形成一个链式结构的马尔科夫随机场,通过动态编程将能量最小化以找到最佳对齐方式,所述马尔科夫随机场表示如下:
S5.3)根据S5.2)所述CT图像与电子病历文本之间得分对齐CT图像和对应电子病例文本。
7.根据权利要求5所述的一种基于深度学习的CT图像诊断信息生成模型,其特征在于,S3)或S4)所述医学影像语料数据库的建立方式包括以下步骤:
S1)收集脑卒中患者CT图像及对应的临床表现、检查所见和诊断所见;
S2)用所述CT图像语义分割模型对所述CT图像进行分割处理;
S3)将S2)中CT图像的分割结果制作成新的CT图像语义分割数据集;
S4)用所述CT图像对应的临床表现、检查所见和诊断所见构建电子病例数据集;
S5)用S3)所述新的CT图像语义分割数据集和S4)所述的电子病例数据集组建医学影像语料数据库。
8.一种治疗方案评级预测系统,其特征在于,所述系统包括:
S1)信息获取模块,用于收集脑卒中患者病情信息,其中所述患者病情信息包括患者CT图像病灶诊断所见和患者临床表现,所述患者CT图像病灶诊断所见由权利要求5所述CT图像诊断信息生成模型提供;
S2)评分模块,用于对S1)所述脑卒中患者病情信息进行评分;
S3)评级模块,用于根据S2)所述评分结果对患者病情进行评级;
S4)预测模块,用于根据S3)所述评级结果预测对应的治疗方案。
10.根据权利要求9所述的一种治疗方案评级预测系统,其特征在于,方法二所述脑卒中患者病情快速评级表由ASPECTS评分和CSS评分两部分评分综合得出,其中ASPECTS评分部分运算标准为ASPECTS评分*10*权重0.7,CSS评分部分运算标准为[(100-CSS评分)*权重0.3],两部分评分相加得到最终诊断评分,诊断评级按诊断评分划分,其中0-30分为危重三级,31-70分为中度二级,71-100分为轻微一级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110966567.4A CN113627564B (zh) | 2021-08-23 | 2021-08-23 | 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110966567.4A CN113627564B (zh) | 2021-08-23 | 2021-08-23 | 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627564A true CN113627564A (zh) | 2021-11-09 |
CN113627564B CN113627564B (zh) | 2024-07-02 |
Family
ID=78387344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110966567.4A Active CN113627564B (zh) | 2021-08-23 | 2021-08-23 | 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627564B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359194A (zh) * | 2021-12-27 | 2022-04-15 | 浙江大学 | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 |
CN114550915A (zh) * | 2022-02-22 | 2022-05-27 | 深圳市医未医疗科技有限公司 | 一种在影像诊断中自动生成报告的方法及系统 |
CN114569146A (zh) * | 2022-03-01 | 2022-06-03 | 西安大医集团股份有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
CN116189843A (zh) * | 2023-04-23 | 2023-05-30 | 索思(苏州)医疗科技有限公司 | 治疗方案推荐方法、装置、系统及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191422A (zh) * | 2018-07-09 | 2019-01-11 | 复旦大学 | 基于常规ct图像的缺血性脑卒中早期检测系统和方法 |
CN109410216A (zh) * | 2018-09-14 | 2019-03-01 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN110322444A (zh) * | 2019-05-31 | 2019-10-11 | 上海联影智能医疗科技有限公司 | 医疗图像处理方法、装置、存储介质及计算机设备 |
CN110853111A (zh) * | 2019-11-05 | 2020-02-28 | 上海杏脉信息科技有限公司 | 医学影像处理系统、模型训练方法及训练装置 |
CN111260700A (zh) * | 2020-01-09 | 2020-06-09 | 复旦大学 | 一种多参数磁共振图像全自动配准与分割方法 |
KR20210065768A (ko) * | 2019-11-27 | 2021-06-04 | 연세대학교 산학협력단 | 개인 맞춤형 뇌졸중 진단을 위한 임상 인자 및 의료 영상 처리 시스템 |
WO2021159759A1 (zh) * | 2020-09-04 | 2021-08-19 | 平安科技(深圳)有限公司 | 电子病历结构化方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-23 CN CN202110966567.4A patent/CN113627564B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191422A (zh) * | 2018-07-09 | 2019-01-11 | 复旦大学 | 基于常规ct图像的缺血性脑卒中早期检测系统和方法 |
CN109410216A (zh) * | 2018-09-14 | 2019-03-01 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN110322444A (zh) * | 2019-05-31 | 2019-10-11 | 上海联影智能医疗科技有限公司 | 医疗图像处理方法、装置、存储介质及计算机设备 |
CN110853111A (zh) * | 2019-11-05 | 2020-02-28 | 上海杏脉信息科技有限公司 | 医学影像处理系统、模型训练方法及训练装置 |
KR20210065768A (ko) * | 2019-11-27 | 2021-06-04 | 연세대학교 산학협력단 | 개인 맞춤형 뇌졸중 진단을 위한 임상 인자 및 의료 영상 처리 시스템 |
CN111260700A (zh) * | 2020-01-09 | 2020-06-09 | 复旦大学 | 一种多参数磁共振图像全自动配准与分割方法 |
WO2021159759A1 (zh) * | 2020-09-04 | 2021-08-19 | 平安科技(深圳)有限公司 | 电子病历结构化方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
田娟秀;刘国才;谷珊珊;鞠忠建;刘劲光;顾冬冬;: "医学图像分析深度学习方法研究与挑战", 自动化学报, no. 03, 15 March 2018 (2018-03-15) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359194A (zh) * | 2021-12-27 | 2022-04-15 | 浙江大学 | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 |
CN114550915A (zh) * | 2022-02-22 | 2022-05-27 | 深圳市医未医疗科技有限公司 | 一种在影像诊断中自动生成报告的方法及系统 |
CN114569146A (zh) * | 2022-03-01 | 2022-06-03 | 西安大医集团股份有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
CN116189843A (zh) * | 2023-04-23 | 2023-05-30 | 索思(苏州)医疗科技有限公司 | 治疗方案推荐方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113627564B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113627564B (zh) | 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 | |
CN112712879B (zh) | 医学影像报告的信息提取方法、装置、设备及存储介质 | |
Zuo et al. | Multimodal representations learning and adversarial hypergraph fusion for early Alzheimer’s disease prediction | |
US10733727B2 (en) | Application of deep learning for medical imaging evaluation | |
CN107193919A (zh) | 一种电子病历的检索方法及系统 | |
JP2018529134A (ja) | ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー | |
Li et al. | Ffa-ir: Towards an explainable and reliable medical report generation benchmark | |
CN111767952B (zh) | 一种可解释的肺结节良恶性分类方法 | |
CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
Hou et al. | Automatic report generation for chest X-ray images via adversarial reinforcement learning | |
Liu et al. | Recognition of digital dental X-ray images using a convolutional neural network | |
Dai et al. | Research on computer-aided diagnosis of Alzheimer’s disease based on heterogeneous medical data fusion | |
CN115862837A (zh) | 一种基于类型推理与语义约束的医学视觉问答方法 | |
CN114400086A (zh) | 一种基于深度学习的关节盘前移辅助诊断系统和方法 | |
Gaber et al. | Comprehensive assessment of facial paralysis based on facial animation units | |
CN111340807B (zh) | 病灶定位核心数据提取方法、系统、电子设备及存储介质 | |
Tang et al. | Work like a doctor: Unifying scan localizer and dynamic generator for automated computed tomography report generation | |
CN117237351A (zh) | 一种超声图像分析方法以及相关装置 | |
CN117524460A (zh) | 基于混合多模态数据和图卷积神经网络的疾病预测系统 | |
CN112200810A (zh) | 多模态的自动化脑室分割系统及其使用方法 | |
CN117316369A (zh) | 平衡跨模态信息的胸部影像诊断报告自动生成方法 | |
Qu et al. | Advancing diagnostic performance and clinical applicability of deep learning-driven generative adversarial networks for Alzheimer's disease | |
AU2021102129A4 (en) | Automatic labeling method of emphysema in CT image based on image report | |
Kalaivani et al. | A Deep Ensemble Model for Automated Multiclass Classification Using Dermoscopy Images | |
Li et al. | Nasolabial Folds Extraction based on Neural Network for the Quantitative Analysis of Facial Paralysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |