CN113627564A - 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 - Google Patents

基于深度学习的ct医学影像处理模型训练方法及诊疗系统 Download PDF

Info

Publication number
CN113627564A
CN113627564A CN202110966567.4A CN202110966567A CN113627564A CN 113627564 A CN113627564 A CN 113627564A CN 202110966567 A CN202110966567 A CN 202110966567A CN 113627564 A CN113627564 A CN 113627564A
Authority
CN
China
Prior art keywords
image
diagnosis
patient
semantic segmentation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110966567.4A
Other languages
English (en)
Inventor
李永鑫
瞿航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110966567.4A priority Critical patent/CN113627564A/zh
Publication of CN113627564A publication Critical patent/CN113627564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的CT医学影像处理模型训练方法及诊疗系统。其采用CT图像语义分割模型，为CT图像中的脑卒中核心梗死区的病灶分割提供精确的定位及分割效果，解决了磁共振图像设备因高成本难以在中小型医院普及和CT图像受图像原理限制难以辨别病灶位置和轮廓大小的实际问题；采用CT图像诊断信息生成模型，智能分析患者CT图像和临床表现，自动生成对应的诊断报告；采用治疗方案评级预测系统，综合脑卒中患者CT图像病灶诊断所见和患者临床表现，生成患者病情对应的治疗方案，降低了误诊率，减少诊断时间，有效提高病人存活率。

Description

基于深度学习的CT医学影像处理模型训练方法及诊疗系统
技术领域
本发明属于医疗设备技术领域，具体涉及一种基于深度学习的CT医学影像处理模型训练方法及联合诊疗系统。
背景技术
目前，市场上的基于人工智能的脑卒中医学影像处理系统主要设计思路均为利用深度学习算法对脑卒中患者的CT图像或磁共振DWI图像进行图像语义分割，将脑卒中患者医学影像成片中的病灶部位分割出来并进行可视化显示，作为辅助治疗手段提供给医生进行早期脑卒中的诊断。其中，训练基于深度学习的脑卒中病灶图像分割模型主要有以下3种研究方向：直接针对CT图像训练学习；直接针对磁共振DWI图像训练学习；将CT图像通过深度学习虚拟成DWI图像，利用深度学习进行图像分割，如技术实例：CN110853111A医学影像处理系统、模型训练方法及训练装置所示，该发明通过深度学习模型将CT图像虚拟成DWI图像，虚拟的DWI图像相比于原始CT图像，能够提供更精准全面的信息显示，但是虚拟的DWI图像无法完全替代实际的DWI图像，且该方法并没有最终完成对病灶的精准定位分割，无法提供具有参考价值的诊断结果。
磁共振DWI图像是当前针对早期脑卒中最敏感且特异性最高的诊断方法，DWI图像相比于CT图像可以提供有关脑卒中信息的更精准、全面的显示，因此极大地方便了医生进行早期脑卒中的诊断，是梗死核心区最准确的评估检测方式。但由于磁共振图像设备动辄上千万的价格，十倍于CT图像设备，所以磁共振图像设备的普及率相较于CT图像设备的普及率很低，且检查时间较长，部分病人难以配合。
CT是目前一种可行的脑卒中诊断方式，但是受CT成像原理的限制，CT图片上梗死核心区通常显示不清晰，与正常脑组织对比不明显，难以通过人眼判读，极其难于辨别。因此目前大部分产品和研究都将重点放在直接利用人工智能学习CT图像中对脑卒中病变部位的识别。但无论是利用深度学习办法还是传统机器学习办法来学习对脑卒中病变部位的识别都存在一个基础问题尚未解决，即用于训练机器学习模型需要的基础数据集准确性，由于CT图像中的脑卒中病变部位与正常脑组织在视觉上无明显差异，极其难于辨别，所以前期的数据集标注，主观性极大，无法确保统一标准和精准度。不准确，不规范的数据集进而会导致深度学习模型无法准确完整的学习脑卒中病灶的CT图像特点，从而导致目前大部分研究和技术的实用性和可行性极低，无法进入实际应用环节。
临床表现也是诊断病情的重要指标和参照，现有技术产品均只提供对脑卒中患者医学影像的处理和分析，并未考虑脑卒中患者的发病时间、临床症状、基础疾病等临床一般资料，脱离了临床的综合诊断，难以有足够的说服力证明其技术和产品的置信度。
现有技术产品在对医学影像处理分析后提供均为基于模板的检查所见，无法深度理解脑卒中患者医学影像特征与病情严重程度联系，不具备辅助治疗决策以及预后判读的能力，无绝对的技术优势和应用意义。
因此，如何制作精度准确、标准统一，结果可靠的脑卒中病灶CT数据集对准确识别脑卒中CT图像中的病灶具有十分必要，且考虑脑卒中患者的发病时间、临床症状、基础疾病等临床一般资料的诊疗系统对辅助医生进行脑卒中的诊疗具有十分重要的意义。
发明内容
针对上述问题，本发明提供了一种基于深度学习的CT医学影像处理模型训练方法，训练出的CT图像语义分割模型可以实现对CT图像中病灶的精准定位和有效分割；基于上述CT图像语义分割模型本发明提出一种基于深度学习的CT图像诊断信息生成模型，提供可供参考的病灶诊断信息；基于上述CT图像诊断信息生成模型，本发明提出一种治疗方案评级预测系统，提供具有参考价值的治疗方案，有效降低误诊率，减少诊断时间，提高病人存活率。
本发明提出的技术方案如下：
一方面本发明公开了一种基于深度学习的CT医学影像处理模型训练方法：
S1)采用ISLE数据集训练出磁共振DWI图像语义分割模型；
S2)采集预设时间窗口内脑卒中患者磁共振DWI图像和CT图像；
S3)将所述磁共振DWI图像和CT图像在空间解剖结构上进行配准；
S4)利用S1)所述磁共振DWI图像语义分割模型分割所述磁共振DWI图像中的病灶；
S5)利用S3)所述磁共振DWI图像和CT图像在空间解剖结构上的配准，将S4)中磁共振DWI图像中的病灶分割结果映射到CT图像中，对CT图像中的病灶进行分割标注；
S6)重复S2)-S5)，将S5)所述CT图像中的病灶分割结果制作成CT图像语义分割数据集；
S7)利用S6)所述CT图像语义分割数据集训练出CT图像语义分割模型。
作为优选，S1)所述磁共振DWI图像语义分割模型基于全卷积神经网络U-net训练得到。
作为优选，所述S3)的具体过程是：
S3.1)对所述磁共振DWI图像和CT图像进行预处理，滤除影响配准效果的因素；
S3.2)对所述CT图像进行空间变化，通过仿射变换，建立磁共振DWI图像和CT图像的空间对应关系；
S3.3)对所述CT图像进行插值操作，得到可以存储在计算机中的数字图像；
S3.4)对所述磁共振DWI图像和CT图像的配准效果进行相似性检测，其中相似性通过计算互信息值来判断；
S3.5)判断所述相似性检测结果是否最优，如果最优则输出配准参数和配准后的图像，否则修改初始变换参数，重复配准过程。
作为优选，S7)所述CT图像语义分割模型基于全卷积神经网络FCN8s训练得到。
一方面本发明公开了一种基于深度学习的CT图像诊断信息生成模型，该模型基于上述CT图像语义分割模型构建，构建过程包括以下步骤：
S1)将所述CT图像语义分割模型作为编码器待用；
S2)将应用于自然语言处理内的双向循环神经网络作为解码器待用；
S3)用S1)所述CT图像语义分割模型提取医学影像语料数据库中的CT图像；
S4)用S2)所述双向循环神经网络提取医学影像语料数据库中的电子病历文本数据集，将所述电子病历文本中的单词转化为预设维度的向量，并用上下文信息来丰富每一个单词的含义，计算每一个单词的表示，其中：
所述双向循环神经网络的确切形式如下：
Figure BDA0003224256610000049
et＝f(Wext+be)
Figure BDA0003224256610000041
Figure BDA0003224256610000042
Figure BDA0003224256610000043
式中h是预设维度，t是单词在电子病历文本中的索引，Ww是指定单词的编码矩阵，st是第t个单词的预设维度表示，We，Wf，Wb，Wd是学习参数，be，bf，bb，bd是相应偏差；
S5)制定一个定义CT图像-电子病历文本之间分数的函数，用于对齐CT图像和对应电子病例文本；
S6)构建CT图像诊断信息生成模型，其中具体构建过程如下：
S6.1)获取图像像素和输入向量序列；
S6.2)迭代递归关系来计算隐藏状态序列和输出序列，其中，递归关系如下：
Figure BDA0003224256610000044
Figure BDA00032242566100000410
yt＝softmax(Wohht+bo)
式中，Whi、Whx、Whh、Woh、xt、bh、bo是学习参数，
Figure BDA0003224256610000045
是所述CT图像语义分割模型的最后一层，xt是第t个输入向量，ht是第t个隐藏向量，yt是第t个输出向量，bv是图像信息；
S6.3)综合代价函数判断是否完成训练。
作为优选，所述S5)的具体过程是：
S5.1)针对电子病历文本中的单词引入与分割区域相对应的隐对齐变量，沿着所述电子病历文本的顺序形成一个链式结构的马尔科夫随机场，通过动态编程将能量最小化以找到最佳对齐方式，所述马尔科夫随机场表示如下：
Figure BDA0003224256610000046
Figure BDA0003224256610000047
Figure BDA0003224256610000048
式中aj是隐对齐变量，β是超参数，
Figure BDA0003224256610000051
是分割区域和单词之间的点积，表示相似性度量；
S5.2)将CT图像嵌入所述CT图像语义分割模型，将电子病历文本与所述双向循环神经网络嵌入在同一个多模态空间中，并通过公式
Figure BDA0003224256610000052
计算所述CT图像与电子病历文本之间得分；
S5.3)根据S5.2)所述CT图像与电子病历文本之间得分对齐CT图像和对应电子病例文本。
作为优选，S3)或S4)所述医学影像语料数据库的建立方式包括以下步骤：
S1)收集脑卒中患者CT图像及对应的临床表现、检查所见和诊断所见；
S2)用所述CT图像语义分割模型对所述CT图像进行分割处理；
S3)将S2)中CT图像的分割结果制作成新的CT图像语义分割数据集；
S4)用所述CT图像对应的临床表现、检查所见和诊断所见构建电子病例数据集；
S5)用S3)所述新的CT图像语义分割数据集和S4)所述的电子病例数据集组建医学影像语料数据库。
一方面本发明公开了一种治疗方案评级预测系统，由上述CT图像诊断信息生成模型为所述系统提供诊断信息，所述系统包括：
S1)信息获取模块，用于收集脑卒中患者病情信息，其中所述患者病情信息包括患者CT图像病灶诊断所见和患者临床表现；
S2)评分模块，用于对S1)所述脑卒中患者病情信息进行评分；
S3)评级模块，用于根据S2)所述评分结果对患者病情进行评级；
S4)预测模块，用于根据S3)所述评级结果预测对应的治疗方案。
作为优选，S3)所述评级模块提供了两种不同的评级方法，包括：
方法一：使用RCNN深度学习网络进行评级；
方法二：使用脑卒中患者病情快速评级表进行评级，其中，所述脑卒中患者病情快速评级表详情如下：
Figure BDA0003224256610000053
Figure BDA0003224256610000061
作为优选，方法二所述脑卒中患者病情快速评级表由Alberta卒中项目早期计算机断层扫描评分(Alberta Stroke Program Early CT Score，ASPECTS)和中国脑卒中患者临床神经功能缺损程度评分量表(1995)(China Stroke Scale，CSS)两部分评分综合得出，其中ASPECTS评分部分运算标准为ASPECTS评分*10*权重0.7，CSS评分部分运算标准为[(100-CSS评分)*权重0.3]，两部分评分相加得到最终诊断评分，诊断评级按诊断评分划分，其中0-30分为危重三级，31-70分为中度二级，71-100分为轻微一级。
本发明提出的CT医学影像处理模型训练方法训练出的CT图像语义分割模型，为CT图像中的脑卒中核心梗死区的病灶分割提供精确的定位及分割效果，解决了磁共振图像设备因高成本难以在中小型医院普及和CT图像受图像原理限制难以辨别病灶位置和轮廓大小的实际问题。
本发明提出的基于深度学习的CT图像诊断信息生成模型，智能分析患者CT图像和临床表现，自动生成对应的诊断报告。
本发明提出的治疗方案评级预测系统，综合脑卒中患者CT图像病灶诊断所见和患者临床表现，生成患者病情对应的治疗方案。对于缺乏经验的放射科医生和病理学家，特别是那些在医疗保健质量相对较低的农村地区工作的医生，提供了极具参考价值的诊断信息和治疗决策，降低了误诊率，减少诊断时间，有效提高病人存活率。
附图说明
图1是本发明实施例中CT图像语义分割模型训练方法流程示意图；
图2是本发明实施例中磁共振DWI图像语义分割模型结构示意图；
图3是本发明实施例中脑卒中患者磁共振DWI和CT图像配准流程示意图；
图4是本发明实施例中CT数据集配准生成流程示意图；
图5是本发明实施例中CT图像脑卒中图像语义分割网络模型结构示意图；
图6是本发明实施例中CT图像脑卒中图像语义分割网络模型训练方法示意图；
图7是本发明实施例中脑卒中患者CT图像和对应英文电子病例文本对齐原理示意图；
图8是本发明实施例中CT图像诊断信息生成模型结构示意图；
图9是本发明实施例中医学影像语料数据库建立方法示意图；
图10是本发明实施例中医学影像语料数据库建立流程示意图；
图11是本发明实施例中治疗方案评级预测系统的工作流程示意图；
图12是本发明实施例中患者的脑部CT图像；
图13是本发明实施例中RCNN网络结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明的基于深度学习的CT医学影像处理模型训练方法和CT医学影像联合诊疗系统作进一步详细说明。
本实施例提出一种基于深度学习的CT医学影像处理模型训练方法，图1是本实施例模型训练方法的流程图，参照图1，所述模型训练方法包括以下步骤：
步骤1：使用脑卒中磁共振公开数据集ISLE基于全卷积神经网络U-net单独训练完善的磁共振DWI图像语义分割模型，模型结构如图2所示；
步骤2：采集大量脑卒中患者在<1h时间窗口内脑部的磁共振DWI图像和CT图像。
步骤3：将采集的磁共振DWI图像和CT图像在空间解剖结构上进行配准，配准流程如图3所示，参照图3，所述配准过程包括以下步骤：
步骤3.1：对采集的磁共振DWI图像和CT图像进行预处理，使参考图像和浮动图像的信息和空间分布保持一致，滤除噪声等影响配准效果的因素；
步骤3.2：对所述CT图像进行空间变化，通过仿射变换，建立磁共振DWI图像和CT图像的空间对应关系；
步骤3.3：使用部分体积(Partial Volume，PV)插值算法，对所述CT图像进行插值操作，解决图像在经过空间变换后像素点不是整数的问题，得到可以存储在计算机中的数字图像；
步骤3.4：对所述磁共振DWI图像和CT图像的配准效果进行相似性检测，通过计算互信息值对两幅图像的匹配效果进行定量衡量；
步骤3.5：判断所述相似性检测结果是否最优，如果最优则输出配准参数和配准后的图像，否则修改初始变换参数，重复配准过程；
步骤4：再经由步骤1训练的磁共振DWI图像分割模型对脑卒中患者的磁共振图像进行分析处理，对病患的脑卒中病灶进行精准分割和定位；
步骤5：通过步骤3对患者磁共振DWI图像和CT图像在空间解剖结构上的配准，间接的将病灶分割结果精准在CT图像上定位，形成分割精度准确、标准统一，结果可靠的脑卒中病灶CT数据集，CT数据集配准生成流程如图4所示；
步骤6：重复步骤2-步骤5，采集大量CT数据集。
步骤7：使用步骤6采集的CT数据集，基于全卷积神经网络FCN8s，训练出精准、真实，具有实际意义的脑卒中CT图像语义分割模型，模型结构如图5所示，训练方法如图6所示；
本实施例基于上述CT图像语义分割模型，设计了一种基于深度学习的CT图像诊断信息生成模型，模型构建步骤如下：
步骤1：将上述的CT图像语义分割模型作为编码器待用；
步骤2：将应用于自然语言处理内的双向循环神经网络(BidirectionalRecurrent Neural Network，BRNN)作为解码器待用；
步骤3：提取医学影像语料数据库中的脑卒中患者CT图像，利用CT图像语义分割模型针对ASPECTS评分提取脑卒中患者CT图像中10个图像区域，再加上整张CT图像，计算一共11个图像的特征，每个图像区域表示为h维的向量；
步骤4：提取医学影像语料数据库中的英文电子病历文本数据集，利用BRNN把病历文本中的每一个单词转化为h维的向量，并用上下文信息来丰富每一个单词的含义，计算每一个单词的表示。索引t＝1…n，表示一个单词在句子中的位置，BRNN的确切形式如下
Figure BDA0003224256610000084
et＝f(Wext+be)
Figure BDA0003224256610000081
Figure BDA0003224256610000082
Figure BDA0003224256610000083
这里，t是在单词词汇表中第t个单词的索引处具有唯一一个的指标列向量。权重Ww指定一个字嵌入矩阵，用300维的word2vec权重初始化。第t个单词的最终h维表示st是句子中该单词和其周围上下文的函数。学习参数We，Wf，Wb，Wd和相应的偏差为be，bf，bb，bd。
步骤5：对齐脑卒中患者CT图像和对应英文电子病例文本，策略是制定一个图像-句子分数作为个别地区单词分数的函数。将第i个区域和第t个单词之间的点积
Figure BDA0003224256610000091
解释为相似性度量，并用它来定义图像k和句子i之间的分数为：
Figure BDA0003224256610000092
具体地，给定N个单词的句子和M个分割目标的图像，针对N个单词(j＝1……N)可以引入M个隐对齐变量(latent alignment variables)：aj∈{1...M}，沿着句子的顺序形成一个链式结构的马尔科夫随机场(Markov random field,MRF)
Figure BDA0003224256610000093
Figure BDA0003224256610000094
Figure BDA0003224256610000095
其中β是超参数，控制对较长的单词短语的亲和力。这个参数允许我们在单词比对(β＝0)之间进行插值，并且当β很大时，将整个句子对齐到一个单一的最大得分区域。我们通过动态编程将能量最小化以找到最佳对齐方式,这个过程的输出是一组使用文本段注释的图像区域。我们现在描述一种基于这些对应关系生成新词组的方法。此时，模型的输出是一个分割目标的图像合集，每个分割目标用文本片段(text segments)进行标注。脑卒中患者CT图像和对应英文电子病例文本对齐原理如图7所示：
Skl为图像-句子评分，脑卒中病灶分割区域嵌入FCN(左图)。电子病例中单词(通过上下文丰富)与BRNN(右)嵌入在同一个多模态空间中。两两相似度用内积(灰度显示的大小)计算，最后用公式
Figure BDA0003224256610000101
降为图像-句子得分。
步骤6：构建用于生成CT图像诊断信息的CT图像诊断信息生成模型，模型结构如图8所示，具体地，获取图像像素I和输入向量序列x1,…,xt，然后通过迭代t＝1到T的递归关系来计算隐藏状态序列h1,…,ht和输出序列y1,…,yt。递归关系如下：
Figure BDA0003224256610000102
Figure BDA0003224256610000105
yt＝softmax(Wohht+bo)
其中学习的参数包括Whi、Whx、Whh、Woh、xt、bh、bo，
Figure BDA0003224256610000103
是FCN的最后一层，输出向量yt代表了词典中单词的未经正则化的分布log概率。BRNN被训练用于根据一个单词xt，前一个上下文ht-1的组合来预测下一个单词yt。通过第一步的偏差交互作用，我们将BRNN的预测条件设置在图像信息bv上。我们将
Figure BDA0003224256610000104
x1设置为一个特殊的START向量，并将期望的标签y1作为序列的第一个单词。类似地，我们将x2设为第一个单词的单词向量，并期望网络能够预测第二个单词，等等。最后，在xT表示最后一个单词的最后一步，目标标签被设置为一个特殊的END标记。代价函数是最大化分配给目标标签(即Softmax分类器)的日志概率。
其中，用于为上述CT图像诊断信息生成模型提供专用数据的医学影像语料数据库建立方法如图9所示，建立流程如图10所示，参照图10，所述数据库建立方法包括如下步骤：
步骤1：收集脑卒中患者CT图像及对应的临床表现、检查所见和诊断所见；
步骤2：用所述CT图像语义分割模型对所述CT图像进行分割处理；
步骤3：将步骤2中CT图像的分割结果制作成新的CT图像语义分割数据集；
步骤4：将所述CT图像对应的临床表现、检查所见和诊断所见描述按照规范化模板整理并翻译为专业英文文本，构建电子病例数据集；
步骤5：用所述新的CT图像语义分割数据集和对应的电子病例数据集组建医学影像语料数据库。
本实施例基于上述CT图像诊断信息生成模型提出一种治疗方案评级预测系统，系统的工作流程如图11所示，图12为本实施例中该名患者的脑部CT图像，参照图11，工作步骤如下：
步骤1：收集患者病情信息。患者病情信息由两部分信息组成，第一部分为患者CT图像病灶诊断所见，该部分信息由CT图像诊断信息生成模型智能生成的患者脑卒中病灶诊断所见信息自动生成，本实施例中该患者检查所见：左侧顶枕叶见斑片状低密度影，境界欠清，诊断所见：多发性脑梗死；第二部分为患者临床表现，由主治医生给出，该患者临床表现：1h前无明显诱因言语不清，NIHSS评分2分。
步骤2：根据上述患者病情信息对患者病情进行评分。其中第一部分患者CT图像病灶诊断所见评分参照ASPECTS评分，具体评分细则如下：在CT影像上选取大脑中动脉(middle cerebralartery，MCA)供血区2个层面的10个区域：①核团层面(即丘脑和纹状体平面)，分为M1、M2、M3、岛叶l、豆状核L、尾状核C和内囊后肢IC7个区域；②核团以上层面(在核团水平上2cm)，包括M4、M5和M6。两者的界限为尾状核头部，在横断面CT影像中，任何位于尾状核及其以下层面的缺血性改变均定义为核团层面，而在尾状核头部层面以上的缺血性改变则定义为核团上层面。
根据上述评分细则，本实施例中该患者的ASPECT评分为8分(扣分的区域为左侧M2大脑中动脉岛叶外侧皮质区、左侧M3大脑中动脉后皮层区)。
第二部分患者临床表现评分为主治医师参照CSS对患者的临床表现作出的评分，具体评分细则如下：该量表共包括8个维度，分别是意识、水平凝视功能、面瘫、言语、上肢肌力、手肌力、下肢肌力和步行能力。
根据上述评分细则，本实施例中该患者的CSS评分为14分(得分的分项为：左侧上肢、下肢肌力降低，不能独立行走，言语不清)。
步骤3：根据上述评分结果由RCNN深度学习网络对患者病情进行评级，RCNN将患者病情分为三个等级(危重三级，中度二级，轻微一级)，本实施例中该患者的病情评级为轻微一级，RCNN网络结构如图13所示。
另外，本实施例还提供了一种脑卒中患者病情快速评级表作为另一种可供选择的评级方法。
Figure BDA0003224256610000121
该表由Alberta卒中项目早期计算机断层扫描评分和中国脑卒中患者临床神经功能缺损程度评分量表两部分评分综合得出，其中ASPECTS评分部分运算标准为ASPECTS评分*10*权重0.7，CSS评分部分运算标准为[(100-CSS评分)*权重0.3]，两部分评分相加得到最终诊断评分，诊断评级按诊断评分划分，其中0-30分为危重三级，31-70分为中度二级，71-100分为轻微一级。
该表将患者根据ASPECTS评分分为3个亚组：0-4分组(较大体积梗死)；5-7分组(中等体积梗死)；8-10分组(小体积梗死)；根据CSS评分分为轻型(0～15分)、中型(16～30分)、重型(31～45分)。
此评级表由上述RCNN深度学习网络最终实验结果证明真实，准确，有效。
本实施例中该患者的ASPECT评分为8分，CSS评分为14分，查询脑卒中患者病情快速评级表可知评级结果为轻微一级，与RCNN的评级结果一致。
步骤4：根据诊断评级结果，给出具有参考价值的治疗方案决策。本实施例中医生可参考轻微一级决策对该患者进行治疗。
Figure BDA0003224256610000122
Figure BDA0003224256610000131
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (10)

1.一种基于深度学习的CT医学影像处理模型训练方法，其特征在于，包括以下步骤：
S1)采用ISLE数据集训练出磁共振DWI图像语义分割模型；
S2)采集预设时间窗口内脑卒中患者磁共振DWI图像和CT图像；
S3)将所述磁共振DWI图像和CT图像在空间解剖结构上进行配准；
S4)利用S1)所述磁共振DWI图像语义分割模型分割所述磁共振DWI图像中的病灶；
S5)利用S3)所述磁共振DWI图像和CT图像在空间解剖结构上的配准，将S4)中磁共振DWI图像中的病灶分割结果映射到CT图像中，对CT图像中的病灶进行分割标注；
S6)重复S2)-S5)，将S5)所述CT图像中的病灶分割结果制作成CT图像语义分割数据集；
S7)利用S6)所述CT图像语义分割数据集训练出CT图像语义分割模型。
2.根据权利要求1所述的一种基于深度学习的CT医学影像处理模型训练方法，其特征在于，S1)所述磁共振DWI图像语义分割模型基于全卷积神经网络U-net训练得到。
3.根据权利要求1所述的一种基于深度学习的CT医学影像处理模型训练方法，其特征在于，所述S3)的具体过程是：
S3.1)对所述磁共振DWI图像和CT图像进行预处理，滤除影响配准效果的因素；
S3.2)对所述CT图像进行空间变化，通过仿射变换，建立磁共振DWI图像和CT图像的空间对应关系；
S3.3)对所述CT图像进行插值操作，得到可以存储在计算机中的数字图像；
S3.4)对所述磁共振DWI图像和CT图像的配准效果进行相似性检测，其中相似性通过计算互信息值来判断；
S3.5)判断所述相似性检测结果是否最优，如果最优则输出配准参数和配准后的图像，否则修改初始变换参数，重复配准过程。
4.根据权利要求1所述的一种基于深度学习的CT医学影像处理模型训练方法，其特征在于，S7)所述CT图像语义分割模型基于全卷积神经网络FCN8s训练得到。
5.一种基于深度学习的CT图像诊断信息生成模型，其特征在于，所述CT图像诊断信息生成模型，基于权利要求1中S7)所述CT图像语义分割模型构建，构建过程包括以下步骤：
S1)将所述CT图像语义分割模型作为编码器待用；
S2)将应用于自然语言处理内的双向循环神经网络作为解码器待用；
S3)用S1)所述CT图像语义分割模型提取医学影像语料数据库中的CT图像；
S4)用S2)所述双向循环神经网络提取医学影像语料数据库中的电子病历文本数据集，将所述电子病历文本中的单词转化为预设维度的向量，并用上下文信息来丰富每一个单词的含义，计算每一个单词的表示，其中：
所述双向循环神经网络的确切形式如下：
Figure FDA0003224256600000021
et＝f(Wext+be)
Figure FDA0003224256600000022
Figure FDA0003224256600000023
Figure FDA0003224256600000024
式中h是预设维度，t是单词在电子病历文本中的索引，Ww是指定单词的编码矩阵，st是第t个单词的预设维度表示，We，Wf，Wb，Wd是学习参数，be，bf，bb，bd是相应偏差；
S5)制定一个定义CT图像-电子病历文本之间分数的函数，用于对齐CT图像和对应电子病例文本；
S6)构建CT图像诊断信息生成模型，其中具体构建过程如下：
S6.1)获取图像像素和输入向量序列；
S6.2)迭代递归关系来计算隐藏状态序列和输出序列，其中，递归关系如下：
Figure FDA0003224256600000025
Figure FDA0003224256600000026
yt＝softmax(Wohht+bo)
式中，Whi、Whx、Whh、Woh、xt、bh、bo是学习参数，
Figure FDA0003224256600000027
是所述CT图像语义分割模型的最后一层，xt是第t个输入向量，ht是第t个隐藏向量，yt是第t个输出向量，bv是图像信息；
S6.3)综合代价函数判断是否完成训练。
6.根据权利要求5所述的一种基于深度学习的CT图像诊断信息生成模型，其特征在于，所述S5)的具体过程是：
S5.1)针对电子病历文本中的单词引入与分割区域相对应的隐对齐变量，沿着所述电子病历文本的顺序形成一个链式结构的马尔科夫随机场，通过动态编程将能量最小化以找到最佳对齐方式，所述马尔科夫随机场表示如下：
Figure FDA0003224256600000031
Figure FDA0003224256600000032
Figure FDA0003224256600000033
式中aj是隐对齐变量，β是超参数，
Figure FDA0003224256600000034
是分割区域和单词之间的点积，表示相似性度量；
S5.2)将CT图像嵌入所述CT图像语义分割模型，将电子病历文本与所述双向循环神经网络嵌入在同一个多模态空间中，并通过公式
Figure FDA0003224256600000035
计算所述CT图像与电子病历文本之间得分；
S5.3)根据S5.2)所述CT图像与电子病历文本之间得分对齐CT图像和对应电子病例文本。
7.根据权利要求5所述的一种基于深度学习的CT图像诊断信息生成模型，其特征在于，S3)或S4)所述医学影像语料数据库的建立方式包括以下步骤：
S1)收集脑卒中患者CT图像及对应的临床表现、检查所见和诊断所见；
S2)用所述CT图像语义分割模型对所述CT图像进行分割处理；
S3)将S2)中CT图像的分割结果制作成新的CT图像语义分割数据集；
S4)用所述CT图像对应的临床表现、检查所见和诊断所见构建电子病例数据集；
S5)用S3)所述新的CT图像语义分割数据集和S4)所述的电子病例数据集组建医学影像语料数据库。
8.一种治疗方案评级预测系统，其特征在于，所述系统包括：
S1)信息获取模块，用于收集脑卒中患者病情信息，其中所述患者病情信息包括患者CT图像病灶诊断所见和患者临床表现，所述患者CT图像病灶诊断所见由权利要求5所述CT图像诊断信息生成模型提供；
S2)评分模块，用于对S1)所述脑卒中患者病情信息进行评分；
S3)评级模块，用于根据S2)所述评分结果对患者病情进行评级；
S4)预测模块，用于根据S3)所述评级结果预测对应的治疗方案。
9.根据权利要求8所述的一种治疗方案评级预测系统，其特征在于，S3)所述评级模块提供了两种不同的评级方法，包括：
方法一：使用RCNN深度学习网络进行评级；
方法二：使用脑卒中患者病情快速评级表进行评级，其中，所述脑卒中患者病情快速评级表详情如下：
Figure FDA0003224256600000041
10.根据权利要求9所述的一种治疗方案评级预测系统，其特征在于，方法二所述脑卒中患者病情快速评级表由ASPECTS评分和CSS评分两部分评分综合得出，其中ASPECTS评分部分运算标准为ASPECTS评分*10*权重0.7，CSS评分部分运算标准为[(100-CSS评分)*权重0.3]，两部分评分相加得到最终诊断评分，诊断评级按诊断评分划分，其中0-30分为危重三级，31-70分为中度二级，71-100分为轻微一级。
CN202110966567.4A 2021-08-23 2021-08-23 基于深度学习的ct医学影像处理模型训练方法及诊疗系统 Pending CN113627564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110966567.4A CN113627564A (zh) 2021-08-23 2021-08-23 基于深度学习的ct医学影像处理模型训练方法及诊疗系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110966567.4A CN113627564A (zh) 2021-08-23 2021-08-23 基于深度学习的ct医学影像处理模型训练方法及诊疗系统

Publications (1)

Publication Number Publication Date
CN113627564A true CN113627564A (zh) 2021-11-09

Family

ID=78387344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110966567.4A Pending CN113627564A (zh) 2021-08-23 2021-08-23 基于深度学习的ct医学影像处理模型训练方法及诊疗系统

Country Status (1)

Country Link
CN (1) CN113627564A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550915A (zh) * 2022-02-22 2022-05-27 深圳市医未医疗科技有限公司 一种在影像诊断中自动生成报告的方法及系统
CN114569146A (zh) * 2022-03-01 2022-06-03 西安大医集团股份有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN116189843A (zh) * 2023-04-23 2023-05-30 索思（苏州）医疗科技有限公司 治疗方案推荐方法、装置、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191422A (zh) * 2018-07-09 2019-01-11 复旦大学 基于常规ct图像的缺血性脑卒中早期检测系统和方法
CN109410216A (zh) * 2018-09-14 2019-03-01 北京市商汤科技开发有限公司 一种缺血性脑卒中图像区域分割方法及装置
CN110322444A (zh) * 2019-05-31 2019-10-11 上海联影智能医疗科技有限公司 医疗图像处理方法、装置、存储介质及计算机设备
CN110853111A (zh) * 2019-11-05 2020-02-28 上海杏脉信息科技有限公司 医学影像处理系统、模型训练方法及训练装置
CN111260700A (zh) * 2020-01-09 2020-06-09 复旦大学 一种多参数磁共振图像全自动配准与分割方法
KR20210065768A (ko) * 2019-11-27 2021-06-04 연세대학교 산학협력단 개인 맞춤형 뇌졸중 진단을 위한 임상 인자 및 의료 영상 처리 시스템
WO2021159759A1 (zh) * 2020-09-04 2021-08-19 平安科技（深圳）有限公司 电子病历结构化方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191422A (zh) * 2018-07-09 2019-01-11 复旦大学 基于常规ct图像的缺血性脑卒中早期检测系统和方法
CN109410216A (zh) * 2018-09-14 2019-03-01 北京市商汤科技开发有限公司 一种缺血性脑卒中图像区域分割方法及装置
CN110322444A (zh) * 2019-05-31 2019-10-11 上海联影智能医疗科技有限公司 医疗图像处理方法、装置、存储介质及计算机设备
CN110853111A (zh) * 2019-11-05 2020-02-28 上海杏脉信息科技有限公司 医学影像处理系统、模型训练方法及训练装置
KR20210065768A (ko) * 2019-11-27 2021-06-04 연세대학교 산학협력단 개인 맞춤형 뇌졸중 진단을 위한 임상 인자 및 의료 영상 처리 시스템
CN111260700A (zh) * 2020-01-09 2020-06-09 复旦大学 一种多参数磁共振图像全自动配准与分割方法
WO2021159759A1 (zh) * 2020-09-04 2021-08-19 平安科技（深圳）有限公司 电子病历结构化方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田娟秀;刘国才;谷珊珊;鞠忠建;刘劲光;顾冬冬;: "医学图像分析深度学习方法研究与挑战", 自动化学报, no. 03, 15 March 2018 (2018-03-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550915A (zh) * 2022-02-22 2022-05-27 深圳市医未医疗科技有限公司 一种在影像诊断中自动生成报告的方法及系统
CN114569146A (zh) * 2022-03-01 2022-06-03 西安大医集团股份有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN116189843A (zh) * 2023-04-23 2023-05-30 索思（苏州）医疗科技有限公司 治疗方案推荐方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
CN113627564A (zh) 基于深度学习的ct医学影像处理模型训练方法及诊疗系统
CN112712879B (zh) 医学影像报告的信息提取方法、装置、设备及存储介质
Zuo et al. Multimodal representations learning and adversarial hypergraph fusion for early Alzheimer’s disease prediction
Liu et al. Medical-vlbert: Medical visual language bert for covid-19 ct report generation with alternate learning
US10733727B2 (en) Application of deep learning for medical imaging evaluation
JP2018529134A (ja) ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー
CN109920538B (zh) 一种基于数据增强的零样本学习方法
Li et al. Ffa-ir: Towards an explainable and reliable medical report generation benchmark
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
Beddiar et al. Automatic captioning for medical imaging (MIC): a rapid review of literature
CN111430025B (zh) 一种基于医疗影像数据扩增的疾病诊断模型训练方法
CN112466462B (zh) 一种基于图深度学习的emr信息关联及演化方法
Liu et al. Recognition of digital dental X-ray images using a convolutional neural network
Huang et al. Enhancing representation in radiography-reports foundation model: A granular alignment algorithm using masked contrastive learning
CN117237351B (zh) 一种超声图像分析方法以及相关装置
Dai et al. Research on computer-aided diagnosis of Alzheimer’s disease based on heterogeneous medical data fusion
CN111340807B (zh) 病灶定位核心数据提取方法、系统、电子设备及存储介质
CN112200810A (zh) 多模态的自动化脑室分割系统及其使用方法
AU2021102129A4 (en) Automatic labeling method of emphysema in CT image based on image report
CN115862837A (zh) 一种基于类型推理与语义约束的医学视觉问答方法
Qu et al. Advancing diagnostic performance and clinical applicability of deep learning-driven generative adversarial networks for Alzheimer's disease
CN114400086A (zh) 一种基于深度学习的关节盘前移辅助诊断系统和方法
Tang et al. Work like a doctor: Unifying scan localizer and dynamic generator for automated computed tomography report generation
Kalaivani et al. A Deep Ensemble Model for Automated Multiclass Classification Using Dermoscopy Images
CN115760824B (zh) 一种皮肤病辅助诊断系统及方法、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination