CN110223285A - 基于动物迁移和神经网络模型的影像结果预测方法及系统 - Google Patents

基于动物迁移和神经网络模型的影像结果预测方法及系统 Download PDF

Info

Publication number
CN110223285A
CN110223285A CN201910508918.XA CN201910508918A CN110223285A CN 110223285 A CN110223285 A CN 110223285A CN 201910508918 A CN201910508918 A CN 201910508918A CN 110223285 A CN110223285 A CN 110223285A
Authority
CN
China
Prior art keywords
network
treatment
image
segmentation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910508918.XA
Other languages
English (en)
Other versions
CN110223285B (zh
Inventor
杨利
邹婷
王丹
孟舒娟
彭健
吴静
高小平
王罗彬
张子曙
白皛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Xiangya Hospital of Central South University
Original Assignee
Second Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Xiangya Hospital of Central South University filed Critical Second Xiangya Hospital of Central South University
Priority to CN201910508918.XA priority Critical patent/CN110223285B/zh
Publication of CN110223285A publication Critical patent/CN110223285A/zh
Application granted granted Critical
Publication of CN110223285B publication Critical patent/CN110223285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于动物迁移和神经网络模型的影像结果预测方法及系统，包括如下步骤：利用同一疾病的动物模型采集动物影像数据，以及采集同一疾病的病患影像数据，包括：治疗前的CTP影像、治疗后或梗死后的DWI‑MRI影像；获取分割网络的训练数据，并训练分割网络，以及利用训练后的分割网络生成每个样本的CBF、CBV、TTP、TTD的四个灌注分割图；利用样本的四个灌注分割图、以及治疗后的DWI‑MRI影像或梗死后的DWI‑MRI影像训练第一分类网络，利用每组病患中每个病患样本的四个灌注分割图、mRS评分以及90天是否死亡的数据训练第二分类网络。通过该方法实现不同治疗方法的结果预测，为患者治疗提供了理论支持。

Description

基于动物迁移和神经网络模型的影像结果预测方法及系统
技术领域
本发明属于医疗信息技术领域，具体涉及一种基于动物迁移和神经网络模型的影像结果预测方法及系统。
背景技术
脑梗死又称缺血性脑卒中，是指各种脑血管病变所致脑部血液供应障碍，导致局部脑组织缺血、缺氧性坏死，而迅速出现相应神经功能缺损的一类临床综合征，是导致世界人口死亡的重要原因，也是导致人类残疾的主要原因之一。而脑卒中的救治效果具有极强的时间依赖性，急性缺血性脑卒中治疗时间窗窄，越早治疗效果越好。使用重组组织型纤溶酶原激活剂(Recombinant tissue plasminogen activator，r-tPA)进行静脉溶栓治疗(在发病4.5h内)是目前最有效的治疗方法之一。最近5年血管内治疗取得巨大的突破，多项具有里程碑意义的多中心、前瞻性、随机、开放、随机终点的临床试验均证实前循环大血管闭塞性脑卒中患者在治疗时间窗内(通常是6小时)应用机械取栓术具有显著的临床获益。尽管机械取栓和静脉溶栓都能使急性缺血性脑卒中患者获益，但国内公众对于脑梗死缺乏认识，且脑梗死的时间窗极短，导致大多数来医院就诊的患者均已错过救治的最佳溶栓或取栓的时间窗，只能选择保守治疗。于是临床医生如何在短时间内作出最正确的临床决策便成为了重中之重。2018美国急性缺血性卒中早期管理指南新增推荐，根据计算机断层扫描灌注成像(computerized tomography perfusion，CTP)、磁共振成像-弥散加权成像(diffusion weighted imaging-Magnetic Resonance Imaging，DWI-MRI)显示在发病后6～24h内前循环大血管闭塞的急性缺血性卒中患者进行机械取栓治疗，应该严格符合经随机临床试验证实的影像学检查标准，且其他条件满足筛选标准，才适宜采取机械取栓治疗，进而获得短期或长期临床预后的改善。所以，评估筛选不同血管再通治疗方法的潜在获益病人具有十分重要的临床意义。
临床实践中，基于神经影像分析获得脑梗死病灶缺血半暗带是目前评估筛选潜在获益病人的最常用方法。目前公认的观点是，在梗死核心区周围存在着细胞电活动消失但仍存活的神经元，影像学上表现为梗死核心周围的缺血半暗带，若该区域脑血流迅速恢复，就可恢复神经元功能，改善神经功能的缺损，提高患者预后的可能，如脑缺血持续存在或脑供血进一步下降，缺血半暗带不可逆地进展为梗死核心。基于神经影像分析获得脑梗死病灶缺血半暗带是目前评估筛选潜在获益病人的最常用方法。目前临床主要有两种影像检查技术可以较为可靠的获取脑梗死病灶缺血半暗带，一是核磁共振成像(MRI)，二是计算机断层扫描灌注成像(CTP)。在脑梗死超急性期，磁共振成像序列DWI(弥散加权成像)与PWI(弥散灌注成像)错配区域即为缺血半暗带，该技术准确性高，但其存在明显缺点，即国内只有很少数医院开展对急性脑梗死病人的急诊MRI检查，并且MRI扫描获取影像时间较长，对于神经介入时间窗内分秒必争的急性脑梗死病人MRI并非理想的评估分析手段。CT灌注成像(CTP)是基于CT动态扫描序列的图像处理软件包，是在静脉快速团注对比剂时，对感兴趣区层面进行连续CT扫描，从而获得感兴趣区时间--密度曲线，并利用不同的数学模型，计算出脑部血流量、血容量、平均通过时间及达峰时间等参数图，并能自动计算核心梗死区和半影带的比值，能更有效、量化反映局部脑组织血流灌注量。有效协助医生发现脑缺血灶，帮助医生进行脑梗死的早期诊断、预后，及溶栓治疗的效果评价。然而研究表明虽然缺血半暗带是影响介入治疗疗效的重要影响因素之一，但该单一影像学因素并不能全面、准确反映血管再通治疗疗效及临床预后，只有使用包含更多神经影像细节信息的原始完整影像才能更好地预测血管再通治疗的疗效及临床预后。然而传统的神经影像分析技术无法完成对原始影像的所有细节信息进行有效分析处理，而机器学习和深度学习技术提供了新的可能途径。
发明内容
本发明的目的是提供一种基于动物迁移和神经网络模型的影像结果预测方法及系统，一方面利用动物迁移模型增加样本数据，由于动物的数量以及实验过程为可控制的，为后续影像分析提供更多数据基础；另一方面，基于神经网络自身优势与特点利用神经网络对更多的原始影像的细节信息进行有效处理，使DWI-MRI影像上每个像素点对应是个梗死的结果的可靠性进一步提升。
本发明提供的一种基于动物迁移和神经网络模型的影像结果预测方法，包括如下步骤：
S1：利用同一疾病的动物模型采集动物影像数据，以及采集同一疾病的病患影像数据；
其中，每个动物和病患的影像数据均作为一个样本的影像数据；
根据是否进行治疗以及治疗方法对动物进行分组得到不同治疗方法的动物治疗组以及未治疗的动物观察组，动物治疗组的影像数据包括治疗前的CTP影像、治疗后的DWI-MRI影像；动物观察组的影像数据包括治疗前的CTP影像和DWI-MRI影像、预设时长后的DWI-MRI影像；
根据是否进行治疗以及所述治疗方法对病患进行分组得到不同治疗方法的病患治疗组以及未治疗的病患观察组，病患观察组的影像数据至少包括治疗前的CTP影像、预设时长后的DWI-MRI影像，病患治疗组的影像数据至少包括治疗前的CTP影像、治疗后DWI-MRI影像，存在部分病患的影像数据还包括治疗前的DWI-MRI影像；
S2：从步骤S1的影像数据中获取分割网络的训练数据，并训练所述分割网络，以及利用训练后的分割网络生成每个样本的CBF、CBV、TTP、TTD的四个灌注分割图；
其中，所述分割网络的输入数据为CTP影像，输出数据为四个灌注分割图；
所述训练数据为动物观察组的影像数据以及存在治疗前的DWI-MRI影像的病患样本的影像数据，其中，利用样本两个时刻的DWI-MRI影像生成样本金标准以及根据分割网络获取样本的四个灌注分割，再基于同一样本的金标准和四个灌注分割图中缺血半暗带的匹配关系调节分割网络；
S3：利用样本的四个灌注分割图、以及治疗后的DWI-MRI影像或预设时长后的DWI-MRI影像训练第一分类网络，利用训练后的第一分类网络预测DWI-MRI影像；
所述第一分类网络包括每类治疗方法对应的一分类子网络以及未治疗对应的一分类子网络；
其中，分别利用同一治疗方法的动物治疗组和病患治疗组中每个样本的四个灌注分割图、以及治疗后的DWI-MRI影像训练分类网络得到所述治疗方法的一分类子网络，训练后的所述治疗方法的一分类子网络的输入数据为四个灌注分割图，输出数据为采用所述治疗方法的DWI-MRI影像预测结果；
利用未治疗的动物观察组和病患观察组中每个样本的四个灌注分割图、以及预设时长后的DWI-MRI影像训练分类网络得到未治疗对应的一分类子网络，训练得到所述未治疗对应的一分类子网络的输入数据为四个灌注分割图，输出数据为不治疗对应的DWI-MRI影像预测结果。
本发明通过上述模型训练过程得到分割网络以及第一类分类网络，进而可以对梗死病患及时进行治疗结果的预测，为及时挖掘潜在病患提供了可行的方式，同时也为病患梗死临床治疗提供更多依据，便于及时对病患采取正确的治疗方法，造福患者。同时，本发明将动物迁移用于病患研究，一方面解决了临床影像数据有限的问题，有效地扩展了实验数据，另一方面，动物模型可以控制血运重建时间等，实现在人体身上无法控制的技术变量，为本发明工业化实现提供了基础。
进一步优选，步骤S1中还采集了每组病患中每个病患样本的mRS评分和或90天是否死亡的数据，利用每组病患中每个病患样本的四个灌注分割图、mRS评分和或90天是否死亡的数据训练第二分类网络，并利用训练好的所述第二分类网络预测病患的mRS评估和或90天是否死亡；
所述第二分类网络包括每类治疗方法对应的二分类子网络以及未治疗对应的二分类子网络；
其中，分别利用同一治疗方法的病患治疗组中每个样本的四个灌注分割图、以及mRS评分和或90天是否死亡的数据训练分类网络得到所述治疗方法的二分类子网络，训练后的所述治疗方法的二分类子网络的输入数据为四个灌注分割图，输出数据为采用所述治疗方法后得到mRS评估和或90天是否死亡的预测结果；
利用未治疗的病患观察组中每个样本的四个灌注分割图、以及mRS评分和或90天是否死亡的数据训练分类网络得到未治疗对应的二分类子网络，训练得到所述未治疗对应的二分类子网络的输入数据为四个灌注分割图，输出数据为不治疗对应的mRS评估和或90天是否死亡的预测结果。
进一步优选，所述第二分类网络为3D ResNet架构。
进一步优选，所述分割网络为包含2分支的U-Net网络，所述2分支的U-Net网络包括2分支以及U-Net原始架构，所述分支输出作为所述U-Net原始架构的输入，所述2分支中顶部分支对应动物影像数据，底部分支对应病患影像数据。
本发明选用的分割网络也使其动物数据与人类数据进行融合，真正实现了迁移。利用动物数据丰富了本发明的数据资源。
进一步优选，分割网络训练过程中，若同一样本的金标准和四个灌注分割图中缺血半暗带的不匹配，则调节分割网络的参数，调节参数由学习率、正则化参数、权重、成本函数、激活函数中的一个或多个构成。
进一步优选，所述第一分类网络为3D U-Net架构。
进一步优选，所述疾病为脑梗死，所述治疗方法为血管再通治疗方法，所述DWI-MRI影像预测结果为预测DWI-MRI影像上每个像素点对应是否梗死。
进一步优选，步骤S1中动物模型为兔选择性MCA闭塞模型。
进一步优选，所述血管再通治疗方法包括静脉溶栓和机械取拴。
另一方面，本发明提供的所述系统，包括信息采集模块以及模型训练模块；
其中，信息采集模块用于利用同一疾病的动物模型采集动物影像数据，以及采集同一疾病的病患影像数据；模型训练模块用于训练生成分割网络和第一分类网络，和或第二分类网络，训练生成的模型用于结果预测。
有益效果
1、本发明根据CTP影像和DWI-MRI影像的特征，即CTP影像反应脑部血流量、血容量、平均通过时间及达峰时间等参数，能更有效、量化反映局部脑组织血流灌注量，进而CTP可在超早期通过血流灌注变化较准确量化评估梗死核心和缺血半暗带，以及在梗死发生后的24小时内DWI-MRI图片上的每个像素是否梗死直接取决于血流灌注量的特点选用CTP影像和DWI-MRI影像实现预测，得到DWI-MRI影像预测结果是获知DWI-MRI影像上每个像素点对应是否梗死的结果，进而为挖掘潜在病患提供了依据，便于及时对患者进行治疗。
2、本发明创造性地运用了迁移学习的技术，以往的研究深度学习研究都是基于通过从临床获取临床已有的影像数据来进行分析，不仅数据量有限，而且无法控制由于人员操作或成像机器差异的影响导致样本数据质量不一，为数据分析带来不利影响。本研究创新性地将引入兔模型实验引入到本课题当中，并将动物数据所建的模型的模迁移学习用于人类数据，使得基础研究与深度学习相结合，而动物模型可以控制血运重建时间等在人体身上无法控制的技术变量，从而增加了训练组数据的多样性。
3、本发明使用了深度学习技术，其可以自动、全面提取影像数据并总结其特征，避免了传统的人工操作所带来的个人差异与判断不准确。有效地解决了国内外有关脑卒中患者接受机械取栓治疗没有正规的纳入标准未达成共识，且所涉及到的研究也都还停留在获取部分影像学特征或临床特征来进行初步评估，且评价标准不一且不全面，对缺血性脑卒中患者的诊疗带来不利影响等问题。
附图说明
图1是本发明提供的一种基于动物迁移和神经网络模型的影像结果预测方法的技术流程图；
图2是本发明提供的包括2分支的U-Net设计示意图；
图3是本发明提供的3DU-Net架构示意图；
图4是本发明提供的3D ResNet网络架构示意图。
具体实施方式
下面将结合实施例对本发明做进一步的说明。
本发明利用动物迁移模型以及神经网络模型对梗死患者进行不同治疗后的治疗效果或者不进行治疗后的结果进行了预测，以便及时挖掘可以进行治疗的潜在病患，本发明利用神经网络学实现了标准的统一，避免常规人为鉴别所存在的缺陷，提供了更多的诊断依据。其中，因为深度学习中有多种自由度，使模型能够学习具有高度抽象的复杂模式，其中许多模式都是人眼无法看到的，因此对在某些领域的应用而言，深度学习在大数据集上的表现往往比其他机器学习方法都要好，其可以将包括所有影像细节的原始影像数据作为输入数据，计算机模型能够完全利用原始影像中各底层细节信息建立高层表示属性类别或特征，以发现数据的分布式特征表示。相对传统影像分析方法，理论上能够对血管再通治疗后影像学核心梗死病灶(DWI序列显示的核心梗死区域)进行更准确的预测。迁移学习(Transfer Learning)作为机器学习的一个分支，是一种把已训练好的模型参数迁移到新的模型来帮助新模型训练的方法。
本发明提供的一种基于动物迁移和神经网络模型的影像结果预测方法实质上是利用图像处理机器学习模型来处理脑梗死相关影像方法，进而得到治疗预测效果。因此，本发明也可以视为用于脑梗死治疗效果预测的图像处理机器学习模型的构建方法，本发明的图像处理机器学习模型包括构建的分割网络模型、第一分类网络模型以及第二分类网络模型。如图1所示，本发明实施例提供的一种基于动物迁移和神经网络模型的影像结果预测方法，包括如下步骤：
S1：利用兔选择性大脑中动脉(MCA)闭塞模型采集动物影像数据，以及采集同一疾病的病患影像数据并作为模型输入；
首选关于动物影像数据：
新西兰白兔的脑血管解剖结构与人类的相似，并且大血管缺血性脑卒中的动物模型也被成功构建，向颈内静脉中注入流向大脑中动脉(middle cerebral arteries，MCA)的血栓或者用微导管将血栓直接注入MCA是目前公认的脑梗死造模的方法。经典的兔卒中模型为人静脉溶栓方法的成功建立奠定了基础，且CTP和MRI均能评估体型较小的动物的缺血性卒中。且构建动物模型的优点在于动物模型可以人为控制变量(如治疗时间、治疗方式等)，可以将实验动物的治疗时间控制为特定时间，并控制实验动物的数量，短时间内获取特定条件下的足够数量的实验数据。因此，本发明利用兔选择性大脑中动脉(MCA)闭塞模型采集动物影像数据。
本发明根据是否进行治疗以及治疗方法对动物进行分组得到不同治疗方法的动物治疗组以及未治疗的动物观察组。本实施中将160只实验兔按数字表法随机分为8组，包括5组机械取栓组(为动物治疗组，且根据治疗时间窗为6小时，各组分别于脑梗后3h、6h、9h、12h和24h行机械取栓)，两组静脉溶栓组(为动物治疗组且选为阳性对照组，由于临床研究表明脑梗死后4.5小时内进行静脉溶栓治疗有效，故分别在脑梗后4.5小时内和4.5小时后使用r-tPA)及1组观察组(未治疗的观察组且为阴性对照组，不进行血管再通，再通时间记为10,000分钟)，每组20只实验兔。
其中，动物治疗组的影像数据包括治疗前的CTP影像、治疗后的DWI-MRI影像；动物观察组的影像数据包括治疗前的CTP影像和DWI-MRI影像、24h之后的DWI-MRI影像。CTP影像是使用Siemens SOMATOM Force螺旋CT机行CTP检查以获取原CTP图像，扫描参数：120kVp，40mAs，转速1-s，矩阵512×512、视野12cm，层厚5mm。扫描方法为：将实验兔头部以仰卧位固定，先行常规横断位扫描，随后采用高压注射器以1ml/s速率经右侧股静脉团注5ml碘对比剂行灌注扫描，持续动态扫描25.5秒。使用SiemensMAGNETOM Skyra3T MR扫描仪行DWI-MRI检查，评估脑梗死体积以获取DWI-MRI图像，扫描序列及参数：DWI(TR200ms，TE70ms，层厚3mm,，b值取0、1000和2500s/mm2，视野120×120mm，矩阵128×128，激励次数4。
本发明对兔采集CTP影像之后，针对动物治疗组进行静脉溶栓或机械取栓处理。
首选关于病患影像数据：
同理，根据是否进行治疗以及所述治疗方法对病患进行分组得到不同治疗方法的病患治疗组(静脉溶栓以及机械取栓)以及未治疗的病患观察组。本发明实施例中收集的病例包括750例(来自湘雅医院和湘雅二医院)、1055例(来自湖南省人民医院)、456例(来自美国布朗大学附属罗德岛医院)、653例(来自美国宾夕法尼亚大学附属医院)、94例(来自2018年缺血性脑卒中病灶分割挑战赛)，共计3008例大血管缺血性脑卒中患者的临床和影像数据。本实施例中临床资料内包含患者年龄、性别、血管再通时间、NIHSS评分(根据患者的临床表现，用来全面地评估卒中病人的急性期病情严重程度，也可以评估卒中严重程度，治疗后可以定期评估治疗效果)、mRS评分和预后随访资料。影像资料包括治疗前CTP影像、治疗前DWI-MRI影像(部分患者存在该影像)、治疗后的DWI-MRI(静脉溶栓和机械取栓)或24h后的DWI-MRI影像(未治疗的病患观察组)。
本发明实施例中临床资料中改良Rankin量表(Modified Rankin Scale，mRS)是用来衡量脑卒中后患者神经功能恢复的状况。mRS评分应用等级评分，可以评定患者在发生脑卒中后独立生活的能力。共7个等级，0分代表无症状，分数越高，患者的预后越差，6分代表死亡。评价预后时，评分≤2分为转归良好。本发明利用该数据还进行了第二类分类网络训练，下文将其进行详细描述。
影像数据预处理：
本发明实施例中对获取的影像还进行预处理。其过程包括图像三次线性插值、图像的配准和重采样、偏差场校正和颅骨剥离、图像强度归一化。应当理解，预处理的过程利用现有图像常规技术的实现过程，因此，本发明对此不进行具体的阐述，简述如下：
本实施例，通过三次线性插值，所有CTP和DWI-MRI图像均为各向同性重采样至1mm3，从而达到了平滑图像的目的。CTP和DWI-MRI图像均为医学图像，医学图像由于自身的复杂性很难用精确的解析式表示，插值是常用的近似方法。而三次线性插值从数学角度看，是由多段三次多项式曲线拼接而成的曲线，在拼接处不仅函数是连续的，而且一阶导数、二阶导数也是连续的，所以样条曲线具有良好的光滑性。
图像的配准和重采样：使用MATLAB 2019a进行图像配准和重采样。图像配准就是将不同时间、不同成像设备或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，而重采样即影像数据重新组织过程中的灰度处理方法，经过图像配准和重采样后使不同条件下获得的图像灰度统一。
偏差场校正和颅骨剥离：由于光照不均匀、成像设备的局限，受检对象的特异性，不同成像模式下获得的CTP和DWI-MRI图像存在着一定程度和范围的亮度不均匀性，即偏差场。图像的亮度信息是图像后处理主要的依据，而偏差场使图像的局部统计特性发生变化，不同生理组织的亮度交叠分布，它是图像后处理的主要障碍，严重影响了图像自动处理的精确性，所以校正偏差场是磁共振图像后处理必不可少的一步。故使用Nipype包进行N4偏差场校正和颅骨剥离，以去除颅骨和其他组织在图像上的伪影。
图像强度归一化：由于在灰度图像中，图像强度即为图像的灰度，为了使图像强度归一化，则减去正常大脑的中值强度，再除以正常大脑图像的四分之一间强度。
此外，针对动物影像数据中的CTP影像进行CT后处理(postprocessing)，其中，动物CTP影像与人的CTP影像之间的差异，动物的CTP图像切片更薄，因此需要进行后处理，将动物CTP图像切片合成更厚的切片，是动物与人的切片厚度相匹配(z轴数据反应厚度，厚度不一致会影响到拟合效果，影响到体积大小)，其后处理的方式为在横断面扫描的基础上根据需求利用多方位、三维重组等现有方法来实现的。
S2：使用步骤S1中的数据训练图像处理机器学习模型中的分割网络模型，具体为从步骤S1的影像数据中获取分割网络的训练数据，并训练所述分割网络，以及利用训练后的分割网络生成每个样本的CBF、CBV、TTP、TTD的四个灌注分割图。
首先，介绍一下本发明所使用的分割网络，该分割网络为设计带有“解剖/扫描仪适应分支”的2分支U-Net，适宜从动物模型到人类数据的迁移学习。
如图2所示，2分支的U-Net网络包括2分支以及U-Net原始架构，2分支中顶部分支对应动物影像数据(动物影像数据是输入顶部分支)，底部分支对应病患影像数据(病患数据是输入底部分支)。两个分支的结构均有3个带填充的卷积组成，其中的残差连接对人和动物都是相同的，利用填充卷积来补偿动物和人类CTP影像之间的变化，将其映射到一个共同表示，这样可使来自动物影像的权重与来自人类影像的权重共享，以便在主分割网络中获取最优的权重，达到从动物到人类迁移学习的目的。这两个分支在架构上均无特殊之处，常规卷积均可实现该功能。
2分支的输出作为U-Net原始架构的输入，由于2分支以及U-Net原始架构作为分割网络是常规的，因此本发明对其实现过程不进行详细的描述。简述而言：U-Net原始架构包括收缩路径(contracting path)和扩展路径(expanding path)。收缩路径上是每两个3×3的未填充的卷积层(unpadded convolutional layers)后会跟一个2×2的最大池化层(Maxpooling layer:步长为2)，并且每个卷积层后面采用ReLU激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会增加一杯通道数(double the number offeature channel)。收缩路径对于所输入的图像提取出高像素特征，并在升采样(upsampling)过程中与新的特征图(feature map)进行结合，以最大程度的保留前面降采样(downsampling)过程一些重要的特征信息，达到精准定位的目的。在扩展路径的向上采样(deconvolution)中，每一步会有一个2×2的卷积层(激活函数也是ReLU)和一个两个3×3的卷积层，与此同时，每一步的升采样都会加入来自相对应收缩路径的特征图(经裁剪以保持相同的形状)。在上述的每个ReLU之前引入批标准化，防止深度学习的过程中出现过度拟合的问题。在网络的最后一层是一个1×1的卷积层，通过这一操作可以将64通道的特征向量转换为所需要的分类结果的数量。
本发明的分割网络的输入数据为CTP影像，输出数据为CBF、CBV、TTP、TTD的四个彩色灌注分割图。其中，CBF灌注分割图中颜色反映每个像素的脑血流量(CBF)，CBV灌注分割图中颜色反映每个像素的脑血容量(CBV)，TTP灌注分割图中颜色反映每个像素的对比剂达峰时间(TTP)，TTD灌注分割图中颜色反映每个像素的对比剂排除时间(TTD)值，而这四个值决定了每个像素的脑组织灌注水平(正常,缺血半暗带或完全梗死)，譬如：在CTP灌注参数中，梗死核心区(的脑血流量(CBF)明显下降，脑血容量(CBV)显著下降。半暗带区的CBF下降，CBV保持正常或轻度升高。应当理解，根据CTP影像计算脑部血流量、血容量、平均通过时间及达峰时间等参数已经是医学领域的公知内容，因此，本发明的分割网络基于该原理处理CTP影像得到上述四类灌注分割图，通过网络训练过程使用不同颜色反映上述四个值，并基于该四类灌注分割图来确定CTP影像上每个像素的脑组织灌注水平(正常，缺血半暗带或完全梗死)。
基于上述网络结构以及原理，本发明训练分割网络，其训练过程的训练数据为：动物观察组的影像数据以及存在治疗前的DWI-MRI影像的病患样本的影像数据。其中，一方面利用存在两个DWI-MRI时间点样本的DWI-MRI影像生成分割网络的金标准，两个时间点的DWI-MRI图像上的脑梗死轮廓将由神经放射学专家手动绘制，分别计算出两次DWI-MRI图像的梗死体积，求其两次体积之差即为缺血半暗带作为该样本的金标准。另一方面，同一样本利用分割网络生成四个灌注分割图并基于四个分割图识别CTP图像中缺血半暗带。训练过程中将同一个样本中其金标准以及通过分割网络的四个灌注分割图识别的缺血半暗带进行比对鉴别分割网络的准确性，若不匹配，调节分割网络的参数以使网络的性能达到最优。其中，譬如当存在梗死区域被分割为正常大脑或者缺血半暗带的情况，是视为未不匹配，将采取如下手段进行分割网络参数调节，譬如首先调整学习率(learning rate)，再是调整正则化参数如(weight decay)，然后调整子训练集的大小(minibatch size)。由于使用早停法(early stopping)防止过度拟合，所以不调整定型周期(epoch)。其他参数的调节包括使用不同的成本函数(cost function)，尝试不同正则化的方法，还可以初始化权重(weight)，或者应用不同的随机梯度下降法，尝试不同的激活函数等调节网络，直到网络性能达到最优。应当理解，上述调整过程为网络参数调节的常规过程，本发明对此不进行具体的限定。
本发明将CTP图像、灌注分割图与DWI-MRI图像进行位置校正，使得CTP图像和DWI-MRI图像上发生脑卒中的位置相对应。
通过网络参数调节之后的分割网络的输入数据是CTP影像，输出数据为CBF、CBV、TTP、TTD的四个灌注分割图，即针对任意脑梗病患，获取其CTP影像后可以通过训练后的分割网络获取CBF、CBV、TTP、TTD的四个彩色灌注分割图。
S3：训练图像处理机器学习模型中的第一分类网络模型，具体为：利用样本的四个灌注分割图、以及治疗后的DWI-MRI影像、预设时长后的DWI-MRI影像训练第一分类网络，然后利用训练后的第一分类网络预测DWI-MRI影像上每个像素点对应是否梗死。
所述第一分类网络包括每类治疗方法对应的一分类子网络以及未治疗对应的一分类子网络。本实施例中机械取栓对应一个一分类子网络，静脉溶取栓对应一个一分类子网络，未治疗对应一个一分类子网络。
本发明中第一分类网络是利用四个灌注分割图来匹配DWI-MRI影像上每个像素点对应是否梗死。这是基于分割灌注图可以显示图片每一个像素上有多少血液流经大脑，如果灌注不良，这意味着脑组织没有得到足够的血液。如果灌注良好，则意味着脑组织是正常的。在正常脑组织和梗死区域之间，即为缺血半暗带。在梗死发生后的24小时内，DWI-MRI图片上的每个像素是否梗死直接取决于其的灌注量。故可以利用3D U-Net架构来预测每个立体像素输出的DWI-MRI上有无梗死。
具体训练过程如下：利用机械取栓方法的动物治疗组和病患治疗组中每个样本的四个灌注分割图、以及治疗后的DWI-MRI影像训练分类网络得到机械取栓的一分类子网络，其训练后的输入数据为四个灌注分割图，输出数据为病患采用机械取栓治疗后的DWI-MRI影像预测结果(治疗后的DWI-MRI影像上每个像素点是否梗死的预测结果)；利用静脉溶栓方法的动物治疗组和病患治疗组中每个样本的四个灌注分割图、以及治疗后的DWI-MRI影像训练分类网络得到静脉溶栓的一分类子网络，其训练后的输入数据为四个灌注分割图，输出数据为病患采用静脉溶栓治疗后的DWI-MRI影像预测结果(治疗后的DWI-MRI影像上每个像素点是否梗死的预测结果)；利用未治疗的动物观察组和病患观察组中每个样本的四个灌注分割图、以及24h后的DWI-MRI影像训练分类网络得到未治疗的一分类子网络，训练后的输入数据为四个灌注分割图，输出数据为病患未进行治疗状况下24h后的DWI-MRI影像预测结果(不治疗时24h后的DWI-MRI影像上每个像素点是否梗死的预测结果)。
从上述可知，通过第一类分类网络可以实现病患机械取栓和静脉溶栓以及未进行治疗三类情况后的梗死状态，进而可以为确定是否进行治疗以及进行哪种治疗提供更多的依据。
其次，其他可行的实施例中，若对病患的治疗时间也按照动物样本的治疗之间进行划分，然后在构建第一分类网络的时候还可以对每个分类子网络按照治疗时间进一步细分，即属于同一治疗时段的样本训练一个网络，进而还可以得到每个治疗时间的治疗效果预测。
本发明实施例中第一类分类网络采用3D U-Net架构，如图3所示，由于3D U-Net架构也是现有网络架构，本发明未对其进行改进，故对其不进行详细说明，简述如下：
原始U-Net架构是基于全卷积神经网络进行改进，并且利用数据增强可以对一些比较少样本的数据进行训练。但原始U-Net为2D结构，而在医学图像计算领域，体积数据占医学图像模态的很大一部分。故3D U-Net通过使用3D操作替换掉2D操作扩展了之前的U-Net框架。3D U-Net有一个分析路径和一个合成路径，每个路径有四个执行步骤。在分析路径中,每一层都包含两个3×3×3的卷积层，每一个卷积层后都跟随一个修正线性单元(ReLu)，还包含一个在每个维度中拥有2stride的2×2×2Max pooling。在合成路径中，每一层由一个在每个维度中拥有2stride的2×2×2的上卷积层(upconvolution)和两个3×3×3的卷积层(每一个后接一个ReLu)组成。在分析路径中等分辨率层中有一个快捷连接，该连接为合成路径提供了必要的高分辨率特征。整个结构总共有19069955个参数，通过在Maxpooling之前将通道数量加一倍来避免瓶颈。合成路径中也采取了同样的措施。在每个ReLU之前引入批标准化，并采用加权交叉熵损失softmax函数对网络的输出和参考标准进行比较，通过减少内小管的权重，使小管和背景立体像素对损失函数的影响达到平衡。网络训练则使用动量随机梯度下降法。在最后的1×1×1卷积层(图3中标记为3的层)中，将输出通道的数量减少到标签的数量。
本发明实施例中，除了进行了预测DWI-MRI影像上每个像素点对应是否梗死，还利用病患的临床资料进行mRS评分预测以及90天是否死亡预测，其他可行的实施例中，若缺少对应临床资料，可以仅通过第一类分类网络得到DWI-MRI影像预测结果即可。
S4：训练生成图像处理机器学习模型中的第二分类网络模型，具体为：利用每组病患中每个病患样本的四个灌注分割图、mRS评分以及90天是否死亡的数据训练第二分类网络，然后利用训练好的所述第二分类网络预测病患的mRS评估以及90天是否死亡。mRS评估可以是mRS评分，也可以是根据mRS评分得出的mRS等级，其中，评分≤2视为良好，否则，视为非良好。本实施例中第二分类网络采用3D ResNet架构，由于该网络架构也是现有网络架构(计算机视觉领域问题中的基础特征提取网络)且本发明对其并未进行改进，因此对其不进行详细说明，仅简述。
同理，本发明的第二分类网络包括每类治疗方法对应的二分类子网络以及未治疗对应的二分类子网络；本实施例中机械取栓对应一个二分类子网络，静脉溶取栓对应一个二分类子网络，未治疗对应一个二分类子网络。
与第一分类网络原理相似，分割灌注图可以显示图片每一个像素上有多少血液流经大脑，病人能否存活以及预后好坏也直接取决于每个像素上的血流灌注量。因此，本发明利用四个灌注分割图进行mRS评估以及90天是否死亡预测。
具体训练过程如下：
利用机械取栓方法的病患治疗组中每个样本的四个灌注分割图、以及mRS评分以及90天是否死亡的数据训练分类网络得到机械取栓的二分类子网络，训练后的机械取栓的二分类子网络的输入数据为四个灌注分割图，输出数据为采用机械取栓后得到mRS评估以及90天是否死亡的预测结果；
利用静脉溶栓方法的病患治疗组中每个样本的四个灌注分割图、以及mRS评分以及90天是否死亡的数据训练分类网络得到静脉溶栓的二分类子网络，训练后的静脉溶栓的二分类子网络的输入数据为四个灌注分割图，输出数据为采用静脉溶栓后得到mRS评估以及90天是否死亡的预测结果；
利用未治疗的病患观察组中每个样本的四个灌注分割图、mRS评分以及90天是否死亡的数据训练分类网络得到未治疗对应的二分类子网络，训练得到所述未治疗对应的二分类子网络的输入数据为四个灌注分割图，输出数据为未进行治疗对应的mRS评估以及90天是否死亡的预测结果。
从上述可知，本发明将病患的CTP影像输入训练好的分割网络得到四个灌注分割图，然后将其输入第二类分类网络得到mRS评估以及90天是否死亡的预测结果，为医生进行诊断或者选择治疗方法提供依据。
ResNet引入了卷积层之间残差的概念，通过使用多个有参层来学习输入输出之间的残差表示，而非像一般卷积神经网络使用有参层来直接尝试学习输入、输出之间的映射所以在分类训练中所以是极为有效和稳定的，并且使模型可以被训练到更深的层次，仍保持较低的复杂性。同时ResNet还引入了一种快捷连接，使信号不必一层一层的传递。该连接能跨过从前一层到后一层的网络梯度流，从而简化深度网络的训练流程。本发明使用了34层ResNet网络架构。在34层ResNet网络架构中会用到两个3×3的卷积网络串接在一起的残差模块，ResNet由多个残差块组成，其中的快捷连接绕过了从模块顶部到尾部的信号。图4和表1显示的是3D ResNet网络架构，第一层是3x3卷积，然后在尺寸为{32,16,8}的特征映射上分别使用拥有3x3卷积的6n层进行叠加，每个特征映射的大小为2n层。过滤器的数量分别为{16,32,64}。下采样是通过步长(stride)为2的卷积来实现的。网络的结尾由一个全局平均池化、一个双向全连接层和softmax函数组成。当快捷连接被使用时，将与一对3x3层连接在一起(共3n个快捷连接)。当维度增加时，快捷方式仍然执行标识映射，为增加维度进行额外零项填充。每次卷积后和激活前都将采用批标准化，防止过度拟合。网络训练仍使用动量随机梯度下降法。在最后的卷积层中，由于输出的是二元结果，即每个立体像素的mRS好与坏和90天死亡与否。
表1
本发明还可以采用现有的数据增强的手段对样本影像进行扩充，在训练过程中使用标准方法，如垂直或水平翻转、(0-180°)随机角度旋转和生成随机数噪声，不断对所获得的图像进行动态扩充。另一方面提出使用生成式对抗网络(Generative adversarialnetworks，GANs)产出新的图片来增加训练集的大小。生成式对抗网络是一种深度学习模型，包括生成模型(Generative Model)和判别模型(Discriminative Model)。即在判别模型和生成模型的博弈中，使得生成模型生成新的图片。从而人工增加训练数据量。
通过上述构建的分割网络以及两个分类网络，可以实时对用户进行治疗预测，即对任意病患采集其治疗前的CTP影像，通过分割网络获取四个灌注分割图，再利用两个分类网络得到机械取栓，静脉溶栓以及未进行治疗三类的DWI-MRI影像预测结果，mRS评估以及90天是否死亡预测结果。本发明实施例将训练/验证/测试组比率为7:2:1，且每个组中均应当包含机械取栓，静脉溶栓以及未进行治疗三类，且保证这三类样本在每个组中的比例尽量相似。
基于上述方法，本发明还提供实现上述方法的系统，其包括信息采集模块以及模型训练模块；
其中，信息采集模块用于利用同一疾病的动物模型采集动物影像数据，以及采集同一疾病的病患影像数据；模型训练模块用于训练生成分割网络和第一分类网络、第二分类网络。具体的训练过程如上方法过程，最后利用训练生成分割网络和第一分类网络，和或第二分类网络实现本发明治疗效果的预测目的。此外，本发明还可以提供一种系统，其包括存储装置和计算机，存储装置存储指令，指令被计算机调用执行操作，操作过程为上述步骤S1-S4。
为了验证上述模型的可靠性，本发明分别用两家医院的数据对模型进行训练和验证，然后用剩余一家医院数据(三个排列组合)进行独立测试，保证模型的通用性。使用10-6的初始学习速率，通过Nestorov自适应矩估计(Nestorov Adaptive Moment Estimation)训练三维U-Nets，得到损失函数的最小值。当与神经放射学专家人工分割的准确性、敏感性和特异性进行比较时，通过计算相似系数、敏感性、特异性来评估模型的性能。
D(p,g)是DiceSimilarity Coefficient即相似系数，p是神经网络输出概率，g是真实的有效值，α是一个常数，i为输出结果的数量。敏感性是分类网络实际将图像正确判断为梗死(真阳性)的百分率，即TP/(TP+FN)×100％，TP为真阳性，FN为假阴性(即本为梗死但网络将图像判定为未梗死)。特异性分类网络实际将图像正确判断为未梗死(真阴性)的百分率，即TN/(TN+FP)×100％。TN为真阴性，FP为假阳性(即本为未梗死但网络将图像判定为梗死)。第二分类网络同理。此外，还可以绘制两者的ROC曲线、精度召回率曲线和混淆矩阵以便更好的进行对比。其中ROC曲线表示了精确度，说明判断为真的正例占所有判断为真的样例比重，是最常见的评价指标。精确回忆曲线是评价模型的重要指标，精密度系指在相同条件下，对被测量进行多次反复测量，测得值之间的一致程度；召回率用来说明分类器中判定为真的正例占总正例的比率。混淆矩阵通常用于描述一个分类模型对一组已知真实值的测试数据的性能。对比后，无需对模型进行调整。需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (10)

1.一种基于动物迁移和神经网络模型的影像结果预测方法，其特征在于：包括如下步骤：
S1：利用同一疾病的动物模型采集动物影像数据，以及采集同一疾病的病患影像数据；
其中，每个动物和病患的影像数据均作为一个样本的影像数据；
根据是否进行治疗以及治疗方法对动物进行分组得到不同治疗方法的动物治疗组以及未治疗的动物观察组，动物治疗组的影像数据包括治疗前的CTP影像、治疗后的DWI-MRI影像；动物观察组的影像数据包括治疗前的CTP影像和DWI-MRI影像、预设时长后的DWI-MRI影像；
根据是否进行治疗以及所述治疗方法对病患进行分组得到不同治疗方法的病患治疗组以及未治疗的病患观察组，病患观察组的影像数据至少包括治疗前的CTP影像、预设时长后的DWI-MRI影像，病患治疗组的影像数据至少包括治疗前的CTP影像、治疗后DWI-MRI影像，存在部分病患的影像数据还包括治疗前的DWI-MRI影像；
S2：从步骤S1的影像数据中获取分割网络的训练数据，并训练所述分割网络，以及利用训练后的分割网络生成每个样本的CBF、CBV、TTP、TTD的四个灌注分割图；
其中，所述分割网络的输入数据为CTP影像，输出数据为四个灌注分割图；
所述训练数据为动物观察组的影像数据以及存在治疗前的DWI-MRI影像的病患样本的影像数据，其中，利用样本两个时刻的DWI-MRI影像生成样本金标准以及根据分割网络获取样本的四个灌注分割，再基于同一样本的金标准和四个灌注分割图中缺血半暗带的匹配关系调节分割网络；
S3：利用样本的四个灌注分割图、以及治疗后的DWI-MRI影像或预设时长后的DWI-MRI影像训练第一分类网络，利用训练后的第一分类网络预测DWI-MRI影像；
所述第一分类网络包括每类治疗方法对应的一分类子网络以及未治疗对应的一分类子网络；
其中，分别利用同一治疗方法的动物治疗组和病患治疗组中每个样本的四个灌注分割图，以及治疗后的DWI-MRI影像训练分类网络得到所述治疗方法的一分类子网络，训练后的所述治疗方法的一分类子网络的输入数据为四个灌注分割图，输出数据为采用所述治疗方法的DWI-MRI影像预测结果；
利用未治疗的动物观察组和病患观察组中每个样本的四个灌注分割图、以及预设时长后的DWI-MRI影像训练分类网络得到未治疗对应的一分类子网络，训练得到所述未治疗对应的一分类子网络的输入数据为四个灌注分割图，输出数据为不治疗对应的DWI-MRI影像预测结果。
2.根据权利要求1所述的方法，其特征在于：步骤S1中还采集了每组病患中每个病患样本的mRS评分和或90天是否死亡的数据，利用每组病患中每个病患样本的四个灌注分割图、mRS评分和或90天是否死亡的数据训练第二分类网络，并利用训练好的所述第二分类网络预测病患的mRS评估和或90天是否死亡；
所述第二分类网络包括每类治疗方法对应的二分类子网络以及未治疗对应的二分类子网络；
其中，分别利用同一治疗方法的病患治疗组中每个样本的四个灌注分割图、mRS评分和或90天是否死亡的数据训练分类网络得到所述治疗方法的二分类子网络，训练后的所述治疗方法的二分类子网络的输入数据为四个灌注分割图，输出数据为采用所述治疗方法后得到mRS评估和或90天是否死亡的预测结果；
利用未治疗的病患观察组中每个样本的四个灌注分割图、mRS评分和或90天是否死亡的数据训练分类网络得到未治疗对应的二分类子网络，训练得到所述未治疗对应的二分类子网络的输入数据为四个灌注分割图，输出数据为不治疗对应的mRS评估和或90天是否死亡的预测结果。
3.根据权利要求2所述的方法，其特征在于：所述第二分类网络为3D ResNet架构。
4.根据权利要求1所述的方法，其特征在于：所述分割网络为包含2分支的U-Net网络，所述2分支的U-Net网络包括2分支以及U-Net原始架构，所述分支输出作为所述U-Net原始架构的输入，所述2分支中顶部分支对应动物影像数据，底部分支对应病患影像数据。
5.根据权利要求4所述的方法，其特征在于：分割网络训练过程中，若同一样本的金标准和四个灌注分割图中缺血半暗带的不匹配，则调节分割网络的参数，调节参数由学习率、正则化参数、权重、成本函数、激活函数中的一个或多个构成。
6.根据权利要求1所述的方法，其特征在于：所述第一分类网络为3D U-Net架构。
7.根据权利要求1所述的方法，其特征在于：所述疾病为脑梗死，所述治疗方法为血管再通治疗方法，所述DWI-MRI影像预测结果为预测DWI-MRI影像上每个像素点对应是否梗死。
8.根据权利要求7所述的方法，其特征在于：步骤S1中动物模型为兔选择性MCA闭塞模型。
9.根据权利要求7所述的方法，其特征在于：所述血管再通治疗方法包括静脉溶栓和机械取拴。
10.一种基于权利要求1-9任一项所述方法的系统，其特征在于：包括信息采集模块以及模型训练模块；
其中，信息采集模块用于利用同一疾病的动物模型采集动物影像数据，以及采集同一疾病的病患影像数据；模型训练模块用于训练生成分割网络和第一分类网络，和或第二分类网络，训练生成的模型用于结果预测。
CN201910508918.XA 2019-06-13 2019-06-13 基于动物迁移和神经网络模型的影像结果预测方法及系统 Active CN110223285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508918.XA CN110223285B (zh) 2019-06-13 2019-06-13 基于动物迁移和神经网络模型的影像结果预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508918.XA CN110223285B (zh) 2019-06-13 2019-06-13 基于动物迁移和神经网络模型的影像结果预测方法及系统

Publications (2)

Publication Number Publication Date
CN110223285A true CN110223285A (zh) 2019-09-10
CN110223285B CN110223285B (zh) 2021-02-02

Family

ID=67816793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508918.XA Active CN110223285B (zh) 2019-06-13 2019-06-13 基于动物迁移和神经网络模型的影像结果预测方法及系统

Country Status (1)

Country Link
CN (1) CN110223285B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192255A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111445443A (zh) * 2020-03-11 2020-07-24 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN111489360A (zh) * 2020-03-18 2020-08-04 上海商汤智能科技有限公司 一种图像分割方法及相关设备
CN111528885A (zh) * 2020-04-15 2020-08-14 脑玺(上海)智能科技有限公司 一种基于能谱增强ct的图像处理方法
CN112288645A (zh) * 2020-09-30 2021-01-29 西北大学 一种颅骨面貌复原模型构建方法及复原方法与系统
CN113112507A (zh) * 2021-03-30 2021-07-13 上海联影智能医疗科技有限公司 灌注影像分析方法、系统、电子设备及存储介质
CN113538348A (zh) * 2021-06-29 2021-10-22 沈阳东软智能医疗科技研究院有限公司 一种颅脑磁共振弥散加权图像的处理方法及相关产品
CN114359194A (zh) * 2021-12-27 2022-04-15 浙江大学 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法
CN114628036A (zh) * 2022-05-17 2022-06-14 中南大学湘雅医院 基于神经网络的脑缺血风险预估平台
EP4016107A1 (en) * 2020-12-18 2022-06-22 Guerbet Methods for training a cnn and for processing an inputted perfusion sequence using said cnn
CN116687353A (zh) * 2023-08-01 2023-09-05 宁波杜比医疗科技有限公司 新辅助化疗疗效评估系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003091941A1 (en) * 2002-04-24 2003-11-06 Hrl Laboratories High-performance object detection with image data fusion
CN103186895A (zh) * 2013-04-15 2013-07-03 武汉大学 一种基于神经网络模型的ct灌注医疗图像智能融合方法
CN109002838A (zh) * 2018-06-21 2018-12-14 山东大学 基于易损指数的ivus易损斑块组织分类方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003091941A1 (en) * 2002-04-24 2003-11-06 Hrl Laboratories High-performance object detection with image data fusion
CN103186895A (zh) * 2013-04-15 2013-07-03 武汉大学 一种基于神经网络模型的ct灌注医疗图像智能融合方法
CN109002838A (zh) * 2018-06-21 2018-12-14 山东大学 基于易损指数的ivus易损斑块组织分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VENKATA S. KADIMESETTY等: "《Convolutional Neural Network-Based Robust Denoising of Low-Dose Computed Tomography Perfusion Maps》", 《IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192255A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111192255B (zh) * 2019-12-30 2024-04-26 上海联影智能医疗科技有限公司 指标检测方法、计算机设备和存储介质
CN111445443A (zh) * 2020-03-11 2020-07-24 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN111445443B (zh) * 2020-03-11 2023-09-01 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN111489360A (zh) * 2020-03-18 2020-08-04 上海商汤智能科技有限公司 一种图像分割方法及相关设备
CN111528885A (zh) * 2020-04-15 2020-08-14 脑玺(上海)智能科技有限公司 一种基于能谱增强ct的图像处理方法
CN111528885B (zh) * 2020-04-15 2023-09-05 脑玺(上海)智能科技有限公司 一种基于能谱增强ct的图像处理方法
CN112288645A (zh) * 2020-09-30 2021-01-29 西北大学 一种颅骨面貌复原模型构建方法及复原方法与系统
CN112288645B (zh) * 2020-09-30 2023-08-18 西北大学 一种颅骨面貌复原模型构建方法及复原方法与系统
WO2022129633A1 (en) * 2020-12-18 2022-06-23 Guerbet Methods for training a cnn and for processing an inputted perfusion sequence using said cnn
EP4016107A1 (en) * 2020-12-18 2022-06-22 Guerbet Methods for training a cnn and for processing an inputted perfusion sequence using said cnn
CN113112507B (zh) * 2021-03-30 2023-08-22 上海联影智能医疗科技有限公司 灌注影像分析方法、系统、电子设备及存储介质
CN113112507A (zh) * 2021-03-30 2021-07-13 上海联影智能医疗科技有限公司 灌注影像分析方法、系统、电子设备及存储介质
CN113538348A (zh) * 2021-06-29 2021-10-22 沈阳东软智能医疗科技研究院有限公司 一种颅脑磁共振弥散加权图像的处理方法及相关产品
CN113538348B (zh) * 2021-06-29 2024-03-26 沈阳东软智能医疗科技研究院有限公司 一种颅脑磁共振弥散加权图像的处理方法及相关产品
CN114359194A (zh) * 2021-12-27 2022-04-15 浙江大学 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法
CN114628036B (zh) * 2022-05-17 2022-08-02 中南大学湘雅医院 基于神经网络的脑缺血风险预估平台
CN114628036A (zh) * 2022-05-17 2022-06-14 中南大学湘雅医院 基于神经网络的脑缺血风险预估平台
CN116687353A (zh) * 2023-08-01 2023-09-05 宁波杜比医疗科技有限公司 新辅助化疗疗效评估系统、设备及介质
CN116687353B (zh) * 2023-08-01 2023-12-19 宁波杜比医疗科技有限公司 新辅助化疗疗效评估系统、设备及介质

Also Published As

Publication number Publication date
CN110223285B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110223285A (zh) 基于动物迁移和神经网络模型的影像结果预测方法及系统
Ye et al. Multi-depth fusion network for whole-heart CT image segmentation
CN111047594B (zh) 肿瘤mri弱监督学习分析建模方法及其模型
Zhao et al. Deep feature learning with discrimination mechanism for brain tumor segmentation and diagnosis
CN109087318A (zh) 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
Gao et al. A universal intensity standardization method based on a many-to-one weak-paired cycle generative adversarial network for magnetic resonance images
CN108268870A (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108257134A (zh) 基于深度学习的鼻咽癌病灶自动分割方法和系统
WO2018083952A1 (ja) 磁気共鳴イメージング装置および酸素摂取率算出方法
CN110415234A (zh) 基于多参数磁共振成像的脑部肿瘤分割方法
CN112053414B (zh) 一种从动态对比增强磁共振成像数据中快速提取药代动力学参数的方法
CN109498046A (zh) 基于核素图像与ct冠脉造影融合的心肌梗死定量评估方法
CN116630463B (zh) 一种基于多任务学习的增强ct图像生成方法和系统
CN111598964A (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
CN110148108A (zh) 基于功能磁共振的带状疱疹性神经痛疗效预测方法及系统
Li et al. Adaptive multimodal fusion with attention guided deep supervision net for grading hepatocellular carcinoma
CN113436128B (zh) 一种双鉴别器多模态mr图像融合方法、系统及终端
CN116563402A (zh) 跨模态mri-ct图像合成方法、系统、设备和介质
Zhang et al. Medical image fusion based a densely connected convolutional networks
Alogna et al. Brain magnetic resonance imaging generation using generative adversarial networks
Machireddy et al. Analysis of DCE-MRI for Early Prediction of Breast Cancer Therapy Response
Ting et al. Multiview 3-d echocardiography image fusion with mutual information neural estimation
Zihni et al. An analysis of the interpretability of neural networks trained on magnetic resonance imaging for stroke outcome prediction
Wang Medical Imaging in Increasing Dimensions
Mulla et al. Brain tumor classification using a convolutional neural network and different optimizers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant