CN113192014B - 改进脑室分割模型的训练方法、装置、电子设备和介质 - Google Patents
改进脑室分割模型的训练方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113192014B CN113192014B CN202110414480.6A CN202110414480A CN113192014B CN 113192014 B CN113192014 B CN 113192014B CN 202110414480 A CN202110414480 A CN 202110414480A CN 113192014 B CN113192014 B CN 113192014B
- Authority
- CN
- China
- Prior art keywords
- ventricle
- image
- sample
- sample images
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 52
- 210000004556 brain Anatomy 0.000 claims abstract description 171
- 230000009466 transformation Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 29
- 208000003906 hydrocephalus Diseases 0.000 claims description 41
- 230000002861 ventricular Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000005481 NMR spectroscopy Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000011157 brain segmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010008096 Cerebral atrophy Diseases 0.000 description 1
- 208000018152 Cerebral disease Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请公开了一种改进脑室分割模型的训练方法、装置、电子设备和介质。其中方法包括：获取正常脑样本图像；获取标准脑图像及其对应的脑室标签，标准脑图像为预设的标准空间下的人脑三维图像，脑室标签用于标注脑室区域的位置；计算正常脑样本图像与标准脑图像的变换关系；基于该变换关系将标准脑图像的脑室标签转换到正常脑样本图像对应的空间坐标系，获得正常脑样本图像的脑室标签；对多个正常脑样本图像和正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和脑室变形样本图像的脑室标签；使用样本数据集训练网络模型，获得脑室分割模型，样本数据集包括多个脑室变形样本图像和多个脑室变形样本图像的脑室标签。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种改进脑室分割模型的训练方法、装置、电子设备和介质。
背景技术
随着先进的医学成像技术的发展，许多神经科学的研究放在了比较脑内组织解剖结构的差异上，从而寻求与脑疾病有关的解剖结构形态改变的特征，以期提高脑疾病诊断的可靠性和治疗方案的有效性。医学图像分割作为图像分割领域中的一个重要分支，是实现医学图像分析，进而完成医学图像理解的首要、关键性步骤。
随着磁共振成像(MagneticResonanceImaging，MRI)技术的发展，磁共振(MR) 图像可以提供脑内部组织解剖结构的高对比度和高分辨率的三维(3D)医学图像。比如目前对于脑室扩大如脑积水等脑部疾病患者的诊断、鉴别诊断和随访，都涉及脑部MR图像，需要分析脑室体积、形态差异等。
一般可通过收集大量脑积水样本的磁共振图像数据，通过人工标注感兴趣区域(region of interes，ROI)的方法，标注脑室位置，以磁共振图像数据为训练集、脑室位置为标签进行深度学习，模型建立后可以应用于脑积水磁共振数据的处理，以获得脑室分割结果。该方式需要大量脑积水样本，浪费大量人力和时间，并且脑积水的脑室变形多样，训练样本很可能不能覆盖多种情形，导致模型的分割结果误差较大。
发明内容
基于此，有必要针对上述问题，提出了一种改进脑室分割模型的训练方法、装置、电子设备和介质。
第一方面，提供了一种改进脑室分割模型的训练方法，所述方法包括：
获取正常脑样本图像；
获取标准脑图像和所述标准脑图像的脑室标签，所述标准脑图像为预设的标准空间下的人脑三维图像，所述脑室标签用于标注脑室区域的位置；
计算所述正常脑样本图像与所述标准脑图像的变换关系；
基于所述正常脑样本图像与所述标准脑图像的变换关系，将所述标准脑图像的脑室标签映射到所述正常脑样本图像，获得所述正常脑样本图像的脑室标签；
对多个所述正常脑样本图像和所述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；
使用样本数据集训练网络模型，获得脑室分割模型，所述样本数据集包括所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签。
第二方面，提供了一种改进脑室分割模型的训练装置，所述装置包括：
获取模块，用于获取正常脑样本图像；
所述获取模块还用于，获取标准脑图像和所述标准脑图像的脑室标签，所述标准脑图像为预设的标准空间下的人脑三维图像；
转换模块，用于根据所述正常脑样本图像与所述标准脑图像的变换关系，将所述标准脑图像的脑室标签映射到所述正常脑样本图像，获得所述正常脑样本图像的脑室标签；
变形处理模块，对多个所述正常脑样本图像和所述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；
训练模块，用于使用样本数据集训练网络模型，获得脑室分割模型，所述样本数据集包括所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签。
第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及其任一种可能的实现方式的步骤。
第四方面，提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。
本申请通过获取正常脑样本图像；获取标准脑图像和所述标准脑图像的脑室标签，所述标准脑图像为预设的标准空间下的人脑三维图像，所述脑室标签用于标注脑室区域的位置；计算所述正常脑样本图像与所述标准脑图像的变换关系；基于所述正常脑样本图像与所述标准脑图像的变换关系，将所述标准脑图像的脑室标签映射到所述正常脑样本图像，获得所述正常脑样本图像的脑室标签；对多个所述正常脑样本图像和所述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；使用样本数据集训练网络模型，获得脑室分割模型，所述样本数据集包括所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签。本申请可以基于正常脑样本图像，构建多个脑室变形样本图像及其的脑室标签，用于模型训练，实现脑积水等脑室变形磁共振图像的训练集扩增，从而提高训练后模型脑室分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例提供的一种改进脑室分割模型的训练方法的流程示意图；
图2为本申请实施例提供的一种人脑分割结果示意图；
图3为本申请实施例提供的一种改进脑室分割模型的训练装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例中涉及到的神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习 (deeplearning)的代表算法之一。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1，图1是本申请实施例提供的一种改进脑室分割模型的训练方法的流程示意图，该方法可包括：
101、获取正常脑样本图像。
102、获取标准脑图像和上述标准脑图像的脑室标签，上述标准脑图像为预设的标准空间下的人脑三维图像，上述脑室标签用于标注脑室区域的位置。
本申请实施例中的方法可以应用于一种改进脑室分割模型的训练装置，该装置可以为电子设备，具体实现中，上述电子设备可以为一种终端，也可称为终端设备，包括但不限于诸如膝上型计算机或平板计算机之类的其它便携式设备。在某些实施例中，上述设备并非便携式通信设备，而是台式计算机。
上述正常脑样本图像指的是无脑室变形特征的一般人脑图像，可以是通过各种扫描检测方法获得的三维图像，比如可以是磁共振图像。
本申请实施例涉及到的磁共振成像(MRI)是利用原子核在强磁场内发生共振产生的信号经图像重建的一种成像技术，是一种核物理现象。它是利用射频脉冲对置于磁场中含有自旋不为零的原子核进行激励，射频脉冲停止后，原子核进行弛豫，在其弛豫过程中用感应线圈采集信号，按一定的数学方法重建形成数学图像。
MRI成像技术提供的信息量远远大于医学影像学中的其他许多成像技术。因此，对疾病的诊断具有很大的明显优越性。可以直接作出横断面、矢状面、冠状面和各种斜面的体层图像，不会产生CT检测中的伪影；血管造影(MRA)不需注射造影剂；无电离辐射，对机体没有不良影响。
上述标准脑图像为一种预先约定作为标准的人脑图像，通常由著名大学科研机构扫描大量正常人脑，然后将获得的人脑图像通过各种方式平均成的一个三维图像数据，可以是脑磁共振数据；并以此为标准，该标准脑图像中人脑对应空间称为标准空间。标准脑图像可以预先标注各个人脑分割区域，本申请实施例中为了用于训练脑室分割模型，需要标注脑室区域位置，通常可称为脑室模板，由于在本申请中主要涉及用于模型训练，因此称为脑室标签。
一般对人脑图像数据做预处理的时候，会把图像归一化(normalize)到标准空间，然后就可以进行定量分析，借助标准空间的脑室模板进行分割、匹配等操作。可以理解为，因为每个人脑大小、形状都不一样，如果把它们放到一个坐标系中，同一个脑结构的空间位置就会不一样，这样就不利于图像分析和描述，因此需要一个共同的参考坐标，这里讲的标准空间就是这样一个参考坐标。
本申请实施例中的脑室标签可以为图像掩膜(mask)或者感兴趣区域(region ofinterest)的形式。标准脑图像及其脑室标签均可以获取任意已知的机构所提供的数据，也可以根据需要自己分析制定出一个标准脑图像及其脑室标签，此处不做限制。
其中，上述步骤101和步骤102可以不分先后顺序执行。
103、计算上述正常脑样本图像与上述标准脑图像的变换关系。
104、基于上述正常脑样本图像与上述标准脑图像的变换关系，将上述标准脑图像的脑室标签映射到上述正常脑样本图像，获得上述正常脑样本图像的脑室标签。
具体的，上述正常脑样本图像与标准脑图像的变换关系，可以是正常脑样本图像的各个像素点与标准脑图像中对应像素点的映射关系，以根据该映射关系进行空间变换。
可以涉及以下三种常用的空间变换类型：
(1)刚体变换(rigid body transformation)
如果图像A只需要经过空间的平移和旋转就可以变换到图像B。这样的变换称为刚体变换。在核磁图像中，空间可沿着x、y、z轴平移或旋转。
(2)仿射变换(affine transformation)
图像A若要配准到图像B，除了需要空间平移和旋转以外，还需要图像的拉伸(Scaling)如放大、缩小，和图像的倾斜(Skews/Shears)，这样的变换称为仿射变换。
(3)非线性变换
刚体变换和仿射变换都属于线性变换。如果图像A变换到图像B需要的自由度在12以上，比如还需要图像局部的形变，这样的变换称为非线性变换。非线性变换常用于被试间高分辨率图像间的配准。
本申请实施例中主要可通过非线性变换实现上述空间变换。在一种实施方式中，上述步骤103可包括：
计算上述正常脑样本图像到上述标准脑图像的变换矩阵；
获取上述变换矩阵的逆矩阵作为上述正常脑样本图像与上述标准脑图像的变换关系。
通过正常脑样本图像与标准脑图像配准，计算正常脑样本图像到标准脑图像的变换矩阵，即可以为仿射变换矩阵。通过获得的该变换矩阵的逆矩阵，可以将标准脑图像的脑室标签转换至各个正常脑样本图像的个体空间，即匹配至正常脑样本图像的脑室标签，不需要再通过人工标注脑室。
在一种可选的实施方式中，上述正常脑样本图像可以为正常脑核磁共振解剖相T1WI 3D图像，标准脑图像也采用T1WI 3D图像，上述标准空间可以采用 MNI标准或者Talairach标准。可选的，本申请实施例中的图像也可以采用其他权重的3D序列，例如通过正常脑T2WI 3D样本图像跟标准空间的T2WI 3D图像进行匹配。
配准工具可以采用matlab，FSL等软件，以计算上述变换矩阵，实现配准转换，本申请实施例对此不做限制。
105、对多个上述正常脑样本图像和上述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和上述脑室变形样本图像的脑室标签。
具体的，可以对不同的上述正常脑样本图像执行随机的三维图像变形处理，对每个上述正常脑样本图像的脑室标签执行相同的三维图像变形处理。对于不同的正常脑样本图像，主要可以是对正常脑样本图像中的脑室区域进行随机的变形变换，同时每个正常脑样本图像所对应的脑室标签，也要进行与正常脑样本图像相同的变形。通过变形变换可以模仿脑积水等脑室变形的样本，不需要不需要大量的脑积水等脑室变形样本，因为现实中这种样本可能并不容易获得；也不需要不需要人工画脑室感兴趣区等来生成脑室模板，这过程十分耗时耗力。
上述图像变形处理的方式主要是计算出变形后图像中像素点所对应的坐标点，具体思路可以为：选取正常脑样本图像的各个控制顶点p，获取控制顶点p和正常脑样本图像上的其他像素点v的坐标；首先确定变形后图像的控制顶点q的坐标，进一步求出其他像素点v在变形后图像中的对应位置f(v)，完成图像变形。
可选的，可以基于最小二乘法的移动网格变形算法、弹性变换等方式，也可以是多种图像变形方式结合，变换区域主要以脑室区域为主，目的以脑室区域扩大为主，本申请实施例对此不做限制。其中，基于最小二乘法的移动网格变形算法，可以预设的控制顶点位置可包括脑室中心像素点和多个脑室边缘上的像素点，通过上述控制顶点进行变形处理，此处不做限制。
本申请中可以通过多种变形方式对样本脑室区域进行处理，用于模型训练，增加模型一般性，使得模型在对各种类型的人图像都能准确进行脑室分割。
106、使用样本数据集训练网络模型，获得脑室分割模型，上述样本数据集包括上述多个脑室变形样本图像和上述多个脑室变形样本图像的脑室标签。
以上述扩增后的图像，即获得的多个脑室变形样本图像和对应的脑室标签作为样本数据集(其中脑室区域为前景、其他区域为背景)，训练网络模型，可以获得脑室分割模型，进行分割任务。
在一种可选的实施方式中，上述方法还包括：
获取多个脑积水样本图像和上述多个脑积水样本图像的脑室标签；
对上述多个脑积水样本图像和上述多个脑积水样本图像的脑室标签进行三维图像变形处理，获得多个新增脑积水样本图像和上述多个新增脑积水样本图像的脑室标签；
上述使用样本数据集训练网络模型，获得脑室分割模型，包括：
使用上述多个脑室变形样本图像和上述多个脑室变形样本图像的脑室标签，上述多个脑积水样本图像和上述多个脑积水样本图像的脑室标签，以及上述多个新增脑积水样本图像和上述多个新增脑积水样本图像的脑室标签训练网络模型，获得上述脑室分割模型。上述样本数据集适用于各类网络结构的训练，比如 freesurfer一类软件包有自带的训练，或者UNET网络结构等都可以实施，本申请实施例对此不做限制。
具体的，可以在通过正常脑样本图像扩充多个脑室变形样本图像作为训练样本的基础上，还增加脑积水样本图像及其脑室标签，作为训练样本，上述脑积水样本图像也可采用3D T1WI图像。上述脑积水样本图像的脑室标签可以通过人工标注ROI的方式或者用其他方法获得，本申请实施例对此不做限制。
进一步地，可以对一定量的脑积水样本图像及其脑室标签进行如步骤105所述的三维图像变形处理，获得多个新增脑积水样本图像和上述多个新增脑积水样本图像的脑室标签，通过与步骤105相似的变换方式来进一步扩增数据集。
在此情况下，用于训练的模型的样本数据集可以包括基于正常脑样本图像产生的多个脑室变形样本图像及其脑室标签、上述多个脑积水样本图像及其脑室标签，以及基于脑积水样本图像产生的多个新增脑积水样本图像及其新增脑积水样本图像，极大地增加了训练样本数量；并且脑积水具有多样性，部分变形比较特殊，训练集难以完全覆盖，而本申请通过随机的变形还增加了训练样本的多样性，从而提高了深度学习模型准确性，增加了模型的通用性、鲁棒性。
可选的，也可以增加脑室变形的病例作为样本图像进行上述脑积水样本图像类似的扩充处理，其中可包括脑室扩大和缩小的病例图像，脑室扩大即包括了脑积水，也包括一些脑萎缩而导致脑室扩大的患者，此处不做限制。
可选的，在上述步骤106之后，该方法还包括：
通过该脑室分割模型对待处理人脑核磁共振图像进行脑室分割处理，获得脑室分割图像。
通过上述步骤101-步骤106所获得的样本数据集训练后的脑室分割模型，可以准确对人脑核磁共振图像进行脑室分割，输出脑室分割图像，其中标注出人脑的脑室区域。
在一种可选的实施方式中，可以将该算法与其他分割模型结合，进行包括脑室区域在内的多个人脑区域的分割。举例来讲，可以参见图2所示的一种人脑分割结果示意图。此处仅提供三维图像中的一个俯视示意图距离，分割结果可以从各个视角查看。可见图2中标注有脑室区域——深色阴影区域a，以及其他人脑区域，比如区域b和c，其他部位的分割处理可以通过其他任意分割模型或算法实现，本申请实施例对此不做限制。
基于上述改进脑室分割模型的训练方法实施例的描述，本申请实施例还公开了一种改进脑室分割模型的训练装置，如图3所示，该改进脑室分割模型的训练装置300包括：
获取模块310，用于获取正常脑样本图像；
所述获取模块310还用于，获取标准脑图像和所述标准脑图像的脑室标签，所述标准脑图像为预设的标准空间下的人脑三维图像；
转换模块320，用于根据所述正常脑样本图像与所述标准脑图像的变换关系，将所述标准脑图像的脑室标签映射到所述正常脑样本图像，获得所述正常脑样本图像的脑室标签；
变形处理模块330，对多个所述正常脑样本图像和所述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；
训练模块340，用于使用样本数据集训练网络模型，获得脑室分割模型，所述样本数据集包括所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签。
其中，上述改进脑室分割模型的训练装置300可以执行如图1所示实施例中方法的部分或全部步骤，此处不再赘述。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种电子设备。请参见图4，该电子设备400至少包括处理器401、输入设备402、输出设备403以及计算机存储介质404。其中，电子设备内的处理器401、输入设备402、输出设备403以及计算机存储介质404可通过总线或其他方式连接。
计算机存储介质404可以存储在电子设备的存储器中，上述计算机存储介质 904用于存储计算机程序，上述计算机程序包括程序指令，上述处理器401用于执行上述计算机存储介质404存储的程序指令。处理器401(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本申请实施例上述的处理器901可以用于进行一系列的处理，包括如图1所示实施例中方法的任意步骤等等。
本申请实施例还提供了一种计算机存储介质(Memory)，上述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括电子设备中的内置存储介质，当然也可以包括电子设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了电子设备的操作系统。并且，在该存储空间中还存放了适于被处理器401加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器401加载并执行计算机存储介质中存放的一条或多条指令，以实现上述实施例中的相应步骤；具体实现中，计算机存储介质中的一条或多条指令可以由处理器401加载并执行图1中方法的任意步骤，此处不再赘述。
需要说明的是，上述改进脑室分割模型的训练方法、装置、电子设备和介质属于一个总的发明构思，改进脑室分割模型的训练方法、装置、电子设备和介质实施例中的内容可相互适用。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
Claims (7)
1.一种改进脑室分割模型的训练方法，其特征在于，所述方法包括：
获取正常脑样本图像；
获取标准脑图像和所述标准脑图像的脑室标签，所述标准脑图像为预设的标准空间下的人脑三维图像，所述脑室标签用于标注脑室区域的位置；
计算所述正常脑样本图像与所述标准脑图像的变换关系；所述计算所述正常脑样本图像与所述标准脑图像的变换关系，包括：计算所述正常脑样本图像到所述标准脑图像的变换矩阵；获取所述变换矩阵的逆矩阵作为所述正常脑样本图像与所述标准脑图像的变换关系；
基于所述正常脑样本图像与所述标准脑图像的变换关系，将所述标准脑图像的脑室标签映射到所述正常脑样本图像，获得所述正常脑样本图像的脑室标签；
对多个所述正常脑样本图像和所述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和所述脑室变形样本图像的脑室标签，包括：对不同的所述正常脑样本图像执行随机的三维图像变形处理，对每个所述正常脑样本图像的脑室标签执行相同的三维图像变形处理，获得所述多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；
使用样本数据集训练网络模型，获得脑室分割模型，所述样本数据集包括所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签。
2.根据权利要求1所述的改进脑室分割模型的训练方法，其特征在于，所述方法还包括：
获取多个脑积水样本图像和所述多个脑积水样本图像的脑室标签；
对所述多个脑积水样本图像和所述多个脑积水样本图像的脑室标签进行三维图像变形处理，获得多个新增脑积水样本图像和所述多个新增脑积水样本图像的脑室标签；
所述使用样本数据集训练网络模型，获得脑室分割模型，包括：
使用所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签，所述多个脑积水样本图像和所述多个脑积水样本图像的脑室标签，以及所述多个新增脑积水样本图像和所述多个新增脑积水样本图像的脑室标签训练网络模型，获得所述脑室分割模型。
3.根据权利要求1所述的改进脑室分割模型的训练方法，其特征在于，所述正常脑样本图像为核磁共振图像。
4.根据权利要求3所述的改进脑室分割模型的训练方法，其特征在于，所述使用样本数据集训练网络模型，获得脑室分割模型之后，所述方法还包括：
通过所述脑室分割模型对待处理人脑核磁共振图像进行脑室分割处理，获得脑室分割图像。
5.一种改进脑室分割模型的训练装置，包括：
获取模块，用于获取正常脑样本图像；
所述获取模块还用于，获取标准脑图像和所述标准脑图像的脑室标签，所述标准脑图像为预设的标准空间下的人脑三维图像；
转换模块，用于根据所述正常脑样本图像与所述标准脑图像的变换关系，将所述标准脑图像的脑室标签映射到所述正常脑样本图像，获得所述正常脑样本图像的脑室标签；
所述转换模块，具体用于计算所述正常脑样本图像到所述标准脑图像的变换矩阵，获取所述变换矩阵的逆矩阵作为所述正常脑样本图像与所述标准脑图像的变换关系；
变形处理模块，对多个所述正常脑样本图像和所述正常脑样本图像的脑室标签进行三维图像变形处理，获得多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；
所述变形处理模块，具体用于对不同的所述正常脑样本图像执行随机的三维图像变形处理，对每个所述正常脑样本图像的脑室标签执行相同的三维图像变形处理，获得所述多个脑室变形样本图像和所述脑室变形样本图像的脑室标签；
训练模块，用于使用样本数据集训练网络模型，获得脑室分割模型，所述样本数据集包括所述多个脑室变形样本图像和所述多个脑室变形样本图像的脑室标签。
6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述的改进脑室分割模型的训练方法的步骤。
7.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述的改进脑室分割模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110414480.6A CN113192014B (zh) | 2021-04-16 | 2021-04-16 | 改进脑室分割模型的训练方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110414480.6A CN113192014B (zh) | 2021-04-16 | 2021-04-16 | 改进脑室分割模型的训练方法、装置、电子设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192014A CN113192014A (zh) | 2021-07-30 |
| CN113192014B true CN113192014B (zh) | 2024-01-30 |
Family
ID=76977234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110414480.6A Active CN113192014B (zh) | 2021-04-16 | 2021-04-16 | 改进脑室分割模型的训练方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192014B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745473A (zh) * | 2014-01-16 | 2014-04-23 | 南方医科大学 | 一种脑组织提取方法 |
| CN107506761A (zh) * | 2017-08-30 | 2017-12-22 | 山东大学 | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 |
| CN108961274A (zh) * | 2018-07-05 | 2018-12-07 | 四川大学 | 一种mri图像中自动头颈肿瘤分割方法 |
| CN109447183A (zh) * | 2018-11-27 | 2019-03-08 | 东软集团股份有限公司 | 模型训练方法、装置、设备以及介质 |
| CN109509203A (zh) * | 2018-10-17 | 2019-03-22 | 哈尔滨理工大学 | 一种半自动脑部图像分割方法 |
| EP3477583A1 (en) * | 2017-10-31 | 2019-05-01 | Koninklijke Philips N.V. | Deep-learning based processing of motion artifacts in magnetic resonance imaging data |
| CN109961435A (zh) * | 2019-04-02 | 2019-07-02 | 上海联影医疗科技有限公司 | 脑图像获取方法、装置、设备及存储介质 |
| CN110047068A (zh) * | 2019-04-19 | 2019-07-23 | 山东大学 | 基于金字塔场景分析网络的mri脑肿瘤分割方法及系统 |
| CN110232691A (zh) * | 2019-04-18 | 2019-09-13 | 浙江大学山东工业技术研究院 | 一种多模态的ct影像的分割方法 |
| CN110415219A (zh) * | 2019-07-04 | 2019-11-05 | 杭州深睿博联科技有限公司 | 基于深度分割网络的医学图像处理方法及装置、设备、存储介质 |
| EP3564962A1 (en) * | 2018-04-30 | 2019-11-06 | Koninklijke Philips N.V. | Motion artifact prediction during data acquisition |
| CN111161326A (zh) * | 2018-11-08 | 2020-05-15 | 通用电气公司 | 用于可变形图像配准的无监督深度学习的系统和方法 |
| CN111415324A (zh) * | 2019-08-09 | 2020-07-14 | 复旦大学附属华山医院 | 基于磁共振成像的脑病灶图像空间分布特征的分类鉴别方法 |
| CN111489381A (zh) * | 2019-01-28 | 2020-08-04 | 临沂大学 | 一种婴幼儿脑部核磁共振图像群配准方法及其装置 |
| CN111563903A (zh) * | 2020-04-26 | 2020-08-21 | 北京航空航天大学 | 一种基于深度学习的mri全脑组织分割方法 |
| CN112070781A (zh) * | 2020-08-13 | 2020-12-11 | 沈阳东软智能医疗科技研究院有限公司 | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 |
| CN112102266A (zh) * | 2020-08-31 | 2020-12-18 | 清华大学 | 基于注意力机制的脑梗死医学影像分类模型的训练方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10891778B2 (en) * | 2018-01-10 | 2021-01-12 | The Board Of Trustees Of The University Of Illinois | Apparatus and method for producing three-dimensional models from magnetic resonance imaging |
| JP7245256B2 (ja) * | 2018-03-02 | 2023-03-23 | コーニンクレッカ フィリップス エヌ ヴェ | 画像レジストレーションの認定 |
| CN116569211A (zh) * | 2019-03-15 | 2023-08-08 | 辉达公司 | 使用变换训练神经网络的技术 |
-
2021
- 2021-04-16 CN CN202110414480.6A patent/CN113192014B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745473A (zh) * | 2014-01-16 | 2014-04-23 | 南方医科大学 | 一种脑组织提取方法 |
| CN107506761A (zh) * | 2017-08-30 | 2017-12-22 | 山东大学 | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 |
| CN111295687A (zh) * | 2017-10-31 | 2020-06-16 | 皇家飞利浦有限公司 | 对磁共振成像数据中的运动伪影的基于深度学习的处理 |
| EP3477583A1 (en) * | 2017-10-31 | 2019-05-01 | Koninklijke Philips N.V. | Deep-learning based processing of motion artifacts in magnetic resonance imaging data |
| EP3564962A1 (en) * | 2018-04-30 | 2019-11-06 | Koninklijke Philips N.V. | Motion artifact prediction during data acquisition |
| CN108961274A (zh) * | 2018-07-05 | 2018-12-07 | 四川大学 | 一种mri图像中自动头颈肿瘤分割方法 |
| CN109509203A (zh) * | 2018-10-17 | 2019-03-22 | 哈尔滨理工大学 | 一种半自动脑部图像分割方法 |
| CN111161326A (zh) * | 2018-11-08 | 2020-05-15 | 通用电气公司 | 用于可变形图像配准的无监督深度学习的系统和方法 |
| CN109447183A (zh) * | 2018-11-27 | 2019-03-08 | 东软集团股份有限公司 | 模型训练方法、装置、设备以及介质 |
| CN111489381A (zh) * | 2019-01-28 | 2020-08-04 | 临沂大学 | 一种婴幼儿脑部核磁共振图像群配准方法及其装置 |
| CN109961435A (zh) * | 2019-04-02 | 2019-07-02 | 上海联影医疗科技有限公司 | 脑图像获取方法、装置、设备及存储介质 |
| CN110232691A (zh) * | 2019-04-18 | 2019-09-13 | 浙江大学山东工业技术研究院 | 一种多模态的ct影像的分割方法 |
| CN110047068A (zh) * | 2019-04-19 | 2019-07-23 | 山东大学 | 基于金字塔场景分析网络的mri脑肿瘤分割方法及系统 |
| CN110415219A (zh) * | 2019-07-04 | 2019-11-05 | 杭州深睿博联科技有限公司 | 基于深度分割网络的医学图像处理方法及装置、设备、存储介质 |
| CN111415324A (zh) * | 2019-08-09 | 2020-07-14 | 复旦大学附属华山医院 | 基于磁共振成像的脑病灶图像空间分布特征的分类鉴别方法 |
| CN111563903A (zh) * | 2020-04-26 | 2020-08-21 | 北京航空航天大学 | 一种基于深度学习的mri全脑组织分割方法 |
| CN112070781A (zh) * | 2020-08-13 | 2020-12-11 | 沈阳东软智能医疗科技研究院有限公司 | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 |
| CN112102266A (zh) * | 2020-08-31 | 2020-12-18 | 清华大学 | 基于注意力机制的脑梗死医学影像分类模型的训练方法 |
Non-Patent Citations (3)
| Title |
|---|
| 《Dynamic Contrast-Enhanced MRI-Based Early Detection of Acute Renal Transplant Rejection》;Fahmi Khalifa 等;《IEEE》;全文 * |
| 《基于多模态的医学分割关键技术研究》;吴艺超;《中国优秀硕士学位论文全文数据库》;全文 * |
| 《脑膜瘤WHO最新病理分型的MRI影像特点比较》;林帆 等;《深圳中西医结合杂志》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192014A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Weakly-supervised convolutional neural networks for multimodal image registration | |
| Zhang et al. | Detecting anatomical landmarks from limited medical imaging data using two-stage task-oriented deep neural networks | |
| Abdel-Basset et al. | Feature and intensity based medical image registration using particle swarm optimization | |
| Jiang et al. | A multi-scale framework with unsupervised joint training of convolutional neural networks for pulmonary deformable image registration | |
| Mahapatra et al. | Joint registration and segmentation of xray images using generative adversarial networks | |
| Kroon et al. | MRI modalitiy transformation in demon registration | |
| US10088544B2 (en) | Tractography framework with magnetic resonance imaging for brain connectivity analysis | |
| US9262583B2 (en) | Image similarity-based finite element model registration | |
| Yang et al. | Automatic kidney segmentation in CT images based on multi-atlas image registration | |
| Men et al. | Cascaded atrous convolution and spatial pyramid pooling for more accurate tumor target segmentation for rectal cancer radiotherapy | |
| CN102667857B (zh) | X射线照片中的骨抑制 | |
| Khagi et al. | Pixel-label-based segmentation of cross-sectional brain MRI using simplified SegNet architecture-based CNN | |
| Qiu et al. | Learning diffeomorphic and modality-invariant registration using b-splines | |
| CN106683042B (zh) | 一种基于非线性最小二乘的多模态医学图像融合方法以及系统 | |
| Yu et al. | Deformable models with sparsity constraints for cardiac motion analysis | |
| Andreasen et al. | Computed tomography synthesis from magnetic resonance images in the pelvis using multiple random forests and auto-context features | |
| Patera et al. | A non-rigid registration method for the analysis of local deformations in the wood cell wall | |
| Luo et al. | MvMM-RegNet: A new image registration framework based on multivariate mixture model and neural network estimation | |
| Alvén et al. | Überatlas: fast and robust registration for multi-atlas segmentation | |
| Roozgard et al. | Medical image registration using sparse coding and belief propagation | |
| CN113192014B (zh) | 改进脑室分割模型的训练方法、装置、电子设备和介质 | |
| Chen et al. | Inverse consistent deformable image registration | |
| Lafitte et al. | Accelerating multi-modal image registration using a supervoxel-based variational framework | |
| Gao et al. | Consistency based co-segmentation for multi-view cardiac MRI using vision transformer | |
| Mojica et al. | Medical image alignment based on landmark-and approximate contour-matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |