CN115100115A - 一种器官图像分割的方法、装置、设备及存储介质 - Google Patents

一种器官图像分割的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115100115A
CN115100115A CN202210577649.4A CN202210577649A CN115100115A CN 115100115 A CN115100115 A CN 115100115A CN 202210577649 A CN202210577649 A CN 202210577649A CN 115100115 A CN115100115 A CN 115100115A
Authority
CN
China
Prior art keywords
segmentation
image
model
organ
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577649.4A
Other languages
English (en)
Inventor
张立华
杨仲伟
邝昊鹏
张绪坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210577649.4A priority Critical patent/CN115100115A/zh
Publication of CN115100115A publication Critical patent/CN115100115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种器官图像分割的方法、装置、设备及存储介质，属于计算技术领域，能够提高器官尤其是小器官的分割准确度。具体地，通过参考大器官形状来帮助难以分割的小器官实现精准分割，改进了当前器官分割的方法，从而使小器官在形状不定、体素少、边界模糊的情况下也能获得很好的分割效果。

Description

一种器官图像分割的方法、装置、设备及存储介质
技术领域
本公开涉及计算技术领域，具体地涉及用于器官图像分割的方法、装置、设备及存储介质。
背景技术
医生进行腹部器官手术时，需要判断器官的方向、位置和形状，从而进行精准的手术定位。计算机断层扫描(CT)是医生掌握病人身体内部信息的重要手段，经验丰富的医生能够根据CT图像想象器官的具体位置，不同个体的不同小器官的形状和外观具有很大的差异，这会导致小器官的定位困难，计算机难以准确识别，此外由于人体内丰富的软组织，导致一些器官的边界对比度低，特别是小器官周围更加难以识别。
现有技术难以划分边界，进而导致小器官的分割效果很差。因此，腹部小器官的分割仍然是一项具有挑战性的任务。
发明内容
本公开的目的在于，针对现有技术中存在的问题，提供一种器官图像分割的方法、装置、设备及存储介质，提高器官分割准确度。
根据本公开的一个方面，提出一种器官图像分割方法，
获取原始图像数据集，对原始图像数据集预处理，
基于所述数据集，利用深度学习方法训练获得第一分割模型，所述第一分割模型用于对多器官的粗分割，
基于所述第一分割模型获取多器官的粗分割结果，
根据所述粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分得到一个或多个第一小块，并保存所述第一小块的位置和尺寸信息，
根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，所述形状特征通过主动外观模型表征，
使用所述第一小块和周围器官的形状特征变化训练得到第二分割模型，所述第二分割模型用于对小器官的细分割，
基于所述第二分割模型对小器官细分割得到一个或多个第二小块，
基于所述第一小块的位置和尺寸，利用所述第二小块替代所述第一小块。
在一些实施例中，所述器官图像具体为器官CT图像。
在一些实施例中，预处理包括，将所述原始图像数据集随机划分训练集和验证集，然后将是原始图像放缩到统一尺寸以适应网络模型，再根据CT图像中器官的窗位和窗宽划分HU值的范围，将高于预设范围的置为HU值的上限，低于预设范围的置为HU值的下限，并对HU值进行归一化。
在一些实施例中，所述第一分割模型和所述第二分割模型基于3D-UNet训练得到。
在一些实施例中，所述基于所述第一分割模型获取多器官的粗分割结果，具体为，先使用预处理过的数据进行模型验证，然后使用最大连通标记法对分割的结果进行后处理，即先标记每个器官的所有连通区域，只保留每个器官的最大连通区域，之后放大到原图像的大小，从而使得标签和原始图像对应，得到多器官的粗分割结果，
在一些实施例中，所述根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，具体为，在每个已经切割出的所述第一小块的图像中找到一组定义对应关系的点，通过对齐每张图像上的控制点集并应用主成分分析，可以生成一个统计形状模型，通过将每个灰度图像扭曲成平均参考图像，可以将主成分分析应用于生成的纹理，以生成统计纹理模型，然后使用已知的对应关系将每个归一化强度图像扭曲到模型参考帧中，通过训练生成主动外观模型。
在一些实施例中，所述基于所述第二分割模型对小器官细分割得到一个或多个第二小块，具体为，匹配主动外观模型以估计与模型帧的对应关系；使用产生的对应关系将归一化强度扭曲到模型帧中；使用体素概率估计计算参考帧中的概率图像；使用将其扭曲到图像帧中的对应关系；基于概率值选择每个体素所属的标签，从而获得图像分割结果。
根据本公开的另一个方面，提出一种器官图像分割的装置，包括，
预处理单元，用于获取原始图像数据集，对原始图像数据集预处理，
第一分割模型训练单元，用于基于所述数据集，利用深度学习方法训练获得第一分割模型，所述第一分割模型用于对多器官的粗分割，
图像粗分割单元，用于基于所述第一分割模型获取多器官的粗分割结果，
记录单元，用于根据所述粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分得到一个或多个第一小块，并保存所述第一小块的位置和尺寸信息，
第二分割模型训练单元，用于根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，所述形状特征通过主动外观模型表征，使用所述第一小块和周围器官的形状特征变化训练得到第二分割模型，所述第二分割模型用于对小器官的细分割，
图像细分割单元，用于基于所述第二分割模型对小器官细分割得到一个或多个第二小块，基于所述第一小块的位置和尺寸，利用所述第二小块替代所述第一小块。
根据本公开的另一个方面，提出一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，
所述处理器执行所述计算机程序时实现上述方法的步骤。
根据本公开的再一个方面，提出一种用以存储处理器可执行指令数据的计算机可读存储介质，所述计算机可读存储介质中存储的处理器可执行指令数据在被执行时能够致使处理器实施如上所述器官图像分割方法。
本公开提供了一种器官图像分割的方法、装置、设备及存储介质，能够提高器官尤其是小器官的分割准确度。具体地，通过参考大器官形状来帮助难以分割的小器官实现精准分割，改进了当前器官分割的方法，从而使小器官在形状不定、体素少、边界模糊的情况下也能获得很好的分割效果。
附图说明
下面结合附图，通过对本公开的具体实施方式详细描述，将使本公开的技术方案及其它有益效果显而易见。
图1为本公开实施例提供的器官图像分割方法流程示意图。
图2为本公开实施例提供的胆囊CT图像分割流程示意图。
图3为本公开实施例提供的器官图像分割装置示意图。
图4为本公开实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。本公开的说明书和权利要求书以及附图中的术语“第一”、“第二”、等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排它的包含。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
实施例一：
具体地，请参阅图1，为本公开提供的一种器官图像分割方法。具体步骤如下：
S1获取原始图像数据集，对原始图像数据集预处理。
在一个或多个实施例中，原始图像可以是腹部器官的CT图像，对原始CT图像数据进行预处理的过程具体为：将数据集随机划分训练集和验证集，然后将图像放缩到统一尺寸以适应网络模型，再根据CT图像的腹部器官的窗位和窗宽划分HU值(CT值的单位)的范围，将高于范围的全置为HU值的上限，低于范围的置为HU值的下限，以更好地对比腹部器官，并进行归一化处理，使数据值为[0,1]。
S2基于所述数据集，利用深度学习方法训练获得第一分割模型，所述第一分割模型用于对多器官的粗分割。
在一个或多个实施例中，训练多器官分割网络的过程具体为：先加载原始数据列表，然后依次读取预训练好的数据，再采用数据增强增加数据量。数据增强过程是先根据病人身体幅度，随机取样本进行旋转，再根据高低胖瘦，随机取样进行缩放。接下来，使用3D-UNet分割网络，使用划分好的训练集输入模型进行训练。网络模型有多个下采样以及对应的上采样，其中每个阶段都包含两个3×3×3的卷积层，每次卷积之后是一个批处理规范化函数和一个Relu激活函数。然后是一个2×2×2的最大池化层，每个维度的步幅是2。编码器和解码器在相同阶段使用跳跃连接。在解码器的末端用softmax函数输出所有器官的分割预测。损失函数采用了多分类的dice损失函数，定义X是Ground Truth分割图像，Y是预测的分割图像。定义N为任务类别，则Xn表示第n个类别的分割图像，图像中像素的值为1表示器官区域，0表示非器官区域。Yn表示第n个类别的预测的分割图像，图像中像素的值范围为[0,1],表示当前像素是器官的概率。公式如下：
Figure BDA0003660967650000051
S3基于所述第一分割模型获取多器官的粗分割结果。
在一个或多个实施例中，获取粗分割网络模型以后，进行后处理过程获得粗分割结果：先使用预处理过的数据进行模型验证，然后使用最大连通标记法对分割的结果进行后处理，即先标记每个器官的所有连通区域，只保留每个器官的最大连通区域。之后放大到原图像的大小，从而使得标签和原始图像对应，这样就获得了腹部多器官的粗分割结果。
S4根据所述粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分得到一个或多个第一小块，并保存所述第一小块的位置和尺寸信息。
在一个或多个实施例中，根据粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分小块，即第一小块，并且在文件中保存小块的位置和尺寸信息，这样做的目的是让网络更关注小器官区域，同时节约内存消耗，提高分割效率。
S5根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，所述形状特征通过主动外观模型表征。
在一个或多个实施例中，通过计算小器官及周围其他器官的形状特征，帮助小器官的边界划分的更清楚。具体过程如下：
首先，使用主动外观模型表征器官的形状信息。主动外观模型(activeappearance model，AAM)是基于主动外观模型的图像分割算法。为了构建形状和外观的统计模型，有必要在每个图像中找到一组定义对应关系的点。
在构造模型阶段，通过对齐每张图像上的控制点集并应用主成分分析(PCA)，可以生成一个统计形状模型。通过将每个灰度图像扭曲成平均参考图像，可以将PCA应用于生成的纹理，以生成统计纹理模型。
可以将形状和纹理模型结合起来，构建外观的组合统计模型，公式如下：
Figure BDA0003660967650000061
Figure BDA0003660967650000062
其中x指的是模型的轮廓，指的是图形的平均轮廓，g指的是模型的纹理，指的是图形的平均纹理，Qx和Qg代表了训练集里描述图像的点协方差特征向量组成的矩阵，c指的是控制物体形状和纹理的参数。根据主动外观模型的参数c,可以生成一个被建模对象的合成图像，可以计算合成图像(也就是模型帧或参考帧)和新图像之间的差异r，通过最小化差异r来推导出一种快速更新算法，该算法可以在多次迭代中将模型与新图像进行匹配，从而获得模型和图像之间的对应关系。
S6使用所述第一小块和周围器官的形状特征变化训练得到第二分割模型，所述第二分割模型用于对小器官的细分割。
在一个或多个实施例中，在训练阶段，使用前述已知的对应关系将每个归一化强度图像扭曲到模型参考帧中。扭曲到模型参考帧的过程见前述获得模型和图像之间的对应关系的过程，主动外观模型(也就是模型参考帧)可以通过算法匹配到新图像，从而获得一个新图像转换为主动外观模型的变形。模型参考帧指的就是AAM主动外观模型，可表示为前述公式(2)(3)，是通过图像小块中的信息构建的表征器官形状的一个形状和外观的统计模型框架。
对于这一帧中的任何给定体素，有一组概率pi，i＝1..n。概率pi表示的是，每一个图像中体素i是器官的概率。它位于对象内部以及在体素周围区域中采样的相应强度值向量ki，其中ki表示的是，每一个图像中体素i的CT值强度。然后，执行线性回归学习一个函数来估计给定强度模式时的概率，这对边界附近的每个体素重复。体素估计器的计算公式如下：
p＝f(k)＝a*k+d (4)
这里公式(4)表示的是一个线性关系，用来根据CT强度值k计算该点是器官的概率p，从而得到概率图像。p,k取值为[0,1],p＝0表示在器官外部，p＝1表示在器官内部。参数a和d是可以通过线性回归学习的两个参数。
其中，假设远离边界的体素具有p＝0(外部)或p＝1(内部)。
将包含小器官的第一小块和包含周围器官的形状特征同时输入深度学习网络模型，训练能够精准分割小器官的新模型，即第二分割模型。
S7基于所述第二分割模型对小器官细分割得到一个或多个第二小块。
在一个或多个实施例中，具体过程如下：
先加载原始数据的列表，然后依次根据文件中保存的小块信息读取对应CT图像数据中的小器官的第一小块，然后，我们可以使用以下步骤对其进行分割：
1).使用AAM算法匹配新图像与模型框架的对应关系(即如前述通过最小化图像和模型的差异,推导出一种更新算法,该算法可以在迭代中把模型和新图像匹配)；
2).使用该对应关系，把新图像(即待分割的归一化强度图像)变形到AAM模型帧(即主动外观模型框架)；
3).通过公式(4)进行概率估计,计算模型帧的概率图像(即通过线性回归学习一个函数来估计图像强度值对应的概率)；通过图像的CT值计算该点是器官的概率p，从而得到概率图像，这里的概率图像是一个矩阵，每个点是(0，1)之间的概率值，表示是器官的可能性。
4).使用该对应关系，把计算好的概率图像变形到图像帧(即把概率图像扭曲变形到图像框架,变形过程中是采用三次线性插值的方式)；
5).产生的概率图像被阈值0.5划分(概率图像是一个矩阵，每个点是(0，1)之间的概率值，表示是器官的可能性，如果所述概率值大于0.5的概率被认为是1,小于0.5的概率被认为是0)，获得一个标签图像,也就是小器官的分割结果。这里的概率值是通过前面的线性回归计算出的概率图像插值扭曲之后获得的新概率图像，图像的每个体素用概率值表示，如果概率值大于等于0.5则表示是器官的标签。
S7基于所述第一小块的位置和尺寸，利用所述第二小块替代所述第一小块。
根据保存的第一小块的位置和尺寸，将小器官的分割结果拼接到多器官的粗分割上，替换掉原来分割不好的小器官结果，从而形成对于小器官精准分割的新结果。
至此，整个基于解剖学引导的腹部小器官CT图像的分割方案完成。
实施例二
为了更好的说明本申请的发明构思，本实施例以分割胆囊器官为例描述器管分割的过程。
在腹部器官中，胆囊是位于肝脏后方的梨形囊袋构造(肝的胆囊窝内)，和肝脏连在一起，导致边界难以划分。而且不同患者的胆囊形状差异大，同一病人的胆囊收缩排空时，皱襞高大而分支；胆囊充盈时，皱襞减少变矮；这些都导致目前胆囊分割较差。本实施例选择腹部小器官之中，比较难分割的胆囊器官，详细描述该腹部小器官CT图像的分割方案的实施过程；这里的小器官是指是尺寸较小且软组织较多，边界不够清晰，用经典的医学图像分割算法无法取得和大器官一样准确分割结果的器官。腹部的小器官包括胆囊、肾上腺、胰腺、门静脉等，在公开数据集上这些小器官分割准确率低于90％，甚至更低，如肾上腺只有70％左右。然而其他器官如肝脏、肾脏、脾脏、胃等器官已经达到95％以上的准确率。
图2为本实施例提供的基于解剖学引导的胆囊CT图像分割方案的流程图，本实施例基于BTCV挑战数据集进行，可适用于解决腹部多器官分割中胆囊分割不够精准的问题。其中针对胆囊的细分割模型可用较少的计算资源来完成。具体包括于如下步骤：
(1)预处理原始数据，对原始CT图像数据进行预处理的过程具体为：去掉2个没有胆囊的病例，取28个完整标签的数据，按照4：1随机训练集和验证集，然后把图像从n×512×512放缩到128×256×256。通过计算选择保留体素比较多的阈值范围，即CT图像HU值保持在[-350,350]范围内，超出范围的部分置为350，低于范围的部分置为-350，以更好地对比腹部器官，并进行归一化处理，使数据值为[0,1]；
(2)采用医学图像分割方法3D-UNet预训练腹部多器官网络模型，通过调整参数选择模型参数为进行四次下采样和上采样，训练1000个epoch，初始学习率为1e-4，在900个epoch之后学习率开始衰减。
(3)获得粗分割结果，用后处理的方式减少离散区域，从结果可以看出肝脏和脾脏等密度较大，形状稳定的器官获得了很好的分割效果，而胆囊的效果较差，有改进的空间。
(4)根据粗分割结果取胆囊体素较多的小块，尺寸选择能够包裹胆囊的适宜尺寸112*112*112,并且将小块的中心点和尺寸存入文件。
(5)根据粗分割结果构造和训练出小块里胆囊及其周围的器官的形状特征。这里通过解剖学先验知识可以发现，包含胆囊的小块里还包含的器官包括肝脏、脾脏、胰腺等。对于这些胆囊周围的大器官，由于预训练的多器官分割网络已经取得了良好的分割效果，因此可以用来引导神经网络加强对胆囊的边界和形状的学习。
这里为了构建胆囊和周围器官的形状和外观的统计模型，有必要在每个已经切割出的小块的图像中找到一组定义对应关系的点。通过对齐每张图像上的控制点集并应用主成分分析，可以生成一个统计形状模型。通过将每个灰度图像扭曲成平均参考图像，可以将PCA应用于生成的纹理，以生成统计纹理模型。然后使用已知的对应关系将每个归一化强度图像扭曲到模型参考帧中，通过训练生成主动外观模型。
(6)使用胆囊的小块和周围器官的形状特征变化训练胆囊分割网络的模型，具体操作为：
先使用所有结构的AAM进行全局搜索；再使用每个单独结构的AAM进行局部搜索，以优化匹配；最后通过将生成的概率图像组合到单个标签图像中进行分割。
由于输入图像尺寸变小，分辨率大大提高，模型的学习效率提高。当模型收敛时意味着网络学习到了胆囊的基于体素的语义分割结果以及小块内各个器官的形状特征信息。
(7)根据步骤(6)中的模型进行测试集的验证，获得胆囊的分割结果，然后替换多器官分割结果中分割不好的胆囊标签，生成和原始图像对应的多器官分割结果。由可视化效果和评价指标可以看出，胆囊的分割效果取得了明显提升。
实施例三：
为实现上述目的，本实施例提供一种器官图像分割的装置300，请参阅图3。具体地，装置300包括：预处理单元301、第一分割模型训练单元302、图像粗分割单元303，记录单元304，第二分割模型训练单元305，图像细分割单元306。
预处理单元301，用于获取原始图像数据集，对原始图像数据集预处理，
第一分割模型训练单元302，用于基于所述数据集，利用深度学习方法训练获得第一分割模型，所述第一分割模型用于对多器官的粗分割，
图像粗分割单元303，用于基于所述第一分割模型获取多器官的粗分割结果，
记录单元304，用于根据所述粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分得到一个或多个第一小块，并保存所述第一小块的位置和尺寸信息，
第二分割模型训练单元305，用于根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，所述形状特征通过主动外观模型表征，使用所述第一小块和周围器官的形状特征变化训练得到第二分割模型，所述第二分割模型用于对小器官的细分割，
图像细分割单元306，用于基于所述第二分割模型对小器官细分割得到一个或多个第二小块，基于所述第一小块的位置和尺寸，利用所述第二小块替代所述第一小块。
实施例四：
相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端或者服务器。如图4所示，图4为本申请实施例提供的电子设备的结构示意图。
该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序(计算机程序)和/或单元，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。
在本申请实施例中，电子设备400中的处理器401会按照前述实施例的方法步骤，将一个或一个以上的应用程序的进程对应的指令数据加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
可选的，如图4所示，电子设备400还包括：器官图像分割单元403、通讯单元404、输入单元405以及电源406。其中，处理器401分别与器官图像分割单元403、通讯单元404、输入单元405以及电源406电性连接。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
器官图像分割单元403可用于实现器官图像的分割处理。所述器官图像的分割处理操作具体实施可参见前面的实施例，在此不再赘述。
通信侧404可用于与其他设备通信。
输入单元405可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源406用于给电子设备400的各个部件供电。可选的，电源406可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源406还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
实施例五：
为实现上述目的，本实施例提出一种用以存储处理器可执行指令数据的计算机可读存储介质，所述计算机可读存储介质中存储的处理器可执行指令数据在被执行时能够致使处理器实施如上所述的器官图像分割方法。
在上述实施例中，应用具体的实施例对本公开的原理及实施方式进行了阐述，各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。以上实施例的说明只是用于帮助理解本公开的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例的技术方案的范围。

Claims (10)

1.一种器官图像分割方法，其特征在于，
获取原始图像数据集，对原始图像数据集预处理，
基于所述数据集，利用深度学习方法训练获得第一分割模型，所述第一分割模型用于对多器官的粗分割，
基于所述第一分割模型获取多器官的粗分割结果，
根据所述粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分得到一个或多个第一小块，并保存所述第一小块的位置和尺寸信息，
根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，所述形状特征通过主动外观模型表征，
使用所述第一小块和周围器官的形状特征变化训练得到第二分割模型，所述第二分割模型用于对小器官的细分割，
基于所述第二分割模型对小器官细分割得到一个或多个第二小块，
基于所述第一小块的位置和尺寸，利用所述第二小块替代所述第一小块。
2.根据权利要求1所述的方法，其特征在于，所述器官图像具体为器官CT图像。
3.根据权利要求2所述的方法，其特征在于，预处理包括，将所述原始图像数据集随机划分训练集和验证集，然后将是原始图像放缩到统一尺寸以适应网络模型，再根据CT图像中器官的窗位和窗宽划分HU值的范围，将高于预设范围的置为HU值的上限，低于预设范围的置为HU值的下限，并对HU值进行归一化。
4.根据权利要求1所述的方法，其特征在于，所述第一分割模型和所述第二分割模型基于3D-UNet训练得到。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一分割模型获取多器官的粗分割结果，具体为，先使用预处理过的数据进行模型验证，然后使用最大连通标记法对分割的结果进行后处理，即先标记每个器官的所有连通区域，只保留每个器官的最大连通区域，之后放大到原图像的大小，从而使得标签和原始图像对应，得到多器官的粗分割结果。
6.根据权利要求1所述的方法，其特征在于，所述根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，具体为，在每个已经切割出的所述第一小块的图像中找到一组定义对应关系的点，通过对齐每张图像上的控制点集并应用主成分分析，可以生成一个统计形状模型，通过将每个灰度图像扭曲成平均参考图像，可以将主成分分析应用于生成的纹理，以生成统计纹理模型，然后使用已知的对应关系将每个归一化强度图像扭曲到模型参考帧中，通过训练生成主动外观模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第二分割模型对小器官细分割得到一个或多个第二小块，具体为，匹配主动外观模型以估计与模型帧的对应关系；使用产生的对应关系将归一化强度扭曲到模型帧中；使用体素概率估计计算参考帧中的概率图像；使用将其扭曲到图像帧中的对应关系；基于概率值选择每个体素所属的标签，从而获得图像分割结果。
8.一种器官图像分割的装置，其特征在于，该装置包括，
预处理单元，用于获取原始图像数据集，对原始图像数据集预处理，
第一分割模型训练单元，用于基于所述数据集，利用深度学习方法训练获得第一分割模型，所述第一分割模型用于对多器官的粗分割，
图像粗分割单元，用于基于所述第一分割模型获取多器官的粗分割结果，
记录单元，用于根据所述粗分割结果中小器官体素比较多的区域，在原始分辨率的图像上划分得到一个或多个第一小块，并保存所述第一小块的位置和尺寸信息，
第二分割模型训练单元，用于根据粗分割结果计算所述第一小块里小器官及其周围的器官的形状特征，所述形状特征通过主动外观模型表征，使用所述第一小块和周围器官的形状特征变化训练得到第二分割模型，所述第二分割模型用于对小器官的细分割，
图像细分割单元，用于基于所述第二分割模型对小器官细分割得到一个或多个第二小块，基于所述第一小块的位置和尺寸，利用所述第二小块替代所述第一小块。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的方法的步骤。
10.一种用以存储处理器可执行指令数据的计算机可读存储介质，所述计算机可读存储介质中存储的处理器可执行指令数据在被执行时能够致使处理器实施如权利要求1-7中任一项权利要求所述的方法。
CN202210577649.4A 2022-05-25 2022-05-25 一种器官图像分割的方法、装置、设备及存储介质 Pending CN115100115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577649.4A CN115100115A (zh) 2022-05-25 2022-05-25 一种器官图像分割的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577649.4A CN115100115A (zh) 2022-05-25 2022-05-25 一种器官图像分割的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115100115A true CN115100115A (zh) 2022-09-23

Family

ID=83288105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577649.4A Pending CN115100115A (zh) 2022-05-25 2022-05-25 一种器官图像分割的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100115A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482231A (zh) * 2022-09-27 2022-12-16 推想医疗科技股份有限公司 图像分割方法、装置、存储介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482231A (zh) * 2022-09-27 2022-12-16 推想医疗科技股份有限公司 图像分割方法、装置、存储介质和电子设备
CN115482231B (zh) * 2022-09-27 2023-08-29 推想医疗科技股份有限公司 图像分割方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
US10600185B2 (en) Automatic liver segmentation using adversarial image-to-image network
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
Maulik Medical image segmentation using genetic algorithms
Zuo et al. R2AU-Net: attention recurrent residual convolutional neural network for multimodal medical image segmentation
CN113313234A (zh) 用于图像分割的神经网络系统和方法
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
Abdelsamea et al. An efficient Self-Organizing Active Contour model for image segmentation
WO2019178702A1 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
Wang et al. Laplacian pyramid adversarial network for face completion
US8150119B2 (en) Method and system for left ventricle endocardium surface segmentation using constrained optimal mesh smoothing
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
WO1999052068A1 (en) Image processing method and system involving contour detection steps
CN112734887B (zh) 基于深度学习的人脸混合-变形生成方法和装置
CN113362310A (zh) 一种基于无监督学习的医学图像肝脏分割方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN117058307A (zh) 心脏三维核磁共振图像生成方法、系统、设备及储存介质
Behrad et al. Automatic spleen segmentation in MRI images using a combined neural network and recursive watershed transform
CN108305268A (zh) 一种图像分割方法及装置
CN115100115A (zh) 一种器官图像分割的方法、装置、设备及存储介质
CN113284151A (zh) 一种基于深度卷积神经网络的胰腺分割方法及系统
US20230281981A1 (en) Methods, devices, and computer readable media for training a keypoint estimation network using cgan-based data augmentation
Rafiee et al. Using neural network for liver detection in abdominal MRI images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination