CN109166133A - 基于关键点检测和深度学习的软组织器官图像分割方法 - Google Patents
基于关键点检测和深度学习的软组织器官图像分割方法 Download PDFInfo
- Publication number
- CN109166133A CN109166133A CN201810772895.9A CN201810772895A CN109166133A CN 109166133 A CN109166133 A CN 109166133A CN 201810772895 A CN201810772895 A CN 201810772895A CN 109166133 A CN109166133 A CN 109166133A
- Authority
- CN
- China
- Prior art keywords
- voxel
- image
- training
- training sample
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 210000000056 organ Anatomy 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 210000004872 soft tissue Anatomy 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000005192 partition Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 116
- 238000012360 testing method Methods 0.000 claims abstract description 71
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000006073 displacement reaction Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像数据处理及产生技术领域，公开了一种基于关键点检测和深度学习的软组织器官图像分割方法，在训练样本上定义关键点；提取训练样本及测试图像特征，训练回归森林并完成关键点检测；利用关键点完成测试图像目标初始化；在训练样本与测试图像上选取体素，训练卷积神经网络并完成测试图像目标分割。本发明解决了灰度分布复杂且与背景高度重合的软组织初始化问题；提出的体素选取方法，回避了目标内部体素对卷积神经网络训练的干扰，在提高分割精度的同时降低了时间消耗；该发明实现软组织器官图像的分割，具有精确、快速、不需要人为干预的特点，在医学图像分割等领域有重要的参考应用价值。
Description
技术领域
本发明属于图像数据处理及产生技术领域，尤其涉及一种基于关键点检测和深度学习的软组织器官图像分割方法。
背景技术
目前，业内常用的现有技术是这样的：医学影像自出现以来在临床研究与诊断中起到了越来越重要的应用。医学图像描述了各种器官组织、结构和病灶的详细信息，为疾病诊断、病理学定位、解剖结构研究、手术规划及指导等提供了重要依据。但是，由于生物组织内部自身的差异、器官的蠕动、局部体效应的存在及成像技术的限制等原因，医学图像通常会具有灰度分布不均，边缘模糊不定和包含噪声或伪影的缺点，所以为了能够为医生在影响处理和分析时提供更有利的定量分析条件，提高诊断效率，医学图像分割成为了必要的关键过程，而实现器官的精确快速分割，尤其是灰度分布较为复杂的软组织，就显得极为重要且极具挑战。传统的基于阈值或区域的图像分割方法，仅考虑了如灰度值等图像的底层信息，需要较为清晰的图像边缘或较高的图像对比度才能精确分割目标，难以分割医学图像中的复杂灰度分布器官；主动轮廓模型等基于形变模型的方法对边界复杂的目标难以准确形变，且对初始位置敏感，在分割医学图像的过程中需要大量手动初始化等人机交互来确保分割结果的精确性，但是人机交互过程可能受人员水平所限反而会造成误差；近年来，基于统计模型的方法越来越多地运用到了医学图像的器官分割或目标检测中，需要大量的样本和标签作为先验来建立模型，且有可能因目标与背景灰度分布复杂而造成过拟合；多层卷积神经网络等深度学习算法对于医学图像器官分割的准确率虽然很高，但由于神经网络对训练样本数量要求高与训练时间长的缺点，当目标灰度分布较为复杂时，为保证分割精度其需要海量的训练数据和耗时的训练。
综上所述，现有技术存在的问题是：目前医学图像软组织器官分割方法精确度低，速度较慢。
解决上述技术问题的难度和意义：传统方法与统计模型方法在面对复杂的软组织图像时，已经难以在分割精度上得到提升；卷积神经网络方法为了提升分割精度，又要面临由训练数据增加造成的训练时间过长的问题；并且由于医学图像的获取存在一定的困难，医学图像处理常常面临数据不足的问题。所以，我们提出了一种能在提高分割精度与控制训练时间之间找到平衡，并在数据量较少的情况下得到令人满意的分割结果的医学图像分割方法，较好的解决了上述技术问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于关键点检测和深度学习的软组织器官图像分割方法。
本发明是这样实现的，一种基于关键点检测和深度学习的软组织器官图像分割方法，所述基于关键点检测和深度学习的软组织器官图像分割方法包括：在训练样本上定义关键点；提取训练样本及测试图像特征，训练回归森林模型并完成关键点检测；利用关键点完成测试图像目标初始化；在训练样本与测试图像上选取体素，训练卷积神经网络并完成测试图像目标分割。
进一步，所述基于关键点检测和深度学习的软组织器官图像分割方法具体包括以下步骤：
步骤一，利用图像配准建立样本与模板的体素对应关系，基于图像的显著性与一致性计算体素活跃值；基于训练样本的体素特征定义各个样本的关键点，选取一个配准模板，对所有训练样本进行非刚性配准，得到各个样本与模板的体素对应关系，计算模板上每个以体素为中心的图像块的显著性与一致性，从而得到每个模板体素活跃值，选取活跃值高的体素作为关键点，最后通过体素对应关系得到其余训练样本的关键点；
步骤二，对所有训练样本的体素进行图像特征提取，训练关键点检测回归森林模型；提取各训练样本上的体素的图像特征，并计算该体素到样本上的各个关键点的三维位移，以图像特征为输入、以三维位移为目标训练回归森林模型，把测试图像体素所在图像块的特征作为训练后的回归森林的输入，输出的即为对应体素到各个关键点的三维位移；
步骤三，利用训练样本与测试图像的关键点完成测试图像上器官形状的初始化；使用优化的方法计算各训练样本关键点与测试图像关键点的变换关系，从而将各训练样本器官变换到测试图像空间，得到目标叠加图；
步骤四，利用训练样本目标轮廓附近体素训练一个多尺度三维卷积神经网络，根据叠加图选取测试图像上的体素作为神经网络的输入，完成对测试图像目标的分割。
进一步，所述步骤一中基于训练样本的体素特征定义各个样本的关键点具体包括：
(1)对N个训练样本，选取其中的一个作为配准模板，将其余N-1个样本使用非刚性配准方法映射到模板上，得到各个样本与模板体素的对应关系；
(2)根据以下公式计算每个模板体素图像块的显著性L(r,v)：
其中，r为图像块半径，pi(r,v)为体素v所在图像块内灰度值i的分布；
(3)计算每个模板体素与各个训练样本上对应体素的不一致性Var(r,v)：
其中，Ω(r,v)为以v为中心、以r为半径的图像块，In(x′)为第n个样本图像块内对应体素的灰度值，N为训练样本的个数；
(4)计算每个模板体素活跃值Act(v)：
其中，α为平衡系数，M为半径的个数；
(5)对计算得到的活跃值进行归一化，设定选取阈值，活跃值大于该值的体素即为模板关键点；
(6)根据样本间体素对应关系，利用模板关键点三维坐标得到其余样本的关键点三维坐标。
进一步，所述步骤二中建立关键点检测回归森林模型具体包括：
(1)在各训练样本上选取体素，计算其到该样本上的各个关键点的三维位移与该体素所在三个二维截面的特征，其中Gabor特征计算公式为：
其中，(x0,y0)表示高斯核的中心点，θ表示高斯核的旋转方向(顺时针)，(σx,σy)表示高斯核两个方向上的尺度，(u0,v0)表示频域坐标，K表示高斯核的幅度比例；
(2)局部二进制模型LBP计算公式为：
其中，(xa,ya)为中心像素的坐标，ib为邻域的第b个像素的灰度值，ia为中心像素的灰度值，为符号函数；
(3)灰度直方图计算公式为：
其中，rk为像素灰度级，nk为具有灰度rk的像素的个数，Q为图像中总的像素个数；
(4)均值方差δ2、偏度峰度计算公式为：
其中P为某二维截面像素个数，I(p)代表体素p的灰度值；
(5)以所有图像特征为输入、以三维位移为目标训练回归森林模型，完成关键点检测模型的训练；
(6)把测试图像体素按上述方法提取特征，作为训练后的模型的输入，输出的即为对应体素到各个关键点的三维位移，通过体素坐标和位移得到测试图像关键点的三维坐标。
进一步，所述步骤三中利用训练样本与测试图像的关键点完成测试图像上器官形状的初始化具体包括：
(1)对某个训练样本的关键点坐标矩阵A与测试图像关键点坐标矩阵B，存在变换T使得TA＝B：
再利用该训练样本的目标坐标矩阵C得到该训练样本目标在测试图像空间上的映射D：
D＝TC；
最后，将D用体素形式表示，即为该训练样本目标形状在测试图像空间的映射；
(2)完成所有训练样本器官到测试图像空间的变换；
(3)得到测试图像空间上的目标叠加图，叠加值为[0,N]，代表各个测试图像空间体素上共有几个目标映射叠加。
进一步，所述步骤四中建立多尺度三维卷积神经网络分割模型具体包括：
(1)提取所有训练样本目标轮廓周围体素训练分割模型，对每个用于训练的体素，多尺度神经网络分别以该体素为中心提取不同尺寸的图像块，并将其中尺寸较大的图像块进行分辨率下采样，用来提取体素在图像中的位置信息与背景的特征；
(2)完成多尺度神经网络的训练后，将测试图像上叠加值为[1,N-1]的体素送入神经网络，对这些体素的分类进行预测；
(3)将预测得到的属于目标的体素与叠加值为N的体素进行拼接，得到最终的器官分割结果。
本发明的另一目的在于提供一种使用所述基于关键点检测和深度学习的软组织器官图像分割方法的微计算机断层扫描系统。
本发明的另一目的在于提供一种使用所述基于关键点检测和深度学习的软组织器官图像分割方法的磁共振成像系统。
综上所述，本发明的优点及积极效果为：本发明解决了当目标内部灰度分布复杂且灰度范围与背景高度重合时，难以进行待分割目标初始化的问题。通过定义关键点，得到在不同个体的同一区域图像中均存在的、位置固定且具有共同特征的体素，利用这些体素对目标进行初始化，本发明提出的方法既不需人工参与，又保证了初始化的精度；提出的训练、测试体素选取方法，解决了面对医学图像的大数据量，卷积神经网络训练困难、速度太慢的问题。通过提出的初始化方法与体素选取方法，只需要对目标轮廓周围的体素进行训练、预测，而不用将医学图像的所有体素都作为卷积神经网络的输入，在保证精度的基础上大大减少了所需体素的个数。
与直接使用卷积神经网络分割相比，本发明提出的方法极大地提升了神经网络的训练、预测速度，同时降低了训练的难度。在训练样本数不充足的情况下，本发明提出的方法回避了目标内部体素对神经网络训练的干扰，降低了目标、背景的复杂灰度分布对预测的不利影响，也可以在保证模型精度的同时降低神经网络复杂度。本发明提出的基于关键点检测和深度学习的软组织器官图像分割方法可用于医学图像中各类软组织器官的分割。经过实验验证，对所有测试样本，直接使用卷积神经网络的分割精度在[0.90,0.93]之间，而本发明提出的分割方法则在[0.95,0.97]之间。
附图说明
图1是本发明实施例提供的基于关键点检测和深度学习的软组织器官图像分割方法流程图。
图2是本发明实施例提供的提取训练样本及测试图像特征，训练回归森林并完成关键点检测的流程图。
图3是本发明实施例提供的在训练样本与测试图像上选取体素，训练卷积神经网络并完成测试图像目标分割的流程图。
图4是本发明实施例提供的心脏分割结果(左)与直接使用卷积神经网络分割结果(右)示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明旨在解决目前医学图像软组织器官分割方法精确度低，速度较慢的问题。通过定义关键点，得到在不同个体的同一区域图像中均存在的、位置固定且具有共同特征的体素，利用这些体素对目标进行初始化，本发明提出的方法既不需人工参与，又保证了初始化的精度。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的基于关键点检测和深度学习的软组织器官图像分割方法包括以下步骤：
S101：在训练样本上定义关键点；
S102：提取训练样本及测试图像特征，训练回归森林并完成关键点检测；
S103：利用关键点完成测试图像目标初始化；
S104：在训练样本与测试图像上选取体素，训练卷积神经网络并完成测试图像目标分割。
下面结合附图对本发明的应用原理作进一步的描述。
本发明实施例提供的基于关键点检测和深度学习的软组织器官图像分割方法具体包括以下步骤：
(1)在训练样本上定义关键点，具体过程如下：
(1a)在12个病人的心脏CT图像中选取6个制作训练样本集，通过阈值法和手动分割得到心脏目标；
(1b)对6个训练样本，选取其中的一个作为配准模板，将其余5个样本使用非刚性配准方法映射到模板上，得到各个样本与模板体素的对应关系；
(1c)根据以下公式计算每个模板体素图像块的显著性L(r,v)：
其中，r为图像块半径，分别设为1、2、3、4、5，pi(r,v)为体素v所在图像块内灰度值i的分布；
(1d)计算每个模板体素与各个训练样本上对应体素的不一致性Var(r,v)：
其中，Ω(r,v)为以v为中心、以r为半径的图像块，In(x′)为第n个样本图像块内对应体素的灰度值，N为训练样本的个数；
(1e)计算每个模板体素活跃值Act(v)：
其中，α为平衡系数，设为1.25，M为半径的个数，为5；
(1f)对计算得到的活跃值进行归一化，设定选取阈值为0.8，活跃值大于0.8的体素即为模板关键点；
(1g)根据样本间体素对应关系，利用模板关键点三维坐标得到其余样本的关键点三维坐标。
(2)提取训练样本及测试图像特征，训练回归森林并完成关键点检测，参见图2，具体过程如下：
(2a)在各训练样本上选取体素，计算其到该样本上的各个关键点的三维位移与该体素所在三个二维截面的特征，其中Gabor特征计算公式为：
其中，(x0,y0)表示高斯核的中心点，θ表示高斯核的旋转方向(顺时针)，(σx,σy)表示高斯核两个方向上的尺度，(u0,v0)表示频域坐标，K表示高斯核的幅度比例；
(2b)局部二进制模型(LBP)计算公式为：
其中，(xa,ya)为中心像素的坐标，ib为邻域的第b个像素的灰度值，ia为中心像素的灰度值，为符号函数；
(2c)灰度直方图计算公式为：
其中，rk为像素灰度级，nk为具有灰度rk的像素的个数，Q为图像中总的像素个数；
(2d)统计特征(均值方差δ2、偏度峰度)计算公式为：
其中P为某二维截面像素个数，I(p)代表体素p的灰度值；
(2e)使用这些体素对应的位移与特征分别作为回归森林的Target与Feature，完成关键点检测模型的训练；
(2f)把测试图像体素按上述方法提取特征，作为训练后的模型的输入，输出的即为对应体素到各个关键点的三维位移，通过体素坐标和位移得到测试图像关键点的三维坐标。
(3)利用关键点完成测试图像目标初始化，具体过程如下：
(3a)对某个训练样本的关键点坐标矩阵A与测试图像关键点坐标矩阵B，存在变换T使得TA＝B：
再利用该训练样本的目标坐标矩阵C得到该训练样本目标在测试图像空间上的映射D(坐标形式表示)：
D＝TC，
最后，将D用体素形式表示，即为该训练样本目标形状在测试图像空间的映射；
(3b)使用上述方法，完成所有训练样本器官到测试图像空间的变换；
(3c)得到测试图像空间上的目标叠加图，叠加值为[0,6]，代表各个测试图像空间体素上共有几个目标映射叠加。
(4)在训练样本与测试图像上选取体素，训练卷积神经网络并完成测试图像目标分割，参见图3，具体过程如下：
(4a)提取所有训练样本目标轮廓周围体素训练分割模型，对每个用于训练的体素，多尺度卷积神经网络分别以该体素为中心提取不同尺寸的图像块，并将其中尺寸较大的图像块进行分辨率下采样，用来提取体素在图像中的位置信息与背景的特征；
(4b)完成多尺度卷积神经网络的训练后，将测试图像上叠加值为[1,5]的体素送入神经网络，对这些体素的分类进行预测；
(4c)将预测得到的属于目标的体素与叠加值为6的体素(即所有目标映射都包含的体素)进行拼接，得到最终的器官分割结果。
下面结合具体应用实施例对本发明的应用效果做详细的描述。
评价实施例中本发明提出的方法的分割结果评估标准准确度(ACC)、敏感度(SEN)、特异性(SPE)分别定义如下：
其中，|RT|表示正确分类的体素个数，|RAll|表示所有体素的总数，|RTP|表示正确分类的目标体素个数，|RRP|表示真实的目标体素个数，|RTN|表示正确分类的背景体素个数，|RRN|表示真实的背景体素个数。上述评价指标均在[0,1]之间，且越接近1表示分割结果越好。在6组测试样本中，ACC均在[0.95,0.97]之间，SEN均在[0.93,98]之间，SPE均在[0.94,0.99]之间，分割结果可视化如图4所示,叠加在CT图片上的为手动分割结果(金标准)，轮廓线内的为自动分割结果，其中左图为直接使用卷积神经网络进行分割的结果，右图为本发明实施例提供的基于关键点检测和深度学习的软组织器官图像分割方法的分割结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于关键点检测和深度学习的软组织器官图像分割方法，其特征在于，所述基于关键点检测和深度学习的软组织器官图像分割方法包括：在训练样本上定义关键点；提取训练样本及测试图像特征，训练回归森林模型并完成关键点检测；利用关键点完成测试图像目标初始化；在训练样本与测试图像上选取体素，训练卷积神经网络并完成测试图像目标分割。
2.如权利要求1所述的基于关键点检测和深度学习的软组织器官图像分割方法，其特征在于，所述基于关键点检测和深度学习的软组织器官图像分割方法具体包括以下步骤：
步骤一，利用图像配准建立样本与模板的体素对应关系，基于图像的显著性与一致性计算体素活跃值；基于训练样本的体素特征定义各个样本的关键点，选取一个配准模板，对所有训练样本进行非刚性配准，得到各个样本与模板的体素对应关系，计算模板上每个以体素为中心的图像块的显著性与一致性，从而得到每个模板体素活跃值，选取活跃值高的体素作为关键点，最后通过体素对应关系得到其余训练样本的关键点；
步骤二，对所有训练样本的体素进行图像特征提取，训练关键点检测回归森林模型；提取各训练样本上的体素的图像特征，并计算该体素到样本上的各个关键点的三维位移，以图像特征为输入、以三维位移为目标训练回归森林模型，把测试图像体素所在图像块的特征作为训练后的回归森林的输入，输出的即为对应体素到各个关键点的三维位移；
步骤三，利用训练样本与测试图像的关键点完成测试图像上器官形状的初始化；使用优化的方法计算各训练样本关键点与测试图像关键点的变换关系，从而将各训练样本器官变换到测试图像空间，得到目标叠加图；
步骤四，利用训练样本目标轮廓附近体素训练一个多尺度三维卷积神经网络，根据叠加图选取测试图像上的体素作为神经网络的输入，完成对测试图像目标的分割。
3.如权利要求2所述的基于关键点检测和深度学习的软组织器官图像分割方法，其特征在于，所述步骤一中基于训练样本的体素特征定义各个样本的关键点具体包括：
(1)对N个训练样本，选取其中的一个作为配准模板，将其余N-1个样本使用非刚性配准方法映射到模板上，得到各个样本与模板体素的对应关系；
(2)根据以下公式计算每个模板体素图像块的显著性L(r,v)：
其中，r为图像块半径，pi(r,v)为体素v所在图像块内灰度值i的分布；
(3)计算每个模板体素与各个训练样本上对应体素的不一致性Var(r,v)：
其中，Ω(r,v)为以v为中心、以r为半径的图像块，In(x′)为第n个样本图像块内对应体素的灰度值，N为训练样本的个数；
(4)计算每个模板体素活跃值Act(v)：
其中，α为平衡系数，M为半径的个数；
(5)对计算得到的活跃值进行归一化，设定选取阈值，活跃值大于该值的体素即为模板关键点；
(6)根据样本间体素对应关系，利用模板关键点三维坐标得到其余样本的关键点三维坐标。
4.如权利要求2所述的基于关键点检测和深度学习的软组织器官图像分割方法，其特征在于，所述步骤二中建立关键点检测回归森林模型具体包括：
(1)在各训练样本上选取体素，计算其到该样本上的各个关键点的三维位移与该体素所在三个二维截面的特征，其中Gabor特征计算公式为：
其中，(x0,y0)表示高斯核的中心点，θ表示高斯核的旋转方向(顺时针)，(σx,σy)表示高斯核两个方向上的尺度，(u0,v0)表示频域坐标，K表示高斯核的幅度比例；
(2)局部二进制模型LBP计算公式为：
其中，(xa,ya)为中心像素的坐标，ib为邻域的第b个像素的灰度值，ia为中心像素的灰度值，为符号函数；
(3)灰度直方图计算公式为：
其中，rk为像素灰度级，nk为具有灰度rk的像素的个数，Q为图像中总的像素个数；
(4)均值方差δ2、偏度峰度计算公式为：
其中P为某二维截面像素个数，I(p)代表体素p的灰度值；
(5)以所有图像特征为输入、以三维位移为目标训练回归森林模型，完成关键点检测模型的训练；
(6)把测试图像体素按上述方法提取特征，作为训练后的模型的输入，输出的即为对应体素到各个关键点的三维位移，通过体素坐标和位移得到测试图像关键点的三维坐标。
5.如权利要求2所述的基于关键点检测和深度学习的软组织器官图像分割方法，其特征在于，所述步骤三中利用训练样本与测试图像的关键点完成测试图像上器官形状的初始化具体包括：
(1)对某个训练样本的关键点坐标矩阵A与测试图像关键点坐标矩阵B，存在变换T使得TA＝B：
再利用该训练样本的目标坐标矩阵C得到该训练样本目标在测试图像空间上的映射D：
D＝TC；
最后，将D用体素形式表示，即为该训练样本目标形状在测试图像空间的映射；
(2)完成所有训练样本器官到测试图像空间的变换；
(3)得到测试图像空间上的目标叠加图，叠加值为[0,N]，代表各个测试图像空间体素上共有几个目标映射叠加。
6.如权利要求2所述的基于关键点检测和深度学习的软组织器官图像分割方法，其特征在于，所述步骤四中建立多尺度三维卷积神经网络分割模型具体包括：
(1)提取所有训练样本目标轮廓周围体素训练分割模型，对每个用于训练的体素，多尺度神经网络分别以该体素为中心提取不同尺寸的图像块，并将其中尺寸较大的图像块进行分辨率下采样，用来提取体素在图像中的位置信息与背景的特征；
(2)完成多尺度神经网络的训练后，将测试图像上叠加值为[1,N-1]的体素送入神经网络，对这些体素的分类进行预测；
(3)将预测得到的属于目标的体素与叠加值为N的体素进行拼接，得到最终的器官分割结果。
7.一种使用权利要求1～6任意一项所述基于关键点检测和深度学习的软组织器官图像分割方法的微计算机断层扫描系统。
8.一种使用权利要求1～6任意一项所述基于关键点检测和深度学习的软组织器官图像分割方法的磁共振成像系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810772895.9A CN109166133B (zh) | 2018-07-14 | 2018-07-14 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810772895.9A CN109166133B (zh) | 2018-07-14 | 2018-07-14 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109166133A true CN109166133A (zh) | 2019-01-08 |
| CN109166133B CN109166133B (zh) | 2021-11-23 |
Family
ID=64897872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810772895.9A Expired - Fee Related CN109166133B (zh) | 2018-07-14 | 2018-07-14 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109166133B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816670A (zh) * | 2019-01-31 | 2019-05-28 | 北京字节跳动网络技术有限公司 | 用于生成图像分割模型的方法和装置 |
| CN110084821A (zh) * | 2019-04-17 | 2019-08-02 | 杭州晓图科技有限公司 | 一种多实例交互式图像分割方法 |
| CN110135454A (zh) * | 2019-04-02 | 2019-08-16 | 成都真实维度科技有限公司 | 一种基于3d断层扫描图数据集的深度学习模型训练方法 |
| CN110148114A (zh) * | 2019-04-02 | 2019-08-20 | 成都真实维度科技有限公司 | 一种基于2d断层扫描图数据集的深度学习模型训练方法 |
| CN110211200A (zh) * | 2019-04-22 | 2019-09-06 | 深圳安科高技术股份有限公司 | 一种基于神经网络技术的牙弓线生成方法及其系统 |
| CN110533639A (zh) * | 2019-08-02 | 2019-12-03 | 杭州依图医疗技术有限公司 | 一种关键点定位方法及装置 |
| CN110827259A (zh) * | 2019-11-04 | 2020-02-21 | 上海芯翌智能科技有限公司 | 一种用于目标关键点检测的样本增广的方法与设备 |
| CN111445575A (zh) * | 2020-04-01 | 2020-07-24 | 沈阳先进医疗设备技术孵化中心有限公司 | 威利斯环的图像重建方法、装置、电子设备、存储介质 |
| CN112651405A (zh) * | 2020-12-10 | 2021-04-13 | 深兰人工智能(深圳)有限公司 | 目标检测方法及装置 |
| WO2021150846A1 (en) * | 2020-01-22 | 2021-07-29 | Visualize K.K. | Methods and systems for obtaining a scale reference and measurements of 3d objects from 2d photos |
| CN113436211A (zh) * | 2021-08-03 | 2021-09-24 | 天津大学 | 一种基于深度学习的医学图像活动轮廓分割方法 |
| CN113643223A (zh) * | 2020-04-23 | 2021-11-12 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN113837067A (zh) * | 2021-09-18 | 2021-12-24 | 成都数字天空科技有限公司 | 器官轮廓检测方法、装置、电子设备及可读存储介质 |
| CN114332381A (zh) * | 2022-01-05 | 2022-04-12 | 北京理工大学 | 基于三维重建的主动脉ct图像关键点检测方法及系统 |
| US20220198670A1 (en) * | 2020-12-21 | 2022-06-23 | Siemens Healthcare Gmbh | Method and system for automated segmentation of biological object parts in mri |
| WO2023004560A1 (en) * | 2021-07-26 | 2023-02-02 | Shanghaitech University | Systems and methods for electron cryotomography reconstruction |
| US20230053786A1 (en) * | 2021-08-19 | 2023-02-23 | Ford Global Technologies, Llc | Enhanced object detection |
| CN116309591A (zh) * | 2023-05-19 | 2023-06-23 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
| CN117372425A (zh) * | 2023-12-05 | 2024-01-09 | 山东省工业技术研究院 | 一种头颅侧位片的关键点检测方法 |
| US12106533B2 (en) | 2020-09-30 | 2024-10-01 | Koninklijke Philips N.V. | Method and system for segmenting interventional device in image |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090268956A1 (en) * | 2008-04-25 | 2009-10-29 | David Wiley | Analysis of anatomic regions delineated from image data |
| CN103679151A (zh) * | 2013-12-19 | 2014-03-26 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
| CN106651886A (zh) * | 2017-01-03 | 2017-05-10 | 北京工业大学 | 一种基于超像素聚类优化cnn的云图分割方法 |
| CN107085725A (zh) * | 2017-04-21 | 2017-08-22 | 河南科技大学 | 一种通过基于自适应码本的llc聚类图像区域的方法 |
| US20170322950A1 (en) * | 2014-09-02 | 2017-11-09 | Elekta, Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
| CN107507189A (zh) * | 2017-07-04 | 2017-12-22 | 西北大学 | 基于随机森林与统计模型的小鼠ct图像肾脏分割方法 |
| CN107644420A (zh) * | 2017-08-31 | 2018-01-30 | 西北大学 | 基于中心线提取的血管图像分割方法、核磁共振成像系统 |
| CN108122221A (zh) * | 2016-11-29 | 2018-06-05 | 中国科学院深圳先进技术研究院 | 弥散加权成像图像中脑缺血区域的分割方法及装置 |
-
2018
- 2018-07-14 CN CN201810772895.9A patent/CN109166133B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090268956A1 (en) * | 2008-04-25 | 2009-10-29 | David Wiley | Analysis of anatomic regions delineated from image data |
| CN103679151A (zh) * | 2013-12-19 | 2014-03-26 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
| US20170322950A1 (en) * | 2014-09-02 | 2017-11-09 | Elekta, Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
| CN108122221A (zh) * | 2016-11-29 | 2018-06-05 | 中国科学院深圳先进技术研究院 | 弥散加权成像图像中脑缺血区域的分割方法及装置 |
| CN106651886A (zh) * | 2017-01-03 | 2017-05-10 | 北京工业大学 | 一种基于超像素聚类优化cnn的云图分割方法 |
| CN107085725A (zh) * | 2017-04-21 | 2017-08-22 | 河南科技大学 | 一种通过基于自适应码本的llc聚类图像区域的方法 |
| CN107507189A (zh) * | 2017-07-04 | 2017-12-22 | 西北大学 | 基于随机森林与统计模型的小鼠ct图像肾脏分割方法 |
| CN107644420A (zh) * | 2017-08-31 | 2018-01-30 | 西北大学 | 基于中心线提取的血管图像分割方法、核磁共振成像系统 |
Non-Patent Citations (5)
| Title |
|---|
| EVAN SHELHAMER等: "Fully Convolutional Networks for Semantic Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| JUN ZHANG等: "Detecting Anatomical Landmarks for Fast Alzheimer’s Disease Diagnosis", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| JUN ZHANG等: "Detecting Anatomical Landmarks From Limited Medical Imaging Data Using Two-Stage Task-Oriented Deep Neural Networks", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| KONSTANTINOS KAMNITSAS等: "Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation", 《MEDICAL IMAGE ANALYSIS》 * |
| 马树志: "基于深度学习的肝脏CT影像分割方法的研究与应用", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816670A (zh) * | 2019-01-31 | 2019-05-28 | 北京字节跳动网络技术有限公司 | 用于生成图像分割模型的方法和装置 |
| CN110135454A (zh) * | 2019-04-02 | 2019-08-16 | 成都真实维度科技有限公司 | 一种基于3d断层扫描图数据集的深度学习模型训练方法 |
| CN110148114A (zh) * | 2019-04-02 | 2019-08-20 | 成都真实维度科技有限公司 | 一种基于2d断层扫描图数据集的深度学习模型训练方法 |
| CN110084821B (zh) * | 2019-04-17 | 2021-01-12 | 杭州晓图科技有限公司 | 一种多实例交互式图像分割方法 |
| CN110084821A (zh) * | 2019-04-17 | 2019-08-02 | 杭州晓图科技有限公司 | 一种多实例交互式图像分割方法 |
| CN110211200A (zh) * | 2019-04-22 | 2019-09-06 | 深圳安科高技术股份有限公司 | 一种基于神经网络技术的牙弓线生成方法及其系统 |
| CN110533639A (zh) * | 2019-08-02 | 2019-12-03 | 杭州依图医疗技术有限公司 | 一种关键点定位方法及装置 |
| CN110827259B (zh) * | 2019-11-04 | 2021-05-14 | 上海芯翌智能科技有限公司 | 一种用于目标关键点检测的样本增广的方法与设备 |
| CN110827259A (zh) * | 2019-11-04 | 2020-02-21 | 上海芯翌智能科技有限公司 | 一种用于目标关键点检测的样本增广的方法与设备 |
| WO2021150846A1 (en) * | 2020-01-22 | 2021-07-29 | Visualize K.K. | Methods and systems for obtaining a scale reference and measurements of 3d objects from 2d photos |
| CN111445575B (zh) * | 2020-04-01 | 2023-09-29 | 沈阳先进医疗设备技术孵化中心有限公司 | 威利斯环的图像重建方法、装置、电子设备、存储介质 |
| CN111445575A (zh) * | 2020-04-01 | 2020-07-24 | 沈阳先进医疗设备技术孵化中心有限公司 | 威利斯环的图像重建方法、装置、电子设备、存储介质 |
| CN113643223A (zh) * | 2020-04-23 | 2021-11-12 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| US12106533B2 (en) | 2020-09-30 | 2024-10-01 | Koninklijke Philips N.V. | Method and system for segmenting interventional device in image |
| CN112651405A (zh) * | 2020-12-10 | 2021-04-13 | 深兰人工智能(深圳)有限公司 | 目标检测方法及装置 |
| CN112651405B (zh) * | 2020-12-10 | 2024-04-26 | 深兰人工智能(深圳)有限公司 | 目标检测方法及装置 |
| US20220198670A1 (en) * | 2020-12-21 | 2022-06-23 | Siemens Healthcare Gmbh | Method and system for automated segmentation of biological object parts in mri |
| US12026885B2 (en) * | 2020-12-21 | 2024-07-02 | Siemens Healthcare Gmbh | Method and system for automated segmentation of biological object parts in MRI |
| WO2023004560A1 (en) * | 2021-07-26 | 2023-02-02 | Shanghaitech University | Systems and methods for electron cryotomography reconstruction |
| CN113436211A (zh) * | 2021-08-03 | 2021-09-24 | 天津大学 | 一种基于深度学习的医学图像活动轮廓分割方法 |
| US20230053786A1 (en) * | 2021-08-19 | 2023-02-23 | Ford Global Technologies, Llc | Enhanced object detection |
| US11922702B2 (en) * | 2021-08-19 | 2024-03-05 | Ford Global Technologies, Llc | Enhanced object detection |
| CN113837067A (zh) * | 2021-09-18 | 2021-12-24 | 成都数字天空科技有限公司 | 器官轮廓检测方法、装置、电子设备及可读存储介质 |
| CN113837067B (zh) * | 2021-09-18 | 2023-06-02 | 成都数字天空科技有限公司 | 器官轮廓检测方法、装置、电子设备及可读存储介质 |
| CN114332381A (zh) * | 2022-01-05 | 2022-04-12 | 北京理工大学 | 基于三维重建的主动脉ct图像关键点检测方法及系统 |
| CN116309591B (zh) * | 2023-05-19 | 2023-08-25 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
| CN116309591A (zh) * | 2023-05-19 | 2023-06-23 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
| CN117372425A (zh) * | 2023-12-05 | 2024-01-09 | 山东省工业技术研究院 | 一种头颅侧位片的关键点检测方法 |
| CN117372425B (zh) * | 2023-12-05 | 2024-03-19 | 山东省工业技术研究院 | 一种头颅侧位片的关键点检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109166133B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166133A (zh) | 基于关键点检测和深度学习的软组织器官图像分割方法 | |
| CN102871686B (zh) | 基于3d医学影像测定生理参数的装置和方法 | |
| CN111047594A (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| CN107403201A (zh) | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 | |
| CN107230206A (zh) | 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 | |
| CN106504253A (zh) | 一种医疗影像照片的处理方法及系统 | |
| CN110555835B (zh) | 一种脑片图像区域划分方法及装置 | |
| Makni et al. | Zonal segmentation of prostate using multispectral magnetic resonance images | |
| CN109509193B (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及系统 | |
| CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
| Thomson et al. | MR-to-US registration using multiclass segmentation of hepatic vasculature with a reduced 3D U-Net | |
| Kim et al. | Automatic hippocampus segmentation of 7.0 Tesla MR images by combining multiple atlases and auto-context models | |
| CN113570627B (zh) | 深度学习分割网络的训练方法及医学图像分割方法 | |
| CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
| Wu et al. | AAR-RT–a system for auto-contouring organs at risk on CT images for radiation therapy planning: principles, design, and large-scale evaluation on head-and-neck and thoracic cancer cases | |
| CN107507189A (zh) | 基于随机森林与统计模型的小鼠ct图像肾脏分割方法 | |
| CN113706486B (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| CN103544695B (zh) | 一种高效的基于博弈框架的医学图像分割方法 | |
| CN107680107A (zh) | 一种基于多图谱的扩散张量磁共振图像的自动分割方法 | |
| CN106327479A (zh) | 血管造影中介下先心病术中血管辨识的装置及方法 | |
| van Wijnen et al. | Automated lesion detection by regressing intensity-based distance with a neural network | |
| CN108961278B (zh) | 基于影像数据的腹壁肌肉分割的方法及其系统 | |
| CN116650115A (zh) | 一种基于uwb标记点的骨科手术导航注册方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211123 |