CN112634283A - 使用小样本图像训练的髋关节分割模型建立方法及其应用 - Google Patents
使用小样本图像训练的髋关节分割模型建立方法及其应用 Download PDFInfo
- Publication number
- CN112634283A CN112634283A CN202011529708.8A CN202011529708A CN112634283A CN 112634283 A CN112634283 A CN 112634283A CN 202011529708 A CN202011529708 A CN 202011529708A CN 112634283 A CN112634283 A CN 112634283A
- Authority
- CN
- China
- Prior art keywords
- hip joint
- segmentation
- training
- image
- segmentation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 176
- 238000012549 training Methods 0.000 title claims abstract description 119
- 210000004394 hip joint Anatomy 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000003709 image segmentation Methods 0.000 claims abstract description 13
- 230000005855 radiation Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 42
- 210000001624 hip Anatomy 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 210000004197 pelvis Anatomy 0.000 description 9
- 210000000689 upper leg Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011540 hip replacement Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种使用小样本图像训练的髋关节分割模型建立方法及其应用，属于医学图像处理领域，包括：通过数字重建放射影像的方法从不同角度对标记了髋关节区域的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域构成预训练数据集；建立分割模型，用于对输入图像进行图像分割，以提取髋关节区域，并利用预训练数据集对分割模型进行预训练；利用标记了髋关节区域的小样本X‑ray图像构建训练数据集，并对预训练之后的分割模型进行训练，以对分割模型进行微调，在训练结束后，将分割模型作为所建立的髋关节分割模型。本发明能够解决现有髋关节分割方法因依赖于大量的标注数据，分割结果差的技术问题。
Description
技术领域
本发明属于医学图像处理领域，更具体地，涉及一种使用小样本图像训练的髋关节分割模型建立方法及其应用。
背景技术
在医学图像处理领域中图像分割是非常重要的一项技术，其过程是将医学图像中的感兴趣区域提取出来，该分割结果对于术前手术规划、术中导航、术后结果的评估都具有重要的参考价值。在机器人辅助髋关节置换手术的过程中，通常是将髋关节作为目标区域，将术中获取的二维X-ray图像与术前的三维CT图像配准，以达到术中实时导航的目的。因此如何快速且准确的从X-ray图像中分割出髋关节(骨盆、股骨)，是机器人辅助髋关节置换手术中至关重要的一环。
在髋关节X-ray图像中，由于骨骼和肌肉等软组织重叠交错(如图1中的(a)所示)、病人拍摄的摆位不同(如图1中的(b)所示)以及成像过程中噪声(如图1中的(c)所示)的影响，使用传统的分割方法，如阈值分割法、图割(graph-cut)法等，都很难自动的从X-ray图像中准确地提取出髋关节。近些年来，由于卷积神经网络(Convolutional NeuralNetwork，CNN)的出现，尤其是在全卷积神经网络的出现(Fully Convolutional Network，FCN)之后，越来越多的研究者开始利用深度学习的方法来解决图像分割的问题，并获得了使用传统算法所难以达到的精度。
虽然使用深度学习的方法非常高效，但是训练深度学习模型通常需要大量的标注数据。由于医学图像本身的性质与自然图像不同，在实际场景中很难从医院获取到大量带有标记的数据，因此怎样使用小样本图像训练得到高精度的分割模型是一件非常有挑战性的任务。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种使用小样本图像训练的髋关节分割模型建立方法及其应用，其目的在于，有效解决现有的髋关节分割方法因依赖于大量的标注数据，分割结果差的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种使用小样本训练的髋关节分割模型建立方法，包括：
预训练数据集构建步骤：通过数字重建放射影像的方法从不同角度对标记了髋关节区域的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域构成预训练数据集；
分割模型预训练步骤：建立分割模型，用于对输入图像进行图像分割，以提取髋关节区域，并利用预训练数据集对分割模型进行预训练；
分割模型微调步骤：利用标记了髋关节区域的小样本X-ray图像构建训练数据集，并利用训练数据集对预训练之后的分割模型进行训练，以对分割模型进行微调，在训练结束后，将分割模型作为所建立的髋关节分割模型。
数字重建放射影像(Digitally Reconstructured Radiograph，DRR)广泛应用于CT模拟定位、图像引导放射治疗及计算机辅助外科等领域；相比于真实的X-ray图像，CT图像中的骨组织边界更加明显，使用传统的算法并手动微调即可得到较为准确的标注数据；本发明使用少量带有标记的CT数据，利用DRR投影能够获得大量带有标记的模拟图像，且所得到的模拟图像与实际的X-ray图像之间存在很多共有特征；本发明利用大量带标记的模拟图像对分割模型进行预训练，能够有效解决标注数据不足的问题，保证模型的训练效果；本发明在预训练结束后，进一步利用少量的真实X-ray图像对预训练之后的分割模型进行微调，能够有效弥补模拟图像与真实X-ray图像之间的差异性，保证得到良好的分割结果。
进一步地，分割模型为深度注意力对抗网络中的生成器；
深度注意力对抗网络包括生成器和判别器；
生成器用于对输入图像进行图像分割，以提取髋关节区域；
判别器的输入为图像对，图像对由原图和生成器输出的分割图像构成，或者由原图和所标记的金标准构成，判别器用于在预训练和训练过程中判断输入的图像对中所包含的是分割图像还是金标准。
本发明中，借助深度注意力对抗网络完成分割模型的预训练和训练，以分割网络作为其中的生成器，由此能够利用判别器的判别能力，保证分割模型的训练效果，从而在进行髋关节分割时，能够有效提取出输入图像中的髋关节区域。
在一些可选的实施方式中，生成器的建立方式为：
将U-net网络中的特征提取模块替换为残差块，和/或在U-net网络中编码器与解码器间的各跳跃连接中加入一个空间和通道注意力门，得到生成器；空间和通道注意力门用于分别获取一个空间和通道的权重图，与编码器所提取的相应特征图点乘后，叠加在解码器中同一级别的特征图上；
残差块包括依次连接的第一卷积层、第一ReLU激活函数层、第二卷积层、特征相加层以及第二ReLU激活函数层；第一卷积层的输入图像通过第三卷积层与特征相加层相连，构成残差结构。
U-net网络采用编码器-解码器结构，本发明在U-net网络的基础上进行改进，建立深度注意力对抗网络中的生成器，即分割模型，可以利用编码器-解码器结构提取到不同图像尺寸的特征，浅层卷积层主要提取图像的低级特征，如图像的边缘；随着网络的不断加深，深层网络主要负责提取网络的高级特征，如图像的形状等；本发明将U-net网络中的特征提取模块替换为残差块，能够避免随着网络加深所导致的浅层梯度消失的问题，提高模型的分割精度；本发明在U-net网络中编码器与解码器间的各跳跃连接中加入一个空间和通道注意力门，由空间和通道注意力门分别获取一个空间和通道的权重图，与编码器所提取的相应特征图点乘后，叠加在解码器中同一级别的特征图上，能够捕获到特征图中不同位置以及不同通道处对网络的贡献程度，对编码器提取到的特征进行控制，从而有效提高模型的分割精度。
进一步地，各卷积层之后还连接有一个组归一化层。
本发明在将U-net网络中的特征提取模块替换为残差块的基础上，残差块块中各卷积层之后还连接有一个组归一化层，能够有效加速网络收敛。
进一步地，判别器包括一个或多个级联的残差块。
本发明中，判别器由一个或多个级联的残差块构成，具有较强的判别能力，从而能够有效保证分割模型的预训练和训练效果。
在一些可选的实施例中，分割模型微调步骤中，利用标记了髋关节区域的小样本X-ray图像构建训练数据集，包括：
利用已训练好的目标检测模型对各X-ray图像进行目标检测，提取各X-ray图像中髋关节区域所在的目标框，由所提取的目标框及其中标记的髋关节区域构成训练数据集。
本发明在利用少量带标记的X-ray图像对分割模型进行微调时，先利用目标检测模型提取X-ray图像中包含髋关节的目标框，再利用目标检测结果构建训练数据集，能够在带标记的X-ray图像数量有限的情况下，有效提升模型的训练效果。
进一步地，目标检测模型的训练方式包括：
通过数字重建放射影像的方法从不同角度对标记了髋关节区域所在目标框的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域所在目标框构成目标检测数据集；
建立目标检测模型并利用目标检测数据集对目标检测模型进行训练。
本发明利用模拟图像对目标检测模型进行训练，能够在目标检测过程中，有效弥补模拟图像与真实X-ray图像之间的差异。
按照本发明的另一个方面，提供了一种髋关节分割方法，包括：
将待分割的X-ray图像输入由本发明提供的使用小样本训练的髋关节分割模型建立方法所建立的髋关节分割模型，由髋关节分割模型提取出髋关节区域。
按照本发明的又一个方面，提供了一种髋关节分割方法，包括：
将待分割的X-ray图像输入上述使用小样本训练的髋关节分割模型建立方法中的目标检测模型，由目标检测模型输出髋关节区域所在的目标框；
将目标检测模型输出的髋关节区域所在的目标框输入由本发明提供的使用小样本训练的髋关节分割模型建立方法所建立的髋关节分割模型，由髋关节分割模型提取出髋关节区域。
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的使用小样本训练的髋关节模型建立方法，和/或本发明提供的髋关节分割方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明利用DRR对少量带标记的CT数据进行投影得到大量的模拟图像，利用大量的模拟图像对髋关节分割模型进行预训练，并利用少量带标记的真实X-ray图像对髋关节分割模型进行微调训练，仅利用少量带标记的医学图像，即可使得所建立的髋关节分割模型具有较好的分割精度，有效解决了现有的髋关节分割方法因依赖于大量的标注数据，分割结果差的技术问题。
(2)本发明借助深度注意力对抗网络完成分割模型的预训练和训练，以分割网络作为其中的生成器，由此能够利用判别器的判别能力，保证分割模型的训练效果，从而在进行髋关节分割时，能够有效提取出输入图像中的髋关节区域。
(3)本发明在U-net网络的基础上，建立分割模型，能够利用编码器-解码器结构提取到不同图像尺寸的特征，并使用跳跃连接将左侧编码器提取的特征与右侧同一图像尺寸的特征叠加，有效提高网络性能；在其优选方案中，通过将U-net网络中的特征提取模块替换为残差块，和/或在U-net网络中编码器与解码器间的各跳跃连接中加入一个空间和通道注意力门，能够进一步提高模型的分割精度。
(4)本发明在对分割模型进行微调时，先利用目标检测模型对少量带标记的真实X-ray图像进行目标检测，能够在带标记的X-ray图像数量有限的情况下，有效提升模型的训练效果。
附图说明
图1为现有的髋关节X-ray图像；其中，(a)为骨骼和肌肉等软组织重叠交错情况下的髋关节X-ray图像，(b)为病人拍摄的摆位不同情况下的髋关节X-ray图像，(c)为包含噪声的髋关节X-ray图像；
图2为本发明实施例提供的使用小样本训练的髋关节分割模型建立方法示意图；
图3为本发明实施例提供的DRR投影图像和实际X-ray图像的对比示意图；其中，(a)～(c)是利用光线投影法从多个角度投影CT得到的DRR图像，(d)是实际的髋关节X-ray图像；
图4为现有的U-net网络结构示意图；
图5为本发明实施例提供的深度注意力对抗网络示意图；其中，(a)为生成器的结构示意图，(b)为判别器的结构示意图；
图6为本发明实施例提供的残差块结构示意图；
图7为本发明实施例提供的针对一幅X-ray图像进行骨盆分割的结果示意图；其中，(a)表示原始X-ray图像，(b)表示利用Yolo V3提取ROI后的结果，(c)表示手动标注的金标准，(d)表示直接使用U-net分割的结果，(e)表示先提取骨盆的感兴趣区，(f)表示直接使用使用DAAN分割的结果，(g)表示的是使用DRR预训练模型后再使用少量真实X-ray图像微调网络得到的预测结果域再使用U-net分割的结果；
图8为本发明实施例提供的针对另一幅X-ray图像进行骨盆分割的结果示意图；其中，(a)表示原始X-ray图像，(b)表示利用Yolo V3提取ROI后的结果，(c)表示手动标注的金标准，(d)表示直接使用U-net分割的结果，(e)表示先提取骨盆的感兴趣区，(f)表示直接使用使用DAAN分割的结果，(g)表示的是使用DRR预训练模型后再使用少量真实X-ray图像微调网络得到的预测结果域再使用U-net分割的结果；
图9为本发明实施例提供的针对一幅X-ray图像进行左右股骨分割结果示意图；其中，(a)表示原始X-ray图像，(b)表示手动标注的股骨金标准，(c)表示使用U-net预测的结果，(d)表示使用DAAN预测的结果，(e)表示的是使用DRR图像预训练模型后再使用少量真实的X-ray图像微调网络得到的预测结果；
图10为本发明实施例提供的针对另一幅X-ray图像进行左右股骨分割结果示意图；其中，(a)表示原始X-ray图像，(b)表示手动标注的股骨金标准，(c)表示使用U-net预测的结果，(d)表示使用DAAN预测的结果，(e)表示的是使用DRR图像预训练模型后再使用少量真实的X-ray图像微调网络得到的预测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决现有的髋关节分割方法因依赖于大量的标注数据，分割结果差的技术问题，本发明提供了一种使用小样本图像训练的髋关节分割模型建立方法及其应用，其整体思路在于：通过数字重建放射影像对少量带标记的CT数据进行不同角度的投影，得到大量带标记的模拟图像；利用大量带标记的模型图像对髋关节分割模型进行预训练，并利用少量带标记的真实X-ray图像对预训练之后的髋关节分割模型进行微调，使得仅利用少量带标记的医学图像，即可有效提高髋关节分割模型的分割效果。
以下为实施例。
实施例1：
一种使用小样本训练的髋关节分割模型建立方法，如图2所示，包括：预训练数据集构建步骤、分割模型预训练步骤和分割模型微调步骤。
数字重建放射影像(Digitally Reconstructured Radiograph，DRR)广泛应用于CT模拟定位、图像引导放射治疗及计算机辅助外科等领域。相比于真实的X-ray图像，CT图像中的骨组织边界更加明显，使用传统的算法并手动微调即可得到较为准确的标注数据，因此使用少量带有标记的CT数据，利用DRR投影的可以获得大量带有标记的模拟图像；作为一种可选的实施方式，本实施例中，使用常用的光线投射法来实现DRR投影。图中的(a)～(c)是利用光线投射法从多个角度投影CT得到的DRR图像，图3中的(d)是实际髋关节的X-ray图像。由图3可以看出，DRR投影图像与实际图像虽然稍有差异，但二者之间仍存在很多共有特征；另外，由于DRR图像属于模拟图像，可以从任意角度投影CT生成大量带有标签的DRR图像。
基于DRR图像的上述特点，作为一种可选的实施方式，本实施例中，预训练数据集构建步骤具体包括：
通过数字重建放射影像的方法从不同角度对标记了髋关节区域的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域构成预训练数据集。
本实施例中，分割模型预训练步骤具体包括：
建立分割模型，用于对输入图像进行图像分割，以提取髋关节区域，并利用预训练数据集对分割模型进行预训练；
作为一种可选的实施方式，本实施例中，分割模型为深度注意力对抗网络中的生成器；
深度注意力对抗网络包括生成器和判别器；
生成器用于对输入图像进行图像分割，以提取髋关节区域；
判别器的输入为图像对，图像对由原图和生成器输出的分割图像构成，或者由原图和所标记的金标准构成，判别器用于在预训练和训练过程中判断输入的图像对中所包含的是分割图像还是金标准；
本实施例中，深度注意力对抗网络(Deep Attention Adversarial Network，DAAN)的整体架构与生成对抗网络(Generative Adversarial Networks，GAN)类似，分为生成器和判别器，在原始生成对抗网络中，生成器的任务是接收一个随机噪声，并产生让判别器难以辨别的图像；判别器的目的是尽可能的判断输入图像的真假；与原始的生成对抗网络不同，在深度注意力对抗网络中生成器的目的不是生成图像，而是分割图像，其接收一个二维图像并输出像素级别的分割结果，判别器的目的是将生成器输出的分割结果与人为勾画的金标准区分开来。
考虑到U-net网络在医学图像分割领域的有效性，作为一种可选的实施方式，本实施例中，深度注意力对抗网络的生成器在U-net网络的基础上进行改进，传统的U-net网络的结构如图4所示，生成对抗网络是一种编码器-解码器结构利用这种结构可以提取到不同图像尺寸的特征，浅层卷积层主要提取图像的低级特征，如图像的边缘；随着网络的不断加深，深层网络主要负责提取网络的高级特征，如图像的形状等；为了提高网络性能，使用跳跃连接将左侧编码器提取的特征与右侧同一图像尺寸的特征叠加。
本实施例所提供的深度注意力对抗网络的结构如图5所示，与U-net类似，DAAN的生成器也是编码器-解码器结构，如图5中的(a)所示，DAAN中的生成器通过将U-net网络中的特征提取模块替换为残差块，并且在U-net网络中编码器与解码器间的各跳跃连接中加入一个空间和通道注意力门的方式建立而成；空间和通道注意力门用于分别获取一个空间和通道的权重图，与编码器所提取的相应特征图点乘后，叠加在解码器中同一级别的特征图上；
残差块的结构如图6所示，包括依次连接的第一卷积层、第一ReLU激活函数层、第二卷积层、特征相加层以及第二ReLU激活函数层；第一卷积层的输入图像通过第三卷积层与特征相加层相连，构成残差结构；为了加速网络收敛，残差块中，各卷积层之后还连接有一个组归一化(Group Normalization，GN)层；
残差块的引入，能够避免随着网络加深所导致的浅层梯度消失的问题，提高模型的分割精度；通道和注意力门的引入，能够捕获到特征图中不同位置以及不同通道处对网络的贡献程度，对编码器提取到的特征进行控制，从而有效提高模型的分割精度。
在经过不同图像尺寸的特征提取后，网络的最后一层通过二维卷积以及sigmoid激活函数来获得像素级别的分割结果；可选地，本实施例使用Dice来作为生成器的损失函数，表达式如下：
其中，
为网络预测的分割结果，yi为手动标注的金标准。
如图5中的(b)所示，本实施例中，与生成器中的特征提取方式类似，使用残差块来提取更深层次的特征，最终判别器由一个或多个级联的残差块构成；可选地，判别器中使用对抗损失来作为网络的损失函数，表达式如下：
LGAN(G,D)＝∑ilog D(xi,yi)+∑ilog(1-D(xi,G(xi))
其中G为生成器，即分割模型；D为判别器；xi为原图像；G(xi)为网络预测的分割结果；yi为金标准。
本实施例中，借助深度注意力对抗网络完成分割模型的预训练和训练，以分割网络作为其中的生成器，由此能够利用判别器的判别能力，保证分割模型的训练效果，从而在进行髋关节分割时，能够有效提取出输入图像中的髋关节区域；在预训练或训练过程中，使用Adam优化算法来优化网络模型，相关参数设定为：一阶动量β1＝0.9，二阶动量β2＝0.999，初始学习率为1×10-4；由于判别器收敛的速度比生成器快，很容易导致前面网络层的梯度消失，因此，先训练1次判别器后，再训练生成器5次，判别器和生成器交替训练；当网络训练结束后，舍弃判别器，仅使用生成器来作为预训练分割模型；
应当说明的是，本实施例中，借助深度注意力对抗网络完成分割模型的预训练和训练，以及深度注意力对抗网络中的生成器和判别器的具体结构，仅为本发明优选的实施方式，在本发明其他的一些实施例中，在分割精度可达到应用需求的情况下，也可以直接以U-net网络作为深度注意力对抗网络中的生成器，判别器也可以不使用残差结构，或者，也可以不使用深度注意力对抗网络完成分割模型的预训练和训练，更多的实施方式，在此将不作一一列举。
虽然DRR图像与真实X-ray图像较为相似，但二者之间仍然存在差异性，若直接使用步骤二获得的分割模型去预测真实的X-ray图像，得到的分割结果的精度并不能很好地满足医学分析的需求；因此，本实施例利用迁移学习的思想，仅使用少量带有标记的真实X-ray图像对分割模型预训练步骤获得的预训练分割模型来进行微调训练；
相应地，本实施例中，分割模型微调步骤具体包括：
利用标记了髋关节区域的小样本X-ray图像构建训练数据集，并利用训练数据集对预训练之后的分割模型进行训练，以对分割模型进行微调，在训练结束后，将分割模型作为所建立的髋关节分割模型；
为了避免带标记的X-ray图像数据少而导致网络过拟合现象的发生，在对分割模型进行微调训练时，可对少量真实X-ray图像做进一步数据增强，主要增强方式有：伽马变换、随机裁剪、仿射变换、左右翻转等；将增强后的数据送入预训练分割模型中进行微调训练，损失函数以及其他训练策略与上述分割模型预训练步骤相同；当网络训练结束后，舍弃判别器，使用微调后的生成器来作为最终的髋关节分割模型。
由于X-ray图像是二维投影图像，图像中骨盆区域很容易与大肠等其他器官发生重叠，影响分割精度，作为一种优选的实施方式，本实施例在分割髋关节之前预先利用目标检测模型提取髋关节的感兴趣区域(Region Of Interest，ROI)；
可选地，本实施例中，具体使用目标检测领域中较为流行的Yolo V3来提取髋关节的感兴趣区域，目标检测与图像分割不同，目标检测任务中，每张图像的金标准是2个坐标点，即感兴趣区域的左上角坐标和右下角坐标，分别记为(xmin,ymin)和(xmax,ymax)；而图像分割任务中，每张图像的金标准则是相应的目标区域；由于DRR图像是带有分割的金标准的，利用分割的金标准可以很容易获得髋关节区域的最小包围盒，即对应目标检测的金标准；相应地，本实施例的分割模型微调步骤中，利用标记了髋关节区域的小样本X-ray图像构建训练数据集，具体包括：
利用已训练好的目标检测模型对各X-ray图像进行目标检测，提取各X-ray图像中髋关节区域所在的目标框，由所提取的目标框及其中标记的髋关节区域构成训练数据集；
本实施例中，目标检测模型的训练方式包括：
通过数字重建放射影像的方法从不同角度对标记了髋关节区域所在目标框的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域所在目标框构成目标检测数据集；
建立目标检测模型并利用目标检测数据集对目标检测模型进行训练。
实施例2：
一种髋关节分割方法，包括：
将待分割的X-ray图像输入上述实施例1中的目标检测模型，即Yolo V3，由该目标检测模型输出髋关节区域所在的目标框；
将目标检测模型输出的髋关节区域所在的目标框输入由上述实施例1提供的使用小样本训练的髋关节分割模型建立方法所建立的髋关节分割模型，由髋关节分割模型提取出髋关节区域。
实施例3：
一种使用小样本训练的髋关节分割模型建立方法，本实施例与上述实施例1类似，所不同之处在于，本实施例的分割模型微调步骤中，不对真实的X-ray图像进行目标检测，而是直接将标记了髋关节区域的小样本X-ray图像作为训练数据集。
实施例4：
一种髋关节分割方法，包括：
将待分割的X-ray图像输入由上述实施例3提供的使用小样本训练的髋关节分割模型建立方法所建立的髋关节分割模型，由髋关节分割模型提取出髋关节区域。
实施例5：
一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1或3提供的使用小样本训练的髋关节模型建立方法，和/或上述实施例1或3提供的髋关节分割方法。
以下结合不同分割方法的对比实验结果，对本发明针对髋关节(包括骨盆和股骨部分)分割所能取得的分割效果做进一步的解释说明。
针对两幅不同的X-ray图像，采用不同的分割方法，所得到的骨盆分割结果如图7和图8所示；图7和图8中，(a)表示原始X-ray图像，(b)表示利用Yolo V3提取ROI后的结果，可以看出方框能够较为准确包含将骨盆区域，(c)表示手动标注的金标准；图7和图8中，(d)表示直接使用U-net分割的结果，(e)表示先提取骨盆的感兴趣区域再使用U-net分割的结果，(f)表示直接使用使用DAAN分割的结果，对比(d)～(f)所示的分割结果可以看到，DAAN可以获得不错的结果，这三种方法都是只使用少量真实X-ray图像所训练的模型得到的预测结果。图7和图8中，(g)表示的是使用DRR预训练模型后再使用少量真实X-ray图像微调网络得到的预测结果，可以发现该方法所得到的结果与金标准较为接近，即使是在图像中存在植入物、图像质量差的情况下，使用上述实施例1提供的分割方法仍然能够较为准确分割出骨盆。
针对两幅不同的X-ray图像，采用不同方法进行左右股骨的分割，分割结果如图9和图10所示；图9和图10中，(a)表示原始X-ray图像，(b)表示手动标注的股骨金标准；图9和图10中，(c)和(d)分别表示使用U-net预测的结果和使用DAAN预测的结果，相比于U-net的结果，使用DAAN预测的结果更为接近金标准，这两种方法都是只使用少量真实X-ray图像所训练的模型得到的预测结果；图9和图10中，(e)表示的是使用DRR图像预训练模型后再使用少量真实的X-ray图像微调网络得到的预测结果，可以发现使用该方法分割左右股骨的结果均与金标准接近，并且在预先练模型的基础上能够获得更加精细的分割结果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种使用小样本图像训练的髋关节分割模型建立方法，其特征在于，包括：
预训练数据集构建步骤：通过数字重建放射影像的方法从不同角度对标记了髋关节区域的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域构成预训练数据集；
分割模型预训练步骤：建立分割模型，用于对输入图像进行图像分割，以提取髋关节区域，并利用所述预训练数据集对所述分割模型进行预训练；
分割模型微调步骤：利用标记了髋关节区域的小样本X-ray图像构建训练数据集，并利用所述训练数据集对预训练之后的所述分割模型进行训练，以对所述分割模型进行微调，在训练结束后，将所述分割模型作为所建立的髋关节分割模型。
2.如权利要求1所述的使用小样本图像训练的髋关节分割模型建立方法，其特征在于，所述分割模型为深度注意力对抗网络中的生成器；
所述深度注意力对抗网络包括生成器和判别器；
所述生成器用于对输入图像进行图像分割，以提取髋关节区域；
所述判别器的输入为图像对，所述图像对由原图和所述生成器输出的分割图像构成，或者由原图和所标记的金标准构成，所述判别器用于在预训练和训练过程中判断输入的图像对中所包含的是分割图像还是金标准。
3.如权利要求2所述的使用小样本图像训练的髋关节分割模型建立方法，其特征在于，所述生成器的建立方式为：
将U-net网络中的特征提取模块替换为残差块，和/或在所述U-net网络中编码器与解码器间的各跳跃连接中加入一个空间和通道注意力门，得到所述生成器；空间和通道注意力门用于分别获取一个空间和通道的权重图，与编码器所提取的相应特征图点乘后，叠加在解码器中同一级别的特征图上；
所述残差块包括依次连接的第一卷积层、第一ReLU激活函数层、第二卷积层、特征相加层以及第二ReLU激活函数层；所述第一卷积层的输入图像通过第三卷积层与所述特征相加层相连，构成残差结构。
4.如权利要求3所述的使用小样本图像训练的髋关节分割模型建立方法，其特征在于，各卷积层之后还连接有一个组归一化层。
5.如权利要求3或4所述的使用小样本图像训练的髋关节分割模型建立方法，其特征在于，所述判别器包括一个或多个级联的残差块。
6.如权利要求1-5任一项所述的使用小样本图像训练的髋关节分割模型建立方法，其特征在于，所述分割模型微调步骤中，利用标记了髋关节区域的小样本X-ray图像构建训练数据集，包括：
利用已训练好的目标检测模型对各X-ray图像进行目标检测，提取各X-ray图像中髋关节区域所在的目标框，由所提取的目标框及其中标记的髋关节区域构成所述训练数据集。
7.如权利要求6所述的使用小样本图像训练的髋关节分割模型建立方法，其特征在于，所述目标检测模型的训练方式包括：
通过数字重建放射影像的方法从不同角度对标记了髋关节区域所在目标框的小样本CT数据进行投影，得到大量带标记的模拟图像，由模拟图像及其中标记的髋关节区域所在目标框构成目标检测数据集；
建立目标检测模型并利用所述目标检测数据集对所述目标检测模型进行训练。
8.一种髋关节分割方法，其特征在于，包括：
将待分割的X-ray图像输入由权利要求1-5任一项所述的使用小样本训练的髋关节分割模型建立方法所建立的髋关节分割模型，由所述髋关节分割模型提取出髋关节区域。
9.一种髋关节分割方法，其特征在于，包括：
将待分割的X-ray图像输入权利要求6或7中所述的目标检测模型，由所述目标检测模型输出髋关节区域所在的目标框；
将所述目标检测模型输出的髋关节区域所在的目标框输入由权利要求6或7所述的使用小样本训练的髋关节分割模型建立方法所建立的髋关节分割模型，由所述髋关节分割模型提取出髋关节区域。
10.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-7任一项所述的使用小样本训练的髋关节模型建立方法，和/或权利要求8-9任一项所述的髋关节分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529708.8A CN112634283A (zh) | 2020-12-22 | 2020-12-22 | 使用小样本图像训练的髋关节分割模型建立方法及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529708.8A CN112634283A (zh) | 2020-12-22 | 2020-12-22 | 使用小样本图像训练的髋关节分割模型建立方法及其应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634283A true CN112634283A (zh) | 2021-04-09 |
Family
ID=75321225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011529708.8A Pending CN112634283A (zh) | 2020-12-22 | 2020-12-22 | 使用小样本图像训练的髋关节分割模型建立方法及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634283A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633655A (zh) * | 2019-08-29 | 2019-12-31 | 河南中原大数据研究院有限公司 | 一种attention-attack人脸识别攻击算法 |
| CN113012155A (zh) * | 2021-05-07 | 2021-06-22 | 刘慧烨 | 髋关节图像中骨骼分割方法、电子设备及存储介质 |
| CN113298783A (zh) * | 2021-05-25 | 2021-08-24 | 中南大学 | 多姿态条件下的髋关节旋转中心检测方法及成像方法 |
| CN113496494A (zh) * | 2021-06-17 | 2021-10-12 | 北京理工大学 | 基于drr模拟数据生成的二维骨骼分割方法及装置 |
| CN113537226A (zh) * | 2021-05-18 | 2021-10-22 | 哈尔滨理工大学 | 一种基于深度学习的烟雾检测方法 |
| CN113538654A (zh) * | 2021-06-11 | 2021-10-22 | 五邑大学 | 颅骨植入物图像生成方法、装置和计算机可读存储介质 |
| CN113570627A (zh) * | 2021-07-02 | 2021-10-29 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
| CN113592820A (zh) * | 2021-07-30 | 2021-11-02 | 瓴域影诺(北京)科技有限公司 | 一种股骨区域及关键点检测方法和系统 |
| CN113633376A (zh) * | 2021-08-06 | 2021-11-12 | 吉林大学 | 一种全髋关节裸眼三维虚拟置换方法 |
| WO2023024882A1 (zh) * | 2021-08-24 | 2023-03-02 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
| TWI810680B (zh) * | 2021-10-18 | 2023-08-01 | 長庚醫療財團法人林口長庚紀念醫院 | 前後骨盆放射影像分析方法及系統 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889852A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肝脏分割方法 |
-
2020
- 2020-12-22 CN CN202011529708.8A patent/CN112634283A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889852A (zh) * | 2018-09-07 | 2020-03-17 | 天津大学 | 基于残差-注意力深度神经网络的肝脏分割方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633655A (zh) * | 2019-08-29 | 2019-12-31 | 河南中原大数据研究院有限公司 | 一种attention-attack人脸识别攻击算法 |
| CN113012155A (zh) * | 2021-05-07 | 2021-06-22 | 刘慧烨 | 髋关节图像中骨骼分割方法、电子设备及存储介质 |
| CN113537226A (zh) * | 2021-05-18 | 2021-10-22 | 哈尔滨理工大学 | 一种基于深度学习的烟雾检测方法 |
| CN113298783A (zh) * | 2021-05-25 | 2021-08-24 | 中南大学 | 多姿态条件下的髋关节旋转中心检测方法及成像方法 |
| CN113538654B (zh) * | 2021-06-11 | 2024-04-02 | 五邑大学 | 颅骨植入物图像生成方法、装置和计算机可读存储介质 |
| CN113538654A (zh) * | 2021-06-11 | 2021-10-22 | 五邑大学 | 颅骨植入物图像生成方法、装置和计算机可读存储介质 |
| CN113496494A (zh) * | 2021-06-17 | 2021-10-12 | 北京理工大学 | 基于drr模拟数据生成的二维骨骼分割方法及装置 |
| CN113570627A (zh) * | 2021-07-02 | 2021-10-29 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
| CN113570627B (zh) * | 2021-07-02 | 2024-04-16 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
| CN113592820A (zh) * | 2021-07-30 | 2021-11-02 | 瓴域影诺(北京)科技有限公司 | 一种股骨区域及关键点检测方法和系统 |
| CN113633376A (zh) * | 2021-08-06 | 2021-11-12 | 吉林大学 | 一种全髋关节裸眼三维虚拟置换方法 |
| CN113633376B (zh) * | 2021-08-06 | 2024-03-15 | 吉林大学 | 一种全髋关节裸眼三维虚拟置换方法 |
| WO2023024882A1 (zh) * | 2021-08-24 | 2023-03-02 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 |
| TWI810680B (zh) * | 2021-10-18 | 2023-08-01 | 長庚醫療財團法人林口長庚紀念醫院 | 前後骨盆放射影像分析方法及系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634283A (zh) | 使用小样本图像训练的髋关节分割模型建立方法及其应用 | |
| EP3525171B1 (en) | Method and system for 3d reconstruction of x-ray ct volume and segmentation mask from a few x-ray radiographs | |
| JP5797352B1 (ja) | ３次元物体を追跡するための方法 | |
| Ge et al. | Unpaired MR to CT synthesis with explicit structural constrained adversarial learning | |
| Xie et al. | Scatter artifacts removal using learning-based method for CBCT in IGRT system | |
| CN110648337A (zh) | 髋关节分割方法、装置、电子设备和存储介质 | |
| CN109064443B (zh) | 一种基于腹部超声图像的多模型器官分割方法 | |
| JP7115114B2 (ja) | Ｘ線画像物体認識システム | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| Kim et al. | 3D reconstruction of leg bones from X-ray images using CNN-based feature analysis | |
| CN112598649A (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| CN111080778A (zh) | 一种双目内窥镜软组织图像的在线三维重建方法 | |
| CN114187293B (zh) | 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 | |
| Ataei et al. | Cascaded convolutional neural networks with perceptual loss for low dose CT denoising | |
| Nguyen et al. | A deep learning based fracture detection in arm bone X-ray images | |
| CN112967263A (zh) | 一种基于生成对抗网络的肝脏肿瘤图像样本增广方法 | |
| CN104616296A (zh) | 提高放射治疗影像质量的方法及装置、放射治疗系统 | |
| Gozes et al. | Bone structures extraction and enhancement in chest radiographs via CNN trained on synthetic data | |
| CN107316008A (zh) | 基于投影不变描述子的视频同步方法 | |
| Zhou et al. | N-net: 3d fully convolution network-based vertebrae segmentation from ct spinal images | |
| CN117710325A (zh) | 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统 | |
| Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
| Shi et al. | A novel u-like network for the segmentation of thoracic organs | |
| WO2019198394A1 (ja) | 医用画像処理装置、医用画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |