CN113962959A - 三维图像处理方法、装置、计算机设备和存储介质 - Google Patents

三维图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113962959A
CN113962959A CN202111228710.6A CN202111228710A CN113962959A CN 113962959 A CN113962959 A CN 113962959A CN 202111228710 A CN202111228710 A CN 202111228710A CN 113962959 A CN113962959 A CN 113962959A
Authority
CN
China
Prior art keywords
dimensional image
training
image processing
processed
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111228710.6A
Other languages
English (en)
Inventor
刘赫
张朗
刘鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaowei Changxing Robot Co ltd
Original Assignee
Suzhou Xiaowei Changxing Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaowei Changxing Robot Co ltd filed Critical Suzhou Xiaowei Changxing Robot Co ltd
Priority to CN202111228710.6A priority Critical patent/CN113962959A/zh
Publication of CN113962959A publication Critical patent/CN113962959A/zh
Priority to PCT/CN2022/126618 priority patent/WO2023066364A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及医疗技术领域，特别是涉及一种三维图像处理方法、装置、计算机设备和存储介质。一种三维图像处理方法包括：获取待处理医学图像；通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；根据概率对待处理三维图像进行分割以得到各个目标对象。本申请实现关节骨结构自动化分割，直接对待处理三维图像进行分割，提高分割精度的同时提高工作效率，适用于膝关节或者髋关节的手术置换机器人，提高自动化、智能化程度。

Description

三维图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及医疗技术领域，特别是涉及一种三维图像处理方法、装置、计算机设备和存储介质。
背景技术
膝骨术前，利用医学影像设备获取患者的包含关节等骨骼的影像图像(如CT图像)，计算机利用CT图像序列重建患者腿部骨骼的三维模型。为了从CT图像序列中提取骨骼轮廓，目前，使用如2D网络(U-Net)SVM、基于graph-cut图像分割方法等算法对二维的CT图像进行图像分割，以得到骨骼的图像子序列，再利用骨骼的图像子序列重建相应骨骼的三维模型。
然而，在获取骨骼的三维模型过程中，需对每幅二维图像进行分割。各幅图像分割后是难于自动化重建骨骼的三维模型的。这是因为CT图像序列中的若干幅图像之间由于缺少空间信息，各幅图像的图像分割精度和泛化性均不统一。如此，不仅受CT图像的数量影响，图像分割的速度慢，还可能需要借助人工交互的方式，对各图像分割后的骨骼图像进行修整
由此，依据现有技术对二维的CT图像所提取的如：关节区域等关键骨骼的轮廓，再进行三维重建后，所重建的关节模型容易产生骨骼缺失、或异常的不连续的突起等模型缺陷。这是与所分割的CT图像未考虑空间信息有关，以及所使用的算法相关。如何建立一种分割效率高，且分割精度高的模型是业内亟待解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种三维图像处理方法、装置、计算机设备和存储介质。
本申请实施例提供了一种三维图像处理方法，所述三维图像处理方法包括：
获取待处理三维图像；
通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，以得到所述待处理三维图像中每个体素属于至少一个目标对象的概率；
根据所述概率对所述待处理三维图像进行分割以得到各个目标对象。
在其中一个实施例中，所述通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，包括：
获取每个体素的最大的概率所对应的目标对象作为所述体素的分割结果；
根据所述体素的分割结果得到目标对象。
在其中一个实施例中，所述通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，还包括：
在不同通道的目标类别下，获取每个体素的最大的概率所对应的目标对象作为该目标类别下的所述体素的分割结果。
在其中一个实施例中，通过以下方法对所获取的待处理图像进行处理，包括：
对所述待处理三维图像进行第一预处理以供向所述三维图像处理模型提供输入数据；其中，所述第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸中的至少一项。
在其中一个实施例中，所述根据所述概率对所述待处理三维图像进行分割以得到各个目标对象包括：
根据所述概率对所述待处理三维图像进行处理以得到三维分割掩模；
对所述三维分割掩模进行后处理以得到各个目标对象。
在其中一个实施例中，对所述三维分割掩模进行后处理以得到各个目标对象，包括：
对所述分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种，以得到各个目标对象；所述形态学操作包括连通域标记和/或填洞。
在其中一个实施例中，所述通过预先训练的三维图像处理模型对所述待处理三维图像进行处理包括：
将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，其中，所述网络处理包括：对所述多个切片图像所表示的三维数据进行基于神经网络的层处理，以提取包含所述多个切片图像所描述的三维图像区域的图像特征；所述图像特征用于标识其对应的体素属于至少一个目标对象的概率。
在其中一个实施例中，所述预先训练的三维图像处理模型包含用于识别至少一个目标对象的概率的图像处理通道；其中，每一所述图像处理通道用于计算所述待处理三维图像中的各体素属于相应目标对象的概率。
在其中一个实施例中，所述待处理三维图像包含基于CT医学影像设备摄取骨骼而得到的切片图像序列。
在其中一个实施例中，一种三维图像处理模型的训练方法，包括：
获取训练数据，所述训练数据包括训练三维图像以及所述训练三维图像对应的标签；所述标签表示所述训练三维图像中各体素与目标对象之间的属性关系；
将所述训练三维图像输入待训练的三维图像处理模型，以输出对应所述训练三维图像的分割概率图；
对所述分割概率图进行处理得到符合预设的训练截止条件。
在其中一个实施例中，所述对所述分割概率图进行处理得到符合预设的训练截止条件，包括：
利用相应标签，计算所述分割概率图的偏差信息；其中，所述偏差信息用于评价所述待训练的三维图像处理模型预测准确性；
利用所述偏差信息迭代地对所述三维图像处理模型进行训练，直至所得到的偏差信息符合预设的训练截止条件。
在其中一个实施例中，所述利用相应标签，计算所述分割概率图的偏差信息，包括：利用相应标签，计算所述分割概率图的损失函数，以得到所述偏差信息。
在其中一个实施例中，所述将所述训练三维图像输入待训练的三维图像处理模型，以输出对应所述训练三维图像的分割概率图，包括：
将所述训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像；
通过下采样层依次对所述初始训练特征图像进行下采样；
通过残差卷积块对下采样后的所述初始训练特征图像进行反向残差计算，得到训练特征图像；
通过上采样层依次对所述训练特征图像进行上采样，得到训练分割概率图。
在其中一个实施例中，所述将所述训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像之前，还包括：
对所述训练三维图像进行第二预处理，所述第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸中的至少一项。
在其中一个实施例中，所述数据增强，包括：
对所述训练三维图像进行随机旋转、随机水平或竖直方向翻转以及随机裁剪中的至少一项。
在其中一个实施例中，所述自适应调节图像尺寸，包括：
对所述训练三维图像进行边缘填充和/或边缘裁剪。
在其中一个实施例中，一种三维图像处理装置，所述三维图像处理装置包括：
获取单元，用于获取待处理三维图像；
处理单元，用于通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，以得到所述待处理三维图像中每个体素属于目标对象的概率；
分割单元，用于根据所述概率对所述待处理三维图像进行分割以得到各个目标对象。
在其中一个实施例中，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一项所述的方法的步骤。
在其中一个实施例中，一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一项所述的方法的步骤。
上述三维图像处理方法、装置、计算机设备和存储介质，通过获取待处理三维图像；通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；根据概率对待处理三维图像进行分割以得到各个目标对象。本申请实现关节骨结构自动化分割，直接对待处理三维图像进行分割，提高分割精度的同时提高工作效率，适用于膝关节或者髋关节的手术置换机器人，提高自动化、智能化程度。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中三维图像处理方法的应用环境图；
图2为一个实施例中三维图像处理方法的流程示意图；
图3为一个实施例中三维图像处理方法的对待处理三维图像进行处理流程示意图；
图4为一个实施例中三维图像处理方法的窗宽窗位调节示意图；
图5为一个实施例中三维图像处理方法的数据重采样示意图；
图6为一个实施例中三维图像处理方法的图像分割流程示意图；
图7为一个实施例中三维图像处理方法的分割出的关节区域示意图；
图8为一个实施例中三维图像处理方法的后处理示意图；
图9为一个实施例中三维图像处理方法的模型训练流程示意图；
图10为一个实施例中三维图像处理方法的模型训练网络示意图；
图11为一个实施例中三维图像处理方法的模型训练步骤示意图；
图12为一个实施例中三维图像处理方法的损失函数示意图；
图13为一个实施例中三维图像处理方法的图像第二预处理示意图；
图14为一个实施例中三维图像处理方法的数据增强示意图；
图15为一个实施例中三维图像处理方法的自适应尺寸调节示意图；
图16为一个实施例中三维图像处理方法的数据方位调整示意图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的耦合。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
如图1所示，本申请所提供的一种三维图像处理方法，其中，三维图像处理装置的图像特征提取层获取待处理三维图像；通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；根据概率对待处理三维图像进行分割以得到各个目标对象。本申请实现关节骨结构自动化分割，直接对待处理三维图像进行分割，提高分割精度的同时提高工作效率，适用于膝关节或者髋关节的手术置换机器人，提高自动化、智能化程度。
在一个实施例中，如图2所示，提供了一种三维图像处理方法，以该方法应用于如图1所示的三维图像处理装置为例进行说明，包括以下步骤：
S202：获取待处理三维图像。
具体地，三维图像处理装置获取待处理三维图像，这里获取的可以是膝关节CT三维图像，也可以是髋关节CT三维图像。
S204：通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率。
其中，体素(voxel)是体积元素(volumepixel)的简称。是指数字数据于三维空间分割上的最小单位，体素用于三维成像、科学数据与医学影像等领域。
具体地，三维图像处理装置获取待处理三维图像，将待处理三维图像输入至预先训练的三维图像处理模型对待处理三维图像进行处理，具体对待处理三维图像进行前向计算，得到待处理三维图像中每个体素属于目标对象的概率。
S206：根据概率对待处理三维图像进行分割以得到各个目标对象。
具体地，三维图像处理装置根据概率，对待处理三维图像进行分割以得到各个目标对象。具体为三维图像处理装置输入图像相同尺寸的多通道的分割概率图，每个通道表示定义的每个目标类别，每个图像体素找到其概率最大的类别标签得到粗分割掩模图，也即得到各个目标对象。
在该实施例中，三维图像处理方法通过获取待处理三维图像；通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；根据概率对待处理三维图像进行分割以得到各个目标对象。本申请实现关节骨结构自动化分割，直接对待处理三维图像进行分割，提高分割精度的同时提高工作效率，适用于膝关节或者髋关节的手术置换机器人，提高自动化、智能化程度。
如图3所示，在其中一个实施例中，通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率，包括：
S302：获取每一体素的最大的概率所对应的目标对象作为体素的分割结果。
具体地，三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率。三维图像处理模型再获取每一体素，将每一体素的最大的概率所对应的目标对象作为体素的分割结果。
S304：将体素的分割结果得到目标对象。
具体地，三维图像处理模型再获取每一体素，将每一体素的最大的概率所对应的目标对象作为体素的分割结果，根据体素的分割结果得到目标对象。将最大概率的细三维分割掩模图的关节区域设置为前景，其像素为1，其他设置为背景。
在本实施例中，通过获取每一体素的最大的概率所对应的目标对象作为体素的分割结果，将体素的分割结果得到目标对象。每一体素的最大的概率所对应的目标对象作为体素的分割结果，实现了关节骨的精准分割和重建，同时提高分割精度。
在其中一个实施例中，通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，还包括：在不同通道的目标类别下，获取每个体素的最大的概率所对应的目标对象作为该目标类别下的体素的分割结果。
具体地，三维图像处理模型对待处理三维图像进行预处理后，将其输入至预先训练的三维图像进行前向计算，得到输入三维图像相同尺寸的多通道的分割概率图，每一个通道表示定义的每一个目标类别；然后在不同通道的目标类别下，每一个图像体素找到其概率最大的类别标签(通道索引)得到分割结果。
在其中一个实施例中，通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率之前，还包括：对待处理三维图像进行第一预处理，第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸中的至少一项。
具体地，三维图像处理装置获取待处理三维图像，在对待处理三维图像进行处理之前，对待处理三维图像进行第一预处理，第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸。
如图4所示，其中，设置窗宽窗位是对输入到三维图像处理模型中的待处理三维图像设置特定的窗宽窗位，以此压缩待处理三维图像的HU值范围，实现对待处理三维图像的滤波，有利于三维图像处理模型的处理。对待处理三维图像设置特定的窗宽窗位后，对待处理三维图像进行重采样，统一不同待处理三维图像数据的分辨率。接下来需要对待处理三维图像进行数据归一化，具体方式在此不限，数据归一化的作用在于统一数据的分布，加速网络收敛。最后一步就是自适应调节待处理三维图像的尺寸，目的是为了符合分割网络对输入图像尺寸的要求，这里的自适应调节为边缘裁剪和填充两种方式。
具体地，如图5所示，待处理三维图像的数据重采样，以二维为例，图中每个黑点，代表的是一个体素。重采样过程是通过插值实现，不改变物理尺寸，但是可以改变图像的分辨率。
在该实施例中，三维图像处理装置获取待处理三维图像，在对待处理三维图像进行处理之前，对待处理三维图像进行第一预处理，第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸。通过对待处理三维图像进行第一预处理有利于三维图像处理装置提高数据处理速度，同时加速三维图像处理装置的收敛。
如图6所示，在其中一个实施例中，根据概率对待处理三维图像进行分割以得到各个目标对象包括：
S402：根据概率对待处理三维图像进行处理以得到三维分割掩模。
具体地，三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率。三维图像处理模型再获取每一体素，将每一体素的最大的概率所对应的目标对象作为体素的分割结果，根据概率对待处理三维图像进行处理以得到三维分割掩模。该分割结果即为粗分割掩模图，粗三维分割掩模图经过后处理得到细三维分割掩模图。
S404：对三维分割掩模图进行后处理以得到各个目标对象。
具体地，三维图像处理模型根据概率对待处理三维图像进行处理以得到三维分割掩模，该分割结果即为粗分割掩模图，粗三维分割掩模图经过后处理得到细三维分割掩模图，对粗三维分割掩模图进行后处理以得到的细三维分割掩模图即为各个目标对象。
在该实施例中，三维图像处理模型根据概率对待处理三维图像进行处理以得到三维分割掩模，对三维分割掩模进行后处理以得到各个目标对象。直接对待处理三维图像进行分割，同时提高分割精度和时间性能，可应用于膝关节或者髋关节的手术置换机器人，提高自动化、智能化程度，提升工作效率。
如图7和图8所示，在其中一个实施例中，对三维分割掩模进行后处理以得到各个目标对象，包括：对分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种；形态学操作包括连通域标记和/或填洞。
具体地，三维图像处理模型对三维分割掩模进行后处理以得到各个目标对象，具体后处理为首先，对三维分割掩模做一些二值化图像的形态学操作，具体对每个三维分割掩模的分割类别进行连通域标记，并保留最大的一个连通域。然后对三维分割掩模图进行填洞，修复一些分割不全而导致的空洞现象。再然后进行重采样，恢复原始CT图像的分辨率。最后对三维分割掩模进行平滑处理，对三维分割掩模可以优化重采样或其他原因可能带来的矢状面或者冠状面的锯齿效果，优化后便可以进行分割得到目标对象。
在本实施例中，三维图像处理模型对三维分割掩模进行后处理以得到各个目标对象，具体对分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种；形态学操作包括连通域标记和/或填洞。通过对三维分割掩模进行后处理的优化流程，使其具有更高的分割精度，提高系统工作效率。
在其中一个实施例中，通过预先训练的三维图像处理模型对待处理三维图像进行处理包括：将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，其中，网络处理包括：对多个切片图像所表示的三维数据进行基于神经网络的层处理，以提取包含多个切片图像所描述的三维图像区域的图像特征；图像特征用于标识其对应的体素属于至少一个目标对象的概率。
具体地，三维图像处理装置通过预先训练的三维图像处理模型对待处理三维图像进行处理。三维图像处理模型将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，在网络处理中，对多个切片图像所表示的三维数据进行基于神经网络的层处理，以此提取包含多个切片图像所描述的三维图像区域的图像特征。提取得到的图像特征用于标识其对应的体素，体素属于至少一个目标对象的概率。
例如，图像特征可以是经抽象后的置信度，其经过归一化处理后，得到相应的概率；又如，图像特征可以是表征目标对象的经抽象的特征值，通过对其可能性评价后，得到相应概率。
在其中一个实施例中，预先训练的三维图像处理模型包含用于识别至少一个目标对象的概率的图像处理通道；其中，每一图像处理通道用于计算待处理三维图像中的各体素属于相应目标对象的概率。
具体地，预先训练的三维图像处理模型包含用于识别单一目标对象的概率的图像处理通道，还可以是一个可识别多个目标对象的图像处理通道。其中，每一图像处理通道用于计算待处理三维图像中的各体素属于相应目标对象的概率。
在其中一个实施例中，待处理医学图像三维图像包含基于CT医学影像设备摄取骨骼而得到的切片图像序列。如图9、图10和图11所示，在其中一个实施例中，三维图像处理方法中的三维图像处理模型的训练方法，三维图像处理模型的训练方法，包括：
S502：获取训练数据，训练数据包括训练三维图像以及训练三维图像对应的标签；标签表示训练医学图像三维图像中各体素与目标对象之间的属性关系。
具体地，三维图像处理模型获取训练数据，其中，训练数据包括训练三维图像以及训练三维图像对应的标签；标签表示训练三维图像中各体素与目标对象之间的属性关系。获取到关节CT影像数据之后，首先，按照特定比例分成训练数据和测试数据；训练数据需要由具有相关资质的医生或者医护人员对目标区域(关节骨骼)进行人工标注，得到每个三维图像的骨骼掩模图。然后，对标注过的训练数据再次按照特定比例进行划分成训练集和验证集，其中每一例数据包括CT图像和标注的三维分割掩模。
S504：将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图。
具体地，三维图像处理模型获取训练数据，将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像。
S506：对分割概率图进行处理得到符合预设的训练截止条件。
如图12所示，具体地，根据训练分割概率图以及对应的标签计算损失函数，然后根据损失函数可以利用优化方法进行参数的调整，这里的优化方法可以为Adam方法，梯度下降算法等等，在此不做限定。
损失函数定义为：
L＝w1*ldice+w2*lfocal
其中，各参数分别表示为：wi为各项权重，ldice和lfocal为两种常用的损失函数，这里使用两者加权求和作为总损失函数，wi为各项权重，在训练过程进行动态调节。
在其中一个实施例中，对分割概率图进行处理得到符合预设的训练截止条件，包括：利用相应标签，计算分割概率图的偏差信息；其中，偏差信息用于评价待训练的三维图像处理模型预测准确性。
具体地，三维图像处理模型利用相应标签，计算分割概率图的偏差信息；其中，偏差信息用于评价待训练的三维图像处理模型预测准确性。直至三维图像处理模型分割概率图进行处理得到符合预设的训练截止条件为止。
利用偏差信息迭代地对三维图像处理模型进行训练，直至所得到的偏差信息符合预设的训练截止条件。具体地，三维图像处理模型根据损失函数迭代以对三维图像处理模型进行训练，具体经过训练集数据的反复迭代进行参数更新，会使得损失逐渐降低。
在其中一个实施例中，利用相应标签，计算分割概率图的偏差信息，包括：利用相应标签，计算分割概率图的损失函数，以得到偏差信息。
具体地，在三维图像处理模型利用相应标签，计算分割概率图的偏差信息过程中，计算分割概率图的损失函数，以得到偏差信息。每个迭代周期结束后利用验证集对三维图像处理模型进行验证，可以得到一个平均dice系数，作为三维图像处理模型的评价系数，当验证集dice系数达到了预设的期望值，则可以停止训练，得到预训练的三维图像处理模型。
在其中一个实施例中，将训练医学图像三维图像输入待训练的医学图像三维图像处理模型，以输出对应训练医学图像三维图像的分割概率图，包括：
S602：将训练医学图像三维图像输入特征提取层，进行特征提取得到初始训练特征图像；
具体地，医学图像处理模型获取训练数据，将训练医学图像输入特征提取层，进行特征提取得到初始训练特征图像。
S604：通过下采样层依次对初始训练特征图像进行下采样。
具体地，三维图像处理模型获取训练数据，将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像。通过下采样层依次对初始训练特征图像进行下采样，其中下采样可以采用池化层实现，也可以通过卷积步长(stride＝2)实现。
S606：通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像。
具体地，三维图像处理模型通过下采样层依次对初始训练特征图像进行下采样，再通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像。三维图像处理模型网络结构中的卷积块可以为残差卷积块，也可以替代地使用其他结构作为卷积块。
S608：通过上采样层依次对训练特征图像进行上采样，得到训练分割概率图。
具体地，三维图像处理模型通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像后。再通过上采样层依次对训练特征图像进行上采样，得到训练分割概率图，其中，上采样层可以通过插值实现，也可以通过反卷积实现。
在本实施例中，三维图像处理模型将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像；再通过下采样层依次对初始训练特征图像进行下采样，通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像。再通过上采样层依次对训练特征图像进行上采样，得到训练分割概率图，根据训练分割概率图以及对应的标签计算损失函数，根据损失函数迭代以对三维图像处理模型进行训练。
在本实施例中，利用了大量训练数据对卷积神经网络进行训练，实现关节骨的精准分割和重建。通过多样且充分的数据训练，极大提高算法泛化性，使三维图像处理模型可同时实现对多种类型的骨头进行分割，应用于膝关节或者髋关节的手术置换机器人，提高自动化、智能化程度，提升工作效率。
如图13所示，在其中一个实施例中，将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像之前，还包括：对待处理三维图像进行第二预处理，第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸中的至少一项。
具体地，三维图像处理装置获取训练三维图像，在进行特征提取得到初始训练特征图像之前，对训练三维图像进行第二预处理，第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸。
在本实施例中，三维图像处理装置获取训练三维图像，对训练三维图像进行第二预处理，使训练三维图像调整至最佳观测方位，提高三维图像处理模型网络学习的能力以及加速收敛。
如图14所示，在其中一个实施例中，数据增强，包括：对训练三维图像进行随机旋转、随机水平或竖直方向翻转以及随机裁剪中的至少一项。
具体地，数据增强主要做了三个步骤：对训练三维图像进行随机旋转；对训练三维图像进行随机水平或竖直方向翻转，其中水平方向旋转是指沿水平方向为轴进行旋转，竖直方向翻转是指以竖直方向为轴进行旋转；对训练三维图像进行随机裁剪。
在本实施例中，三维图像处理模型对训练三维图像进行随机旋转、翻转和裁剪，扩充了样本数据。
如图15所示，在其中一个实施例中，自适应调节图像尺寸，包括：对训练三维图像进行边缘填充和/或边缘裁剪。
具体地，自适应尺寸调节是为了让网络输入的训练三维图像数据尺寸满足三维图像处理装置的需要。在网络左半边进行了下采样得到不同分辨率级别的图像特征图，右半边利用不同级别特征图进行上采样进行图像恢复，中间由跨层的特征补偿。为了可实现这样的连接结构，图像尺寸必须满足每一次下采样之后都刚好输出为输入尺寸的1/2，因此需要对输入图像进行自适应调节，自适应图像尺寸调节方式可以为两种方式：
1、边缘填充
对训练三维图像不满足输入要求维度进行0值填充，使其满足要求。
2、边缘裁剪
对训练三维图像不满足输入要求维度进行裁剪，使其满足要求，裁剪方式可以是图像两边同时裁剪或者只裁剪一个边缘。
在本实施例中，三维图像处理装置对训练三维图像进行自适应调节图像尺寸，包括：对训练三维图像进行边缘填充和/或边缘裁剪，使输入的训练三维图像数据尺寸满足三维图像处理装置的需要。
如图16所示，预处理最后一个步骤为体数据方位调整，以膝关节数据为例，可以看到三维图像的切片方向从横断面变成了冠状面(或者矢状面)，这样做的目的是使得膝关节可以更好地全局观测到，图像三维卷积运算的时候，每一次沿切片平面方向的滑动可以尽量覆盖到不同类型的骨骼，有利于网络的学习，加速模型训练的收敛。
应该理解的是，虽然图2至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图9的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种三维图像处理装置，包括：获取模块、处理单元及分割单元，其中：
获取单元，用于获取待处理三维图像；
处理单元，用于通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；
分割单元，用于根据概率对待处理三维图像进行分割以得到各个目标对象。
在其中一个实施例中，通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率，包括：
获取单元，用于获取每一体素的最大的概率所对应的目标对象作为体素的分割结果；
目标对象单元，用于将体素的分割结果得到目标对象。
在其中一个实施例中，通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率之前，还包括：
第一预处理单元，用于对待处理三维图像进行第一预处理，第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸中的至少一项。
在其中一个实施例中，根据概率对待处理三维图像进行分割以得到各个目标对象包括：
三维分割掩模单元，用于根据概率对待处理三维图像进行处理以得到三维分割掩模；
后处理单元，用于对三维分割掩模进行后处理以得到各个目标对象。
在其中一个实施例中，对三维分割掩模进行后处理以得到各个目标对象，包括：
后处理单元，用于对分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种；形态学操作包括连通域标记和/或填洞。
在其中一个实施例中，通过预先训练的三维图像处理模型对待处理三维图像进行处理包括：
网络处理单元，用于将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，其中，所述网络处理包括：对所述多个切片图像所表示的三维数据进行基于神经网络的层处理，以提取包含所述多个切片图像所描述的三维图像区域的图像特征；图像特征用于标识其对应的体素属于至少一个目标对象的概率。
在其中一个实施例中，预先训练的三维图像处理模型包含：
图像处理通道单元，用于识别至少一个目标对象的概率的图像处理通道；其中，每一所述图像处理通道用于计算待处理三维图像中的各体素属于相应目标对象的概率。
在其中一个实施例中，待处理三维图像包含：
切片图像获取单元，用于基于CT医学影像设备摄取骨骼而得到的切片图像序列。在其中一个实施例中，三维图像处理模型的训练方法包括：
获取单元，用于获取训练数据，训练数据包括训练三维图像以及训练三维图像对应的标签；
输出单元，用于将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图；
分割概率图处理单元，用于对分割概率图进行处理得到符合预设的训练截止条件。
在其中一个实施例中，对分割概率图进行处理得到符合预设的训练截止条件，包括：
分析单元，用于利用相应标签，计算分割概率图的偏差信息；其中，偏差信息用于评价待训练的三维图像处理模型预测准确性；
偏差信息迭代单元，用于利用偏差信息迭代地对三维图像处理模型进行训练，直至所得到的偏差信息符合预设的训练截止条件。
在其中一个实施例中，利用相应标签，计算分割概率图的偏差信息，包括：
偏差信息单元，用于利用相应标签，计算分割概率图的损失函数，以得到偏差信息。
在其中一个实施例中，将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图，包括：
特征提取单元，用于将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像；
下采样层单元，用于通过下采样层依次对初始训练特征图像进行下采样；
反向残差计算单元，用于通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像；
上采样层单元，用于通过上采样层依次对训练特征图像进行上采样，得到训练分割概率图。
在其中一个实施例中，将训练理三维图像输入特征提取层，进行特征提取得到初始训练特征图像之前，还包括：
第二预处理单元，用于对待处理三维图像进行第二预处理，第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸中的至少一项。
在其中一个实施例中，数据增强，包括：
数据增强单元，用于对训练三维图像进行随机旋转、随机水平方向翻转以及随机裁剪中的至少一项。
在其中一个实施例中，自适应调节图像尺寸，包括：
自适应调节图像尺寸单元，用于对训练医学图像进行边缘填充和/或边缘裁剪。
关于三维图像处理装置的具体限定可以参见上文中对于三维图像处理方法的限定，在此不再赘述。上述三维图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储周期任务分配数据，例如配置文件、理论运行参数和理论偏差值范围、任务属性信息等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维图像处理方法。
领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待处理三维图像；
通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；
根据概率对待处理三维图像进行分割以得到各个目标对象。
在一个实施例中，处理器执行计算机程序时实现通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率，包括：
获取每一体素的最大的概率所对应的目标对象作为体素的分割结果；
将体素的分割结果得到目标对象。
在一个实施例中，处理器执行计算机程序时实现通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率之前，还包括：
对待处理三维图像进行第一预处理，第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸中的至少一项。
在一个实施例中，处理器执行计算机程序时实现根据概率对待处理三维图像进行分割以得到各个目标对象包括：
根据概率对待处理三维图像进行处理以得到三维分割掩模；
对三维分割掩模进行后处理以得到各个目标对象。
在一个实施例中，处理器执行计算机程序时实现对三维分割掩模进行后处理以得到各个目标对象，包括：
对分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种；形态学操作包括连通域标记和/或填洞。
在一个实施例中，处理器执行计算机程序时实现
通过预先训练的三维图像处理模型对待处理三维图像进行处理包括：
将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，其中，网络处理包括：对多个切片图像所表示的三维数据进行基于神经网络的层处理，以提取包含多个切片图像所描述的三维图像区域的图像特征；图像特征用于标识其对应的体素属于至少一个目标对象的概率。
在一个实施例中，处理器执行计算机程序时实现预先训练的三维图像处理模型包含用于识别至少一个目标对象的概率的图像处理通道；其中，每一图像处理通道用于计算待处理三维图像中的各体素属于相应目标对象的概率。
在一个实施例中，处理器执行计算机程序时实现待处理三维图像包含基于CT医学影像设备摄取骨骼而得到的切片图像序列。
在一个实施例中，处理器执行计算机程序时实现一种三维图像处理模型的训练方法，包括：
获取训练数据，训练数据包括训练三维图像以及训练三维图像对应的标签；标签表示训练三维图像中各体素与目标对象之间的属性关系；
将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图；
对分割概率图进行处理得到符合预设的训练截止条件。
在一个实施例中，处理器执行计算机程序时实现对分割概率图进行处理得到符合预设的训练截止条件，包括：
利用相应标签，计算分割概率图的偏差信息；其中，偏差信息用于评价待训练的三维图像处理模型预测准确性；
利用偏差信息迭代地对三维图像处理模型进行训练，直至所得到的偏差信息符合预设的训练截止条件。
在一个实施例中，处理器执行计算机程序时实现利用相应标签，计算分割概率图的偏差信息，包括：利用相应标签，计算分割概率图的损失函数，以得到偏差信息。
在一个实施例中，处理器执行计算机程序时实现将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图，包括：
将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像；
通过下采样层依次对初始训练特征图像进行下采样；
通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像；
通过上采样层依次对训练特征图像进行上采样，得到训练分割概率图。在一个实施例中，处理器执行计算机程序时实现将训练理三维图像输入特征提取层，进行特征提取得到初始训练特征图像之前，还包括：
对待处理三维图像进行第二预处理，第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸中的至少一项。
在一个实施例中，处理器执行计算机程序时实现数据增强，包括：
对训练三维图像进行随机旋转、随机水平方向翻转以及随机裁剪中的至少一项。
在一个实施例中，处理器执行计算机程序时实现自适应调节图像尺寸，包括：
对训练三维图像进行边缘填充和/或边缘裁剪。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理三维图像；
通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率；
根据概率对待处理三维图像进行分割以得到各个目标对象。
在一个实施例中，计算机程序被处理器执行时实现通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率，包括：
获取每一体素的最大的概率所对应的目标对象作为体素的分割结果；
将体素的分割结果得到目标对象。
在一个实施例中，计算机程序被处理器执行时实现通过预先训练的三维图像处理模型对待处理三维图像进行处理，以得到待处理三维图像中每个体素属于目标对象的概率之前，还包括：
对待处理三维图像进行第一预处理，第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸中的至少一项。
在一个实施例中，计算机程序被处理器执行时实现根据概率对待处理三维图像进行分割以得到各个目标对象包括：
根据概率对待处理三维图像进行处理以得到三维分割掩模；
对三维分割掩模进行后处理以得到各个目标对象。
在一个实施例中，计算机程序被处理器执行时实现对三维分割掩模进行后处理以得到各个目标对象，包括：
对分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种；形态学操作包括连通域标记和/或填洞。
在一个实施例中，计算机程序被处理器执行时实现通过预先训练的三维图像处理模型对待处理三维图像进行处理包括：
将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，其中，网络处理包括：对多个切片图像所表示的三维数据进行基于神经网络的层处理，以提取包含多个切片图像所描述的三维图像区域的图像特征；图像特征用于标识其对应的体素属于至少一个目标对象的概率。
在一个实施例中，计算机程序被处理器执行时实现预先训练的三维图像处理模型包含用于识别至少一个目标对象的概率的图像处理通道；其中，每一图像处理通道用于计算待处理三维图像中的各体素属于相应目标对象的概率。
在一个实施例中，计算机程序被处理器执行时实现待处理三维图像包含基于CT医学影像设备摄取骨骼而得到的切片图像序列。
在一个实施例中，计算机程序被处理器执行时实现一种三维图像处理模型的训练方法，包括：
获取训练数据，训练数据包括训练三维图像以及训练三维图像对应的标签；标签表示训练三维图像中各体素与目标对象之间的属性关系；
将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图；
对分割概率图进行处理得到符合预设的训练截止条件。
在一个实施例中，计算机程序被处理器执行时实现对分割概率图进行处理得到符合预设的训练截止条件，包括：
利用相应标签，计算分割概率图的偏差信息；其中，偏差信息用于评价待训练的三维图像处理模型预测准确性；
利用偏差信息迭代地对三维图像处理模型进行训练，直至所得到的偏差信息符合预设的训练截止条件。
在一个实施例中，计算机程序被处理器执行时实现利用相应标签，计算分割概率图的偏差信息，包括：利用相应标签，计算分割概率图的损失函数，以得到偏差信息。
在一个实施例中，计算机程序被处理器执行时实现将训练三维图像输入待训练的三维图像处理模型，以输出对应训练三维图像的分割概率图，包括：
将训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像；
通过下采样层依次对初始训练特征图像进行下采样；
通过残差卷积块对下采样后的初始训练特征图像进行反向残差计算，得到训练特征图像；
通过上采样层依次对训练特征图像进行上采样，得到训练分割概率图。在一个实施例中，计算机程序被处理器执行时实现将训练理三维图像输入特征提取层，进行特征提取得到初始训练特征图像之前，还包括：
对待处理三维图像进行第二预处理，第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸中的至少一项。
在一个实施例中，计算机程序被处理器执行时实现数据增强，包括：
对训练三维图像进行随机旋转、随机水平方向翻转以及随机裁剪中的至少一项。
在一个实施例中，计算机程序被处理器执行时实现自适应调节图像尺寸，包括：
对训练三维图像进行边缘填充和/或边缘裁剪。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的耦合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的耦合都进行描述，然而，只要这些技术特征的耦合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (19)

1.一种三维图像处理方法，其特征在于，所述三维图像处理方法包括：
获取待处理三维图像；
通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，以得到所述待处理三维图像中每个体素属于至少一个目标对象的概率；
根据所述概率对所述待处理三维图像进行分割以得到各个目标对象。
2.根据权利要求1所述的三维图像处理方法，其特征在于，所述通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，包括：
获取每个体素的最大的概率所对应的目标对象作为所述体素的分割结果；
根据所述体素的分割结果得到目标对象。
3.根据权利要求1所述的三维图像处理方法，其特征在于，所述通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，还包括：
在不同通道的目标类别下，获取每个体素的最大的概率所对应的目标对象作为该目标类别下的所述体素的分割结果。
4.根据权利要求1所述的三维图像处理方法，其特征在于，通过以下方法对所获取的待处理图像进行处理，包括：
对所述待处理三维图像进行第一预处理以供向所述三维图像处理模型提供输入数据；其中，所述第一预处理操作包括设置窗宽窗位、重采样、数据归一化以及自适应调节图像尺寸中的至少一项。
5.根据权利要求1所述的三维图像处理方法，其特征在于，所述根据所述概率对所述待处理三维图像进行分割以得到各个目标对象包括：
根据所述概率对所述待处理三维图像进行处理以得到三维分割掩模；
对所述三维分割掩模进行后处理以得到各个目标对象。
6.根据权利要求5所述的三维图像处理方法，其特征在于，所述对所述三维分割掩模进行后处理以得到各个目标对象，包括：
对所述分割掩模图进行形态学操作、重采样以及平滑处理中的至少一种，以得到各个目标对象；所述形态学操作包括连通域标记和/或填洞。
7.根据权利要求1所述的三维图像处理方法，其特征在于，所述通过预先训练的三维图像处理模型对所述待处理三维图像进行处理包括：
将待处理三维图像中相邻的多个切片图像进行至少一层网络处理，其中，所述网络处理包括：对所述多个切片图像所表示的三维数据进行基于神经网络的层处理，以提取包含所述多个切片图像所描述的三维图像区域的图像特征；所述图像特征用于标识其对应的体素属于至少一个目标对象的概率。
8.根据权利要求1所述的三维图像处理方法，其特征在于，所述预先训练的三维图像处理模型包含用于识别至少一个目标对象的概率的图像处理通道；其中，每一所述图像处理通道用于计算所述待处理三维图像中的各体素属于相应目标对象的概率。
9.根据权利要求1所述的三维图像处理方法，其特征在于，所述待处理三维图像包含基于CT医学影像设备摄取骨骼而得到的切片图像序列。
10.一种三维图像处理模型的训练方法，其特征在于，包括：
获取训练数据，所述训练数据包括训练三维图像以及所述训练三维图像对应的标签；所述标签表示所述训练三维图像中各体素与目标对象之间的属性关系；
将所述训练三维图像输入待训练的三维图像处理模型，以输出对应所述训练三维图像的分割概率图；
对所述分割概率图进行处理得到符合预设的训练截止条件。
11.根据权利要求10所述的三维图像处理模型的训练方法，其特征在于，所述对所述分割概率图进行处理得到符合预设的训练截止条件，包括：
利用相应标签，计算所述分割概率图的偏差信息；其中，所述偏差信息用于评价所述待训练的三维图像处理模型预测准确性；
利用所述偏差信息迭代地对所述三维图像处理模型进行训练，直至所得到的偏差信息符合预设的训练截止条件。
12.根据权利要求11所述的三维图像处理模型的训练方法，其特征在于，所述利用相应标签，计算所述分割概率图的偏差信息，包括：利用相应标签，计算所述分割概率图的损失函数，以得到所述偏差信息。
13.根据权利要求11所述的三维图像处理模型的训练方法，其特征在于，所述将所述训练三维图像输入待训练的三维图像处理模型，以输出对应所述训练三维图像的分割概率图，包括：
将所述训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像；
通过下采样层依次对所述初始训练特征图像进行下采样；
通过残差卷积块对下采样后的所述初始训练特征图像进行反向残差计算，得到训练特征图像；
通过上采样层依次对所述训练特征图像进行上采样，得到训练分割概率图。
14.根据权利要求11所述的三维图像处理模型的训练方法，其特征在于，所述将所述训练三维图像输入特征提取层，进行特征提取得到初始训练特征图像之前，还包括：
对所述训练三维图像进行第二预处理，所述第二预处理操作包括设置窗宽窗位、重采样、数据增强、数据归一化以及自适应调节图像尺寸中的至少一项。
15.根据权利要求14所述的三维图像处理模型的训练方法，其特征在于，所述数据增强，包括：
对所述训练三维图像进行随机旋转、随机水平或竖直方向翻转以及随机裁剪中的至少一项。
16.根据权利要求14所述的三维图像处理模型的训练方法，其特征在于，所述自适应调节图像尺寸，包括：
对所述训练三维图像进行边缘填充和/或边缘裁剪。
17.一种三维图像处理装置，其特征在于，所述三维图像处理装置包括：
获取单元，用于获取待处理三维图像；
处理单元，用于通过预先训练的三维图像处理模型对所述待处理三维图像进行处理，以得到所述待处理三维图像中每个体素属于目标对象的概率；
分割单元，用于根据所述概率对所述待处理三维图像进行分割以得到各个目标对象。
18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9或权利要求10至16中任一项所述的方法的步骤。
19.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9或权利要求10至16中任一项所述的方法的步骤。
CN202111228710.6A 2021-10-21 2021-10-21 三维图像处理方法、装置、计算机设备和存储介质 Pending CN113962959A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111228710.6A CN113962959A (zh) 2021-10-21 2021-10-21 三维图像处理方法、装置、计算机设备和存储介质
PCT/CN2022/126618 WO2023066364A1 (zh) 2021-10-21 2022-10-21 三维图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111228710.6A CN113962959A (zh) 2021-10-21 2021-10-21 三维图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113962959A true CN113962959A (zh) 2022-01-21

Family

ID=79465506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111228710.6A Pending CN113962959A (zh) 2021-10-21 2021-10-21 三维图像处理方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113962959A (zh)
WO (1) WO2023066364A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272206A (zh) * 2022-07-18 2022-11-01 深圳市医未医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
WO2023066364A1 (zh) * 2021-10-21 2023-04-27 苏州微创畅行机器人有限公司 三维图像处理方法、装置、计算机设备和存储介质
CN116958552A (zh) * 2023-07-25 2023-10-27 强联智创（北京）科技有限公司 血管分割方法、电子设备及存储介质
CN117689683A (zh) * 2024-02-01 2024-03-12 江苏一影医疗设备有限公司 一种双腿膝关节运动状态图像处理方法、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274557B (zh) 2023-11-20 2024-03-26 首都师范大学 三维图像的数据增强方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019175870A1 (en) * 2018-03-12 2019-09-19 Persimio Ltd. Automated bone segmentation in images
CN109685763A (zh) * 2018-11-12 2019-04-26 浙江德尔达医疗科技有限公司 三维ct多骨块自动分割方法、装置、计算机设备及存储介质
CN111145181B (zh) * 2019-12-25 2023-04-07 华侨大学 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN111563902B (zh) * 2020-04-23 2022-05-24 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN113962959A (zh) * 2021-10-21 2022-01-21 苏州微创畅行机器人有限公司 三维图像处理方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023066364A1 (zh) * 2021-10-21 2023-04-27 苏州微创畅行机器人有限公司 三维图像处理方法、装置、计算机设备和存储介质
CN115272206A (zh) * 2022-07-18 2022-11-01 深圳市医未医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN116958552A (zh) * 2023-07-25 2023-10-27 强联智创（北京）科技有限公司 血管分割方法、电子设备及存储介质
CN117689683A (zh) * 2024-02-01 2024-03-12 江苏一影医疗设备有限公司 一种双腿膝关节运动状态图像处理方法、设备及存储介质
CN117689683B (zh) * 2024-02-01 2024-05-03 江苏一影医疗设备有限公司 一种双腿膝关节运动状态图像处理方法、设备及存储介质

Also Published As

Publication number Publication date
WO2023066364A1 (zh) 2023-04-27

Similar Documents

Publication Publication Date Title
CN113962959A (zh) 三维图像处理方法、装置、计算机设备和存储介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN112651979B (zh) 肺部x光图像分割方法、系统、计算机设备及存储介质
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN116485809B (zh) 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN115131452A (zh) 用于伪影去除的图像处理方法及装置
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN114757908A (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
CN111091504B (zh) 图像偏差场矫正方法、计算机设备和存储介质
CN114255329A (zh) Roi自动定位方法、装置、手术机器人系统、设备及介质
CN113256657A (zh) 一种高效医学图像分割方法及系统、终端、介质
CN115860067B (zh) 生成对抗网络训练方法、装置、计算机设备及存储介质
CN116486071A (zh) 图像分块特征提取方法、装置及存储介质
CN115908454A (zh) 一种心脏瓣膜分割方法、装置、电子设备及存储介质
CN116109503A (zh) 图像修复方法、系统、设备及存储介质
CN111899263B (zh) 图像分割方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination