CN109978037A - 图像处理方法、模型训练方法、装置、和存储介质 - Google Patents

图像处理方法、模型训练方法、装置、和存储介质 Download PDF

Info

Publication number
CN109978037A
CN109978037A CN201910203359.1A CN201910203359A CN109978037A CN 109978037 A CN109978037 A CN 109978037A CN 201910203359 A CN201910203359 A CN 201910203359A CN 109978037 A CN109978037 A CN 109978037A
Authority
CN
China
Prior art keywords
medical images
image
network
feature extraction
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910203359.1A
Other languages
English (en)
Other versions
CN109978037B (zh
Inventor
陈思宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910203359.1A priority Critical patent/CN109978037B/zh
Publication of CN109978037A publication Critical patent/CN109978037A/zh
Application granted granted Critical
Publication of CN109978037B publication Critical patent/CN109978037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及一种图像处理方法、模型训练方法、装置、和存储介质，所述图像处理方法包括：获取待处理的三维医学图像；通过特征提取网络对所述三维医学图像进行特征提取，获得关于所述三维医学图像中目标对象的图像特征；所述特征提取网络用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得所述特征提取网络和所述训练图像分割网络的参数值得到迭代更新；将所获得的图像特征输入图像分割网络进行处理，得到分割图像；根据所述分割图像中的像素特征确定所述目标对象所对应的病灶属性。本申请提供的方案可以有效地提高医学图像的处理效率，还可以提高病灶检测的准确性。

Description

图像处理方法、模型训练方法、装置、和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、模型训练方法、装置、和存储介质。
背景技术
随着图像处理技术的发展，图像处理技术开始被应用到医学图像的分割和检测领域，通过对医学图像进行处理，可自动检测出人体相关部位是否出现病灶特征。
传统的医学图像处理方案中，通过采用以二维医学图像训练的网络模型来对医学图像进行处理，从而实现人体的病灶检测。然而，对于三维医学图像的处理，采用以二维医学图像训练的网络模型处理医学图像，不仅降低医学图像的处理效率，而且还会降低病灶检测的准确性。
发明内容
基于此，有必要针对医学图像的处理效率低和病灶检测的准确性低的技术问题，提供一种图像处理方法、模型训练方法、装置、和存储介质。
一种图像处理方法，包括：
获取待处理的三维医学图像；
通过特征提取网络对所述三维医学图像进行特征提取，获得关于所述三维医学图像中目标对象的图像特征；所述特征提取网络用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得所述特征提取网络和所述训练图像分割网络的参数值得到迭代更新；
将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
根据所述分割图像中的像素特征确定所述目标对象所对应的病灶属性。
一种图像处理装置，包括：
图像获取模块，用于获取待处理的三维医学图像；
特征提取模块，用于通过特征提取网络对所述三维医学图像进行特征提取，获得关于所述三维医学图像中目标对象的图像特征；所述特征提取网络用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得所述特征提取网络和所述训练图像分割网络的参数值得到迭代更新；
特征处理模块，用于将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
病灶属性确定模块，用于根据所述分割图像中的像素特征确定所述目标对象所对应的病灶属性。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像处理方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像处理方法的步骤。
上述图像处理方法、装置、存储介质和计算机设备，通过根据不同数据域的三维医学图像样本训练所得的特征提取网络，不仅可以实现对三维医学图像的特征提取，而且还可以实现对不同数据域的三维医学图像进行特征提取。通过图像分割网络可以得到关于目标对象的分割图像，根据分割图像的像素特征来确定病灶属性，由于特征提取网络可以实现对不同数据域的三维医学图像进行特征提取，可以有效地提高医学图像的处理效率，还可以提高病灶检测的准确性；此外，还可以实现对不同身体部位的不同病灶的检测。
一种模型训练方法，包括：
获取不同数据域的三维医学图像样本和对应的训练标签；
通过特征提取网络对所述三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征；
将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像；
确定所述训练图像与对应的所述训练标签之间的损失值；
按照所述损失值调整所述特征提取网络和所述训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
在一个实施例中，所述方法还包括：
裁剪所述三维医学图像样本中不包含对象特征的边缘区域；
将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除；
所述通过特征提取网络对所述三维医学图像样本进行特征提取包括：
将去除所述目标像素后的三维医学图像样本输入所述特征提取网络中提取图像特征。
在一个实施例中，所述方法还包括：
计算所述三维医学图像样本中像素值的均值和标准差；
根据计算的均值和标准差，将所述三维医学图像样本的像素值归一化处理；
所述将去除所述目标像素后的三维医学图像样本输入所述特征提取网络中提取图像特征包括：
将归一化处理后的三维医学图像样本输入所述特征提取网络中进行图像特征的提取。
在一个实施例中，所述裁剪所述三维医学图像样本中不包含对象特征的边缘区域包括：
从所述三维医学图像样本的边缘区域提取像素；
当所提取像素的像素值符合预设裁剪条件时，沿着所述三维医学图像样本的边缘将包含所提取像素的边缘区域进行裁剪，执行所述从所述三维医学图像样本的边缘区域提取像素的步骤；
当所提取像素的像素值不符合预设裁剪条件时，停止裁剪所述三维医学图像样本。
在一个实施例中，所述将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除包括：
在裁剪后的三维医学图像样本中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及
在裁剪后的三维医学图像样本中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理。
在一个实施例中，所述方法还包括：
在去除所述目标像素后的三维医学图像样本中确定三维基准检测区域；
确定所述三维基准检测区域中所包含的目标对象的图像特征量；
当所述图像特征量小于预设特征量时，扩张所述三维基准检测区域的尺寸，直至所述三维基准检测区域中目标对象的图像特征量大于或等于预设特征量；
所述将去除所述目标像素后的三维医学图像样本输入所述特征提取网络中提取图像特征包括：
将扩张尺寸后的三维基准检测区域中所包含的三维医学图像样本，输入特征提取网络进行图像特征的提取。
在一个实施例中，所述通过所述特征提取网络对所述三维医学图像样本进行特征提取之前，所述方法还包括：
确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；
根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
在一个实施例中，所述特征提取网络包括多个卷积层；所述卷积层中包括有带孔的卷积层；所述通过所述特征提取网络对所述三维医学图像样本进行特征提取包括：
通过特征提取网络中的各卷积层对所述三维医学图像样本进行卷积处理，以提取所述三维医学图像样本中的特征；
所述按照所述损失值调整所述特征提取网络和所述训练图像分割网络中的参数值包括：
按照所述损失值调整所述特征提取网络中各卷积层的参数值，以及调整所述训练图像分割网络中的参数值。
在一个实施例中，所述通过所述特征提取网络对所述三维医学图像样本进行特征提取之前，所述方法还包括：
确定属于不同数据域下各三维医学图像样本的样本数量；
当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，则确定升采样频率；所述目标数据域为所述不同数据域中的至少一个；
按照所述升采样频率对所述目标数据域下三维医学图像样本进行升采样。
在一个实施例中，当所确定的损失值达到训练停止条件之后，得到训练后的特征提取网络，将该特征提取网络迁移到图像分割网络进行集成；所述方法还包括：
获取待处理的三维医学图像；
通过特征提取网络对所述三维医学图像进行特征提取，获得关于所述三维医学图像中目标对象的图像特征；所述特征提取网络是根据不同数据域的三维医学图像样本训练所得；
将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
根据所述分割图像中的像素特征确定所述目标对象所对应的病灶属性。
在一个实施例中，所述通过特征提取网络对所述三维医学图像进行特征提取之前，所述方法还包括：
当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，转换相位编码方向；
采集包含有目标对象的三维图像数据；
按照转换后的相位编码方向对所采集的三维图像数据进行编码，得到待处理的三维医学图像。
在一个实施例中，所述特征提取网络包括多个卷积层；所述通过特征提取网络对所述三维医学图像进行特征提取包括：
通过特征提取网络中的各卷积层对所述三维医学图像进行卷积处理，以提取所述三维医学图像中的特征；
所述将所获得的图像特征输入图像分割网络进行处理包括：
将所获得的图像特征输入图像分割网络，通过所述图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
在一个实施例中，所述方法还包括：
裁剪所述三维医学图像中不包含对象特征的边缘区域；
将裁剪后三维医学图像中像素值符合预设异常条件的目标像素去除；
所述通过特征提取网络对所述三维医学图像进行特征提取包括：
将去除目标像素后的三维医学图像输入特征提取网络进行提取图像特征。
在一个实施例中，所述方法还包括：
获取不同数据域的三维医学图像样本和对应的训练标签；
通过所述特征提取网络对所述三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征；
将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像；
确定所述训练图像与对应的所述训练标签之间的损失值；
按照所述损失值调整所述特征提取网络和所述训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
一种模型训练装置，包括：
图像获取模块，用于获取不同数据域的三维医学图像样本和对应的训练标签；
特征提取模块，用于通过特征提取网络对所述三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征；
特征处理模块，用于将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像；
损失值确定模块，用于确定所述训练图像与对应的所述训练标签之间的损失值；
参数值调整模块，用于按照所述损失值调整所述特征提取网络和所述训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述模型训练方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述模型训练方法的步骤。
上述模型训练方法、装置、存储介质和计算机设备，将不同数据域的三维医学图像样本作为输入对特征提取网络和训练图像分割网络进行训练，在损失值达到训练停止条件时，停止训练得到训练后的特征提取网络，由于该特征提取网络是通过不同数据域的三维医学图像样本训练所得，一方面，该特征提取网络可以实现对各不同数据域下的三维医学图像进行特征提取，提高了特征提取网络的应用场景；另一方面，可以将该特征提取网络作为深度学习模型的通用特征迁移基础，能够同时处理不同数据域的三维医学图像，可以学习到不同数据域下三维医学图像样本的图像特征提取。此外，当训练所得的特征提取网络迁移至图像分割网络，可以实现三维医学图像的处理，提高了三维医学图像的处理效率，进而还会提升病灶检测的准确性。
附图说明
图1为一个实施例中图像处理方法和模型训练方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中不带孔的卷积和带孔的卷积示意图；
图4为一个实施例中不同模型所得的分割图像之间对比的示意图；
图5为一个实施例中裁剪三维医学图像中不包含对象特征的区域和去除异常像素的步骤的流程示意图；
图6为一个实施例中对特征提取网络和训练图像分割网络进行训练的步骤的流程示意图；
图7为一个实施例中裁剪三维医学图像样本中不包含对象特征的区域和去除异常像素的步骤的流程示意图；
图8为一个实施例中对三维医学图像样本进行归一化处理的步骤的流程示意图；
图9为一个实施例中对样本数量少的数据域三维医学图像样本进行升采样的步骤的流程示意图；
图10为一个实施例中模型训练方法的流程示意图；
图11为一个实施例中包含编码部分和解码部分的多任务网络模型的结构框图；
图12为一个实施例中图像处理装置的结构框图；
图13为另一个实施例中图像处理装置的结构框图；
图14为一个实施例中模型训练装置的结构框图；
图15为另一个实施例中模型训练装置的结构框图；
图16为一个实施例中计算机设备的结构框图；
图17为另一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法和模型训练方法的应用环境图。参照图1，该图像处理方法和模型训练方法应可用于医学系统，该医学系统包括第一终端110和第二终端120。第一终端110和第二终端120通过网络连接。终端110具体可以是各种用于医学检测的医疗设备，如CT(Computed Tomography，电子计算机断层扫描)探测器、MRI(MagneticResonance Imaging，磁共振成像)检测器和胃镜等，该第一终端可以是集成了执行图像处理和模型训练的服务器的医疗设备，或者，医疗设备与用于执行图像处理和模型训练的独立服务器共同组成第一终端。终端120可以是台式终端或移动终端，移动终端具体可以是笔记本、平板电脑和手机等。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的第一终端110来举例说明。参照图2，该图像处理方法具体包括如下步骤：
S202，获取待处理的三维医学图像。
其中，三维医学图像可以是通过三维成像技术所得到的关于人体生理部位的三维立体图像。在实际应用中，三维医学图像可以包括但不限于三维CT图像、三维MRI图像和三维胃镜图像等图像。获取的三维医学图像可以某一种数据域的图像，也可以是多个不同数据域的图像。
在一个实施例中，S202可以包括：终端接收检测指令，根据所接收的检测指令采集至少包括目标对象的三维医学图像。具体地，终端根据所接收的检测指令调用属于该终端的医用摄像头、或电磁波探测器，通过调用的医用摄像头、或电磁波探测器采集至少包括目标对象的医学数据，然后利用三维成像技术生成对应的三维医学图像。
其中，对象可以是人体的各种器官或组织，如脑、肝、肠、脾、胃、心脏和胰腺等，目标对象即为需要检测的对象。
在一个实施例中，终端获取到待处理的三维医学图像之后，对所获取的三维医学图像进行伪影识别，以确定三维医学图像中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待处理的三维医学图像之后，输出三维医学图像以进行展示；当接收到针对该三维医学图像的伪影确认指令时，确定该三维医学图像包含有伪影，以及包含伪影时所对应的严重程度值。若包含、且伪影的严重程度值较大时，终端可以重新获取三维医学图像。若包含但伪影的严重程度值较小，或不包含时，则执行S204。
其中，伪影可以指在终端在磁共振扫描或信息处理过程中，出现了一些人体本身不存在的、致使图像质量下降的影像。例如，运动伪影出现的原因主要是终端在磁共振扫描过程中，运动器官在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生。
在一个实施例中，当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，终端转换相位编码方向；采集包含有目标对象的三维图像数据；按照转换后的相位编码方向对所采集的三维图像数据进行编码，得到待处理的三维医学图像。或者，当所获取的三维医学图像包含有伪影时，终端转换相位编码方向，按照转换后的相位编码方向对三维图像数据进行编码，得到待处理的三维医学图像。
例如，若三维MR图像出现伪影，重新进行MR扫描，当进行横轴位MR扫描时，将相位编码方向转换为左右方向。当进行冠状位MR扫描时，将相位编码方向转换为左右方向。当进行矢状位MR扫描时，将相位编码方向转换为前后方向。当进行横轴位弥散MR扫描时，将相位编码方向转换为前后方向。
在另一个实施例中，当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，终端还可以增加采样时间，进而减低带宽以减小波纹。此外，终端还可以通过增加相位编码数来降低像素大小，减少像素间的不连续性以减少尾波震荡。
S204，通过特征提取网络对三维医学图像进行特征提取，获得关于三维医学图像中目标对象的图像特征；特征提取网络用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得特征提取网络和训练图像分割网络的参数值得到迭代更新。
其中，不同的医疗应用场景，对应的终端可以产生不同成像模态的三维医学图像。例如，CT场景中，CT探测器可以拍摄出三维CT图像。不同医疗应用场景所得的三维医学图像属于不同的数据域，换句话说，数据域可以用于表示三维医学图像属于某种医疗设备或某种成像模态。不同数据域的三维医学图像可以是由不同医疗设备产生的不同成像模型的图像。其中，特征提取网络可以是ResNet、ResNeXt或DenseNet系列网络中的特征提取部分网络，如从网络初始到第四组卷积模块。
在一个实施例中，终端获取不同数据域的三维医学图像样本和对应的训练标签，并基于不同数据域的三维医学图像样本对特征提取网络与训练图像分割网络进行联合迭代训练，根据每次迭代训练的输出结果更新特征提取网络和训练图像分割网络中的参数值；或者，终端计算每次迭代训练的输出结果与训练标签之间的损失值，按照损失值更新特征提取网络和训练图像分割网络中的参数值。此外，终端还可以绘制损失曲线，当损失曲线收敛时，停止训练，得到训练完成后的特征提取网络和训练图像分割网络。其中，训练完成后的特征提取网络参与迁移，用于与图像分割网络进行集成以进行三维医学图像的分割处理。
在一个实施例中，特征提取网络包括多个卷积层；S204具体可以包括：终端通过特征提取网络中的各卷积层对三维医学图像进行卷积处理，以提取三维医学图像中的特征，获得关于三维医学图像中目标对象的图像特征。由于特征提取网络是根据不同数据域的三维医学图像样本训练所得，对于不同数据域的三维医学图像，均可以采用该特征提取网络进行特征提取，即可以对不同医疗应用场景所得的三维医学图像进行特征提取。
例如，假设输入的三维医学图像的截面是32×32×N，其中，N表示三维医学图像的深度，当三维医学图像为RGB彩色图则N为3，当三维医学图像为灰度图则N为1。令N为3，其中，特征提取网络中的一个卷积层是5×5×3的过滤器(filter)，过滤器的深度与输入三维医学图像的深度相同，通过过滤器与输入三维医学图像的截面图的卷积可得到28×28×3的特征。
在一个实施例中，卷积层中包括有带孔的卷积层；S204具体可以包括：终端通过特征提取网络中非带孔的卷积层对三维医学图像进行卷积处理，然后将非带孔的卷积层输出结果作为带孔的卷积层的输入，继续进行卷积处理，从而获得关于三维医学图像中目标对象的图像特征。带孔的卷积层在保持参数个数不变的情况下，增大了卷积核的感受野，同时可以保证输出的图像特征的大小保持不变，可以降低图像特征提取过程中的信息损失。
其中，非带孔的卷积层的层数可以是大于或等于2。带孔的卷积层的层数可以是大于或等于2。在卷积神经网络中，决定某层输出结果中一个元素所对应的输入层的区域大小即为感受野(receptive field)。
例如，在对三维医学图像进行卷积处理过程中，当rate参数为1时，就是三维医学图像不丢失任何信息的采样，此时卷积操作就即为标准的卷积操作，如图3(a)所示。当rate参数为2的时候，在三维医学图像上每隔一个像素采样，如图3(b)中圆点视为三维医学图像上的采样点，然后将采样后的图像与过滤器(或卷积核)做卷积，从而增大了感受野。
S206，将所获得的图像特征输入图像分割网络进行处理，得到分割图像。
其中，特征提取网络作为迁移网络与图像分割网络进行集成，特征提取网络可以提取各数据域下三维医学图像的图像特征，图像分割网络可以对所提取的图像特征进行处理得到分割图像。图像分割网络可以是基于语义分割任务的神经网络，包括有反卷积层。反卷积层的卷积核大小可以是1×1×1，步长(stride)参数为1，padding参数为1。需要说明的是，上述参数值仅仅是举例并非穷举。
在一个实施例中，图像分割网络中包括有反卷积层。S206具体可以包括：将所获得的图像特征输入图像分割网络，通过图像分割网络中的反卷积层对输入的图像特征进行反卷积处理，得到分割图像。
作为一个示例，如图4所示，图4(a)为人体器官的标签图像，图4(b)为采用不同数据域的三维医学图像样本训练所得特征提取网络作为预训练网络所得的分割图像，图4(c)为采用C三维预训练网络所得的分割图像，图4(d)为基于随机初始化参数的网络模型所得的分割图像。
由于采用不同数据域的三维医学图像样本训练所得特征提取网络作为预训练网络，包含了各数据域的信息，能提取出各数据域下三维医学图像的通用特征，完全可以作为其他任务的预训练网络。由图4(b)可知，在有限迭代次数下，采用不同数据域的三维医学图像样本训练所得特征提取网络所得的分割图像已经接近图4(a)所示的标签图像，大部分器官都可以分割出来，结果远优于图4(c)和4(d)。
在一个实施例中，终端可以将所获得的图像特征输入分类网络，可以对三维医学图像进行分类，例如，判断三维医学图像中是否包含病灶属性。或者，终端可以将所获得的图像特征输入检测网络，可以对三维医学图像中的目标对象进行病灶检测，确定该目标对象是否具有病灶，以及病灶的严重程度。
S208，根据分割图像中的像素特征确定目标对象所对应的病灶属性。
其中，病灶属性可以是所属的病灶类别(即疾病类型)以及严重程度。
在一个实施例中，S208具体可以包括：终端从分割图像中划分多个像素块，根据每个像素块确定分别对应不同病灶类别的多个概率图块；概率图块中各像素值表示在像素块中对应的像素点属于各病灶类别的概率，根据概率图块确定分割图像中各像素点所属的病灶类别。
上述实施例中，通过根据不同数据域的三维医学图像样本训练所得的特征提取网络，不仅可以实现对三维医学图像的特征提取，而且还可以实现对不同数据域的三维医学图像进行特征提取。通过图像分割网络可以得到关于目标对象的分割图像，根据分割图像的像素特征来确定病灶属性，由于特征提取网络可以实现对不同数据域的三维医学图像进行特征提取，可以有效地提高医学图像的处理效率，还可以提高病灶检测的准确性；此外，还可以实现对不同身体部位的不同病灶的检测。
在一个实施例中，如图5所示，该方法还可以包括：
S502，裁剪三维医学图像中不包含对象特征的边缘区域。
其中，对象特征可以是关于人体器官或组织的图像特征。不包含对象特征的边缘区域为不包含语义信息的区域，而包含对象特征的边缘区域为包含语义信息的区域。
在一个实施例中，S502具体可以包括：终端从三维医学图像的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，沿着三维医学图像的边缘将包含所提取像素的边缘区域进行裁剪，然后继续执行从三维医学图像的边缘区域提取像素的步骤，直至当所提取像素的像素值不符合预设裁剪条件时，停止裁剪三维医学图像，得到裁剪后的三维医学图像。本实施例中，对不包含对象特征的边缘区域进行裁剪，可以降低或避免非语义信息对特征提取网络提取图像特征的影响。
其中，提取的像素值符合预设裁剪条件可以指：提取的像素值与对象特征对应的像素值不匹配。例如，提取的像素值为0，而对象特征对应的像素值大于0，则可以表示提取的像素值符合预设裁剪条件。
在一个实施例中，S502具体可以包括：终端从三维医学图像的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，继续从边缘区域往三维医学图像的中心方向提取像素，当所提取像素的像素值不符合预设裁剪条件时，以不符合预设裁剪条件的像素为基准，对三维医学图像进行裁剪，从而将包含符合预设裁剪条件的像素的边缘区域裁剪掉。
例如，从边缘区域提取像素，该像素的像素值为0，符合预设裁剪条件，则继续往三维医学图像的中心方向提取像素；当该像素的像素值还是为0时，则继续往三维医学图像的中心方向提取像素；当该像素的像素值大于0时，则以像素值大于0的像素为基准，将目标边缘区域从三维医学图像中裁剪掉，从而得到有效的范围。其中，目标边缘区域为三维医学图像的边缘区域、且区域中只包含像素值大于0的像素。
S504，将裁剪后三维医学图像中像素值符合预设异常条件的目标像素去除。
其中，像素值符合预设异常条件的目标像素可以是非目标对象的像素，为非语义信息。像素值不符合预设异常条件的目标像素可以是目标对象的像素，为语义信息。
在一个实施例中，S504具体可以包括：终端在裁剪后的三维医学图像中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及在裁剪后的三维医学图像中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理，从而可以避免异常像素值给特征的提取带来影响。
对每个三维医学图像而言，可以采用像素值分布在中间99％的数据范围。例如，像素值的分布是0至255，采用像素值分布在中间99％的数据范围指的是：0至255的像素值中，去除前0.5％的像素值，去除排在99.5％之后的像素值。举例来说，三维医学图像中，高亮部分对应的像素值很大，可能为254或255，可以将这部分像素值剔除，剔除的方式可以是将该部分像素值用像素值的中值替换，如将0替换为100至150之间的像素值代替。
S204具体可以包括：S506，将去除目标像素后的三维医学图像输入特征提取网络进行提取图像特征。
S506中进行图像特征的提取步骤可以参考S204。
上述实施例中，对三维医学图像中不包含对象特征的边缘区域进行裁剪，可以降低非语义信息对特征提取网络提取图像特征的影响。此外，将三维医学图像中像素值符合预设异常条件的目标像素去除，可以去除非人体组织或器官带来的异常值，进一步降低非语义信息对特征提取网络提取图像特征的影响。
在一个实施例中，如图6所示，该方法还可以包括：
S602，获取不同数据域的三维医学图像样本和对应的训练标签。
其中，三维医学图像样本可以是通过三维成像技术所得到的关于人体生理部位的三维立体图像。在实际应用中，三维医学图像样本可以包括但不限于三维CT图像、三维MRI图像和三维胃镜图像等图像。训练标签是与三维医学图像样本对应的三维医学图像，训练标签中的对应像素点具有标签，用于表示该像素点是背景像素还是目标对象的像素。例如，在训练标签中，若某个像素点的像素值为0，可以表示该像素点为背景像素。若某个像素点的像素值为1，可以表示该像素点为目标对象的像素。若某个像素点的像素值为2，可以表示该像素点为具有病灶属性的像素。
在一个实施例中，S602可以包括：终端接收模型训练指令，根据所接收的模型训练指令获取属于不同数据域的、且每个图像中至少包括目标对象的三维医学图像样本。具体地，终端根据所接收的模型训练指令，从数据库中获取属于不同数据域的、且每个图像中至少包括目标对象的三维医学图像样本。或者，调用属于该终端的医用摄像头、或电磁波探测器，通过调用的医用摄像头、或电磁波探测器采集至少包括目标对象的医学数据，然后利用三维成像技术生成对应的三维医学图像样本。
在一个实施例中，终端获取到三维医学图像样本之后，对所获取的三维医学图像样本进行伪影识别，以确定三维医学图像样本中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待处理的三维医学图像样本之后，输出三维医学图像样本以进行展示；当接收到针对该三维医学图像样本的伪影确认指令时，确定该三维医学图像样本包含有伪影，以及包含伪影时所对应的严重程度值。若包含、且伪影的严重程度值较大时，终端可以重新获取三维医学图像样本。若包含但伪影的严重程度值较小，或不包含时，则执行S604。
在一个实施例中，当所获取的三维医学图像样本包含有伪影时，将该三维医学图像样本去除，以避免包含伪影的三维医学图像样本对特征提取网络和训练图像分割网络的训练产生影响。
S604，通过特征提取网络对三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征。
其中，不同的医疗应用场景，对应的终端可以产生不同成像模态的三维医学图像样本。例如，CT场景中，CT探测器可以拍摄出三维CT图像。不同医疗应用场景所得的三维医学图像样本属于不同的数据域，换句话说，数据域可以用于表示三维医学图像样本属于某种医疗设备或某种成像模态。不同数据域的三维医学图像样本可以是由不同医疗设备产生的不同成像模型的图像。
在一个实施例中，终端可以将所获取的不同数据域下的三维医学图像样本分成多份，且每份均有各数据域下的三维医学图像样本。每次训练时，将其中一份属于不同数据域下的三维医学图像样本输入特征提取网络，通过特征提取网络对三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征。
在一个实施例中，S604之前，该方法还包括：终端确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
分别对各数据域三维医学图像中相邻两像素所对应的物理距离(医学图像中相邻两像素对应具体人体部位的物理距离，该物理距离可称为spacing)进行统一。以数据域为单位，计算出每个数据域的三维医学图像在三维坐标系xyz上的spacing中值，将该spacing中值作为对应数据域下三维医学图像尺度调整的系数。如某数据域下的spacing中值为2，三维医学图像x方向长度为100，则该三维医学图像x方向的尺度调整为x＝100×2＝200，这种尺寸调整方式能最大限度避免同一数据域下三维医学图像中各器官或组织变形。
在一个实施例中，特征提取网络包括多个卷积层；S604具体可以包括：终端通过特征提取网络中的各卷积层对三维医学图像样本进行卷积处理，以提取三维医学图像样本中的特征，获得关于三维医学图像样本中目标对象的图像特征。由于特征提取网络是根据不同数据域的三维医学图像样本训练所得，对于不同数据域的三维医学图像样本，均可以采用该特征提取网络进行特征提取，即可以对不同医疗应用场景所得的三维医学图像样本进行特征提取。
例如，假设输入的三维医学图像样本的截面是32×32×N，其中，N表示三维医学图像样本的深度，当三维医学图像样本为RGB彩色图则N为3，当三维医学图像样本为灰度图则N为1。令N为3，其中，特征提取网络中的一个卷积层是5×5×3的过滤器(filter)，过滤器的深度与输入三维医学图像样本的深度相同，通过过滤器与输入三维医学图像样本的截面图的卷积可得到28×28×3的特征。
在一个实施例中，卷积层中包括有带孔的卷积层；S604具体可以包括：终端通过特征提取网络中非带孔的卷积层对三维医学图像样本进行卷积处理，然后将非带孔的卷积层输出结果作为带孔的卷积层的输入，继续进行卷积处理，从而获得关于三维医学图像样本中目标对象的图像特征。带孔的卷积层在保持参数个数不变的情况下，增大了卷积核的感受野，同时可以保证输出的图像特征的大小保持不变，可以降低图像特征提取过程中的信息损失。
其中，非带孔的卷积层的层数可以是大于或等于2。带孔的卷积层的层数可以是大于或等于2。在卷积神经网络中，决定某层输出结果中一个元素所对应的输入层的区域大小即为感受野(receptive field)。
例如，在对三维医学图像样本进行卷积处理过程中，当rate参数为1时，就是三维医学图像样本不丢失任何信息的采样，此时卷积操作就即为标准的卷积操作，如图3(a)所示。当rate参数为2的时候，在三维医学图像样本上每隔一个像素采样，如图3(b)中圆点视为三维医学图像样本上的采样点，然后将采样后的图像与过滤器(或卷积核)做卷积，从而增大了感受野。
S606，将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像。
其中，训练图像分割网络可以是基于语义分割任务的神经网络，包括有反卷积层。反卷积层的卷积核大小可以是1×1×1，步长(stride)参数为1，padding参数为1。需要说明的是，上述参数值仅仅是举例并非穷举。
在一个实施例中，训练图像分割网络中包括有反卷积层。S606具体可以包括：将所获得的图像特征输入训练图像分割网络，通过训练图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
S608，确定训练图像与对应的训练标签之间的损失值。
在一个实施例中，终端根据损失函数计算训练图像与对应的训练标签之间的损失值。其中，损失函数可以是以下任一种：均方误差(Mean Squared Error)、交叉熵损失函数、L2Loss函数和Focal Loss函数。
S610，按照损失值调整特征提取网络和训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
其中，训练停止条件可以是一个较小的值。在每次训练时得到一个损失值，绘制成损失曲线，损失曲线是一个衰减的曲线，当损失曲线衰减至一个稳定的值，且该值足够小或趋近于0，则可以表示特征提取网络和训练图像分割网络收敛。
在一个实施例中，S610具体可以包括：按照损失值调整特征提取网络中各卷积层的参数值，以及调整训练图像分割网络中的参数值,直至所确定的损失值达到训练停止条件。
在一个实施例中，S610具体可以包括：终端在确定训练图像与对应的训练标签之间的损失值之后，将损失值反向传播到特征提取网络和训练图像分割网络的各网络层，获得对于各网络层参数的梯度；根据梯度调整特征提取网络和训练图像分割网络中各网络层的参数。
在训练过程中，训练图像分割网络的作用可以是用来判断特征提取网络与训练图像分割网络是否收敛，即所确定的损失值是否达到训练停止条件，当所确定的损失值达到训练停止条件时，可以得到训练后的特征提取网络，将该特征提取网络作为不同任务的网络模型的预训练网络，可以实现不同的任务。例如，将该特征提取网络作为预训练网络迁移至图像分割网络进行集成，从而可以实现对各数据域下三维医学图像的图像分割。此外，还可以将该特征提取网络迁移至分类网络进行集成，从而可以实现对各数据域下三维医学图像的图像分类。而且，还可以将该特征提取网络迁移至检测网络进行集成，从而可以实现对各数据域下三维医学图像中各目标对象的病灶检测。
上述实施例中，将不同数据域的三维医学图像样本作为输入对特征提取网络和训练图像分割网络进行训练，在损失值达到训练停止条件时，停止训练得到训练后的特征提取网络，由于该特征提取网络是通过不同数据域的三维医学图像样本训练所得，一方面，该特征提取网络可以实现对各不同数据域下的三维医学图像进行特征提取，提高了特征提取网络的应用场景；另一方面，可以将该特征提取网络作为深度学习模型的通用特征迁移基础，能够同时处理不同数据域的三维医学图像，可以学习到不同数据域下三维医学图像样本的图像特征提取。此外，当训练所得的特征提取网络迁移至图像分割网络，可以实现三维医学图像的处理，提高了三维医学图像的处理效率，进而还会提升病灶检测的准确性。
在一个实施例中，如图7所示，该方法还可以包括：
S702，裁剪三维医学图像样本中不包含对象特征的边缘区域。
其中，不包含对象特征的边缘区域为不包含语义信息的区域，而包含对象特征的边缘区域为包含语义信息的区域。
在一个实施例中，S702具体可以包括：终端从三维医学图像样本的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，沿着三维医学图像样本的边缘将包含所提取像素的边缘区域进行裁剪，执行从三维医学图像样本的边缘区域提取像素的步骤；当所提取像素的像素值不符合预设裁剪条件时，停止裁剪三维医学图像样本。本实施例中，对不包含对象特征的边缘区域进行裁剪，可以降低或避免非语义信息对特征提取网络提取图像特征的影响。
在一个实施例中，S702具体可以包括：终端从三维医学图像样本的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，继续从边缘区域往三维医学图像样本的中心方向提取像素，当所提取像素的像素值不符合预设裁剪条件时，以不符合预设裁剪条件的像素为基准，对三维医学图像样本进行裁剪，从而将包含符合预设裁剪条件的像素的边缘区域裁剪掉。
例如，从边缘区域提取像素，该像素的像素值为0，符合预设裁剪条件，则继续往三维医学图像样本的中心方向提取像素；当该像素的像素值还是为0时，则继续往三维医学图像样本的中心方向提取像素；当该像素的像素值大于0时，则以像素值大于0的像素为基准，将目标边缘区域从三维医学图像样本中裁剪掉，从而得到有效的范围。其中，目标边缘区域为三维医学图像样本的边缘区域、且区域中只包含像素值大于0的像素。
S704，将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除。
其中，像素值符合预设异常条件的目标像素可以是非目标对象的像素，为非语义信息。像素值不符合预设异常条件的目标像素可以是目标对象的像素，为语义信息。
在一个实施例中，S704具体可以包括：终端在裁剪后的三维医学图像样本中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及在裁剪后的三维医学图像样本中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理，从而可以避免异常像素值给特征的提取带来影响。
对每个三维医学图像样本而言，可以采用像素值分布在中间99％的数据范围。例如，像素值的分布是0至255，采用像素值分布在中间99％的数据范围指的是：0至255的像素值中，去除前0.5％的像素值，去除排在99.5％之后的像素值。举例来说，三维医学图像样本中，高亮部分对应的像素值很大，可能为254或255，可以将这部分像素值剔除。
S604具体可以包括：S706，将去除目标像素后的三维医学图像样本输入特征提取网络中提取图像特征。
在一个实施例中，终端在去除目标像素后的三维医学图像样本中确定三维基准检测区域；确定三维基准检测区域中所包含的目标对象的图像特征量；当图像特征量小于预设特征量时，扩张三维基准检测区域的尺寸，直至三维基准检测区域中目标对象的图像特征量大于或等于预设特征量；S706具体可以包括：将扩张尺寸后的三维基准检测区域中所包含的三维医学图像样本，输入特征提取网络进行图像特征的提取。
上述实施例中，对三维医学图像样本中不包含对象特征的边缘区域进行裁剪，可以降低非语义信息对特征提取网络训练的影响，避免非语义信息影响特征提取网络后续提取特征的准确性。此外，将三维医学图像样本中像素值符合预设异常条件的目标像素去除，可以去除非人体组织或器官带来的异常值，进一步降低非语义信息对特征提取网络提取图像特征的影响。
在一个实施例中，如图8所示，该方法还可以包括：
S802，计算三维医学图像样本中像素值的均值和标准差。
在一个实施例中，终端在获取三维医学图像样本后，对三维医学图像样本的边缘背景区域进行裁剪，得到裁剪后的包含目标对象的三维医学图像样本，然后计算裁剪后三维医学图像样本中像素值的均值和标准差。
在一个实施例中，对三维医学图像样本的边缘背景区域进行裁剪的步骤，具体可以包括：终端提取三维医学图像样本边缘区域的像素，确定该像素对应的像素值，然后在三维医学图像样本中确定一个与三维医学图像样本尺寸一致的三维选取框，然后不断往三维医学图像样本的中心位置方向缩小三维选取框，直至缩小后的三维选取框与缩小前的三维选取框之间存在与上述像素值不同的像素时，停止缩小三维选取框，从而得到目标选取框。终端将目标选取框之外的三维医学图像样本裁剪掉，得到裁剪后的三维医学图像样本，从而可以将不包含目标对象的边缘区域裁剪掉，减少非语义信息对网络收敛带来干扰，此外还可以降低终端的计算量。
S804，根据计算的均值和标准差，将三维医学图像样本的像素值归一化处理。
其中，上述的归一化处理可以指将三维医学图像样本中像素值映射到[0,1]区间内，也可以指将每个三维医学图像样本中像素值平均变为0(即把每个三维医学图像样本中像素值都减去均值)、标准差变为1。
在一个实施例中，终端采用Z-score(零均值)规范化的方式对三维医学图像样本中的像素值进行归一化处理处理。其中，Z-score的计算式如下：
其中，xmean为均值，xstd为标准差，x为三维医学图像样本中的像素值。分别将三维医学图像样本中的像素值输入Z-score计算式中，可以得到归一化的像素值。
根据均值和标准差对三维医学图像样本中像素值进行归一化处理，可以消除由于量纲不同引起的误差，在使用梯度下降的方法求解最优化时，归一化处理后可以加快梯度下降的求解速度，从而提升模型的收敛速度。
S706具体可以包括：S806，将归一化处理后的三维医学图像样本输入特征提取网络中进行图像特征的提取。
在一个实施例中，特征提取网络包括多个卷积层；S806具体可以包括：终端通过特征提取网络中的各卷积层对归一化处理后的三维医学图像样本进行卷积处理，以提取三维医学图像样本中的特征，获得关于三维医学图像样本中目标对象的图像特征。
在一个实施例中，卷积层中包括有带孔的卷积层；S806具体可以包括：终端通过特征提取网络中非带孔的卷积层对归一化处理后的三维医学图像样本进行卷积处理，然后将非带孔的卷积层输出结果作为带孔的卷积层的输入，继续进行卷积处理，从而获得关于三维医学图像样本中目标对象的图像特征。
上述实施例中，根据均值和标准差对三维医学图像样本中像素值进行归一化处理，可以使每个三维医学图像样本中的像素值都处于正态分布中，可以加速特征提取网络和图像分割网络的收敛速度。
在一个实施例中，如图9所示，S604之前，该方法还可以包括：
S902，确定属于不同数据域下各三维医学图像样本的样本数量。
在使用不同数据域下的三维医学图像样本对特征提取网络进行训练，每一个数据域的三维医学图像样本的样本数量需要多份，以便使特征提取网络训练到最佳状态。
S904，当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，则确定升采样频率；目标数据域为不同数据域中的至少一个。
在训练过程中，为了避免特征提取网络和训练图像分割网络对信息的遗忘，如迭代过程中，一开始学习了A数据域三维医学图像的图像特征a，但后续几次迭代中，图像特征a不再出现，之前学到的图像特征a可能丢失。因此，在训练时，当某个数据域下的三维图像数据样本数据量少时，通过升采样的方式扩展该数据域下的三维图像数据样本，保证每一批(batch)用于训练的三维图像数据样本中尽可能的属于各数据域。
在一个实施例中，当某个数据域下三维医学图像样本的样本数量较小、或多个数据域下三维医学图像样本的样本数量较小时，在训练过程中，按照样本数量确定升采样频率。当样本数量小于或等于第一样本阈值时，则确定升采用频率为第一采用频率。当样本数量大于第一样本阈值、且小于或等于第二样本阈值时，则确定升采用频率为第二采用频率。其中，第一采用频率大于第二采用频率，从而可以保证样本数量越小的三维医学图像样本，在经过升采样后得到足够数量的样本。
S906，按照升采样频率对目标数据域下三维医学图像样本进行升采样。
在一个实施例中，升采样之后，终端可以将不同数据域下的所有三维医学图像样本分成多份，且每份均有各数据域下的三维医学图像样本，从而保证每次训练时都有各数据域下的三维医学图像样本，避免特征提取网络和训练图像分割网络对信息的遗忘。
上述实施例中，当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，对目标数据域下三维医学图像样本进行升采样，从而可以保证各数据域下三维医学图像样本的样本数量足够多，避免每次迭代训练时因某种数据域的三维医学图像样本缺失，而造成特征提取网络和训练图像分割网络对信息的遗忘，从而可以有效地提高特征提取网络和训练图像分割网络的性能。
如图10所示，在一个实施例中，提供了一种模型训练方法。本实施例主要以该方法应用于上述图1中的第一终端110来举例说明。参照图10，该模型训练方法具体包括如下步骤：
S1002，获取不同数据域的三维医学图像样本和对应的训练标签。
其中，三维医学图像样本可以是通过三维成像技术所得到的关于人体生理部位的三维立体图像。在实际应用中，三维医学图像样本可以包括但不限于三维CT图像、三维MRI图像和三维胃镜图像等图像。训练标签是与三维医学图像样本对应的三维医学图像，训练标签中的对应像素点具有标签，用于表示该像素点是背景像素还是目标对象的像素。例如，在训练标签中，若某个像素点的像素值为0，可以表示该像素点为背景像素。若某个像素点的像素值为1，可以表示该像素点为目标对象的像素。若某个像素点的像素值为2，可以表示该像素点为具有病灶属性的像素。
在一个实施例中，S1002可以包括：终端接收模型训练指令，根据所接收的模型训练指令获取属于不同数据域的、且每个图像中至少包括目标对象的三维医学图像样本。具体地，终端根据所接收的模型训练指令，从数据库中获取属于不同数据域的、且每个图像中至少包括目标对象的三维医学图像样本。或者，调用属于该终端的医用摄像头、或电磁波探测器，通过调用的医用摄像头、或电磁波探测器采集至少包括目标对象的医学数据，然后利用三维成像技术生成对应的三维医学图像样本。
在一个实施例中，终端获取到三维医学图像样本之后，对所获取的三维医学图像样本进行伪影识别，以确定三维医学图像样本中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待处理的三维医学图像样本之后，输出三维医学图像样本以进行展示；当接收到针对该三维医学图像样本的伪影确认指令时，确定该三维医学图像样本包含有伪影，以及包含伪影时所对应的严重程度值。若包含、且伪影的严重程度值较大时，终端可以重新获取三维医学图像样本。若包含但伪影的严重程度值较小，或不包含时，则执行S1004。
在一个实施例中，当所获取的三维医学图像样本包含有伪影时，将该三维医学图像样本去除，以避免包含伪影的三维医学图像样本对特征提取网络和训练图像分割网络的训练产生影响。
S1004，通过特征提取网络对三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征。
其中，不同的医疗应用场景，对应的终端可以产生不同成像模态的三维医学图像样本。例如，CT场景中，CT探测器可以拍摄出三维CT图像。不同医疗应用场景所得的三维医学图像样本属于不同的数据域，换句话说，数据域可以用于表示三维医学图像样本属于某种医疗设备或某种成像模态。不同数据域的三维医学图像样本可以是由不同医疗设备产生的不同成像模型的图像。
在一个实施例中，终端可以将所获取的不同数据域下的三维医学图像样本分成多份，且每份均有各数据域下的三维医学图像样本。每次训练时，将其中一份属于不同数据域下的三维医学图像样本输入特征提取网络，通过特征提取网络对三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征。
在一个实施例中，S1004之前，该方法还包括：终端确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
分别对各数据域三维医学图像中相邻两像素所对应的物理距离(医学图像中相邻两像素对应具体人体部位的物理距离，该物理距离可称为spacing)进行统一。以数据域为单位，计算出每个数据域的三维医学图像在三维坐标系xyz上的spacing中值，将该spacing中值作为对应数据域下三维医学图像尺度调整的系数。如某数据域下的spacing中值为2，三维医学图像x方向长度为100，则该三维医学图像x方向的尺度调整为x＝100×2＝200，这种尺寸调整方式能最大限度避免同一数据域下三维医学图像中各器官或组织变形。
在一个实施例中，特征提取网络包括多个卷积层；S1004具体可以包括：终端通过特征提取网络中的各卷积层对三维医学图像样本进行卷积处理，以提取三维医学图像样本中的特征，获得关于三维医学图像样本中目标对象的图像特征。由于特征提取网络是根据不同数据域的三维医学图像样本训练所得，对于不同数据域的三维医学图像样本，均可以采用该特征提取网络进行特征提取，即可以对不同医疗应用场景所得的三维医学图像样本进行特征提取。
例如，假设输入的三维医学图像样本的截面是32×32×N，其中，N表示三维医学图像样本的深度，当三维医学图像样本为RGB彩色图则N为3，当三维医学图像样本为灰度图则N为1。令N为3，其中，特征提取网络中的一个卷积层是5×5×3的过滤器(filter)，过滤器的深度与输入三维医学图像样本的深度相同，通过过滤器与输入三维医学图像样本的截面图的卷积可得到28×28×3的特征。
在一个实施例中，卷积层中包括有带孔的卷积层；S1004具体可以包括：终端通过特征提取网络中非带孔的卷积层对三维医学图像样本进行卷积处理，然后将非带孔的卷积层输出结果作为带孔的卷积层的输入，继续进行卷积处理，从而获得关于三维医学图像样本中目标对象的图像特征。带孔的卷积层在保持参数个数不变的情况下，增大了卷积核的感受野，同时可以保证输出的图像特征的大小保持不变，可以降低图像特征提取过程中的信息损失。
其中，非带孔的卷积层的层数可以是大于或等于2。带孔的卷积层的层数可以是大于或等于2。在卷积神经网络中，决定某层输出结果中一个元素所对应的输入层的区域大小即为感受野(receptive field)。
例如，在对三维医学图像样本进行卷积处理过程中，当rate参数为1时，就是三维医学图像样本不丢失任何信息的采样，此时卷积操作就即为标准的卷积操作，如图3(a)所示。当rate参数为2的时候，在三维医学图像样本上每隔一个像素采样，如图3(b)中圆点视为三维医学图像样本上的采样点，然后将采样后的图像与过滤器(或卷积核)做卷积，从而增大了感受野。
S1006，将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像。
其中，训练图像分割网络可以是基于语义分割任务的神经网络，包括有反卷积层。反卷积层的卷积核大小可以是1×1×1，步长(stride)参数为1，padding参数为1。需要说明的是，上述参数值仅仅是举例并非穷举。
在一个实施例中，训练图像分割网络中包括有反卷积层。S1006具体可以包括：将所获得的图像特征输入训练图像分割网络，通过训练图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
S1008，确定训练图像与对应的训练标签之间的损失值。
在一个实施例中，终端根据损失函数计算训练图像与对应的训练标签之间的损失值。其中，损失函数可以是以下任一种：均方误差(Mean Squared Error)、交叉熵损失函数、L2Loss函数和Focal Loss函数。
S1010，按照损失值调整特征提取网络和训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
其中，训练停止条件可以是一个较小的值。在每次训练时得到一个损失值，绘制成损失曲线，损失曲线是一个衰减的曲线，当损失曲线衰减至一个稳定的值，且该值足够小或趋近于0，则可以表示特征提取网络和训练图像分割网络收敛。
在一个实施例中，S1010具体可以包括：按照损失值调整特征提取网络中各卷积层的参数值，以及调整训练图像分割网络中的参数值,直至所确定的损失值达到训练停止条件。
在一个实施例中，S1010具体可以包括：终端在确定训练图像与对应的训练标签之间的损失值之后，将损失值反向传播到特征提取网络和训练图像分割网络的各网络层，获得对于各网络层参数的梯度；根据梯度调整特征提取网络和训练图像分割网络中各网络层的参数。
在训练过程中，训练图像分割网络的作用可以是用来判断特征提取网络与训练图像分割网络是否收敛，即所确定的损失值是否达到训练停止条件，当所确定的损失值达到训练停止条件时，可以得到训练后的特征提取网络，将该特征提取网络作为不同任务的网络模型的预训练网络，可以实现不同的任务。例如，将该特征提取网络作为预训练网络迁移至图像分割网络进行集成，从而可以实现对各数据域下三维医学图像的图像分割。此外，还可以将该特征提取网络迁移至分类网络进行集成，从而可以实现对各数据域下三维医学图像的图像分类。而且，还可以将该特征提取网络迁移至检测网络进行集成，从而可以实现对各数据域下三维医学图像中各目标对象的病灶检测。
在一个实施例中，在S1004之前，该方法还包括：终端裁剪三维医学图像样本中不包含对象特征的边缘区域；将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除；S1004具体可以包括：将去除目标像素后的三维医学图像样本输入特征提取网络中提取图像特征。
在一个实施例中，在S1004之前，该方法还包括：终端计算三维医学图像样本中像素值的均值和标准差；根据计算的均值和标准差，将三维医学图像样本的像素值归一化处理；将去除目标像素后的三维医学图像样本输入特征提取网络中提取图像特征的步骤，具体可以包括：将归一化处理后的三维医学图像样本输入特征提取网络中进行图像特征的提取。
在一个实施例中，裁剪三维医学图像样本中不包含对象特征的边缘区域的步骤，具体可以包括：从三维医学图像样本的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，沿着三维医学图像样本的边缘将包含所提取像素的边缘区域进行裁剪，执行从三维医学图像样本的边缘区域提取像素的步骤；当所提取像素的像素值不符合预设裁剪条件时，停止裁剪三维医学图像样本。
在一个实施例中，将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除的步骤，具体可以包括：在裁剪后的三维医学图像样本中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及在裁剪后的三维医学图像样本中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理。
在一个实施例中，在S1004之前，该方法还包括：终端在去除目标像素后的三维医学图像样本中确定三维基准检测区域；确定三维基准检测区域中所包含的目标对象的图像特征量；当图像特征量小于预设特征量时，扩张三维基准检测区域的尺寸，直至三维基准检测区域中目标对象的图像特征量大于或等于预设特征量；将去除目标像素后的三维医学图像样本输入特征提取网络中提取图像特征的步骤，具体可以包括：将扩张尺寸后的三维基准检测区域中所包含的三维医学图像样本，输入特征提取网络进行图像特征的提取。
在一个实施例中，S1004之前，该方法还包括：确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
在一个实施例中，特征提取网络包括多个卷积层；卷积层中包括有带孔的卷积层；S1004具体可以包括：通过特征提取网络中的各卷积层对三维医学图像样本进行卷积处理，以提取三维医学图像样本中的特征；S1010具体可以包括：按照损失值调整特征提取网络中各卷积层的参数值，以及调整训练图像分割网络中的参数值。
在一个实施例中，S1004之前，该方法还包括：终端确定属于不同数据域下各三维医学图像样本的样本数量；当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，则确定升采样频率；目标数据域为不同数据域中的至少一个；按照升采样频率对目标数据域下三维医学图像样本进行升采样。
当获得训练后的特征提取网络之后，将特征提取网络作为预训练网络迁移至图像分割网络进行集成，可以实现对各数据域下的三维医学图像进行分割处理。在一个实施例中，终端获取待处理的三维医学图像；通过特征提取网络对三维医学图像进行特征提取，获得关于三维医学图像中目标对象的图像特征；特征提取网络是根据不同数据域的三维医学图像样本训练所得；将所获得的图像特征输入图像分割网络进行处理，得到分割图像；根据分割图像中的像素特征确定目标对象所对应的病灶属性。
在一个实施例中，通过特征提取网络对三维医学图像进行特征提取之前，该方法还包括：当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，转换相位编码方向；采集包含有目标对象的三维图像数据；按照转换后的相位编码方向对所采集的三维图像数据进行编码，得到待处理的三维医学图像。
在一个实施例中，特征提取网络包括多个卷积层；通过特征提取网络对三维医学图像进行特征提取的步骤，具体可以包括：通过特征提取网络中的各卷积层对三维医学图像进行卷积处理，以提取三维医学图像中的特征；将所获得的图像特征输入图像分割网络进行处理的步骤，具体可以包括：将所获得的图像特征输入图像分割网络，通过图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
在一个实施例中，在通过特征提取网络对三维医学图像进行特征提取的步骤之前，该方法还包括：裁剪三维医学图像中不包含对象特征的边缘区域；将裁剪后三维医学图像中像素值符合预设异常条件的目标像素去除；通过特征提取网络对三维医学图像进行特征提取的步骤，具体可以包括：将去除目标像素后的三维医学图像输入特征提取网络进行提取图像特征。
上述模型训练方法的详细步骤，可参考上述图像处理方法中的对应步骤。
上述实施例中，将不同数据域的三维医学图像样本作为输入对特征提取网络和训练图像分割网络进行训练，在损失值达到训练停止条件时，停止训练得到训练后的特征提取网络，由于该特征提取网络是通过不同数据域的三维医学图像样本训练所得，一方面，该特征提取网络可以实现对各不同数据域下的三维医学图像进行特征提取，提高了特征提取网络的应用场景；另一方面，可以将该特征提取网络作为深度学习模型的通用特征迁移基础，能够同时处理不同数据域的三维医学图像，可以学习到不同数据域下三维医学图像样本的图像特征提取。此外，当训练所得的特征提取网络迁移至图像分割网络，可以实现三维医学图像的处理，提高了三维医学图像的处理效率，进而还会提升病灶检测的准确性。
作为一个示例，在某些二维医学图像应用中，鉴于二维医学图像与自然图像的某些相似性(即二维医学图像与自然图像均为二维的空间领域)，使用来源于大数据集(如ImageNet)自然数据的预训练网络能带来一定的效果提升。但在三维医学图像中，虽然存在基于自然图像视频训练得到三维的预训练网络，然而，视频维度是“二维+时间”，与三维医学图像在空间上有着本质不同，此外，自然图像与医学图像在图像上的巨大差别，这样的预训练网络不一定能提升三维医学图像应用的性能。
为建立一套基于三维医学图像大数据的预训练网络，可以通过收集多种场景的三维医学图像聚合成三维医学图像大数据用于训练模型，这需要解决以下两个问题：
(1)边界模糊、富含伪影以及低对比度的医学图像训练难度大；
(2)不同于自然图像，不同来源，不同成像模态，不同器官范围的医学图像像素含义完全不同，通用知识较少，混合训练难度大。
鉴于上述挑战，提出了一种解决方案，能同时学习多种医疗场景三维医学图像的共通知识，获得能够表达出三维医学图像通用特征的预训练网络。同时，该预训练网络对多种医疗应用的模型集成有着重要意义。比如，医院中常用的CT肺结节筛查和MRI脑中白质的组织分割测量，其中，CT肺结节筛查和MRI脑中白质的组织分割测量是两种完全不同的医疗场景。通常情况下，每种医疗场景会训练特定的模型进行识别，若医疗场景越多则需要越多的模型。但是，多模型对医学图像数据有很大需求，而且医疗设备笨重且难以形成便携式仪器，采用本发明实施例的预训练网络可以将不同域的医疗场景数据进行联合训练，用一个模型解决多个医疗场景的问题。
对此，在本发明实施例中，搜集了8个不同场景的三维医学图像，由于8个数据域差异性大，对不同数据域的三维医学图像进行预处理，减少非语义差异对网络收敛带来的负面影响。经过处理的三维医学图像输入到一个包含共享编码(图11编码部分)参数以及特定解码参数的多任务网络模型中，每次更新参数时使用不同域的三维医学图像交替优化梯度，共享编码参数在优化过程中学习到各个域的通用知识，针对每种域的特定解码参数帮助网络收敛，达到获取三维医学图像大数据下的共享编码参数的目的。
(一)对不同数据域的三维医学图像进行统一化处理
三维医学图像的选择以及处理，主要目的在于减少各种域之间的非语义差异，使得不同域的三维医学图像同分布化，主要方法步骤如下：
1)选择来源于不同成像模态、不同器官组织的不同域下三维医学图像；选择包含较少伪影的三维医学图像，避免选用主观性大的三维医学图像(例如，在一张图像中找出癌变区域，不同医生标注出癌变区域的差距很大，则表示这种图像标注主观性大)；选用目标较大且包含更多上下文信息的三维医学图像。此外，为了增加训练样本和满足更多的医疗应用的需求，选用语义分割任务的三维医学图像。
例如，选取了肝与肝组织、脑部生理及其病理组织、心脏组织、前列腺、胰腺生理及其病理组织、脾脏等8个不同领域的三维医学图像，基本含括全身内脏范围。三维医学图像成像来源丰富，包括多种模态的MRI以及CT扫描。由于极小的目标在降采样时极容易完全损失信息，为了保证输入的信息有效性，促进网络模型收敛，对目标与背景严重不平衡的数据进行剔除。
(2)统一医学图像的spacing(即医学图像中相邻两个像素对应具体人体物理距离)，以域为单位，计算出每个域在三维坐标系xyz 3个维度上的spacing中值，将计算出来的spacing中值作为每个域的三维医学图像尺度调整的系数。如某个域的三维医学图像x方向长度为100，spacing中值为2，则该三维医学图像尺寸调整后的大小为200，这种尺寸优化方式能最大限度避免三维医学图像中各器官或组织变形。
(3)在图像采样上，首先去除为0的背景像素，得到有效范围。随后剔除非人体组织带来的异常值，如三维医学图像中的高亮部分，对每个图像而言，只取灰度分布中99％的数据范围，高亮或者极低值都被剔除。随后，以包括全分割目标的紧密检测框为基准，随机外扩一定范围并剪裁三维医学图像，保证输入多任务网络模型的三维医学图像中存在有效的目标，同时达到了多尺度数据扩展的目的。
(4)最后，以三维医学图像为单位，基于剪裁后的三维医学图像计算像素均值xmean以及标准差xstd，通过下面计算式对三维医学图像中各像素值进行归一化处理，使得每个三维医学图像中的像素值都处于正态分布中，加快网络模型的收敛速度。其中，该计算式为：
(二)对多任务网络模型进行训练。
1)多任务网络模型由基础的特征提取部分(即图11中的编码部分)和任务分割部分组成。前面的特征提取部分可以是ResNet、ResNeXt、或DenseNet系列网络中从网络初始到第四组卷积模块的部分。后接的编码部分用于任务的分割。采用语义分割任务迎合了医学图像自动化中对组织轮廓体积的诊断需求，同时增加了训练数据量。
2)网络的编码部分极其短小，针对8个域设置了8个分支，每个分支仅由核尺寸为1×1×1，stride为1，padding为1，核个数为该域类别个数(包含背景)的卷积层。
编码部分主要用于学习各个任务之间的通用特征，整个多任务网络模型中90％以上参数都属于编码部分，能使网络最大程度学习到更多的通用特征。同时，参与迁移的是编码部分，多任务网络模型中用于迁移的参数越多，迁移到目标网络能获得源网络模型更多的有效信息。
解码部分则是用于学习每个域任务的特有知识，促使网络顺利收敛，但不参与迁移，因此尽量压缩解码部分，能减少可迁移信息的损失。
3)在上述编码部分的后两组卷积中，使用带孔的卷积可去除两次降采样，使得总体降采样倍数从32倍降低到8倍，且感受野保持不变，可以减少降采样造成信息的过多损失。
4)训练过程中，需避免网络对信息的遗忘，如迭代过程中，一开始学习了A域三维医学图像的特征，但后续几次迭代中，A域三维医学图像不再出现，之前学到A域三维医学图像的特征可能丢失。因此，在训练时保证每个batch存在尽可能多的、且属于不同域的三维医学图像，对于三维医学图像数量少的域，可以通过升采样的方式扩展数据。
最后，由于训练出来的编码部分包含了许多场景三维医学图像的信息，能提取出整个三维医学图像的通用特征，可以作为其他任务的预训练网络。
如图4所示，图4(a)为人体器官的标签图像，图4(b)为采用不同数据域的三维医学图像样本训练所得特征提取网络作为预训练网络所得的分割图像，图4(c)为采用C三维预训练网络所得的分割图像，图4(d)为基于随机初始化参数的网络模型所得的分割图像。
由于采用不同数据域的三维医学图像样本训练所得特征提取网络作为预训练网络，包含了各数据域的信息，能提取出各数据域下三维医学图像的通用特征，完全可以作为其他任务的预训练网络。由图4(b)可知，在有限迭代次数下，采用不同数据域的三维医学图像样本训练所得特征提取网络所得的分割图像已经接近图4(a)所示的标签图像，大部分器官都可以分割出来，结果远优于图4(c)和4(d)。从而可以表明本发明实施例训练出来的编码部分是否具有医疗通用性。
采用本发明实施例的方案，可以具有以下有益效果：
1)本发明实施例的方案和网络模型简单且容易实现，可以用于AI医疗应用的集成化；
2)巧妙地解决了医学中缺乏类似ImageNet大数据的难题，将多个域的三维医学图像小数据集集合成大数据，得到能够学到多种医疗知识的预训练网络；
3)三维医学图像的预训练网络可有效地应用于多种医疗场景，而且预训练网络可用于针对任何三维医学图像应用的迁移学习，即使该应用缺乏足够数量的数据，也能提供包含医疗通用知识的有用信息实现项目的落地。
图2、5-9为一个实施例中图像处理方法的流程示意图，图10为一个实施例中模型训练方法的流程示意图。应该理解的是，虽然图2、5-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5-10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图12所示，在一个实施例中，提供了一种图像处理装置，该装置包括：图像获取模块1202、特征提取模块1204、特征处理模块1206和病灶属性确定模块1208；其中：
图像获取模块1202，用于获取待处理的三维医学图像；
特征提取模块1204，用于通过特征提取网络对三维医学图像进行特征提取，获得关于三维医学图像中目标对象的图像特征；用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得特征提取网络和训练图像分割网络的参数值得到迭代更新；
特征处理模块1206，用于将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
病灶属性确定模块1208，用于根据分割图像中的像素特征确定目标对象所对应的病灶属性。
在一个实施例中，如图13所示，该装置还包括：编码模块1210；其中，
编码模块1210，用于通过特征提取网络对三维医学图像进行特征提取之前，当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，转换相位编码方向；采集包含有目标对象的三维图像数据；按照转换后的相位编码方向对所采集的三维图像数据进行编码，得到待处理的三维医学图像。
在一个实施例中，特征提取网络包括多个卷积层；特征提取模块1204还用于通过特征提取网络中的各卷积层对三维医学图像进行卷积处理，以提取三维医学图像中的特征；
特征处理模块1206还用于将所获得的图像特征输入图像分割网络，通过图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
上述实施例中，通过根据不同数据域的三维医学图像样本训练所得的特征提取网络，不仅可以实现对三维医学图像的特征提取，而且还可以实现对不同数据域的三维医学图像进行特征提取。通过图像分割网络可以得到关于目标对象的分割图像，根据分割图像的像素特征来确定病灶属性，由于特征提取网络可以实现对不同数据域的三维医学图像进行特征提取，可以有效地提高医学图像的处理效率，还可以提高病灶检测的准确性；此外，还可以实现对不同身体部位的不同病灶的检测。
在一个实施例中，如图13所示，该装置还包括：区域裁剪模块1212和像素去除模块1214；其中，
区域裁剪模块1212，用于裁剪三维医学图像中不包含对象特征的边缘区域；
像素去除模块1214，用于将裁剪后三维医学图像中像素值符合预设异常条件的目标像素去除；
特征提取模块1204还用于将去除目标像素后的三维医学图像输入特征提取网络进行提取图像特征。
上述实施例中，对三维医学图像中不包含对象特征的边缘区域进行裁剪，可以降低非语义信息对特征提取网络提取图像特征的影响。此外，将三维医学图像中像素值符合预设异常条件的目标像素去除，可以去除非人体组织或器官带来的异常值，进一步降低非语义信息对特征提取网络提取图像特征的影响。
在一个实施例中，如图13所示，该装置还包括：损失值确定模块1216和参数调整模块1218；其中，
图像获取模块1202还用于获取不同数据域的三维医学图像样本和对应的训练标签；
特征提取模块1204还用于通过特征提取网络对三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征；
特征处理模块1206还用于将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像；
损失值确定模块1216，用于确定训练图像与对应的训练标签之间的损失值；
参数调整模块1218，用于按照损失值调整特征提取网络和训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
上述实施例中，将不同数据域的三维医学图像样本作为输入对特征提取网络和训练图像分割网络进行训练，在损失值达到训练停止条件时，停止训练得到训练后的特征提取网络，由于该特征提取网络是通过不同数据域的三维医学图像样本训练所得，一方面，该特征提取网络可以实现对各不同数据域下的三维医学图像进行特征提取，提高了特征提取网络的应用场景；另一方面，可以将该特征提取网络作为深度学习模型的通用特征迁移基础，能够同时处理不同数据域的三维医学图像，可以学习到不同数据域下三维医学图像样本的图像特征提取。此外，当训练所得的特征提取网络迁移至图像分割网络，可以实现三维医学图像的处理，提高了三维医学图像的处理效率，进而还会提升病灶检测的准确性。
在一个实施例中，区域裁剪模块1212还用于裁剪三维医学图像样本中不包含对象特征的边缘区域；
像素去除模块1214还用于将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除；
特征提取模块1204还用于将去除目标像素后的三维医学图像样本输入特征提取网络中提取图像特征。
在一个实施例中，区域裁剪模块1212还用于从三维医学图像样本的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，沿着三维医学图像样本的边缘将包含所提取像素的边缘区域进行裁剪，执行从三维医学图像样本的边缘区域提取像素的步骤；当所提取像素的像素值不符合预设裁剪条件时，停止裁剪三维医学图像样本。
在一个实施例中，像素去除模块1214还用于在裁剪后的三维医学图像样本中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及在裁剪后的三维医学图像样本中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理。
上述实施例中，对三维医学图像样本中不包含对象特征的边缘区域进行裁剪，可以降低非语义信息对特征提取网络训练的影响，避免非语义信息影响特征提取网络后续提取特征的准确性。此外，将三维医学图像样本中像素值符合预设异常条件的目标像素去除，可以去除非人体组织或器官带来的异常值，进一步降低非语义信息对特征提取网络提取图像特征的影响。
在一个实施例中，如图13所示，该装置还可以包括：归一化处理模块1220；其中，归一化处理模块1220用于计算三维医学图像样本中像素值的均值和标准差；根据计算的均值和标准差，将三维医学图像样本的像素值归一化处理；特征提取模块1204还用于将归一化处理后的三维医学图像样本输入特征提取网络中进行图像特征的提取。
上述实施例中，根据均值和标准差对三维医学图像样本中像素值进行归一化处理，可以使每个三维医学图像样本中的像素值都处于正态分布中，可以加速特征提取网络和图像分割网络的收敛速度。
在一个实施例中，如图13所示，该装置还包括：特征量确定模块1222；其中，特征量确定模块1222用于在去除目标像素后的三维医学图像样本中确定三维基准检测区域；确定三维基准检测区域中所包含的目标对象的图像特征量；当图像特征量小于预设特征量时，扩张三维基准检测区域的尺寸，直至三维基准检测区域中目标对象的图像特征量大于或等于预设特征量；
特征处理模块1206还用于将扩张尺寸后的三维基准检测区域中所包含的三维医学图像样本，输入特征提取网络进行图像特征的提取。
在一个实施例中，如图13所示，该装置还包括：缩放处理模块1224；其中：
缩放处理模块1224，用于在通过特征提取网络对三维医学图像样本进行特征提取之前，确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
在一个实施例中，特征提取网络包括多个卷积层；卷积层中包括有带孔的卷积层；特征处理模块1206还用于通过特征提取网络中的各卷积层对三维医学图像样本进行卷积处理，以提取三维医学图像样本中的特征；参数调整模块1218还用于按照损失值调整特征提取网络中各卷积层的参数值，以及调整训练图像分割网络中的参数值。
在一个实施例中，如图13所示，该装置还包括：升采样处理模块1226；其中，升采样处理模块1226确定属于不同数据域下各三维医学图像样本的样本数量；当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，则确定升采样频率；目标数据域为不同数据域中的至少一个；按照升采样频率对目标数据域下三维医学图像样本进行升采样。
上述实施例中，当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，对目标数据域下三维医学图像样本进行升采样，从而可以保证各数据域下三维医学图像样本的样本数量足够多，避免每次迭代训练时因某种数据域的三维医学图像样本缺失，而造成特征提取网络和训练图像分割网络对信息的遗忘，从而可以有效地提高特征提取网络和训练图像分割网络的性能。
如图14所示，在一个实施例中，提供了一种图像处理装置，该装置包括：图像获取模块1402、特征提取模块1404、特征处理模块1406、损失值确定模块1408和参数调整模块1410；其中：
图像获取模块1402，用于获取不同数据域的三维医学图像样本和对应的训练标签；
特征提取模块1404，用于通过特征提取网络对三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征；
特征处理模块1406，用于将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像；
损失值确定模块1408，用于确定训练图像与对应的训练标签之间的损失值；
参数值调整模块1410，用于按照损失值调整特征提取网络和训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
上述实施例中，将不同数据域的三维医学图像样本作为输入对特征提取网络和训练图像分割网络进行训练，在损失值达到训练停止条件时，停止训练得到训练后的特征提取网络，由于该特征提取网络是通过不同数据域的三维医学图像样本训练所得，一方面，该特征提取网络可以实现对各不同数据域下的三维医学图像进行特征提取，提高了特征提取网络的应用场景；另一方面，可以将该特征提取网络作为深度学习模型的通用特征迁移基础，能够同时处理不同数据域的三维医学图像，可以学习到不同数据域下三维医学图像样本的图像特征提取。此外，当训练所得的特征提取网络迁移至图像分割网络，可以实现三维医学图像的处理，提高了三维医学图像的处理效率，进而还会提升病灶检测的准确性。
在一个实施例中，如图15所示，该装置还包括：区域裁剪模块1412和像素去除模块1414；其中，
区域裁剪模块1412，用于裁剪三维医学图像样本中不包含对象特征的边缘区域；
像素去除模块1414，用于将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除；
特征提取模块1404还用于将去除目标像素后的三维医学图像样本输入特征提取网络中提取图像特征。
在一个实施例中，区域裁剪模块1412还用于从三维医学图像样本的边缘区域提取像素；当所提取像素的像素值符合预设裁剪条件时，沿着三维医学图像样本的边缘将包含所提取像素的边缘区域进行裁剪，执行从三维医学图像样本的边缘区域提取像素的步骤；当所提取像素的像素值不符合预设裁剪条件时，停止裁剪三维医学图像样本。
在一个实施例中，像素去除模块1414还用于在裁剪后的三维医学图像样本中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及在裁剪后的三维医学图像样本中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理。
上述实施例中，对三维医学图像样本中不包含对象特征的边缘区域进行裁剪，可以降低非语义信息对特征提取网络训练的影响，避免非语义信息影响特征提取网络后续提取特征的准确性。此外，将三维医学图像样本中像素值符合预设异常条件的目标像素去除，可以去除非人体组织或器官带来的异常值，进一步降低非语义信息对特征提取网络提取图像特征的影响。
在一个实施例中，如图15所示，该装置还可以包括：归一化处理模块1416；其中，归一化处理模块1416用于计算三维医学图像样本中像素值的均值和标准差；根据计算的均值和标准差，将三维医学图像样本的像素值归一化处理；特征提取模块1404还用于将归一化处理后的三维医学图像样本输入特征提取网络中进行图像特征的提取。
上述实施例中，根据均值和标准差对三维医学图像样本中像素值进行归一化处理，可以使每个三维医学图像样本中的像素值都处于正态分布中，可以加速特征提取网络和图像分割网络的收敛速度。
在一个实施例中，如图15所示，该装置还包括：特征量确定模块1418；其中，特征量确定模块1418用于在去除目标像素后的三维医学图像样本中确定三维基准检测区域；确定三维基准检测区域中所包含的目标对象的图像特征量；当图像特征量小于预设特征量时，扩张三维基准检测区域的尺寸，直至三维基准检测区域中目标对象的图像特征量大于或等于预设特征量；
特征处理模块1406还用于将扩张尺寸后的三维基准检测区域中所包含的三维医学图像样本，输入特征提取网络进行图像特征的提取。
在一个实施例中，如图15所示，该装置还包括：缩放处理模块1420；其中：
缩放处理模块1420，用于在通过特征提取网络对三维医学图像样本进行特征提取之前，确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
在一个实施例中，特征提取网络包括多个卷积层；卷积层中包括有带孔的卷积层；特征处理模块1406还用于通过特征提取网络中的各卷积层对三维医学图像样本进行卷积处理，以提取三维医学图像样本中的特征；参数调整模块1410还用于按照损失值调整特征提取网络中各卷积层的参数值，以及调整训练图像分割网络中的参数值。
在一个实施例中，如图15所示，该装置还包括：升采样处理模块1422；其中，升采样处理模块1422确定属于不同数据域下各三维医学图像样本的样本数量；当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，则确定升采样频率；目标数据域为不同数据域中的至少一个；按照升采样频率对目标数据域下三维医学图像样本进行升采样。
上述实施例中，当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，对目标数据域下三维医学图像样本进行升采样，从而可以保证各数据域下三维医学图像样本的样本数量足够多，避免每次迭代训练时因某种数据域的三维医学图像样本缺失，而造成特征提取网络和训练图像分割网络对信息的遗忘，从而可以有效地提高特征提取网络和训练图像分割网络的性能。
在一个实施例中，如图15所示，该装置还包括：病灶属性确定模块1424；其中，
图像获取模块1402，用于获取待处理的三维医学图像；
特征提取模块1404，用于通过特征提取网络对三维医学图像进行特征提取，获得关于三维医学图像中目标对象的图像特征；
特征处理模块1406，用于将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
病灶属性确定模块1424，用于根据分割图像中的像素特征确定目标对象所对应的病灶属性。
在一个实施例中，如图15所示，该装置还包括：编码模块1426；其中，
编码模块1426，用于通过特征提取网络对三维医学图像进行特征提取之前，当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，转换相位编码方向；采集包含有目标对象的三维图像数据；按照转换后的相位编码方向对所采集的三维图像数据进行编码，得到待处理的三维医学图像。
在一个实施例中，特征提取网络包括多个卷积层；特征提取模块1404还用于通过特征提取网络中的各卷积层对三维医学图像进行卷积处理，以提取三维医学图像中的特征；
特征处理模块1406还用于将所获得的图像特征输入图像分割网络，通过图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
上述实施例中，通过根据不同数据域的三维医学图像样本训练所得的特征提取网络，不仅可以实现对三维医学图像的特征提取，而且还可以实现对不同数据域的三维医学图像进行特征提取。通过图像分割网络可以得到关于目标对象的分割图像，根据分割图像的像素特征来确定病灶属性，由于特征提取网络可以实现对不同数据域的三维医学图像进行特征提取，可以有效地提高医学图像的处理效率，还可以提高病灶检测的准确性；此外，还可以实现对不同身体部位的不同病灶的检测。
在一个实施例中，区域裁剪模块1412还用于裁剪三维医学图像中不包含对象特征的边缘区域；
像素去除模块1414还用于将裁剪后三维医学图像中像素值符合预设异常条件的目标像素去除；
特征提取模块1404还用于将去除目标像素后的三维医学图像输入特征提取网络进行提取图像特征。
上述实施例中，对三维医学图像中不包含对象特征的边缘区域进行裁剪，可以降低非语义信息对特征提取网络提取图像特征的影响。此外，将三维医学图像中像素值符合预设异常条件的目标像素去除，可以去除非人体组织或器官带来的异常值，进一步降低非语义信息对特征提取网络提取图像特征的影响。
图16示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图16所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图16所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图12所示的图像获取模块1202、特征提取模块1204、特征处理模块1206和病灶属性确定模块1208。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图16所示的计算机设备可以通过如图12所示的图像处理装置中的图像获取模块1202执行S202。计算机设备可通过特征提取模块1204执行S204。计算机设备可通过特征处理模块1206执行S206。计算机设备可通过病灶属性确定模块1208执行S208。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
图17示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图17所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现模型训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行模型训练方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的模型训练装置可以实现为一种计算机程序的形式，计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该模型训练装置的各个程序模块，比如，图14所示的图像获取模块1402、特征提取模块1404、特征处理模块1406、损失值确定模块1408和参数调整模块1410。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的模型训练方法中的步骤。
例如，图17所示的计算机设备可以通过如图14所示的模型训练装置中的图像获取模块1402执行S1002。计算机设备可通过特征提取模块1404执行S1004。计算机设备可通过特征处理模块1406执行S1006。计算机设备可通过损失值确定模块1408执行S1008。计算机设备可通过参数值调整模块1410执行S1010。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述模型训练方法的步骤。此处模型训练方法的步骤可以是上述各个实施例的模型训练方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述模型训练方法的步骤。此处模型训练方法的步骤可以是上述各个实施例的模型训练方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，包括：
获取待处理的三维医学图像；
通过特征提取网络对所述三维医学图像进行特征提取，获得关于所述三维医学图像中目标对象的图像特征；所述特征提取网络用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得所述特征提取网络和所述训练图像分割网络的参数值得到迭代更新；
将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
根据所述分割图像中的像素特征确定所述目标对象所对应的病灶属性。
2.根据权利要求1所述的方法，其特征在于，所述通过特征提取网络对所述三维医学图像进行特征提取之前，所述方法还包括：
当所获取的三维医学图像包含有伪影、且伪影程度值大于预设阈值时，转换相位编码方向；
采集包含有目标对象的三维图像数据；
按照转换后的相位编码方向对所采集的三维图像数据进行编码，得到待处理的三维医学图像。
3.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括多个卷积层；所述通过特征提取网络对所述三维医学图像进行特征提取包括：
通过特征提取网络中的各卷积层对所述三维医学图像进行卷积处理，以提取所述三维医学图像中的特征；
所述将所获得的图像特征输入图像分割网络进行处理包括：
将所获得的图像特征输入图像分割网络，通过所述图像分割网络中的反卷积层对输入的图像特征进行反卷积处理。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
裁剪所述三维医学图像中不包含对象特征的边缘区域；
将裁剪后三维医学图像中像素值符合预设异常条件的目标像素去除；
所述通过特征提取网络对所述三维医学图像进行特征提取包括：
将去除目标像素后的三维医学图像输入特征提取网络进行提取图像特征。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取不同数据域的三维医学图像样本和对应的训练标签；
通过所述特征提取网络对所述三维医学图像样本进行特征提取，获得关于各数据域的训练图像特征；
将所获得的训练图像特征输入训练图像分割网络进行处理，获得各数据域对应的包含有目标对象的训练图像；
确定所述训练图像与对应的所述训练标签之间的损失值；
按照所述损失值调整所述特征提取网络和所述训练图像分割网络中的参数值，直至所确定的损失值达到训练停止条件。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
裁剪所述三维医学图像样本中不包含对象特征的边缘区域；
将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除；
所述通过所述特征提取网络对所述三维医学图像样本进行特征提取包括：
将去除所述目标像素后的三维医学图像样本输入所述特征提取网络中提取图像特征。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
计算所述三维医学图像样本中像素值的均值和标准差；
根据计算的均值和标准差，将所述三维医学图像样本的像素值归一化处理；
所述将去除所述目标像素后的三维医学图像样本输入所述特征提取网络中提取图像特征包括：
将归一化处理后的三维医学图像样本输入所述特征提取网络中进行图像特征的提取。
8.根据权利要求6所述的方法，其特征在于，所述裁剪所述三维医学图像样本中不包含对象特征的边缘区域包括：
从所述三维医学图像样本的边缘区域提取像素；
当所提取像素的像素值符合预设裁剪条件时，沿着所述三维医学图像样本的边缘将包含所提取像素的边缘区域进行裁剪，执行所述从所述三维医学图像样本的边缘区域提取像素的步骤；
当所提取像素的像素值不符合预设裁剪条件时，停止裁剪所述三维医学图像样本。
9.根据权利要求6所述的方法，其特征在于，所述将裁剪后三维医学图像样本中像素值符合预设异常条件的目标像素去除包括：
在裁剪后的三维医学图像样本中选取像素值大于第一预设值的像素，并将所选取的像素进行中值化处理，以及
在裁剪后的三维医学图像样本中选取像素值小于第二预设值的像素，并将所选取的像素进行中值化处理。
10.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在去除所述目标像素后的三维医学图像样本中确定三维基准检测区域；
确定所述三维基准检测区域中所包含的目标对象的图像特征量；
当所述图像特征量小于预设特征量时，扩张所述三维基准检测区域的尺寸，直至所述三维基准检测区域中目标对象的图像特征量大于或等于预设特征量；
所述将去除所述目标像素后的三维医学图像样本输入所述特征提取网络中提取图像特征包括：
将扩张尺寸后的三维基准检测区域中所包含的三维医学图像样本，输入特征提取网络进行图像特征的提取。
11.根据权利要求5所述的方法，其特征在于，所述通过所述特征提取网络对所述三维医学图像样本进行特征提取之前，所述方法还包括：
确定各数据域的三维医学图像样本中相邻两像素所对应的物理距离中值；
根据所确定的物理距离中值，分别对相应数据域下的三维医学图像样本的尺寸进行缩放处理。
12.根据权利要求5至11任一项所述的方法，其特征在于，所述特征提取网络包括多个卷积层；所述卷积层中包括有带孔的卷积层；所述通过所述特征提取网络对所述三维医学图像样本进行特征提取包括：
通过特征提取网络中的各卷积层对所述三维医学图像样本进行卷积处理，以提取所述三维医学图像样本中的特征；
所述按照所述损失值调整所述特征提取网络和所述训练图像分割网络中的参数值包括：
按照所述损失值调整所述特征提取网络中各卷积层的参数值，以及调整所述训练图像分割网络中的参数值。
13.根据权利要求5至11任一项所述的方法，其特征在于，所述通过所述特征提取网络对所述三维医学图像样本进行特征提取之前，所述方法还包括：
确定属于不同数据域下各三维医学图像样本的样本数量；
当目标数据域下三维医学图像样本的样本数量小于预设样本阈值时，则确定升采样频率；所述目标数据域为所述不同数据域中的至少一个；
按照所述升采样频率对所述目标数据域下三维医学图像样本进行升采样。
14.一种图像处理装置，包括：
图像获取模块，用于获取待处理的三维医学图像；
特征提取模块，用于通过特征提取网络对所述三维医学图像进行特征提取，获得关于所述三维医学图像中目标对象的图像特征；所述特征提取网络用于联合训练图像分割网络并基于不同数据域的三维医学图像样本进行迭代训练，使得所述特征提取网络和所述训练图像分割网络的参数值得到迭代更新；
特征处理模块，用于将所获得的图像特征输入图像分割网络进行处理，得到分割图像；
病灶属性确定模块，用于根据所述分割图像中的像素特征确定所述目标对象所对应的病灶属性。
15.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至13中任一项所述方法的步骤。
CN201910203359.1A 2019-03-18 2019-03-18 图像处理方法、模型训练方法、装置、和存储介质 Active CN109978037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910203359.1A CN109978037B (zh) 2019-03-18 2019-03-18 图像处理方法、模型训练方法、装置、和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910203359.1A CN109978037B (zh) 2019-03-18 2019-03-18 图像处理方法、模型训练方法、装置、和存储介质

Publications (2)

Publication Number Publication Date
CN109978037A true CN109978037A (zh) 2019-07-05
CN109978037B CN109978037B (zh) 2021-08-06

Family

ID=67079297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910203359.1A Active CN109978037B (zh) 2019-03-18 2019-03-18 图像处理方法、模型训练方法、装置、和存储介质

Country Status (1)

Country Link
CN (1) CN109978037B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110517186A (zh) * 2019-07-30 2019-11-29 金蝶软件（中国）有限公司 消除发票印章的方法、装置、存储介质和计算机设备
CN110929616A (zh) * 2019-11-14 2020-03-27 北京达佳互联信息技术有限公司 一种人手识别方法、装置、电子设备和存储介质
CN111179231A (zh) * 2019-12-20 2020-05-19 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN111311578A (zh) * 2020-02-17 2020-06-19 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111755118A (zh) * 2020-03-16 2020-10-09 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
CN111915555A (zh) * 2020-06-19 2020-11-10 杭州深睿博联科技有限公司 一种3d网络模型预训练方法、系统、终端及存储介质
WO2021057536A1 (zh) * 2019-09-25 2021-04-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及存储介质
CN112669273A (zh) * 2020-12-22 2021-04-16 吉林大学 眼底图像中玻璃膜疣自动分割方法、装置及可读存储介质
CN113240021A (zh) * 2021-05-19 2021-08-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113297912A (zh) * 2021-04-26 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业人员图像识别的图像预处理方法
CN113553938A (zh) * 2021-07-19 2021-10-26 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
CN113936165A (zh) * 2021-09-07 2022-01-14 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN115578382A (zh) * 2022-11-23 2023-01-06 季华实验室 图像异常检测方法、装置、设备及计算机可读存储介质
CN118135238A (zh) * 2024-05-09 2024-06-04 浙江大学杭州国际科创中心 基于x射线衬度图像的特征提取方法、系统及装置
US12033330B2 (en) 2019-09-25 2024-07-09 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer device, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389813A (zh) * 2015-10-30 2016-03-09 上海联影医疗科技有限公司 医学图像中器官的识别方法及分割方法
US20180218503A1 (en) * 2016-08-26 2018-08-02 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
US20190066281A1 (en) * 2017-08-24 2019-02-28 Siemens Healthcare Gmbh Synthesizing and Segmenting Cross-Domain Medical Images
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389813A (zh) * 2015-10-30 2016-03-09 上海联影医疗科技有限公司 医学图像中器官的识别方法及分割方法
US20180218503A1 (en) * 2016-08-26 2018-08-02 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US20190050992A1 (en) * 2016-08-26 2019-02-14 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US20190066281A1 (en) * 2017-08-24 2019-02-28 Siemens Healthcare Gmbh Synthesizing and Segmenting Cross-Domain Medical Images
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAO CHEN ET AL.: "Iterative Multi-domain Regularized Deep Learning for Anatomical Structure Detection and Segmentation from Ultrasound Images", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION–MICCAI 2016》 *
NEERAV KARANI ET.AL: "A Lifelong Learning Approach to Brain MR Segmentation Across Scanners and Protocols", 《MACHINE LEARNING》 *
QI DOU ET.AL: "3D deeply supervised network for automated segmentation of volumetric medical images", 《MEDICAL IMAGE ANALYSIS》 *
ZIZHAO ZHANG ET.AL: "Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
北京电力医院: "《2004年科技论文交流论文集》", 31 January 2005 *
王凯明: "基于深度学习的医学图像分割方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517186A (zh) * 2019-07-30 2019-11-29 金蝶软件（中国）有限公司 消除发票印章的方法、装置、存储介质和计算机设备
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
US11941807B2 (en) 2019-08-15 2024-03-26 Tencent Technology (Shenzhen) Company Limited Artificial intelligence-based medical image processing method and medical device, and storage medium
WO2021027571A1 (zh) * 2019-08-15 2021-02-18 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
WO2021057536A1 (zh) * 2019-09-25 2021-04-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及存储介质
US12033330B2 (en) 2019-09-25 2024-07-09 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer device, and storage medium
CN110929616B (zh) * 2019-11-14 2023-07-04 北京达佳互联信息技术有限公司 一种人手识别方法、装置、电子设备和存储介质
CN110929616A (zh) * 2019-11-14 2020-03-27 北京达佳互联信息技术有限公司 一种人手识别方法、装置、电子设备和存储介质
CN111179231B (zh) * 2019-12-20 2024-05-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN111179231A (zh) * 2019-12-20 2020-05-19 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN111311578A (zh) * 2020-02-17 2020-06-19 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111311578B (zh) * 2020-02-17 2024-05-03 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111755118A (zh) * 2020-03-16 2020-10-09 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111755118B (zh) * 2020-03-16 2024-03-08 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN111784596A (zh) * 2020-06-12 2020-10-16 北京理工大学 基于生成对抗神经网络的通用内窥镜图像增强方法及装置
CN111915555A (zh) * 2020-06-19 2020-11-10 杭州深睿博联科技有限公司 一种3d网络模型预训练方法、系统、终端及存储介质
CN112669273A (zh) * 2020-12-22 2021-04-16 吉林大学 眼底图像中玻璃膜疣自动分割方法、装置及可读存储介质
CN113297912A (zh) * 2021-04-26 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业人员图像识别的图像预处理方法
CN113240021B (zh) * 2021-05-19 2021-12-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113240021A (zh) * 2021-05-19 2021-08-10 推想医疗科技股份有限公司 一种筛选目标样本的方法、装置、设备及存储介质
CN113553938A (zh) * 2021-07-19 2021-10-26 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
CN113553938B (zh) * 2021-07-19 2024-05-14 黑芝麻智能科技(上海)有限公司 安全带检测方法、装置、计算机设备和存储介质
CN113936165A (zh) * 2021-09-07 2022-01-14 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN113936165B (zh) * 2021-09-07 2024-06-07 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN115578382A (zh) * 2022-11-23 2023-01-06 季华实验室 图像异常检测方法、装置、设备及计算机可读存储介质
CN118135238A (zh) * 2024-05-09 2024-06-04 浙江大学杭州国际科创中心 基于x射线衬度图像的特征提取方法、系统及装置

Also Published As

Publication number Publication date
CN109978037B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN109615636B (zh) Ct影像的肺叶段分割中的血管树构造方法、装置
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
Jin et al. 3D PBV-Net: an automated prostate MRI data segmentation method
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
Hu et al. Brain MR to PET synthesis via bidirectional generative adversarial network
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN111640120B (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
Ni et al. Automatic segmentation of all lower limb muscles from high-resolution magnetic resonance imaging using a cascaded three-dimensional deep convolutional neural network
CN108961274B (zh) 一种mri图像中自动头颈肿瘤分割方法
CN111242959B (zh) 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN109300136B (zh) 一种基于卷积神经网络的危及器官自动分割方法
Tian et al. Medical image processing and analysis
Mercan et al. Virtual staining for mitosis detection in breast histopathology
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
Viji et al. Modified texture based region growing segmentation of MR brain images
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Wong et al. Small lesion segmentation in brain mris with subpixel embedding
CN117911432A (zh) 图像分割方法、装置及存储介质
Yin et al. Super resolution reconstruction of CT images based on multi-scale attention mechanism
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN113313698B (zh) 基于神经网络的肺结节检测方法、装置及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant