CN110969632B - 一种深度学习模型的训练方法、图像处理方法及装置 - Google Patents

一种深度学习模型的训练方法、图像处理方法及装置 Download PDF

Info

Publication number
CN110969632B
CN110969632B CN201911191008.XA CN201911191008A CN110969632B CN 110969632 B CN110969632 B CN 110969632B CN 201911191008 A CN201911191008 A CN 201911191008A CN 110969632 B CN110969632 B CN 110969632B
Authority
CN
China
Prior art keywords
deep learning
learning model
layer
feature
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911191008.XA
Other languages
English (en)
Other versions
CN110969632A (zh
Inventor
亢寒
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN201911191008.XA priority Critical patent/CN110969632B/zh
Publication of CN110969632A publication Critical patent/CN110969632A/zh
Application granted granted Critical
Publication of CN110969632B publication Critical patent/CN110969632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种深度学习模型的训练方法及装置，该方法包括：通过标记有磨玻璃结节的胸部医学图像对深度学习模型进行训练，得到训练好的深度学习模型，该训练好的深度学习模型提高了磨玻璃结节分割的效率，除此之外还有效的提高了分割的准确度，并简化了磨玻璃结节的分割流程。进一步的，在深度学习模型中添加了多级特征融合监督模块，这样增强了深度学习模型对图像中病灶区域的响应，由此实现了对整张图像进行处理，简化了操作流程；并且，还添加了自主分级监督模块，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响。除此之外，对解码后的特征图进行上采样操作，使得深度学习模型能够更加准确的分割磨玻璃结节。

Description

一种深度学习模型的训练方法、图像处理方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种深度学习模型的训练方法、图像处理方法及装置。
背景技术
在做CT检查时，可能会出现密度增高的情况，或者可能会出现云雾一样的淡薄影，或者会出现圆形的结节，形状上看起来就像磨砂玻璃一样，所以称之为磨玻璃结节。磨玻璃结节的生长预测，能够帮助医生对癌症进行预测。
当前的磨玻璃结的分割方法，通常采用传统的分割方法，例如阈值处理或者区域生长方法，但是传统的分割方法容易受到噪声的影响，分割结果的准确度不高。
发明内容
有鉴于此，本发明实施例提供了一种深度学习模型训练方法、图像处理方法及装置，实现了对胸部医学图像中磨玻璃结节的自动分割，并且提升了分割效率和准确率。
本发明实施例公开一种深度学习模型训练方法，其特征在于，包括：
获取训练样本，并对所述训练样本进行预处理；所述训练样本时包含标记有磨玻璃结节的胸部医学图像；
基于深度学习模型对所述训练样本进行编码操作，得到不同尺度的特征图；
基于所述深度学习模型对所述不同尺度的特征图进行解码操作，得到解码后的特征图；
对解码后的特征图进行分类处理，确定训练样本中每个胸部医学图像的类别概率；
基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
基于所述误差，更新所述深度学习模型中每一层的权值；
在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型。
可选的，还包括：
将不同尺度的特征图和/或解码后不同尺度的特征图进行特征融合，以对融合后的特征图进行解码操作。
可选的，所述将不同尺度的特征图和/或解码后的特征图进行特征融合，包括：
对待融合的特征图中的高分辨率特征图进行下采样，得到第一特征图；
对待融合的特征图中的低分辨率特征图进行压缩，得到第二特征图；
将第一特征图和第二特征图进行融合，得到第一融合特征图；
将所述第一融合特征图分别经过压缩处理和sigmoid函数激活处理；
对sigmoid函数激活处理的特征图中进行上采样；
对上采样后的特征图进行逐像素相乘。
可选的，还包括：
将解码后的特征图进行上采样操作，并对上采样操作后得到的特征图中每个像素进行加权操作。
可选的，所述对所述训练样本进行预处理，包括：
将训练样本中的待分割的胸部医学图像进行加窗处理；
将加窗处理后的胸部医学图像中的像素值进行归一化。
可选的，所述深度学习模型包括：
至少一个编码层、至少一个解码层、分类层；
所述编码层包括：至少一个卷积块，每个卷积块包括：一个卷积层、一个BN批归一化层以及一个ReLU修正线性单元层；
所述解码层包括：至少一个卷积块，每个所述卷积块包括至少一个卷积块，每个所述卷积块包括：一个卷积层、一个BN批归一化层以及一个ReLU修正线性单元层。
可选的，所述深度学习模型还包括：
多级特征融合模块，包括至少一个下采样层、多个压缩层、至少一个ReLU层、至少一个Sigmoid激活函数层、至少一个上采样层和至少一个第一像素融合模块。
可选的所述深度学习模型，还包括：
自主分级监督模块，包括至少一个上采样层、至少一个Sigmoid激活函数层以及至少一个第二像素融合模块。
本发明实施例提供了一种图像处理方法，包括：
获取待分割的胸部医学图像；
对所述待分割的胸部医学图像进行预处理；
采用已训练的深度学习模型对所述待分割的胸部医学图像进行分割处理；所述深度学习模型是通过上述权利要求1-5的方法进行训练后得到的。
本发明实施例提供了一种深度学习模型的训练装置，包括：
获取及预处理单元，用于获取训练样本，并对所述训练样本进行预处理；所述训练样本时包含标记有磨玻璃结节的胸部医学图像；
编码单元，用于基于深度学习模型对所述训练样本进行编码操作，得到不同尺度的特征图；
解码单元，用于基于所述深度学习模型对所述不同尺度的特征图进行解析，得到解码后的特征图；
分类单元，用于对解码后的特征图进行分类处理，确定训练样本中每个胸部医学图像的类别概率；
计算单元，用于基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
更新单元，用于基于所述误差，更新所述深度学习模型中每一层的权值；
确定单元，用于在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型。
可选的，还包括：
多级特征融合单元，用于将不同尺度的特征图和/或解码后不同尺度的特征图进行特征融合，以对融合后的特征图进行解码操作。
可选的，所述多级特征融合单元用于：
对待融合的特征图中的高分辨率特征图进行下采样，得到第一特征图；
对待融合的特征图中的低分辨率特征图进行压缩，得到第二特征图；
将第一特征图和第二特征图进行融合，得到第一融合特征图；
将所述第一融合特征图分别经过压缩处理和sigmoid函数激活处理；
对sigmoid函数激活处理的特征图中进行上采样；
对上采样后的特征图进行逐像素相乘。
可选的，还包括：
自主分级监督单元，用于将解码后的特征图进行上采样操作，并对上采样操作后得到的特征图中每个像素进行加权操作。
可选的，所述预处理单元，包括
加窗处理子单元，用于将训练样本中的待分割的胸部医学图像进行加窗处理；
归一化子单元，用于将加窗处理后的胸部医学图像中的像素值进行归一化。
本发明实施例还公开了一种图像处理装置，包括：
获取单元，用于获取待分割的胸部医学图像；
预处理单元，用于对所述待分割的胸部医学图像进行预处理；
分割单元，用于采用已训练的深度学习模型对所述待分割的胸部医学图像进行分割处理；所述深度学习模型是通过上述权利要求1-5的方法进行训练后得到的。
可选的，本发明实施例还公开了一种电子设备，包括：处理器以及存储器；
所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述所述的深度学习模型训练方法或者如上述所述的图像处理方法。
本发明实施例公开了一种深度学习模型的训练方及装置，本实施例中，通过标记有磨玻璃结节的胸部医学图像对深度学习模型进行训练，得到训练好的深度学习模型，该训练好的深度学习模型提高了磨玻璃结节分割的效率，除此之外还有效的提高了分割的准确度，并简化了磨玻璃结节的分割流程。
进一步的，在深度学习模型中添加了多级特征融合监督模块，这样增强了深度学习模型对图像中病灶区域的响应，由此实现了对整张图像进行处理，简化了操作流程；并且，还添加了自主分级监督模块，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响。除此之外，对解码后的特征图进行上采样操作，使得深度学习模型能够更加准确的分割磨玻璃结节。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种深度学习模型的训练方法的流程示意图；
图2示出了一种深度学习模型的结构示意图；
图3示出了编码部分的结构示意图；
图4示出了解码部分的结构示意图；
图5示出了上采样模块的结构示意图；
图6示出了多级特征融合模块的结构示意图；
图7示出了自主分级监督模块的结构示意图；
图8示出了本发明实施例提供的一种深度学习模型的训练过程的又一流程示意图；
图9示出了本发明实施例提供的一种图像处理方法的流程示意图；
图10示出了本发明实施例提供的一种深度学习模型的训练装置的结构示意图；
图11示出了本发明实施例提供的一种图像处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，示出了本发明实施例提供的一种深度学习模型的训练方法的流程示意图，在本实施例中，该方法包括：
S101：获取训练样本，并对所述训练样本进行预处理；
本实施例中，肺部医学图像可以是通过医疗设备拍摄得到的，例如可以是通过CT拍摄的胸部医学图像。
其中，可以采样多种方法对训练样本进行预处理，本实施例中不进行限定，例如采取消除图像噪声的方法或者对图像进行归一化。
但是，通常的预处理方法通常对比度较低，病灶区域不够明显，难以与正常的胸腔进行区分，导致检测结果不理想。
为了解决上述问题，进一步的申请人发现可以采用如下的方法对图像进行预处理，包括：
将训练样本中待分割的胸部医学图像进行加窗处理；
对加窗后处理后的胸部医学图像中的像素值进行归一化。
其中，加窗处理的过程包括：
计算窗宽和窗位；
基于所述窗宽和窗位对待分割的胸部医学图像进行加窗处理。
本实施例中，对加窗处理后得到的胸部医学图像中的像素值进行归一化的方式包括很多，本实施例中不进行限定。
举例说明：对加窗处理后得到的胸部医学图像进行归一化可以是将像素值进行缩放，例如将像素值缩放到0-1之间。
S102：基于深度学习模型对所述训练样本进行编码操作，得到不同尺度的特征图；
本实施例中，可以采用多种方法得到不同尺度的特征图，本实施例中不进行限定。
优选的，本实施例中可以对训练样本中的胸部医学图像进行多级卷积操作，并将输出每级的卷积操作的结果。
举例说明：例如进行5级卷积操作，将待处理的胸部医学图像进行第一级卷积操作，得到第一特征图；对第一特征图进行第二级卷积层操作，得到第二特征图；对第二特征图进行第三级卷积操作，得到第三特征图；对第三特征图进行第四级卷积操作，得到第四特征图；对第四特征图进行第五卷积操作，得到第六特征图。那么得到的第一特征图、第二特征图、第三特征图、第四特征图、第五特征图和第六特征图为不同尺寸的特征图。
S103：基于所述深度学习模型对所述不同尺度的特征图进行解析，得到解码后的特征图；
本实施例中，对不同尺度的特征图进行解码操作，得到更高阶的特征信息。其中，通过本实施例的操作可以定位到更加准确的感兴趣区域的特征，例如为磨玻璃结节的特征。
S104：对解码后的特征图进行分类处理，确定训练样本中每个胸部医学图像的类别概率；
本实施例中，在对特征图进行分类之前，需要将解码得到的不同特征图融合，对融合后的特征图进行解码操作。
举例说明：在训练过程中可以采用Dice Loss作为损失函数，即：
Figure BDA0002293569870000071
其中，N表示图像中像素总个数，i表示第i个像素，pi为第i个像素的预测概率值，gi为第i个像素对应的标签值。
需要说明的是，本实施例中，对特征图进行分类，实际上是对图像中的每个像素点进行分类，即这里提到的分类属于像素级的，那么得到的类别概率，也属于像素级的，得到的是每个胸部医学图像每个像素的类别概率。
S105：基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
S106：基于所述误差，更新所述深度学习模型中每一层的权值；
S107：在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型。
进一步的，在训练的过程中，可以使用Adam优化器进行优化，设置初始学习率，例如初始学习率可以为0.0001，beta1为0.9，beta2为0.85，mini-batchsize为4。整体网络训练100epochs并使用early stop策略。整体网络中的卷积权值使用Xavier方式进行初始化。所有参数设置完毕进行训练。
申请人发现，现有技术中，若采用整张的胸部医学图像对磨玻璃结节进行分割，不仅要判断整张胸部医学图像中是否包含有磨玻璃结节，而且需要定位磨玻璃结节的位置，现有技术中采用的方法通常对整张的胸部医学图像进行磨玻璃结节的分割结果不太理想。
为了解决上述问题，现有技术中通常是将整张胸部医学图像分割成多个图像块，并对多个图像块进行分割处理，最后再将每个图像块的结果拼接成完整的胸部医学图像。然而，这种方式虽然可以得到较为理想的结果，但是流程复杂。
为了缩减操作流程，并增强深度学习模型对病灶区域的响应，申请人发现，可以将得到的不同尺度的特征图和/或解码后不同尺度的特征图进行特征融合，以对融合后的特征图进行解码操作。
本实施例中，可以将编码后得到的不同尺度的特征图进行融合操作，然后再对融合后的特征图进行解码操作，或者可以将某个尺度的特征图或者解码后得到的某个尺度的特征图进行融合。
其中，不同尺度的特征图的融合方法包括：
对待融合的特征图中的高分辨率特征图进行下采样，得到第一特征图；
对待融合的特征图中的低分辨率特征图进行压缩，得到第二特征图；
将第一特征图和第二特征图进行融合，得到第一融合特征图；
将所述第一融合特征图分别经过压缩处理和sigmoid函数激活处理；
对sigmoid函数激活处理的特征图中进行上采样；
对上采样后的特征图进行逐像素相乘。
进一步的，为了能够自主调节不同层级的特征对分割结果的影响，在解码操作后，还包括：
将解码后的特征图进行上采样操作，并对上采样操作后得到的特征图中每个像素进行加权操作。
本实施例中，对上采样操作后得到的特征图中的每个像素进行加权操作例如可以为，对上采样操作得到的特征图中的每个像素的不同的权重进行逐像素相乘操作。
其中，每个像素的权重是在对深度学习模型进行学习的过程中学习到的。
本实施例中，深度学习模型的网络结构包含很多，本实施例中不进行具体的限定。
优选的，在一种实现方式中，深度学习模型的网络结构可以包括：
至少一个编码层、至少一个解码层、分类层；
所述编码层包括：至少一个卷积块，每个卷积块包括：一个卷积层、一个BN(英文全称：Batch Normalization，中文全称：批归一化)层以及一个ReLU(英文全称：RectifiedLinear Units，中文全称：修正线性单元)层；
其中，每个编码层之间可以设置一个下采样层。
所述解码层包括：至少一个卷积块，每个所述卷积块包括至少一个卷积块，每个所述卷积块包括：一个卷积层、一个BN(英文全称：Batch Normalization，中文全称：批归一化)层以及一个ReLU(英文全称：Rectified Linear Units，中文全称：修正线性单元)层。
本实施例中，为了最终可以输出与输入的图像尺寸一致的图像，可以设置至少一个上采样层。
例如可以在每个解码层之前可以设置一个上采样模块，其中，上采样模块包括一个上采样层和一个下采样层。
进一步的，还包括：
多级特征融合模块，包括至少一个下采样层、多个压缩层、至少一个ReLU层、至少一个Sigmoid激活函数层、至少一个上采样层和至少一个第一像素融合模块。
进一步，还包括：
多级特征融合模块，包括至少一个下采样层、多个压缩层、至少一个ReLU层、至少一个Sigmoid激活函数层、至少一个上采样层和至少一个第一像素融合模块。
其中，第二像素融合模块例如可以用于基于每个像素的权重进行逐像素相乘。
举例说明：如图2所示，深度学习模型包括如下的结构：
编码部分、解码部分、分类部分、多级特征融合模块和自主分级监督模块；
其中，如图3所示编码部分包括：5个编码层、4个下采样层，具体地，每个编码层中的卷积均为3×3卷积，为保证卷积后的输出图像大小与输入图像一致，卷积的padding为(1,1)，步长(stride)为(1,1)。每个编码层中的两个卷积的卷积核个数相同，编码层1的卷积核个数为32，之后编码层的卷积核个数是前一个编码层的2倍。4个下采样层均设置为核(kernel)为(2,2)，步长为(2,2)的max pooling。
如图4所示，解码部分包括4个解码层，4个上采样模块，具体地，每个解码层中的卷积均为3×3卷积，padding为(1,1)，stride为(1,1)。每个解码层中的两个卷积的卷积核个数相同，解码层1的卷积核个数为256，之后的解码层的卷积核个数是前一个解码层的1/2。
上采样模块如图5所示，每个上采样模块均包括一个上采样层和一个下采样层。具体地，上采样模块中上采样层可以采用kernel为(4,4)，stride为(4,4)的转置卷积层，下采样层采用kernel为(2,2)，stride为(2,2)的max pooling。上采样模块1中的转置卷积的卷积核个数为256，之后上采样模块中转置卷积的卷积核个数是前一个上采样模块的1/2。
本实施例中，在深度学习模型中添加上采样模型对解码后的图片进行上采样操作，使得深度学习模型能够更准确的分割磨玻璃结节。
如图2所示解码层4后连接一个kernel为(1,1)，stride为(1,1)的卷积，其卷积核个数为1。将其输出的特征图与所有自主分级监督模块得到的特征图进行通道数合并，最后使用kernel为(1,1)，stride为(1,1)，卷积核个数为1的卷积层作为分类层。
其中，如图6所示，多级特征融合模块包括：一个下采样层、两个压缩层、一个ReLU层、一个Sigmoid激活函数层、一个上采样层一个用于逐像素相加操作以及一个逐像素相乘操作的模块；
其中，每个多级特征融合监督模块可以分为两条支路作为模块的输入：一条支路采用kernel为(2,2)，stride为(2,2)的卷积对高分辨率的特征图像进行下采样；一条支路运用kernel为(1,1)，stride为(1,1)的卷积对低分辨率的特征图像进行压缩。其中，两条支路中的卷积的卷积核个数与输入的高分辨率的特征图的个数相同。
以多级特征融合监督模块1为例，其以编码层4的输出作为高分辨率特征图，编码层5的输出作为低分辨率特征图。两条支路中卷积的卷积核个数均与编码层4的输出特征图个数相同，为256。之后将两条支路的结果进行逐像素相加，再使用kernel为(1,1)，stride为(1,1)的卷积进行压缩，其卷积核个数为1。随之使用sigmoid函数进行激活，对激活后的特征图采用临近插值进行上采样，得到的图像大小与高分辨率的特征图大小相同。最后将得到的特征图像与输入的高分辨率特征图进行逐像素相乘。
每个多级特征融合监督模块处理后的特征图像与相应的上采样模块处理后的特征图像进行通道数合并，再进行之后的解码层处理。
其中，如图7所示，自主分级监督模块包括一个上采样层、一个Sigmoid激活函数层以及一个用于执行逐像素相乘操作的模块。
具体地，每个自主分级监督模块先进行上采样，再使用sigmoid函数进行激活，最后进行逐像素相乘。每个自主分级监督模块采用转置卷积进行上采样，处理后的图像大小与整体网络的输入图像大小相同。转置卷积的kernel为(上采样倍数,上采样倍数)，stride为(上采样倍数,上采样倍数)。以自主分级监督模块1为例，其转置卷积的kernel为(8,8)，stride为(8,8)。
其中，通过上述介绍的深度学习模型的结构，参考图8，对训练样本进行处理的过程包括：
S801：通过编码层对训练样本中的待分割的胸部医学图像进行编码操作，得到不同尺度的特征图；
S802：通过解码层对不同尺度的特征图进行解码处理，得到解码后的特征图；
S803：通过多级特征融合监督模块对编码层得到的不同尺寸的特征图和/或解码层得到的不同尺寸的特征图进行融合；
S804：通过自主分级监督模块对解码层得到的特征图进行上采样操作，并对上采样操作后得到的特征图中的每个像素进行加权操作；
S805：将自主分级监督模块输出的结果和解码层输出的结果输入到分类层，确定训练样本中每个胸部医学图像的类别概率；
S806:基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
S807:基于所述误差，更新所述深度学习模型中每一层的权值；
S808:在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型。
本实施例中，通过标记有磨玻璃结节的胸部医学图像对深度学习模型进行训练，得到训练好的深度学习模型，该训练好的深度学习模型提高了磨玻璃结节分割的效率，除此之外还有效的提高了分割的准确度，并简化了磨玻璃结节的分割流程。
进一步的，在深度学习模型中添加了多级特征融合监督模块，这样增强了深度学习模型对图像中病灶区域的响应，由此实现了对整张图像进行处理，简化了操作流程；并且，还添加了自主分级监督模块，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响。除此之外，对解码后的特征图进行上采样操作，使得深度学习模型能够更加准确的分割磨玻璃结节。
参考图9，示出了本发明实施例提供的一种图像处理方法的流程示意图，在本实施例中，该方法包括：
S901：获取待分割的胸部医学图像；
本实施例中，肺部医学图像可以是通过医疗设备拍摄得到的，例如可以是通过CT拍摄的胸部医学图像。
S902：对所述待分割的胸部医学图像进行预处理；
其中，对待分割的胸部医学图像进行预处理的过程可以与上述S101中对训练样本中胸部医学图像进行预处理的过程一致，本实施例中不再赘述。
S903：采用已训练的深度学习模型对所述待分割的胸部医学图像进行分割处理；所述深度学习模型是通过上述S101-S107的方法进行训练后得到的。
本实施例中，将预处理后的待分割的胸部医学图像输入到以训练的深度学习模型中，得到分割出磨玻璃结节的输出结果。
本实施例中，通过包含标记有磨玻璃结节的胸部医学图像的样本集对深度学习模型进行训练，将训练好的深度学习模型用于对胸部医学图像进行分割处理，进而得到胸部医学图像的分割结果，这样得到的分割结果更加的准确。
进一步的，深度学习模型中的多级特征融合监督模块，网络模型增强了对图像中病灶区域的响应，这样，即使对整张医学图像进行分割处理，也可以得到更加准确的效果，无需将图像分割成图像块进行处理，简化了图像处理的流程；并且，使用自主分级监督模块，网络模型能够自主调节不同层级的特征对分割结果的影响。除此之外，对解码后的特征图进行上采样操作，使得深度学习模型能够更加准确的分割磨玻璃结节。
参考图10，示出了本发明实施例提供的一种深度学习模型的训练装置的结构示意图，在本实施例中，该装置包括：
获取及预处理单元1001，用于获取训练样本，并对所述训练样本进行预处理；所述训练样本时包含标记有磨玻璃结节的胸部医学图像；
编码单元1002，用于基于深度学习模型对所述训练样本进行编码操作，得到不同尺度的特征图；
解码单元1003，用于基于所述深度学习模型对所述不同尺度的特征图进行解析，得到解码后的特征图；
分类单元1004，用于对解码后的特征图进行分类处理，确定训练样本中每个胸部医学图像的类别概率；
计算单元1005，用于基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
更新单元1006，用于基于所述误差，更新所述深度学习模型中每一层的权值；
确定单元1007，用于在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型。
可选的，还包括：
多级特征融合单元1008，用于将不同尺度的特征图和/或解码后不同尺度的特征图进行特征融合，以对融合后的特征图进行解码操作。
可选的，所述多级特征融合单元用于：
对待融合的特征图中的高分辨率特征图进行下采样，得到第一特征图；
对待融合的特征图中的低分辨率特征图进行压缩，得到第二特征图；
将第一特征图和第二特征图进行融合，得到第一融合特征图；
将所述第一融合特征图分别经过压缩处理和sigmoid函数激活处理；
对sigmoid函数激活处理的特征图中进行上采样；
对上采样后的特征图进行逐像素相乘。
可选的，还包括：
自主分级监督单元1009，用于将解码后的特征图进行上采样操作，并对上采样操作后得到的特征图中每个像素进行加权操作。
可选的，所述预处理单元，包括
加窗处理子单元，用于将训练样本中的待分割的胸部医学图像进行加窗处理；
归一化子单元，用于将加窗处理后的胸部医学图像中的像素值进行归一化。
本实施例的装置，通过标记有磨玻璃结节的胸部医学图像对深度学习模型进行训练，得到训练好的深度学习模型，该训练好的深度学习模型提高了磨玻璃结节分割的效率，除此之外还有效的提高了分割的准确度，并简化了磨玻璃结节的分割流程。
进一步的，在深度学习模型中添加了多级特征融合监督模块，这样增强了深度学习模型对图像中病灶区域的响应，由此实现了对整张图像进行处理，简化了操作流程；并且，还添加了自主分级监督模块，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响。除此之外，对解码后的特征图进行上采样操作，使得深度学习模型能够更加准确的分割磨玻璃结节。
参考图11，示出了本发明实施例提供的一种图像处理装置的结构示意图，包括：
获取单元1101，用于获取待分割的胸部医学图像；
预处理单元1102，用于对所述待分割的胸部医学图像进行预处理；
分割单元1103，用于采用已训练的深度学习模型对所述待分割的胸部医学图像进行分割处理；所述深度学习模型是通过上述权利要求1-5的方法进行训练后得到的。
本实施例的装置，将训练好的深度学习模型用于对胸部医学图像进行分割处理，该深度学习模型是通过包含标记有磨玻璃结节的胸部医学图像的样本集对深度学习模型进行训练后得到的。由此，通过该深度学习模型能够得到更加准确的磨玻璃季结节的分割结。
进一步的，该深度学习模型中添加了多级特征融合监督模块，这样增强了深度学习模型对图像中病灶区域的响应，由此实现了对整张图像进行处理，简化了操作流程；并且，还添加了自主分级监督模块，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响。除此之外，对解码后的特征图进行上采样操作，使得深度学习模型能够更加准确的分割磨玻璃结节。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种深度学习模型训练方法，其特征在于，包括：
获取训练样本，并对所述训练样本进行预处理；所述训练样本时包含标记有磨玻璃结节的胸部医学图像；
基于深度学习模型对所述训练样本进行编码操作，得到不同尺度的特征图；
基于所述深度学习模型对所述不同尺度的特征图进行解码操作，得到解码后的特征图；
对解码后的特征图进行分类处理，确定训练样本中每个胸部医学图像的类别概率；
基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
基于所述误差，更新所述深度学习模型中每一层的权值；
在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型；
所述深度学习模型至少包括：
自主分级监督模块，包括至少一个上采样层、至少一个Sigmoid激活函数层以及至少一个第二像素融合模块，第二像素融合模块是将图像经过上采样层得到第一图像，将第一图像输入Sigmoid激活函数层处理得到第二图像，将第一图像和第二图像进行逐像素相乘的融合处理；
多个解码层中除最后一个解码层其余的解码层均连接一个自主分级监督模块，最后一个解码层连接一个卷积层，卷积层输出的特征图与各个自主分级监督模块输出的特征图进行融合，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响，自主分级监督模块先进行上采样，再使用sigmoid函数进行激活，最后进行逐像素相乘；
其中，所述深度学习模型训练方法还包括：
将不同尺度的特征图和/或解码后不同尺度的特征图进行特征融合，以对融合后的特征图进行解码操作；
其中，所述将不同尺度的特征图和/或解码后的特征图进行特征融合，包括：
对待融合的特征图中的高分辨率特征图进行下采样，得到第一特征图；
对待融合的特征图中的低分辨率特征图进行压缩，得到第二特征图；
将第一特征图和第二特征图进行融合，得到第一融合特征图；
将所述第一融合特征图分别经过压缩处理和sigmoid函数激活处理；
对sigmoid函数激活处理的特征图中进行上采样；
对上采样后的特征图和高分辨率特征图进行逐像素相乘。
2.根据权利要求1所述的方法，其特征在于，还包括：
将解码后的特征图进行上采样操作，并对上采样操作后得到的特征图中每个像素进行加权操作。
3.根据权利要求1所述的方法，其特征在于，所述对所述训练样本进行预处理，包括：
将训练样本中的待分割的胸部医学图像进行加窗处理；
将加窗处理后的胸部医学图像中的像素值进行归一化。
4.根据权利要求1所述的方法，其特征在于，所述深度学习模型还包括：
至少一个编码层、至少一个解码层、分类层；
所述编码层包括：至少一个卷积块，每个卷积块包括：一个卷积层、一个BN批归一化层以及一个ReLU修正线性单元层；
所述解码层包括：至少一个卷积块，每个所述卷积块包括至少一个卷积块，每个所述卷积块包括：一个卷积层、一个BN批归一化层以及一个ReLU修正线性单元层。
5.根据权利要求4所述的方法，其特征在于，还包括：
多级特征融合模块，包括至少一个下采样层、多个压缩层、至少一个ReLU层、至少一个Sigmoid激活函数层、至少一个上采样层和至少一个第一像素融合模块。
6.一种图像处理方法，其特征在于，包括：
获取待分割的胸部医学图像；
对所述待分割的胸部医学图像进行预处理；
采用已训练的深度学习模型对所述待分割的胸部医学图像进行分割处理；所述深度学习模型是通过上述权利要求1-3的方法进行训练后得到的。
7.一种深度学习模型的训练装置，其特征在于，包括：
获取及预处理单元，用于获取训练样本，并对所述训练样本进行预处理；所述训练样本时包含标记有磨玻璃结节的胸部医学图像；
编码单元，用于基于深度学习模型对所述训练样本进行编码操作，得到不同尺度的特征图；
解码单元，用于基于所述深度学习模型对所述不同尺度的特征图进行解析，得到解码后的特征图；
分类单元，用于对解码后的特征图进行分类处理，确定训练样本中每个胸部医学图像的类别概率；
计算单元，用于基于预设的损失函数计算训练样本中每个胸部医学图像与对应的标签之间的误差；
更新单元，用于基于所述误差，更新所述深度学习模型中每一层的权值；
确定单元，用于在所述误差和权值分别满足预设的条件后，得到训练好的深度学习模型；
自主分级监督单元，用于将解码后的特征图进行上采样操作，再使用sigmoid函数进行激活，最后将经Sigmoid函数进行激活处理得到的特征图和经上采样处理得到的特征图进行逐像素相乘；多个解码层中除最后一个解码层其余的解码层均连接一个自主分级监督模块，最后一个解码层连接一个卷积层，卷积层输出的特征图与各个自主分级监督模块输出的特征图进行融合，使得深度学习模型能够自主调节不同层级的特征对分割结果的影响；
多级特征融合单元，用于将不同尺度的特征图和/或解码后不同尺度的特征图进行特征融合，以对融合后的特征图进行解码操作；
其中，所述将不同尺度的特征图和/或解码后的特征图进行特征融合，包括：
对待融合的特征图中的高分辨率特征图进行下采样，得到第一特征图；
对待融合的特征图中的低分辨率特征图进行压缩，得到第二特征图；
将第一特征图和第二特征图进行融合，得到第一融合特征图；
将所述第一融合特征图分别经过压缩处理和sigmoid函数激活处理；
对sigmoid函数激活处理的特征图中进行上采样；
对上采样后的特征图和高分辨率特征图进行逐像素相乘。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待分割的胸部医学图像；
预处理单元，用于对所述待分割的胸部医学图像进行预处理；
分割单元，用于采用已训练的深度学习模型对所述待分割的胸部医学图像进行分割处理；所述深度学习模型是通过上述权利要求1-3的方法进行训练后得到的。
9.一种电子设备，其特征在于，包括：
处理器以及存储器；
所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1-5中任一项所述的深度学习模型训练方法或根据权利要求6所述的图像处理方法。
CN201911191008.XA 2019-11-28 2019-11-28 一种深度学习模型的训练方法、图像处理方法及装置 Active CN110969632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911191008.XA CN110969632B (zh) 2019-11-28 2019-11-28 一种深度学习模型的训练方法、图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911191008.XA CN110969632B (zh) 2019-11-28 2019-11-28 一种深度学习模型的训练方法、图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110969632A CN110969632A (zh) 2020-04-07
CN110969632B true CN110969632B (zh) 2020-09-08

Family

ID=70032243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191008.XA Active CN110969632B (zh) 2019-11-28 2019-11-28 一种深度学习模型的训练方法、图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110969632B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598871B (zh) * 2020-05-15 2023-08-04 安徽医学高等专科学校 多特征融合辅助检测肺部磨玻璃影结节系统及介质
CN111881942B (zh) * 2020-07-02 2023-09-26 中国空间技术研究院 一种基于压缩学习的目标分类方法及系统
CN112001923B (zh) * 2020-11-02 2021-01-05 中国人民解放军国防科技大学 一种视网膜图像分割方法及装置
CN112529863B (zh) * 2020-12-04 2024-01-23 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN113065575A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN109166104A (zh) * 2018-08-01 2019-01-08 沈阳东软医疗系统有限公司 一种病变检测方法、装置及设备
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110264460A (zh) * 2019-06-24 2019-09-20 科大讯飞股份有限公司 一种目标检测结果的鉴别方法、装置、设备及存储介质
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110298361A (zh) * 2019-05-22 2019-10-01 浙江省北大信息技术高等研究院 一种rgb-d图像的语义分割方法和系统
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753B (zh) * 2017-12-29 2020-04-17 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109993726B (zh) * 2019-02-21 2021-02-19 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110287969B (zh) * 2019-06-14 2022-09-16 大连理工大学 基于图残差注意力网络的摩尔文本图像二值化系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN109166104A (zh) * 2018-08-01 2019-01-08 沈阳东软医疗系统有限公司 一种病变检测方法、装置及设备
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN110298361A (zh) * 2019-05-22 2019-10-01 浙江省北大信息技术高等研究院 一种rgb-d图像的语义分割方法和系统
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110264460A (zh) * 2019-06-24 2019-09-20 科大讯飞股份有限公司 一种目标检测结果的鉴别方法、装置、设备及存储介质
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Attention Res-Unet：一种高效阴影检测算法";董月 等;《浙江大学学报》;20190228;第53卷(第2期);参见正文第1-4章，图3-5 *
"Attention U-Net:Learning Where to Look for the pancreas";Ozan Oktay等;《arXiv:1804.03999v1》;20180411;参见正文第1-3章，图1-2 *

Also Published As

Publication number Publication date
CN110969632A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110969632B (zh) 一种深度学习模型的训练方法、图像处理方法及装置
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN111696094B (zh) 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111598875A (zh) 甲状腺结节自动检测模型构建方法、系统及装置
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112862830A (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114332133A (zh) 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统
CN114022462A (zh) 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN117522891A (zh) 一种3d医学图像分割系统及方法
CN116542988A (zh) 结节分割方法、装置、电子设备及存储介质
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room B401, floor 4, building 1, Shangdi Information 12, Haidian District, Beijing 100085

Patentee after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee before: Beijing Tuoxiang Technology Co.,Ltd.